Spark Streaming

摘要： 实时气象卫星数据存在多源异构、高时效性等特点,使得气象部门不易及时发现实时卫星数据在传输过程中的各种问题,对下游实时卫星数据用户的服务也有一定影响。为了提高对实时气象卫星数据的监视能力,基于Rest API、Kafka消息队列、Spark Streaming、Redis缓存等大数据技术在国家级气象业务环境中搭建了实时卫星数据监视流程,对卫星数据进行统一编码,从而实现对全球各种实时卫星数据根据不同来源、不同卫星、不同仪器进行精细化的全流程监视,并基于气象大数据云平台、气象综合业务实时监控系统等业务系统增加了监视告警功能。

摘要： 大数据时代背景下,某些领域对数据实时处理的需求日益加剧,实时流计算框架作为一种新的热门技术,在诸如Web应用、网络监控等领域扮演着重要角色.首先对时下两种应用广泛的流式计算框架Storm和Spark Streaming进行原理分析,并通过实时词频统计实验,分析这两种框架的结构和工作流程,对比分析了两种框架之间的不同点,最后对基于Spark Streaming的实验进行了改进,将Spark Streaming、Flume和Kafka进行了整合,实现在集群环境中的流数据处理.

摘要： Spark Streaming作为主流的开源分布式流分析框架,性能优化是目前的研究热点之一.在Spark Streaming性能优化中,业务场景下的配置参数优化是其性能提升的重要因素.在Spark Streaming系统中,可配置的参数有200多个,对参数调优人员的经验要求较高,未经优化的参数配置会影响流作业执行性能.因此,针对Spark Streaming的参数配置优化问题,提出一种基于深度强化学习的Spark Streaming参数优化方法(DQN-SSPO),将Spark Streaming参数优化配置问题转化为深度强化学习模型训练中的最大回报获得问题,并提出权重状态空间转移方法来增加模型训练获得高反馈奖励的概率.在3种典型的流分析任务上进行实验,结果表明经参数优化后Spark Streaming上的流作业性能在总调度时间上平均缩减27.93％,在总处理时间上平均缩减42％.

摘要： 高校在实现智慧化的同时也面临着网站发布信息或网页内容被黑客篡改成不符合国家或学校规定的信息及内容.通过对已有学术研究发现,现有技术的研究普遍存在着效率低、实时性差的问题,本文提出了一种基于Spark Streaming的高校网站敏感信息监测系统.该系统利用Kafka作为中间存储,系统架构在Spark Streaming框架上可实时消费Kafka中数据进行链接解析处理,将获取到的网页内容存储到Elastic Search中进行倒排索引敏感信息匹配,从而达到数据采集和数据处理同步,提高了网站监测效率.

摘要： 城市的发展使得运营车辆日益增长,车辆调度愈发困难,传统系统无法满足现有众多车辆的监控调度与运营.该程序基于大数据流处理系统,实现了大批量的车辆信息监测和实时处理以及车辆的精细监控与轨迹回放.可用于网约车、公交车以及货运集团的调度中心进行实时监控和订单把控,以提高车辆调度的灵活性,达到最优调度、减少成本的效果.

摘要： 近年来,随着大数据技术的快速发展,大数据处理平台迅速兴起.大数据处理平台具有高吞吐量、网络协议多、端口多、数据量大、高并发等特征,借助传统入侵检测技术很难实时监控网络危险.为提高网络入侵检测的准确率和实时性,笔者提出一种改进模糊C均值算法,对分类后的数据集进行训练,使用Kafka技术处理采集的数据,通过Spark Streaming读取网络实时传输的数据流,并对检测到的入侵数据进行实时检测.

摘要： 针对供热环境在城市间一体化程度的提高而引发的设备种类繁多、采集信息量大、数据类型多样化、处理和分析困难以及各设备数据信息展示不直观的问题,研发并实现了一种智慧供热大数据监测平台,并在山西省供热体系中进行了应用.平台以云计算为基础架构,采用基于React的前端技术,将开发模块组件化,并通过构建虚拟DOM(虚拟文档对象)机制解决了因复杂和频繁的DOM操作引发的性能瓶颈问题.针对供热设备产生数据的结构特点,研发基于kafka+Spark Streaming的数据清洗方案,解决了因数据量大、种类多样化而产生的数据处理效率、存储设备压力以及实时数据传输问题.此外,平台还提供了定制化的可视化界面,并且通过数据分批处理机制,解决了实时数据和大数据量展示过程中响应慢的问题.

摘要： 随着大数据、云计算及人工智能等技术的快速发展,推荐系统在电商平台中扮演着愈加重要的角色,在用户留存、GMV提升等方面有显著贡献.电商平台商品规模为百万级别,用户数量为千万级别,用户行为成为分析用户偏好的主要因素,因此针对用户个人的个性化推荐成为电商推荐系统重点研究方向.文章设计了电商领域基于用户行为的个性化推荐系统,实现对用户行为的实时采集、用户偏好的实时计算.根据用户实时偏好,对协同过滤、相似商品、热度等多召回源进行重排,生成实时推荐结果.经过线上验证,文章设计开发的个性化推荐系统比人工配置在CTR指标上提升了100％以上.

摘要： 本发明公开了一种基于Spark Streaming的电力系统日志数据实时处理方法，首先针对全网日志数据流急剧增长，处理系统获取的日志数据的类别以及相关属性变化多样的问题，预定义统计模型，降低处理系统预处理的时间；然后通过对块间隔和处理时间关系的分析，发现基于块间隔的动态调整，能够使查询任务的处理时间达到最优；最后基于该方法设计了高效的动态调整策略，及时探寻到最优的块间隔，减少查询任务的处理时间，借此分析电力调度自动化系统的运行状态和轨迹，实现电力系统健康状况定性到定量的分析转换。本发明从而为电力系统日志数据的有效管理提供了一种高效、易用的实时处理方法。

摘要： 本发明的一种SparkStreaming在存储设备中存储文件为固定大小的方法，包括如下步骤：S1：配置文件大小X；S2：读取一个批次的数据量Y；S3：判断，Y为0则结束处理，进入下一批次，Y不为0进入S4；S4：查找小于X的文件，不存在则创建新文件，开启文件IO流；S5：判断文件大小是否大于X；S601：文件不大于X，将数据追加到文件中，关闭文件IO流，进入下一批次；S602：若文件大于X，则将数据拆分成两部分，一部分数据的数据量与文件大小之和恰为X，将数据追加到文件中，关闭文件IO流，结束，另一部分数据进入步骤S5再次执行。该方法能处理不固定的输入数据量，实现输出的文件为固定大小的目的。

摘要： 本发明提供了基于Spark Streaming的智能配电柜、节能系统及方法，涉及智能配电技术领域。一种基于Spark Streaming的智能配电柜，包括配电柜柜体内设置能耗监控系统，所述能耗监控系统包括处理器模块、存储器模块、通信模块、供配电数据监控模块和环境数据监控模块，所述处理器模块能够通过将实时采集和分析的数据传送至远程的Spark Streaming信息平台，所述Spark Streaming信息平台，能够针对接收的数据，用大数据分析方法分析后获取电能供应优化策略，实现节能。本发明对数据中心集成行业的能耗监控和节能管理革新起到了积极作用。

摘要： 本发明公开了一种基于Spark Streaming的电力系统日志数据实时处理方法，首先针对全网日志数据流急剧增长，处理系统获取的日志数据的类别以及相关属性变化多样的问题，预定义统计模型，降低处理系统预处理的时间；然后通过对块间隔和处理时间关系的分析，发现基于块间隔的动态调整，能够使查询任务的处理时间达到最优；最后基于该方法设计了高效的动态调整策略，及时探寻到最优的块间隔，减少查询任务的处理时间，借此分析电力调度自动化系统的运行状态和轨迹，实现电力系统健康状况定性到定量的分析转换。本发明从而为电力系统日志数据的有效管理提供了一种高效、易用的实时处理方法。

摘要： 本发明涉及一种Flume与SparkStreaming整合的方法及系统，其中方法包括以下步骤：步骤1：下载可供代码正常运行的插件包；步骤2：修改Flume的配置信息，指定节点ip和端口；步骤3：Flume与SparkStreaming通过设置的端口进行数据交互，SparkStreaming应用插件包对得到的变化数据并进行分析处理，得到分析结果。本发明通过Flume与SparkStreaming整合，使整个系统达到了高通量、容错处理、低延迟、高性能、分布式的流式处理的状态。

摘要： 本发明公开了一种基于sparkstreaming与springboot的动态任务提交方法，包括：在定义receiver里面强制引用store对象，使得接收到数据后可以对数据进行store，最终通过receiver对象进行调用；在类Receiver里面自定义updateCurrentBuffer，最终通过Receiver对象进行调用；给batchInfo增加myFlag私有属性；在类StreamingContext里面增加generatejobs方法,最终通过streamingcontext对象进行调用；某一批次数据结束执行时候，监听器触发onBatchCompleted方法，结合自定义标记myFlag,在数据完成后继续完成紧后活动。本专利采用了修改sparkstreaming源代码方法，解决了不能主动标记、发送、加载数据，提交jobs的问题，达到了sparkstreaming从数据接收到任务完成秒级以内实时处理的目的。

摘要： 本发明提供了一种基于Sparkstreaming实时处理大批量数据的方法，涉及数据处理技术领域；该方法包括以下的步骤：S1、大批量实时数据的推送，业务流程系统实时产生大批量业务数据，并实时推送到kafka集群，形成kafka数据队列；S2、数据的ETL处理，spark集群通过消费kafka集群数据进行数据ETL处理；S3、Apollo整合Sparkstreaming程序配置，包括集群搭建Apollo工具的步骤、配置Apollo工具整合Sparkstreaming程序的步骤以及使用Apollo配置的步骤；S4、Sparkstreaming程序计算后写入mongodb，通过实时程序消费kafka数据队列后，计算的结果写入mongodb，进行存储；S5、sparkstreaming程序提交spark集群执行；本发明的有益效果是：采用SparkStreaming框架处理大批量数据的速度快，避免出现kafka数据积压的问题。