流式计算

摘要： 在大数据时代,数字化转型是企业发展战略的必然选择,而实时数仓建设则是数字化转型的重点。实时计算相对于传统的批处理,能够快速体现数据的价值,有着广泛的实时业务场景需求。本文提出一种基于Flink的实时数仓设计,并在DPI业务场景得到实践验证,有效支撑了运营商对业务请求次数、流量、活跃用户数、业务成功率等多维度指标需求,可为其他更广泛的实时业务场景落地奠定坚实的基础。

摘要： 为推动低延迟、高可靠性及可扩展的大数据流式计算系统的发展,介绍了大数据流式计算及其特征。与传统的批处理方法相比,其在时效性、有序性、数据量、数据处理速率、是否重现、移动对象、计算方式、常驻空间等方面都具有一定的优势。不足之处是精确度较低。通过实例介绍了典型的流式计算系统和关键技术,分析了大数据流式计算在系统容错性、负载均衡等方面面临的挑战。未来网络数据规模的扩大将给大数据流式计算带来更大的挑战,还需进一步对其关键技术进行深入研究,使大数据流式计算更好地推动社会经济发展。

摘要： 物联网技术与配电网的不断融合对现有配电自动化主站提出了新的挑战。为了解决智能融合终端等新型物联网设备大规模接入的难题,通过研究即插即用、流式计算、时序数据存储等关键技术,在主站内建设物联接入服务实现设备的自动化接入与管理、海量采集数据的处理与存储。物联接入服务已在北京、江苏等地进行了初步应用,结果表明,所研制的服务组件能够大大缩短设备接入周期,推进了配电物联网的建设步伐。

摘要： 本文基于山东省气象大数据云平台“天擎”,采用Storm流式处理技术,从数据收集、数据解码、数据入库、数据监控等方面设计数据处理原型,解决2021年4月标准格式切换后非考核地面气象自动站数据无法提供数据服务的难题,并与多线程处理程序进行时效对比,实践表明,基于Storm的数据处理程序更能满足现有业务系统对数据时效的要求。

摘要： 随着大数据与人工智能技术的飞速发展,高性能,实时性的流式计算系统逐渐取代传统基于数据仓库的批量计算系统.Apache storm作为一款开源,高容错,实时处理的分布式大数据流式计算平台,支持任务平均分配策略,单机任务指定策略等多种任务分配方案.当任务拓扑结构中存在多个任务时,且集群中只有某些机器支持某一任务执行时,传统的任务调度方法只能实现将单一的任务分配给单一指定的机器,使得整个集群的资源没有充分的利用.通过调整任务调度策略,获得满足条件的机器队列,查看机器队列中可用工作节点,将指定任务均匀分配给可用工作节点,其他任务仍通过默认策略分配给集群中的剩余机器,实现多任务的分组调度策略.

摘要： 作为目前主流的大数据流式计算平台之一,Storm在设计之初以性能为目的进行研究而忽视了高能耗的问题,但是其高能耗问题已经开始制约着平台的发展.针对这一问题,分别建立了任务分配模型、拓扑信息监控模型、数据恢复模型以及能耗模型,并进一步提出了基于Storm平台的数据恢复节能策略(energy-efficient strategy based on data recovery in Storm,DR-Storm),包括吞吐量检测算法与数据恢复算法.其中吞吐量检测算法根据拓扑信息监控模型反馈的拓扑信息计算集群吞吐量,并通过信息反馈判断是否终止整个集群内拓扑的任务.数据恢复算法根据数据恢复模型选择备份节点用于数据存储,并通过拓扑信息监控模型反馈的信息判断集群拓扑是否进行数据恢复.此外,DR-Storm通过备份节点内存恢复集群拓扑内的数据,并根据大数据流式计算的系统延迟与能效评估DR-Storm.实验结果表明:与现有研究成果相比,DR-Storm在减少系统计算延迟、降低集群功率的同时,有效节约了能耗.

摘要： 作为新一代大数据流式计算框架,Heron忽略了任务实例之间不同通信方式的差异以及节点资源利用率不均衡的问题导致系统性能下降.针对这一问题,设计了节点资源限制模型、通信开销优化模型和实例数据流关系模型,并在此基础上提出了Heron环境下基于实例重分配的传输负载优化策略(transmission load optimiza-tion strategy based on instance reallocation in Heron,TLIR-Heron).该策略包括节点资源限制算法和实例重分配算法,通过判定实例重分配条件并执行重分配算法将节点间数据流转换为节点内数据流,从而降低通信开销.实验结果表明,在三组拓扑测试下,TLIR-Heron相较于Heron默认调度策略能够降低节点间通信开销和系统的计算延迟,并提升了计算节点资源利用的均衡性.

摘要： 作为流式大数据计算的主要平台之一,Storm在设计过程中由于缺乏节能的考虑,导致其存在高能耗与低效率的问题.传统的节能策略并未考虑Storm的性能约束,可能会对集群的实时性造成影响.针对这一问题,设计了资源约束模型、最优线程重分配模型以及数据迁移模型.进一步提出了Storm平台下的线程重分配与数据迁移节能策略(energy-efficient strategy based on executor reallocation and data migration in Storm,简称ERDM),包括资源约束算法与数据迁移算法.其中,资源约束算法根据集群各工作节点CPU、内存与网络带宽的资源占用率,判断集群是否允许数据的迁移.数据迁移算法根据资源约束模型与最优线程重分配模型,设计了数据迁移的最优化方法.此外,ERDM通过分配线程减少了节点间的通信开销,并根据大数据流式计算的性能与能效评估ERDM.实验结果表明,与现有研究相比,ERDM能够有效降低节点间通信开销与能耗,并提高集群的性能.

摘要： 由于传统电压暂降传播研究方法是基于孤立时间断面的机理分析方法,无法揭示电压暂降在传播过程中的变化规律,文章提出一种基于数据驱动和流式计算的电压暂降传播特性研究方法,采用Bi-LSTM和Attention机制对电压暂降分类识别;构建基于Spark Streaming的多点并行模式识别框架,提取电压暂降实时传播轨迹;利用关联规则Apriori算法对海量电压暂降传播轨迹数据进行挖掘,规则有效性达到92.4%。该研究方法揭示了不同类型的电压暂降事件在不同电气环境下的传播特性,为电网公司制定治理决策提供了重要参考。

摘要： 随着多接入边缘计算(MEC)与5G网络技术的融合,处理实时复杂数据变成边缘节点的重要任务.流式计算能够高效处理通过性数据,适合应用于边缘计算应用场景.对国内外相关工作进行了分析,并给出相关架构下评估边缘计算性能的若干关键指标.

摘要： 随着空间科学重大发现的不断出现,空间科学卫星成为开展深空探测的重要手段,卫星探测数据是领域科学家开展研究的基础,因此地面应用系统数据处理的实时性要求越来越高.已有的空间科学卫星数据处理系统采用数据驱动合并作业调度的框架,数据处理实时性较差.近年来,流式计算由于适合大规模数据实时并发处理、具有分布式高效计算的特点,成为一个研究热点.本文采用流式计算思想提出了一种空间科学卫星数据实时处理方法,根据空间科学卫星数据处理特点对数据流进行抽象分析和重新定义,基于流计算框架Storm设计了数据流处理并行结构.应用本方法开发了卫星数据处理系统,对处理时间和吞吐率指标进行了测试分析,实验结果表明系统优化效果良好.

摘要： 随着大数据时代对数据实时性处理的需求不断提高,各大公司纷纷部署基于CPU计算平台的流式计算框架以满足推荐系统、计算广告等实时性应用的需求;但是当前基于CPU计算平台的流式计算系统在实时性和并发度上很难满足企业的需求.与传统CPU相比,FPGA具有高数据吞吐率、低延迟、低功耗、高灵活度等优势,基于FPGA这些特点本文提出了一种基于FPGA的流式计算加速框架,通过软硬件协同设计的方法来提高流式计算系统的并发度,并降低处理延迟.在硬件结构上,该计算框架将流式处理系统的核心操作通过硬件逻辑的方式映射到FPGA中,并通过FPGA中的轻量级通信协议接口实现多FPGA之间的直接通信,从而降低流式计算部件之间的通信延迟;在软件结构中,通过统一的编程接口和流量分配方式,实现流式计算框架的负载均衡等操作.经原型系统和模拟实验验证,该计算系统可以大幅度降低流式计算部件之间的数据交互延迟,在选取的测试模型中可以取得7.89倍的加速效果,处理延迟只有处理器系统的1/11.

摘要： Storm支持流式数据的高性能实时计算,是一种广泛使用的流式计算框架.在Storm应用的开发中,开发人员需要针对不同的流式数据需求定制开发相应的计算模块,往往导致大量的重复工作,且难以适应数据需求的变动.如何根据流式数据格式和计算方式等数据需求,快速开发并配置相应的Storm计算环境,是提升大部分流式计算应用开发效率的重要问题.提出了流式数据需求描述方法,设计并实现了一种基于Storm的、由数据需求驱动的流式数据实时处理应用辅助开发框架,根据业务人员描述的领域数据需求自动生成符合数据处理需求的Storm实时数据处理应用.实验表明,该框架能帮助不具备Storm开发能力甚至非软件开发人员快速配置常见的基于Storm的流式计算应用,对于常见的流式数据实时处理需求具有一定的适应性.

摘要： 套牌车的甄别具有时效性约束.针对现有计算检测方法中所出现的精度低、响应慢等局限,提出了一种基于实时车牌识别(ANPR)数据流的套牌车流式并行检测方法,设计了基于路段阈值表和时间滑动窗口的套牌计算模型,能够实时地甄别出交通数据流中的套牌嫌疑车.在Storm环境下,利用某市真实交通数据集模拟成实时交通流数据进行实验和评估,实验结果表明计算的准确率达到98.7％,并且一条车牌识别数据的处理时间为毫秒级.最后,在该计算模型基础上实现了套牌车稽查防控系统,能实时甄别并展现出当前时刻城市交通网中出现的所有套牌嫌疑车.

摘要： 复杂事件处理是支持大数据处理的流式计算平台的核心技术之一.CEStream语言作为一种新型的事件流处理语言,支持分布式环境下的复杂事件处理.该语言以XML等层次化数据作为数据模型,为复杂事件检测提供了一种正规树模式匹配功能,支持结构连接和正规式匹配.同时,针对分布式的多个事件流,能够将各个事件源模式匹配的结果按照时间顺序再一次进行正规式模式匹配,满足多源组合型复杂事件的检测需求,具有较强的事件处理能力.为了实现CEStream语言,研制了一个基于流数据处理集群和远端查询代理的执行引擎系统.该系统通过远程查询代理实现基于正规树模式的事件检测,通过流处理集群完成多源组合型复杂事件处理.实验表明该系统实现了CEStream语言,有效地限制了各个节点之间的通信量,充分利用集群的计算能力,整体性能能够满足应用需求.

摘要： 为了解决物联网云平台多种私有协议的接入和消息的实时处理问题,提出了一种基于Storm的实时消息处理系统.系统以流式计算和微计算单元的方式解决了私有协议的异构化等问题,提升了物联网云平台的系统复用性和扩展性.

摘要： 互联网时代,网络舆情的庞大数据规模和舆情分析的计算复杂性,使对网络舆情的分析和实时掌控变得愈发困难.面向快速、不断产生的流数据进行实时处理的分析模型,在时效性、突发性、无序性和无限性四个方面都更加符合网络舆情的自身特性.基于流式运算的网络舆情分析，具有平台优势，能够解决地方舆情分析中面临的技术门槛，提高经济效益，实现资源节约型、环境友好型的网络舆情分析。各地开展网络舆情工作时，仍存在无法通过有效的技术手段及时获取、充分利用与安全存储信息的情况；各部门或单位独立运作也增加了更高层机构区分、筛选和剔除信息的工作任务。平台服务中，各地无需反复建设，通过多地合作开发或者国家统一布局，在网络终端即可获取应用服务，提升资源利用率的同时降低了技术门槛。

摘要： 高速公路多义路径问题是指如何在高速公路上确定行驶车辆的驶经路径,从而正确的收取每一车辆的通行费,以及合理地在各路公司之间拆分车辆通行费.随着各类高速公路车辆信息采集手段的出现,如何利用实时采集的大规模数据进行车辆行驶多义路径的精确识别成为一个重要问题.本文提出一种基于识别点数据和联网收费数据的多义路径实时在线精确识别方法,设计了基于时空关系的路径识别流式计算模型,并给出了基于Storm的系统实现.通过基于真实数据的实验表明,相对于传统最短路径识别方法,本文方法可在亚秒级实现多义路径的精确识别.

摘要： 地球物理学的研究范围包括地质、地震、海洋、大气、空间、地电、地磁、重力和物探等多个学科领域,其研究过程包含了探测监测、资料传输、数据处理、成果展示等多个步骤.地球物理学在多个研究领域及其过程都表现出对大数据、云计算、人工智能等新技术的应用需求.在某些特定场景,如地震、大气、空间的监测,地球物理学监测数据的处理分析时效性会显得格外重要.地震监测预警尤其突出,目前的预警时效性通常以秒为衡量单位.

摘要： 地球物理学的研究范围包括地质、地震、海洋、大气、空间、地电、地磁、重力和物探等多个学科领域,其研究过程包含了探测监测、资料传输、数据处理、成果展示等多个步骤.地球物理学在多个研究领域及其过程都表现出对大数据、云计算、人工智能等新技术的应用需求.在某些特定场景,如地震、大气、空间的监测,地球物理学监测数据的处理分析时效性会显得格外重要.地震监测预警尤其突出,目前的预警时效性通常以秒为衡量单位.

摘要： 本说明书的实施例提供用于流式计算的规则更新方法、装置及流式计算系统。该流式计算系统包括规则配置平台、规则管理器、分布式文件服务器、任务调度器、资源管理器和至少一个任务执行器节点。任务调度器定期向规则管理器发送增量更新规则查询请求。规则管理器响应于增量更新规则查询请求而从规则配置平台获取规则列表数据。任务调度器使用规则列表数据中的文件存储路径地址，获取进入上线状态的增量更新业务规则的可执行文件。任务调度器基于增量更新业务规则的可执行文件构建规则执行器实例，并将所构建的规则执行器实例广播给各个任务执行器节点以进行规则执行器更新。各个任务执行器节点使用更新后的规则执行器来运行后续任务。

摘要： 本申请实施例公开了流式计算系统及其日志处理方法。流式计算系统包括：日志采集模块，采集日志产出端产出的日志数据并发送至消息系统；消息系统，将日志数据存储在消息队列中；状态监控模块，监控日志产出端的状态并上报至进度监控模块；日志处理模块，从消息系统获取日志数据并解析出产出日志数据的日志产出端的标识及与日志产出端的标识关联的日志数据产出时间，将日志产出端的标识和关联的日志数据产出时间上报至进度监控模块；进度监控模块，根据日志产出端的标识和关联的日志数据产出时间、以及日志产出端的状态，确定流式计算系统中未被处理的日志数据的最早产出时间。该流式计算系统实现了全局水位的自动推进。

摘要： 本申请涉及一种分布式流式计算应用的在线扩容方法、装置、计算机设备和存储介质，该方法包括：当一条数据进入分布式流式计算应用时，在第一数据表中查找该条数据的分区键值所对应的时间戳，并将查找到的该时间戳记为第一时间戳；在第二数据表中查找小于第一时间戳且最接近第一时间戳的时间戳，并将查找到的该时间戳记为第二时间戳；按照预设的分区方式将该条数据分配到第二时间戳所对应的节点列表中的一个节点上。本申请提供的扩容方法，节点增加对于老数据的分布没有影响，不会连带已有的本地状态在节点上的分布发生改变，不需要停机，不会影响到分布式流式计算应用的使用，不需要采用专门的工具对节点上的本地状态进行迁移。

摘要： 本发明公开了一种基于分布式流式计算引擎的实时风控变量计算方法，在该计算方法中包括：数据源配置模块:用户配置各种计算依赖的数据源；变量定义模块:可以用SQL语言来开发各种变量；变量计算模块:根据计算的请求从预先配置的数据源中抓取数据,构建内存表,把相关的变量池中的所有SQL全部执行一遍,并输出计算结果；本发明提供的基于分布式流式计算引擎的实时风控变量计算方法，采用本发明研发的变量计算引擎和系统，熟悉SQL语言的人员(如业务人员和开发人员)，都能通过系统来定义变量，大大缩短变量开发周期，节省成本。

摘要： 本发明提供了一种基于流式计算的可视化计算模型构建方法和系统，该方法包括：步骤(1)，基于流式计算，构建基础算子；步骤(2)，根据基础算子的输入端与输出端的映射关系，对基础算子进行自定义组合，形成可拖拉拽的可视化计算模型；该系统包括：构建模块，用于基于流式计算，构建基础算子；组合模块，用于将构建模块中基础算子通过输入输出的映射关系进行自定义组合，形成可拖拉拽的可视化计算模型；本发明的有益效果为提高数据实时性，加强了系统的可操作性，极大的降低了以往系统中的算法比对异常，解决研发成本问题，使业务模型更加颗粒化、系统化。

摘要： 本说明书的实施例提供用于流式计算的规则更新方法、装置及流式计算系统。该流式计算系统包括规则配置平台、规则管理器、分布式文件服务器、任务调度器、资源管理器和至少一个任务执行器节点。任务调度器定期向规则管理器发送增量更新规则查询请求。规则管理器响应于增量更新规则查询请求而从规则配置平台获取规则列表数据。任务调度器使用规则列表数据中的文件存储路径地址，获取进入上线状态的增量更新业务规则的可执行文件。任务调度器基于增量更新业务规则的可执行文件构建规则执行器实例，并将所构建的规则执行器实例广播给各个任务执行器节点以进行规则执行器更新。各个任务执行器节点使用更新后的规则执行器来运行后续任务。

摘要： 本申请公开了一种流式计算作业处理方法、流式计算系统及电子设备，所述方法包括:获取流式计算作业；以进程方式运行所述流式计算作业，所述流式计算作业包括至少一个进程。将流式计算作业直接以进程的方式运行，与现有技术中将流式计算作业采用如Master/Worker结构的并行处理方式相比，可避免并行处理方式存在的资源消耗较大的问题，能够使流式计算系统的资源消耗大大降低，尤其适用于作业数量有限且计算能力受限的场景。

摘要： 本申请实施例公开了流式计算系统及其日志处理方法。流式计算系统包括：日志采集模块，采集日志产出端产出的日志数据并发送至消息系统；消息系统，将日志数据存储在消息队列中；状态监控模块，监控日志产出端的状态并上报至进度监控模块；日志处理模块，从消息系统获取日志数据并解析出产出日志数据的日志产出端的标识及与日志产出端的标识关联的日志数据产出时间，将日志产出端的标识和关联的日志数据产出时间上报至进度监控模块；进度监控模块，根据日志产出端的标识和关联的日志数据产出时间、以及日志产出端的状态，确定流式计算系统中未被处理的日志数据的最早产出时间。该流式计算系统实现了全局水位的自动推进。

摘要： 本发明实施例公开了一种基于本地的流式计算方法及流式计算系统，包括：通过本地的上游计算节点接收任务数据；调用上游计算节点的预定义行为程序对任务数据进行计算，生成上游计算节点计算结果；发送上游计算节点计算结果至位于上游计算节点数据流向所在的下游计算节点；调用下游计算节点的预定义行为程序对上游计算节点计算结果进行计算，生成下游计算节点计算结果；继续发送下游计算节点计算结果至位于下游计算节点数据流向所在的下一下游计算节点，并调用下一下游节点的预定义行为程序对下游计算节点计算结果进行计算，直至通过未定义数据流向的计算节点输出任务数据的最终计算结果。实施本发明，能够提高计算效率。

摘要： 本申请实施例公开了一种基于大数据流式计算平台的数据处理方法、装置、存储介质及计算机设备，涉及大数据处理领域。方法包括：将数据源中取出的多条业务数据加载到内存中；将多条业务数据打包为一个待执行数据包；将待执行数据包存入大数据流式计算平台；从大数据流式计算平台中获取待执行数据包，以及在规则中心获取待执行数据包关联的规则信息；根据规则信息对待执行数据包进行处理得到规则执行数据；将规则执行数据进行持久化处理后写入到外部的数据表中，本申请通过分批加载业务数据、分批执行业务数据和外部存储规则执行数据，可以提高内存的利用率和磁盘的利用率。