大数据平台实时计算监控方案分析

赵志伟

首页> 中文期刊> 《自动化与仪表》 >大数据平台实时计算监控方案分析

大数据平台实时计算监控方案分析

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

cqvip:在实时业务数据处理中,需要用到Flume、Kafka、Slipstream等一系列功能组件。在前台业务系统与大数据平台的数据传输过程中,需要监控数据是否正常流动。如果出现了异常,需要定位异常出现的位置。通过一系列的监控工具和方法,可以快速定位各个环节的功能组件是否正常运行。该技术方案的主要目的是为了监控大数据平台实时数据计算的整体流程是否正常工作,前台业务系统与大数据平台内部的数据校验、大数据平台内部的数据校验逻辑是否正确。一方面可以在日常开发过程中验证数据的可靠性,另一方面也可以帮助运维人员更快更精准地定位到产生异常数据的问题所在,从而对现有的业务逻辑进行优化,提高业务效率。

著录项

来源
《自动化与仪表》 |2020年第4期|103-108|共6页
作者
赵志伟;
展开▼
作者单位

星环众志科技(北京)有限公司北京100044;

展开▼
原文格式 PDF
正文语种 chi
中图分类专用应用软件;
关键词
Flume; Kafka; Slipstream; 实时计算; 监控; 逻辑校验; 数据校验;

相似文献

中文文献
外文文献
专利

1. 基于分布式实时计算框架的低压台区线损智能诊断分析 [J] . 唐伟宁 ,钟术海 ,鞠默欣 . 现代管理 . 2021,第002期
2. 基于电量实时计算的市场监测数字化分析研究与应用 [J] . 王林信 ,罗世刚 ,江元 . 贵州电力技术 . 2020,第011期
3. 基于分布式实时计算架构的生产设备数据分析平台 [J] . 袁海飞 . 电子技术与软件工程 . 2020,第004期
4. 基于移动互联网大数据的异构实时计算架构分析 [J] . 陈海倩 . 自动化技术与应用 . 2020,第009期
5. 基于电量实时计算的市场监测数字化分析研究与应用 [J] . 王林信 ,罗世刚 ,江元 . 电力大数据 . 2020,第011期
6. CMPak国际长途话音质量监控方案实施与分析 [C] . 沈锋炜 ,白岩 ,高屹 . 中国移动通信集团设计院第20届新技术论坛 . 2014
7. 网络监控方案及其在网络故障分析中的应用 [A] . 万开创 . 2008

大数据平台实时计算监控方案分析

摘要

著录项

相似文献

相关主题

期刊订阅