面向大规模流数据的可扩展分布式实时处理方法

蔡斌雷; 郭芹; 朱世伟; 任家东

首页> 中文期刊> 《青岛科技大学学报:自然科学版》 >面向大规模流数据的可扩展分布式实时处理方法

面向大规模流数据的可扩展分布式实时处理方法

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

MapReduce是处理大规模数据集的常用技术,但不能满足大规模数据集中流数据实时计算的要求。对此提出一种面向大规模流数据的可扩展、分布式实时处理方法。该方法在Map阶段,建立基于内存Hash B+树的缓存结构对中间结果处理机制进行优化,以降低对中间结果的频繁读写造成的I/O消耗,同时消除对中间结果的排序,以降低对CPU的消耗;在Reduce阶段,设计基于动态增量Hash技术的快速内存处理方法,并消除对中间结果的多遍扫描合并,对流数据进行增量处理、单遍分析,以提高对流数据的实时分析能力。实验结果表明:上述方法可以对大规模流数据进行实时性处理,并且具有较好的可扩展性。

著录项

来源
《青岛科技大学学报:自然科学版》 |2016年第5期|584-590|共7页
作者
蔡斌雷; 郭芹; 朱世伟; 任家东;
展开▼
作者单位

山东省科学院情报研究所;

济南大学泉城学院;

燕山大学信息科学与工程学院;

展开▼
原文格式 PDF
正文语种 chi
中图分类信息处理（信息加工）;
关键词
大数据; 分布式计算; 流数据处理; MapReduce;

相似文献

中文文献
外文文献
专利

1. 面向大规模云资源调度的可扩展分布式调度方法 [J] . 林伟伟 ,朱朝悦 . 计算机工程与科学 . 2015,第011期
2. 一种面向流数据的分布式实时存储方法 [J] . 孙艳华 ,王丽娜 . 电脑知识与技术 . 2015,第019期
3. 基于列表的可扩展标记语言流数据查询处理方法 [J] . 何志学 ,廖湖声 . 计算机应用 . 2016,第003期
4. 面向大规模感知数据的实时数据流处理方法及关键技术 [J] . 亓开元 ,韩燕波 ,赵卓峰 . 计算机集成制造系统 . 2013,第003期
5. 基于Trident构建大规模实时流数据处理系统 [J] . 杨文 ,林峰 ,周际 . 程序员 . 2013,第002期
6. ACSemu:一种面向超大规模SoC验证的可扩展FPGA模拟平台 [C] . 常轶松 ,张科 ,刘月吉 . 第十七届计算机工程与工艺年会暨第三届微处理器技术论坛 . 2013
7. 大规模图中可扩展的可达性查询高效处理方法研究 [A] . 李方盱 . 2015

面向大规模流数据的可扩展分布式实时处理方法

摘要

著录项

相似文献

相关主题

期刊订阅