基于树型结构的MapReduce并行模型

唐兵; 贺海武

首页> 中文期刊> 《计算机科学》 >基于树型结构的MapReduce并行模型

基于树型结构的MapReduce并行模型

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

MapReduce是Google提出的一种分布式计算模型,已在海量数据处理领域得到了广泛的应用.提出一种基于树型结构的新型MapReduce并行模型.该模型适合于利用Internet或Intranet环境下不可靠的桌面PC资源进行海量科学数据分析.该模型以P2P的形式将计算节点进行组织,模型的底层采用了P2P-MPI框架,采用基于消息传递的模式来实现MapReduce应用层.在MapReduce应用层的实现中,在Map阶段采用广播的形式来分发数据块,在Reduce阶段建立反向二叉树来实现有效的结果合并和化简.将提出的MapReduce模型与现有主流MapReduce模型进行了比较,结果表明,基于树型结构的MapReduce并行模型在容错性能方面具有较优的性能,且系统简单,易于应用开发.

著录项

来源
《计算机科学》 |2015年第11期|65-6789|共4页
作者
唐兵; 贺海武;
展开▼
作者单位

湖南科技大学计算机科学与工程学院湘潭411201;

中国科学院计算机网络信息中心北京100190;

展开▼
原文格式 PDF
正文语种 chi
中图分类设计与性能分析;
关键词
MapReduce; 树型结构; 二叉树; 消息传递接口;

相似文献

中文文献
外文文献
专利

1. 基于MapReduce模型的并行处理优化策略 [J] . 王鹏 ,刘鹏 ,刘佳祎 . 电子技术与软件工程 . 2021,第001期
2. 基于MapReduce模型的并行粒子群分簇算法研究 [J] . 赵彦 ,孙俊 . 现代电子技术 . 2021,第007期
3. 基于MapReduce的CME参数识别模型并行计算技术 [J] . 杨世通 ,蔡燕霞 ,鲁国瑞 . 空间科学学报 . 2020,第002期
4. GOP-MRPGA:基于MapReduce大数据计算模型的遗传算子前置并行遗传算法 [J] . 任刚 ,狄文辉 ,郜广兰 . 河南机电高等专科学校学报 . 2020,第005期
5. GOP-MRPGA:基于MapReduce大数据计算模型的遗传算子前置并行遗传算法 [J] . 任刚 ,狄文辉 ,郜广兰 . 河南工学院学报 . 2020,第005期
6. 基于树型结构的MapReduce并行模型 [C] . TANG Bing ,唐兵 ,HE Hai-Wu . 2014全国高性能计算学术年会 . 2014
7. 基于MapReduce的简单要素模型并行叠置分析方法研究 [A] . 江洋 . 2016

基于树型结构的MapReduce并行模型

摘要

著录项

相似文献

相关主题

期刊订阅