Hadoop平台计算管理节点可扩展性改进方案

代理获取

页面导航

摘要
著录项
相似文献
相关主题

摘要

近年来，使用廉价计算机组成的大规模分布式集群进行高性能计算已经成为了计算机科学界的研究热点。基于MapReduce编程模型的Hadoop分布式计算平台，凭借其高性能和易用性已经在许多场合得到广泛的应用。然而随着越来越多的大型Hadoop集群的建立，研究人员发现Hadoop的主/从体系结构导致的性能瓶颈在大规模集群环境中会对集群的计算能力利用率造成严重的影响。
　　本文对Hadoop平台的工作原理进行了详细研究和实验，指出影响Hadoop集群可扩展性的关键因素在于其计算节点需要以很高的频率与管理节点进行信息交互。而管理节点的唯一性则必然在计算节点数量过多时产生性能瓶颈，影响集群中任务的分发速度，进而降低集群的计算能力利用率。
　　为了解决上述问题，本文提出并实现了一个新的系统架构:管理节点不再是唯一的，多个管理节点共同管理集群，计算节点轮流与这些管理节点进行信息交互。在对改进方案的合理性进行理论证明之后，本文还模拟大规模集群中的环境对改进系统进行了验证实验。实验结果显示改进系统在大规模集群中的表现明显好于Hadoop原型系统，消除了原有的性能瓶颈。这个成果对Hadoop集群的可扩展性提升具有重大意义。

著录项

作者
高辰;
展开▼
作者单位

南开大学;

展开▼
授予单位南开大学;
学科计算机技术
授予学位硕士
导师姓名杨愚鲁;
年度 2013
页码
总页数
原文格式 PDF
正文语种中文
中图分类理论、方法;
关键词
Hadoop平台; 计算管理节点; 可扩展性; 编程模型;

相似文献

中文文献
外文文献
专利

1. 云计算Hadoop平台中基于遗传算法的高校师资培训管理 [J] . 邢莉莉 . 现代电子技术 . 2020,第001期
2. 云计算Hadoop平台中基于遗传算法的高校师资培训资源管理 [J] . 牛志梅 . 现代电子技术 . 2019,第021期
3. 计算机信息管理系统安全问题及其改进方案 [J] . 魏勇 . 四川水泥 . 2018,第012期
4. 边缘计算节点容灾及管理体系结构 [J] . 李希源 ,江海涛 ,刘志明 . 电信科学 . 2019,第S02期
5. 基于OpenStack的天文台站计算节点自动管理研究 [J] . 邵岑 ,邓辉 ,王锋 . 天文研究与技术－国家天文台台刊 . 2017,第002期
6. 有限差分区域分解算法基于块数据结构的并行计算及可扩展性分析 [C] . 左风丽 . 2010年全国高性能计算学术年会(HPC china2010) . 2010
7. 基于硬件事务内存的内存计算系统可扩展性研究 [A] . 王肇国 . 2014

Hadoop平台计算管理节点可扩展性改进方案

摘要

著录项

相似文献

相关主题

期刊订阅