• 主题
高级搜索  >
历史搜索 清空历史
首页> 中文学位 >Hama图并行计算框架中任务槽模型及其对作业调度性能的影响
【6h】

Hama图并行计算框架中任务槽模型及其对作业调度性能的影响

代理获取
页面导航
  • 摘要
  • 著录项
  • 相似文献
  • 相关主题

摘要

如今Hadoop平台及其相关技术已经渗透到众多领域当中并得到广泛使用，已经成为大数据的代名词。经过几年的迅猛发展，Hadoop平台及其相关技术实际上已经成为企业大数据计算的标准，它的核心Map-Reduce计算框架在大规模并行处理计算方面更是发挥了巨大作用。虽然表现得如此优秀，但是Hadoop仍有其不足之处，尤其是其不能适应图并行计算。Hama的出现可以弥补Hadoop的不足，它不仅实现了类似Hadoop的并行计算，而且在图计算方面更是发挥了其特色。
　　但由于目前Hama仍处于开发之中，很多功能还不是很完善，还不能投入到实际应用当中。同时Hama又是一个可进行二次开发的图并行计算框架，在实际应用中可根据需求设计合适的作业调度器。如Hadoop中的公平调度器和能力调度器，就是在实际生产中不断形成的两种优秀的作业调度器。所以可以借鉴Hadoop中两种作业调度器的设计思想，同时为了满足实际应用，用户可以设计出自己的Hama图计算作业调度器。
　　在本文中，将先对Hadoop平台及其生态系统作简要介绍，以了解Hadoop的数据处理方式，这些内容主要包括分布式文件系统HDFS以及Map-Reduce并行计算框架这两大块。同时，将重点介绍Hadoop现有的三种流行作业调度算法，这些算法的设计思想为本文的算法设计提供了思路及参考。接着，将通过BSP并行计算模型展开对Hama的学习，重点了解其超步计算的原理。结合它的功能结构了解各个节点的功能及作用，并通过分析Hama源码，从更深层次了解Hama的作业调度流程及其生命周期。
　　根据分析及研究，并充分考虑实际环境中用户的使用及对于不同作业处理的需求，本文设计了基于Hama的任务槽模型及优先级作业调度算法，并给出详细的设计细节。最后，通过编程完成了整个设计并进行功能测试，为了测试其性能还与原有调度方式进行了对比。经测试结果验证，现有的设计不仅弥补了原有调度算法的不足，实现了多用户共享集群资源并使资源得到充分利用，而且还表现出了比原有设计更佳的性能。

著录项

相似文献

  • 中文文献
  • 外文文献
  • 专利
代理获取

客服邮箱：kefu@zhangqiaokeyan.com

京公网安备：11010802029741号 ICP备案号：京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有

  • 客服微信

  • 服务号