基于改进模拟退火算法的Hadoop云平台下新型调度器的研究和开发

声明

摘要

第一章 绪论

1．1 课题背景与意义

1．2 国内外研究现状

1．3 本文研究的目标与内容

1．4 论文组织结构安排

第二章 Hadoop云计算平台

2．1 Hadoop平台简介

2．1．1 Hadoop与MapReduce

2．1．2 Hbase数据管理

2．1．3 Hive数据管理

2．2 Hadoop下多种调度器介绍及分析

2．2．1 默认调度器FIFO Scheduler

2．2．2 公平调度器Fair Scheduler

2．2．3 计算能力调度器Capacity Scheduler

2．2．4 资源感知调度器Resource Aware Scheduler

2．2．5 自适应调度器Adaptive Scheduler

2．3 本章小结

第三章 Hadoop平台下新型调度器的设计与开发

3．1 关键技术

3．1．1 Hadoop调度框架

3．1．2 Hadoop调度器编写

3．2 新型调度器的设计思想

3．2．1 计算能力调度器原理及问题

3．2．2 模拟退火算法的原理

3．2．3 改进的调度策略

3．3 新型调度策略的伪代码

3．4 本章小结

第四章 基于新调度器的Hadoop平台实现

4．1 Hadoop平台下调度器的切换

4．2 调度器的功能模块划分

4．3 新型调度器各功能模块的实现

4．3．1 调度器类与监听器类的实现

4．3．2 新型调度器NewScheduler的配置

4．4 本章小结

第五章 基于新型调度器的云计算平台测试

5．1 测试目的

5．2 测试环境

5．3 测试内容

5．4 测试过程与结果

5．4．1 调度器切换

5．4．2 一般性大内存作业的调度情况对比

5．4．3 超高型大内存作业的调度情况对比

第六章 总结与展望

6．1 本文工作总结

6．2 未来工作的展望

参考文献

致谢

攻读学位期间发表的学术论文目录