首页> 中文学位 >考虑虚拟机间性能互扰的MapReduce作业调度方法研究与实现
【6h】

考虑虚拟机间性能互扰的MapReduce作业调度方法研究与实现

代理获取

目录

声明

摘要

第1章 绪论

1.1 研究背景及意义

1.2 国内外研究现状

1.3 论文主要内容

1.4 论文章节组织结构

1.5 本章小结

第2章 研究基础

2.1 云计算概述

2.1.1 云计算特点

2.1.2 虚拟机性能互扰

2.2 神经网络简介

2.2.1 神经网络学习方式

2.2.2 BP神经网络

2.3 Hadoop的系统架构简介

2.3.1 HDFS简介

2.3.2 MapReduce模型概述

2.3.3 MapReduce调度算法概述

2.4 贪心算法

2.5 本章小结

第3章 考虑虚拟机间性能互扰的MapReduce作业调度方法

3.1 研究动机以及问题分析

3.1.1 MapReduce作业调度中所面临的问题

3.1.2 问题求解的基本思路

3.2 考虑虚拟机间性能互扰的MapReduce作业调度方法

3.3 考虑虚拟机间性能互扰度量的MapReduce作业调度方法中的关键问题

3.4 本章小结

第4章 基于BP神经网络的虚拟机间性能互扰度量方法

4.1 影响虚拟机间性能互扰度的因素

4.2 虚拟机间性能互扰度度量及预测的框架

4.3 基于BP神经网络的虚拟机间性能互扰模型构建

4.3.1 基于BP神经网络的虚拟机间性能互扰模型的建立

4.3.2 基于BP神经网络的性能互扰模型的训练和验证

4.4 基于相似度计算的性能互扰的模型生成

4.4.1 相似度模型

4.4.2 基本思想

4.4.3 算法描述

4.5 本章小结

第5章 考虑虚拟机间性能互扰的MapReduce作业调度机制

5.1 问题描述及解决思路

5.1.1 问题描述

5.1.2 问题的解决思路

5.1.3 考虑虚拟机间性能互扰的MapReduce作业调度机制

5.2 基于任务剩余执行时间的MapReduce作业调度间隔计算算法

5.2.1 MapReduce作业调度心跳机制

5.2.2 基于任务执行进度的任务剩余执行时间估计

5.2.3 基于任务剩余执行时间的MapReduce作业调度间隔计算算法

5.3 MapReduce作业全局优化调度算法

5.3.1 算法的基本思想

5.3.2 算法执行流程描述

5.3.3 算法描述

5.4 本章小结

第6章 实验方案与实验结果对比

6.1 实验环境

6.2 虚拟机间性能互扰模型实验验证

6.3 考虑性能互扰的MapReduce作业全局最优化调度算法的实验结果分析

6.4 本章小结

第7章 总结与展望

7.1 论文工作总结

7.2 下一步研究工作展望

参考文献

致谢

展开▼

摘要

随着互联网技术的迅猛发展,每天由网络产生的数据量越来越庞大。目前,大多数企业通过分布式计算系统来处理这种复杂而庞大的任务,以提高处理效率。MapReduce作为云计算中应用广泛的一个分布式计算框架,已经被广泛应用于各种门和组织的分布式计算系统中。同时,对MapReduce框架的性能优化也已经成为目前研究的一个热点,提出了很多MapReduce作业调度方法。
  目前大多数MapReduce作业调度方法大都假设作业在执行过程中的性能是完全隔离的,一个作业的执行将不影响其他作业的性能。然而,在实际应用环境中,由于虚拟化技术在云计算环境中的普遍使用,虚拟机间的性能互扰将导致部署在其上的应用间难以实现绝对的性能隔离。虚拟环境中MapReduce作业在执行过程中将难以保证所部署的MapReduce应用的性能。因此,针对该问题本文提出一种考虑虚拟机间性能互扰的MapReduce作业调度方法。该方法中,首先针对部署在虚拟环境的任务间存在的性能互扰度量问题,本文建立了一个虚拟机间性能互扰度量框架,在该框架中,建立了虚拟机性能互扰度模型。同时,对于有历史互扰经验数据的虚拟机,提出了一种基于BP神经网络的互扰度模型训练算法,对于无历史互扰经验数据的虚拟机,提出了一种基于相似度计算的互扰度模型生成算法。在此基础上,提出了一个MapReduce作业调度机制。该机制通过基于任务执行进度的任务剩余执行时间估计算法和基于任务剩余执行时间的MapReduce作业调度间隔计算算法,获得在下一时间间隔可用分配的资源和可调度的作业,并建立以最小化全局性能互扰度为目标的数学模型,提出了一种求解该问题的贪心算法,从而能够降低任务间的性能互扰,保证任务调度的有效性。
  本文在以上研究基础上,搭建了一个分布式的Hadoop集群实验环境,通过对比实验,对实验结果进行了分析,验证了本文所提出的考虑性能互扰的MapReduce作业调度方法的有效性。

著录项

相似文献

  • 中文文献
  • 外文文献
  • 专利
代理获取

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号