地理分布式云中面向数据流应用的数据放置和容错调度研究

声明

第1章 绪论

1.1 课题研究背景及意义

1.1.1 地理分布式云概述

1.1.2 数据流应用及Spark框架的特点

1.1.3 地理分布式云环境下数据放置面临问题

1.1.4 Spark平台中的容错调度面临问题

1.2 国内外研究现状分析

1.2.1 地理分布式云中数据放置研究现状

1.2.2 Spark平台中容错调度研究现状

1.3 本文研究内容

1.4 本文组织结构

1.5 本章小结

第2章 地理分布式云中基于拉格朗日松弛的数据放置算法

2.1 地理分布式云中数据放置问题分析

2.2 基于拉格朗日松弛的数据放置方法

2.2.1 地理分布式云中的数据放置问题建模

2.2.2 基于拉格朗日松弛的数据放置问题求解

2.3 地理分布式云中基于拉格朗日松弛的数据放置算法描述

2.3.1 基于拉格朗日松弛的数据放置算法

2.3.2 算法复杂度分析

2.4 本章小结

第3章 地理分布式云中基于Spark的容错调度算法

3.1 Spark集群中容错调度问题分析

3.2数据流应用相关定义

3.2.1数据流应用模型

3.2.2 Spark平台中面向数据流应用的任务副本创建模块结构

3.3 Spark集群中推测执行模型

3.3.1 Spark集群的负载阈值设计

3.3.2 基于任务克隆的推测执行模型

3.3.3 基于异常检测的推测执行模型

3.4 Spark集群中基于推测执行的容错调度算法描述

3.4.1 基于推测执行的容错调度算法

3.4.2 算法复杂度分析

3.5 本章小结

第4章 实验与结果分析

4.1 实验平台介绍及环境搭建

4.1.1 实验平台介绍

4.1.2 实验环境搭建

4.2 实验基准测试数据

（1）基于拉格朗日松弛的数据放置算法

（2）基于推测执行的容错调度算法

4.3 基于拉格朗日松弛的数据放置算法实验验证

4.3.1实验设计

4.3.2 性能指标

4.3.3基于拉格朗日松弛的数据放置算法实验验证

4.3.4实验结论

4.4 基于推测执行的容错调度算法实验验证

4.4.1实验设计

4.4.2 性能指标

4.4.3负载阈值计算中的?值确定

4.4.4 基于推测执行的容错调度算法实验验证

4.4.5实验结论

4.5 本章小结

第5章 总结与展望

5.1 主要工作总结

5.2 研究展望

致谢

参考文献

攻读学位期间获得与学位论文相关的科研成果目录