云环境下科学工作流执行过程中的动态优化

代理获取

页面导航

目录
摘要
著录项
相似文献
相关主题

摘要

基于大规模计算资源和大容量存储设备的科学实验，已成为科学探索、工程设计和验证的重要手段。科学工作流是一种新的应用泛型，可支持科学实验的自动编排、执行、监控以及追踪，分布协同和资源共享，提高科学实验过程的自动化。与普通的基于业务逻辑的工作流相比，科学工作流是兼具计算密集和数据密集特点。传统计算环境已经很难满足科学工作流对计算资源的要求。云环境因为其计算和存储资源可以无限扩展，可作为科学工作的理想执行环境。
　　对于一个实验机构，其科学工作流引擎需要支撑大量的科学工作流的执行，科学工作流执行引擎需要从云运营商租用计算和存储资源。因为科学工作流兼具计算密集和数据密集特点，数据分布并行任务需要在集群上执行。租用云的资源，需要支付一定的费用。由于科学工作流执行的动态性，因此需要知道集群的负载情况，根据负载情况对节点进行动态分配和回收，来实现资源的伸缩。另外集群内各节点资源使用状况各有差异，应根据各节点的资源情况为节点分配任务量，以提高集群负载的均衡性，到达提升工作流的执行效率，节约费用的目的。
　　集群负载的均衡调整可基于当前计算资源和工作流的执行状态，具有典型的马尔科夫链的特点，因此本文建立了马尔科夫预测模型，该模型的主要目的是对集群下一时刻负载状态进行预测，以便对集群资源进行动态伸缩。此外，一个集群可能同时处理着不同类型的任务，不同的任务类型对资源的需求量也是不同的，在此基础上提出了一种负载自适应任务调度策略。该策略根据当前时刻集群负载类型来选取相应的节点负载承受能力评估模型，使集群节点在统一的评估标准下，准确衡量出集群各执行节点负载承受能力，从而更合理地进行任务分配。
　　实验结果分析表明，本文提出的方案能够使集群在合适的负载基础上更加合理地为节点分配任务，使得集群到达负载均衡的状态，进一步提升集群资源的利用率和作业的执行效率，并减少了作业的执行费用。

著录项

作者
郏文博;
展开▼
作者单位

西北师范大学;

展开▼
授予单位西北师范大学;
学科计算机技术
授予学位硕士
导师姓名陈旺虎;
年度 2017
页码
总页数
原文格式 PDF
正文语种中文
中图分类 TP393.09;
关键词
科学工作流引擎; 云计算; 执行过程; 马尔科夫链; 动态优化; 任务调度;

相似文献

中文文献
外文文献
专利

1. 一种云环境下科学工作流执行计划的优化方法 [J] . 郭宏乐 ,陈旺虎 ,马生俊 . 计算机工程与科学 . 2019,第003期
2. 云环境下基于聚簇的科学工作流执行优化策略 [J] . 段菊 ,陈旺虎 ,王润平 . 计算机应用 . 2015,第006期
3. 云环境下优化科学工作流执行性能的两阶段数据放置与任务调度策略 [J] . 刘少伟 ,孔令梅 ,任开军 . 计算机学报 . 2011,第011期
4. 混合云环境下基于模糊理论的科学工作流数据布局策略 [J] . 刘漳辉 ,赵旭 ,林兵 . 计算机科学 . 2021,第011期
5. 云环境下科学工作流的调度算法 [J] . FENG Fu-Jian . 计算机系统应用 . 2019,第007期
6. 云环境下执行可靠性感知的并行任务调度方法 [C] . Cao Jie ,曹洁 ,Zeng Guosun . 2016年全国高性能计算学术年会 . 2016
7. 云环境下科学工作流的执行计划生成 [A] . 李金溶 . 2017

云环境下科学工作流执行过程中的动态优化

目录

摘要

著录项

相似文献

相关主题

期刊订阅