大数据处理框架中基于MDP的任务调度算法

冯延蓬; 仵博; 孟宪军; 何国坤; 江建举

首页> 中文期刊> 《深圳职业技术学院学报》 >大数据处理框架中基于MDP的任务调度算法

大数据处理框架中基于MDP的任务调度算法

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

针对大数据处理框架MapReduce中的任务调度问题,提出一种基于Markov决策过程(Markov Decision Process,MDP)的任务调度算法,通过状态集来描述集群中节点的负载和作业的数据本地性需求,使用状态转移函数表示调度策略对状态的影响,采用值迭代求解算法求取最优策略,实现集群中节点的最优调度.实验结果表明,该算法能够保证数据本地性的同时,减少作业响应时间,提高系统综合性能.

著录项

来源
《深圳职业技术学院学报》 |2014年第1期|7-10|共4页
作者
冯延蓬; 仵博; 孟宪军; 何国坤; 江建举;
展开▼
作者单位

深圳职业技术学院教育技术与信息中心,广东深圳518055;

深圳职业技术学院教育技术与信息中心,广东深圳518055;

深圳职业技术学院教育技术与信息中心,广东深圳518055;

深圳职业技术学院教育技术与信息中心,广东深圳518055;

深圳职业技术学院教育技术与信息中心,广东深圳518055;

展开▼
原文格式 PDF
正文语种 chi
中图分类安全保密;
关键词
大数据; MapReduce; Markov决策过程; 任务调度;

相似文献

中文文献
外文文献
专利

1. 基于动态认领的油田大数据处理任务调度算法研究 [J] . 魏学锋 . 信息技术与信息化 . 2020,第002期
2. 基于POMDP框架的集群无人机侦察任务可靠性建模 [J] . 白桦 ,孙旭朋 ,黄文铮 . 环境技术 . 2020,第005期
3. 异构无线传感器网络中基于POMDP的实时调度算法 [J] . 冯延蓬 ,仵博 ,郑红燕 . 仪表技术与传感器 . 2012,第008期
4. 云计算中基于任务分层和时间约束的关联任务调度算法 [J] . 陈曦 ,毛莺池 ,接青 . 计算机应用 . 2014,第011期
5. 基于FPOMDP的无线传感器网络动态调度算法 [J] . 冯延蓬 ,仵博 ,郑红燕 . 计算机应用与软件 . 2012,第008期
6. 并行多机系统中基于预调度的粗粒度计算任务动态调度算法(DTSA)的研究 [C] . 田新民 . 第三届全国青年计算机学术会议 . 1991
7. 分布式系统中处理机的任务调度算法研究——智能算法在网格任务调度中的研究 [A] . 张勇 . 2008

大数据处理框架中基于MDP的任务调度算法

摘要

著录项

相似文献

相关主题

期刊订阅