异构环境下自适应reduce任务调度算法的研究

付彦卓; 张树东; 李辉

首页> 中文期刊> 《计算机应用研究》 >异构环境下自适应reduce任务调度算法的研究

异构环境下自适应reduce任务调度算法的研究

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

异构环境下的Hadoop平台对reduce任务的调度存在随机性,在分配任务时既没有考虑数据本地性,也没有考虑计算节点对当前任务的计算能力.针对以上问题,提出一种异构环境下自适应reduce任务调度算法(SARS).算法根据reduce任务的输入数据分布选择所含数据量最大的机架,在选择计算节点的过程中,结合节点所含任务的数据量、节点的计算能力和当前节点的忙碌状态来选出任务的执行节点.实验结果表明,SARS算法减少了reduce任务执行时的网络开销,同时也减少了reduce任务的执行时间.

著录项

来源
《计算机应用研究》 |2018年第7期|1989-19912000|共4页
作者
付彦卓; 张树东; 李辉;
展开▼
作者单位

首都师范大学信息工程学院;

北京100048;

首都师范大学信息工程学院;

北京100048;

首都师范大学信息工程学院;

北京100048;

展开▼
原文格式 PDF
正文语种 chi
中图分类理论、方法;
关键词
Hadoop; reduce; 异构环境; 数据本地性; 计算能力;

相似文献

中文文献
外文文献
专利

1. 异构环境下平滑加权轮询Reduce任务调度算法研究 [J] . 黄伟建 ,贾孟玉 ,黄亮 . 现代电子技术 . 2020,第023期
2. 异构环境下自适应的Map-Reduce调度 [J] . 陈全 ,邓倩妮 . 计算机工程与科学 . 2009,第0z1期
3. 嵌入式异构环境下任务调度算法的研究 [J] . 王可可 ,严义 . 计算机仿真 . 2009,第010期
4. 异构环境下独立任务调度算法的研究 [J] . 周洋 ,蒋昌俊 ,方钰 . 计算机科学 . 2008,第008期
5. 异构环境下MapRuduce任务调度算法优化 [J] . 魏巍 ,刘钊远 . 微型电脑应用 . 2015,第006期
6. 异构环境下自适应的Map-Reduce调度 [C] . 陈全 ,邓倩妮 . 2009年全国高性能计算学术年会 . 2009
7. 非贡献网格环境下自适应任务调度算法研究 [A] . 侯勇 . 2007

异构环境下自适应reduce任务调度算法的研究

摘要

著录项

相似文献

相关主题

期刊订阅