基于Hadoop的三队列作业调度算法

朱洁; 赵红; 李雯睿

首页> 中文期刊> 《计算机应用》 >基于Hadoop的三队列作业调度算法

基于Hadoop的三队列作业调度算法

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

Hadoop集群单队列作业调度会产生短作业等待、资源利用率低的问题;采用多队列调度可兼顾公平、提高执行效率,但会带来手工配置参数、资源互占、算法复杂等问题.针对上述问题,提出三队列作业调度算法,利用区分作业类型、动态调整作业优先级、配置共享资源池、作业抢占等设计,达到平衡作业需求、简化一般作业调度流程、提升并行执行能力的目的.对短作业占比高,各作业占比均衡以及一般作业为主,偶尔出现长、短作业三种情况与先进先出(FIFO)算法进行了对比实验,结果三队列算法的运行时间均比FIFO算法要少.实验结果表明,在短作业聚集时,三队列算法的执行效率提升并不显著;但当各种作业并存且分布均衡时,效果很明显,这符合了算法设计时短作业优先、一般作业简化流程、兼顾长作业的初衷,提高了作业整体执行效率.

著录项

来源
《计算机应用》 |2014年第11期|3227-32303240|共5页
作者
朱洁; 赵红; 李雯睿;
展开▼
作者单位

南京晓庄学院数学与信息技术学院;

南京211171;

南京晓庄学院数学与信息技术学院;

南京211171;

南京晓庄学院数学与信息技术学院;

南京211171;

展开▼
原文格式 PDF
正文语种 chi
中图分类算法理论;
关键词
Hadoop; 作业调度; 三队列; 共享资源池; 作业抢占;

相似文献

中文文献
外文文献
专利

1. 基于Hadoop平台的三队列作业调度算法 [J] . 宁菲菲 ,郑均辉 . 微型电脑应用 . 2015,第008期
2. 一种Hadoop中基于改进遗传算法的作业调度算法 [J] . 徐肖 ,胡吉明 . 计算机技术与发展 . 2013,第003期
3. 基于遗传算法的Hadoop作业调度模型性能评价 [J] . 郑羽 ,胡积宝 . 池州学院学报 . 2021,第003期
4. Hadoop云平台下基于资源感知的作业调度算法研究 [J] . 肖坚 . 经济技术协作信息 . 2020,第24期
5. 基于节点性能的Hadoop作业调度算法改进 [J] . 冯兴杰 ,贺阳 . 计算机应用与软件 . 2017,第005期
6. 基于petri网的队列算法的改进及其在linux进程队列中的应用 [C] . 陈黎静 ,刘关俊 . 第16届全国计算机新科技与教育研讨会 . 2005
7. 基于人工鱼群算法的Hadoop作业调度算法的改进 [A] . 孟妍妍 . 2015

基于Hadoop的三队列作业调度算法

摘要

著录项

相似文献

相关主题

期刊订阅