基于代价模型的多平台分析任务流调度优化

徐超一; 刘晓清; 顾淼; 王巍

首页> 中文期刊> 《智能计算机与应用》 >基于代价模型的多平台分析任务流调度优化

基于代价模型的多平台分析任务流调度优化

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

分析任务流的调度是人们关注的热点问题之一。在无法提前得知各子任务资源和时间开销以及算子间传输开销的情况下,现有研究缺少较好的调度方法,也无法很好地处理多平台环境下的任务调度。为此,本文提出了一种基于启发式规则优化的拓扑调度算法。该算法通过对同平台任务和后继任务优先选择的规则,对任务流调度顺序进行优化;其次,结合Spark平台下数据分析任务常见的SQL算子和机器学习算子的代价模型,有效对任务的开销做出估计。实验表明,调度优化算法能有效节约时间开销和内存开销,代价模型的估计也较为准确。

著录项

来源
《智能计算机与应用》 |2021年第9期|6-11|共6页
作者
徐超一; 刘晓清; 顾淼; 王巍;
展开▼
作者单位

复旦大学计算机科学技术学院;

上海200441;

新浪;

北京100193;

展开▼
原文格式 PDF
正文语种 chi
中图分类程序设计、软件工程;
关键词
任务流调度; 有向无环图; 拓扑排序; 代价模型; 启发式;

相似文献

中文文献
外文文献
专利

1. 一种改进的基于层次结构的网格任务调度优化模型研究与设计 [J] . 刘锋 ,郭维威 ,张妍 . 曲阜师范大学学报（自然科学版） . 2017,第004期
2. 基于logistic回归模型的Hadoop本地任务调度优化算法 [J] . 帅仁俊 ,沈阳 ,陈平 . 计算机应用研究 . 2017,第003期
3. 网格协同设计环境下基于资源负载均衡策略的任务调度优化模型及其算法 [J] . 陈涛 . 暨南大学学报（自然科学与医学版） . 2009,第001期
4. 基于动态负载均衡策略的网格任务调度优化模型和算法 [J] . 钟绍波 . 计算机应用 . 2008,第011期
5. 基于容流匹配的进离场航班调度优化模型和算法 [J] . 王莉莉 ,胡畔 . 南京航空航天大学学报 . 2015,第006期
6. “双一流”建设任务的核心:解决教学与科研的痛点——基于C9高校一流大学建设方案的文本分析 [C] . Qi Lu ,陆琦 ,Longhai Xiao . 2018高等教育国际论坛年会博士生论坛 . 2018
7. 云工作流系统中基于粒子群算法的任务调度优化研究 [A] . 徐佳 . 2017

基于代价模型的多平台分析任务流调度优化

摘要

著录项

相似文献

相关主题

期刊订阅