面向Flink的负载均衡任务调度算法的研究与实现

李文佳; 史岚; 季航旭; 罗意彭

首页> 中文期刊> 《计算机工程与科学》 >面向Flink的负载均衡任务调度算法的研究与实现

面向Flink的负载均衡任务调度算法的研究与实现

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

Apache Flink是现在主流的大数据分布式计算引擎之一,其中任务调度问题是分布式计算系统中的关键问题。由于集群的异构性以及不同算子复杂度不同,大数据计算系统Flink中不可避免地会出现负载不均的情况,针对这种问题,提出了基于资源反馈的负载均衡任务调度算法RFTS。通过实时资源监控、区域划分和基于人工萤火虫优化的任务调度算法3个模块,把负载过重的机器中处于等待状态的任务分配给负载较轻的机器,来实现集群的负载均衡,提高系统集群利用率和执行效率。最后通过基于TPC-C和TPC-H数据集的实验结果表明,RFTS算法从执行时间和吞吐量2个方面有效提升了Apache Flink计算系统的性能。

著录项

来源
《计算机工程与科学》 |2022年第7期|1141-1151|共11页
作者
李文佳; 史岚; 季航旭; 罗意彭;
展开▼
作者单位

东北大学计算机科学与工程学院;

辽宁工业大学软件学院;

展开▼
原文格式 PDF
正文语种 chi
中图分类信息处理（信息加工）;
关键词
Apache Flink; 基于资源反馈的负载均衡任务调度算法; 实时资源监控; 区域划分; 人工萤火虫优化算法;

相似文献

中文文献
外文文献
专利

1. 实时多核系统面向负载均衡的任务分区调度算法 [J] . 方兴 . 舰船电子工程 . 2017,第001期
2. 异构Flink集群中负载均衡算法研究与实现 [J] . 汪志峰 ,赵宇海 ,王国仁 . 南京大学学报：自然科学版 . 2021,第1期
3. 面向云环境的Flink负载均衡策略 [J] . 徐浩桐 ,黄山 ,孙国璋 . 计算机工程与科学 . 2022,第5期
4. 面向容器环境的Flink的任务调度优化研究 [J] . 黄山 ,房六一 ,徐浩桐 . 计算机工程与科学 . 2021,第007期
5. 基于改进蚁群算法的遥感信息处理负载均衡任务调度算法研究 [J] . 赵斐 ,陈昊 ,白建东 . 计算机测量与控制 . 2021,第011期
6. 面向应急任务的卫星数传调度算法研究 [C] . 孙鹏博 ,何川东 ,王鹏 . 第十五届全国遥感遥测遥控学术研讨会 . -1
7. 面向电信数据的分布式节点任务调度及负载均衡设计与实现 [A] . 丁林 . 2011

面向Flink的负载均衡任务调度算法的研究与实现

摘要

著录项

相似文献

相关主题

期刊订阅