首页> 中文会议>2018年全国高性能计算学术年会 >基于微操作的Hadoop参数自动调优方法

基于微操作的Hadoop参数自动调优方法

页面导航

摘要
著录项
相似文献
相关主题

摘要

Hadoop作为大规模分布式数据处理框架已经在工业界得到广泛的应用,优化Hadoop的性能一直是研究重点.面对Hadoop复杂的运行流程和庞大的参数空间,手动调优或基于经验调优充满了挑战,本论文基于Hadoop参数自动优化问题,提出一种优化问题的描述方法和分析框架,通过定义微操作解耦MapReduce运行过程,再利用微操作对其进行重构,建立参数和作业执行时间关系的模型.在此模型的基础上,可以应用各类搜索优化算法高效快速地搜索得出优化参数.通过实验发现,该方法高效准确,可移植性强,可以很好地完成参数自动优化,大幅提高作业执行效率,本论文的方法对terasort和wordcount两种类型作业的执行时间分别提高了至少41％和30％.

著录项

来源
《2018年全国高性能计算学术年会》|2018年|453-460|共8页
会议地点青岛
作者
Yunshu Li; 李耘书; Fei Teng; 滕飞; Tianrui Li; 李天瑞;
展开▼
作者单位

中国计算机学会;

展开▼
会议组织
正文语种
原文格式 PDF
中图分类 TP311.13;
关键词
Hadoop平台; 参数调优; 微操作; 搜索算法;

相似文献

中文文献
外文文献
专利

1. 基于微操作的Hadoop参数自动调优方法 [J] . 李耘书 ,滕飞 ,李天瑞 . 计算机应用 . 2019,第006期
2. 基于资源签名与遗传算法的Hadoop参数自动调优系统 [J] . 马跃 ,余骋远 ,于碧辉 . 计算机应用研究 . 2017,第011期
3. Hadoop集群参数的自动调优 [J] . 王皎 ,刘闫锋 . 电脑知识与技术 . 2012,第012期
4. 面向自动参数调优的动态负载匹配方法 [J] . 沈忱 ,邰凌翔 ,彭煜玮 . 计算机应用 . 2021,第003期
5. 基于量子遗传的超参数自动调优算法的设计与实现 [J] . 吴浩楠 ,高宏 . 智能计算机与应用 . 2021,第001期
6. 广域电力系统稳定器参数的两阶段协调优化方法 [C] . WANG Pengda ,王鹏达 ,CHEN Yujiao . 2018中国智能电网学术研讨会 . 2018
7. 基于性能预估的Hadoop参数自动调优系统 [A] . 曾林西 . 2013

基于微操作的Hadoop参数自动调优方法

摘要

著录项

相似文献

相关主题

期刊订阅