• 主题
高级搜索  >
历史搜索 清空历史
首页> 中文期刊> 《计算机应用》 >基于微操作的Hadoop参数自动调优方法

基于微操作的Hadoop参数自动调优方法

         
页面导航
  • 摘要
  • 著录项
  • 相似文献
  • 相关主题

摘要

Hadoop作为大规模分布式数据处理框架已经在工业界得到广泛的应用,针对手动和经验调优方法中参数空间庞大和运行流程复杂的问题,提出了一种Hadoop参数自动优化的方法和分析框架.首先,对作业运行流程进行解耦,从可变参数直接影响的更细粒度的角度定义微操作,从而分析参数和单次微操作执行时间的关系;然后,利用微操作对作业运行流程进行重构,建立参数和作业运行时间关系的模型;最后,在此模型上应用各类搜索优化算法高效快速得出优化后的系统参数.在terasort和wordcount两个作业类型上进行了实验,实验结果表明,相对于默认参数情况,该方法使作业执行时间分别缩短了至少41％和30％.该方法能够有效提高Hadoop作业执行效率,缩短作业执行时间.

著录项

  • 来源
    《计算机应用》 |2019年第6期|1589-1594|共6页
  • 作者

    李耘书; 滕飞; 李天瑞;

  • 作者单位

    西南交通大学信息科学与技术学院;

    成都611756;

    西南交通大学信息科学与技术学院;

    成都611756;

    四川省云计算与智能技术高校重点实验室(西南交通大学);

    成都611756;

    西南交通大学信息科学与技术学院;

    成都611756;

    四川省云计算与智能技术高校重点实验室(西南交通大学);

    成都611756;

  • 原文格式 PDF
  • 正文语种 chi
  • 中图分类 TP311.13;
  • 关键词

    Hadoop; 参数调优; 微操作; 重构; 搜索算法;

相似文献

  • 中文文献
  • 外文文献
  • 专利
获取原文

客服邮箱：kefu@zhangqiaokeyan.com

京公网安备：11010802029741号 ICP备案号：京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有

  • 客服微信

  • 服务号