• 主题
高级搜索  >
历史搜索 清空历史
首页> 中文期刊> 《计算机工程与科学》 >Linux内核参数对Spark负载性能影响的研究

Linux内核参数对Spark负载性能影响的研究

         
页面导航
  • 摘要
  • 著录项
  • 相似文献
  • 相关主题

摘要

关于Spark性能的研究目前正在成为热点,但调优策略多位于应用层,而不是系统层.操作系统作为硬件之上的第一层软件,对硬件性能发挥起着根本作用.Linux内核提供了丰富的参数作为优化性能的接口,但实际中,这些参数的作用并没有得到充分发挥.人们更多是采用系统默认值,而不是根据具体环境进行调整.然而本文实验发现,系统默认值并不一定是最好的选择,有时甚至是最坏的.定义了“影响比”这一概念,并基于此概念提出了一种通过分析内核函数的执行情况来认识参数对Spark应用影响的方法.针对Spark内存计算的特点,从大页、NUMA这两个与使用内存紧密相关的方面分析了相关内核参数对几种典型Spark负载的性能影响,并由此得出一些结论.希望本文的分析和结论可以为Spark平台合理设置内核参数提供一些参考.%Research on the performance of Spark becomes a hot topic,however,optimization strategies are mostly used on the application level instead of system level.As the first software above hardware,the operating system plays a fundamental role in the performance of hardware.The Linux kernel provides abundant parameters as the interface to optimize the performance of the system.However,in practice,kernel parameters have not fully played their roles.Most people use their default values rather than change them to fit the specific environment.However,our experiments prove that the default values are not always the best choice,and sometimes it is even the worst.We define the concept of "influence ratio",and put forward a method based on the concept to understand the influence of parameters on Spark applications by analyzing the kernel functions.According to the features of the memory computing of Spark,we analyze the influence of Linux kernel parameters on several typical Spark workloads from the aspects of Transparent Huge Page and NUMA,which closely relates to the use of memory,and then give some conclusions.We hope that the analysis and conclusions can provide some experience of tuning kernel parameters reasonably for the Spark platform.

著录项

  • 来源
    《计算机工程与科学》 |2017年第7期|1219-1226|共8页
  • 作者

    王利; 王晶; 张伟功; 邱柯妮; 陆克中;

  • 作者单位

    首都师范大学北京成像技术高精尖创新中心;

    北京100048;

    首都师范大学信息工程学院;

    北京100048;

    首都师范大学北京成像技术高精尖创新中心;

    北京100048;

    首都师范大学信息工程学院;

    北京100048;

    首都师范大学信息工程学院;

    北京100048;

    首都师范大学高可靠嵌入式系统技术北京市工程研究中心;

    北京100048;

    首都师范大学信息工程学院;

    北京100048;

    首都师范大学高可靠嵌入式系统技术北京市工程研究中心;

    北京100048;

    深圳大学计算机与软件学院;

    广东深圳518060;

  • 原文格式 PDF
  • 正文语种 chi
  • 中图分类 信息处理（信息加工）;
  • 关键词

    大数据; Spark; Linux; 大页; NUMA;

相似文献

  • 中文文献
  • 外文文献
  • 专利
获取原文

客服邮箱：kefu@zhangqiaokeyan.com

京公网安备：11010802029741号 ICP备案号：京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有

  • 客服微信

  • 服务号