• 主题
高级搜索  >
历史搜索 清空历史
首页> 中文会议>2016年全国高性能计算学术年会 >Linux内核参数对Spark负载性能影响的研究

Linux内核参数对Spark负载性能影响的研究

页面导航
  • 摘要
  • 著录项
  • 相似文献
  • 相关主题

摘要

阐述关于Spark性能的研究目前正在成为热点,但调优策略多位于应用层、而不是系统层.操作系统作为硬件之上的第一层软件,对硬件性能发挥起着根本作用.Linux内核提供了丰富的参数作为优化性能的接口,但实际中,这些参数的作用并没有得到充分发挥.人们更多是采用系统默认值、而不是根据具体环境进行调整.然而本文实验发现,系统默认值并不一定是最好的选择,有时甚至是最坏的.本文定义了"影响比"这一概念,并基于此概念提出了一种通过分析内核函数的执行情况来认识参数对Spark应用影响的方法.针对Spark内存计算的特点,本文从Huge Page、NUMA这两个与使用内存紧密相关的方面分析了相关内核参数对几种典型Spark负载的性能影响,并由此得出一些结论.系统默认的参数值不一定是最好的，比如NUMA自动平衡，本文实验所用内核默认是开启的，但是关闭之后系统性能反而提高了。“开/关THP”,“更改页大小”和“开/关NUMA”主要是通过少数几个内核函数来影响负载的，而“开/关NUMA自动平衡”除了少数几个内核函数起主要作用，很多其他操作都贡献着不可忽略的影响。“开/关THP”和“开/关NUMA自动平衡”，通过缺页相关的操作影响负载;“更改大页大小”和“开/关NIJMA”通过调度相关的操作影响负载。

著录项

相似文献

  • 中文文献
  • 外文文献
  • 专利
获取原文

客服邮箱：kefu@zhangqiaokeyan.com

京公网安备：11010802029741号 ICP备案号：京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有

  • 客服微信

  • 服务号