• 主题
高级搜索  >
历史搜索 清空历史
首页> 外文期刊>ACM Computing Surveys >A Survey on Automatic Parameter Tuning for Big Data Processing Systems
【24h】

A Survey on Automatic Parameter Tuning for Big Data Processing Systems

机译：大数据处理系统自动参数调整调查

获取原文
获取原文并翻译 | 示例
           
页面导航
  • 摘要
  • 著录项
  • 相似文献
  • 相关主题

摘要

Big data processing systems (e.g., I Iadoop, Spark, Storm) contain a vast number of configuration parameters controlling parallelism, I/O behavior, memory settings, and compression. Improper parameter settings can cause significant performance degradation and stability issues. However, regular users and even expert administrators grapple with understanding and tuning them to achieve good performance. We investigate existing approaches on parameter tuning for both batch and stream data processing systems and classify them into six categories: rule-based, cost modeling, simulation-based, experiment-driven, machine learning, and adaptive tuning. We summarize the pros and cons of each approach and raise some open research problems for automatic parameter tuning.
机译：大数据处理系统（例如，I IADOOP，SPARK，STORM）包含广泛的配置参数控制并行性，I / O行为，内存设置和压缩。 不正确的参数设置可能会导致显着的性能下降和稳定性问题。 但是，常规用户甚至专家管理员努力了解并调整它们来实现良好的性能。 我们调查了批量和流数据处理系统的参数调整的现有方法，并将其分类为六个类别：规则基础，成本建模，仿真，实验驱动，机器学习和自适应调整。 我们总结了每种方法的优缺点，并提高自动参数调整的一些开放研究问题。

著录项

相似文献

  • 外文文献
  • 中文文献
  • 专利
获取原文

客服邮箱：kefu@zhangqiaokeyan.com

京公网安备：11010802029741号 ICP备案号：京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有

  • 客服微信

  • 服务号