首页> 中文会议>2017年全国高性能计算学术年会 >一种以元组为中心的Storm性能分析框架

一种以元组为中心的Storm性能分析框架

摘要

为了应对日益增长的大数据实时处理的需求,以Storm为代表的流计算引擎被广泛应用,其执行效率也成为普遍关注的问题.Storm的执行效率受到硬件资源,配置参数等各方面的影响,而Storm的原有系统只能提供粗粒度的性能统计信息,无法准确的定位应用的性能瓶颈.因此,本文提出并实现了一个面向Storm的以元组为中心的性能分析框架,支持细粒度的性能信息收集,并以此为基础提出了一种流应用瓶颈识别算法,能够准确的识别出流应用的性能瓶颈.进一步的,本文的方法可以用来协助量化地选择最优参数配置,从而消除应用的性能瓶颈.使用三个标准程序在32个不同配置下的实验结果表明,本文提出的瓶颈识别算法可以以100%的精度识别出所有的性能瓶颈,并可以协助将应用的性能提升0.7倍.

著录项

相似文献

  • 中文文献
  • 外文文献
  • 专利
获取原文

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号