首页> 中文会议>2016年全国高性能计算学术年会 >基于事件驱动的MapReduce类流量产生方法与网络评测

基于事件驱动的MapReduce类流量产生方法与网络评测

摘要

使用分布式系统处理"高通量"数据,需要考虑数据处理总量规模与网络建设成本关系。针对分布式系统的数据处理特征,对数据中心网络进行设计,而目前存在两种设计方法:面向特定应用定制专用网络,在通用网络拓扑基础上进行专项优化调整。大规模网络结构设计是构建数据中心和高性能计算集群的核心技术之一,底层网络设计者需要结合顶层应用通信流量特征,进行网络结构选型与优化.不当的应用通信模型会引起网络结构设计与实际需求的背离,进而导致系统通信和整体性能的下降.传统基于"黑盒"数据分析的流量建模方法存在业务建模粒度粗和应用数据规模扩展性差等缺陷.本研究引入模拟业务内部逻辑的"白盒"思想,对当前大数据应用的主流计算模式MapReduce进行精细流量建模.与真实应用流量的对比评测显示,该方法能够准确体现MapReduce计算业务所产生网络流量的特征.基于正确的流量模型,本文对四种主流数据中心网络进行了性能模拟分析.结果表明;相较负载随机均匀分布流量,同一种网络在负载MapReduce特性流量时性能将下降超过30%,因此特性流量能更加明显地展现网络拥塞与瓶颈问题.仿真实验所得到的有关网络性能瓶颈、拓扑可扩展性以及网络性价比的结论,为大规模数据中心网络选型和性能优化提供了新的依据.

著录项

相似文献

  • 中文文献
  • 外文文献
  • 专利
获取原文

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号