• 主题
高级搜索  >
历史搜索 清空历史
首页> 外文期刊>IEEE Transactions on Parallel and Distributed Systems >A Holistic Heterogeneity-Aware Data Placement Scheme for Hybrid Parallel I/O Systems
【24h】

A Holistic Heterogeneity-Aware Data Placement Scheme for Hybrid Parallel I/O Systems

机译：混合并行I / O系统的整体异质性数据放置方案

获取原文
获取原文并翻译 | 示例
           
页面导航
  • 摘要
  • 著录项
  • 相似文献
  • 相关主题

摘要

We present H2DP, a holistic heterogeneity-aware data placement scheme for hybrid parallel I/O systems, which consist of HDD servers and SSD servers. Most of the existing approaches focus on server performance or application I/O pattern heterogeneity in data placement. H2DP considers three axes of heterogeneity: server performance, server space, and application I/O pattern. More specifically, H2DP determines the optimized stripe sizes on servers based on server performance, keeps only critical data on all hybrid servers and the rest data on HDD servers, and dynamically migrates data among different types of servers at run-time. This holistic heterogeneity-awareness enables H2DP to achieve high performance by alleviating server load imbalance, efficiently utilizing SSD space, and accommodating application pattern variation. We have implemented a prototype of H2DP under MPICH2 atop OrangeFS. Extensive experimental results demonstrate that H2DP significantly improve I/O system performance compared to existing data placement schemes.
机译：我们提出了H2DP，这是一种用于混合并行I / O系统的整体异构感知数据放置方案，它由HDD服务器和SSD服务器组成。现有的大多数方法都侧重于数据放置中的服务器性能或应用程序I / O模式异构性。 H2DP考虑了异构的三个方面：服务器性能，服务器空间和应用程序I / O模式。更具体地说，H2DP根据服务器性能确定服务器上的最佳条带大小，在所有混合服务器上仅保留关键数据，在HDD服务器上保留其余数据，并在运行时在不同类型的服务器之间动态迁移数据。这种全面的异构意识使H2DP能够通过减轻服务器负载不平衡，有效利用SSD空间并适应应用程序模式变化来实现高性能。我们已经在OrangeFS之上的MPICH2下实现了H2DP的原型。大量的实验结果表明，与现有的数据放置方案相比，H2DP显着提高了I / O系统性能。

著录项

相似文献

  • 外文文献
  • 中文文献
  • 专利
获取原文

客服邮箱：kefu@zhangqiaokeyan.com

京公网安备：11010802029741号 ICP备案号：京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有

  • 客服微信

  • 服务号