• 主题
高级搜索  >
历史搜索 清空历史
首页> 外文期刊>Parallel and Distributed Systems, IEEE Transactions on >MrPhi: An Optimized MapReduce Framework on Intel Xeon Phi Coprocessors
【24h】

MrPhi: An Optimized MapReduce Framework on Intel Xeon Phi Coprocessors

机译：MrPhi：英特尔至强融核协处理器上的优化MapReduce框架

获取原文
获取原文并翻译 | 示例
           
页面导航
  • 摘要
  • 著录项
  • 相似文献
  • 相关主题

摘要

In this work, we develop , an optimized MapReduce framework on a heterogeneous computing platform, particularly equipped with multiple Intel Xeon Phi coprocessors. To the best of our knowledge, this is the first work to optimize the MapReduce framework on the Xeon Phi. We first focus on employing advanced features of the Xeon Phi to achieve high performance on a single coprocessor. We propose a vectorization friendly technique and SIMD hash computation algorithms to utilize the SIMD vectors. Then we pipeline the map and reduce phases to improve the resource utilization. Furthermore, we eliminate multiple local arrays but use low cost atomic operations on the global array to improve the thread scalability. For a given application, our framework is able to automatically detect suitable techniques to apply. Moreover, we extend our framework to a heterogeneous platform to utilize all hardware resource effectively. We adopt non-blocking data transfer to hide the communication overhead. We also adopt aligned memory transfer in order to fully utilize the PCIe bandwidth between the host and coprocessor. We conduct comprehensive experiments to benchmark the Xeon Phi and compare our optimized MapReduce framework with a state-of-the-art multi-core based MapReduce framework (Phoenix++). By evaluating six real-world applications, the experimental results show that our optimized framework is 1.2 to 38 faster than Phoenix++ for various applications on a single Xeon Phi. Additionally, the performance of four applications is able to achieve linear scalability on a platform equipped with up to four Xeon Phi coprocessors.
机译：在这项工作中，我们在异构计算平台上开发了一个优化的MapReduce框架，该框架特别配备了多个Intel Xeon Phi协处理器。据我们所知，这是在Xeon Phi上优化MapReduce框架的第一项工作。我们首先专注于利用至强融核的高级功能在单个协处理器上实现高性能。我们提出了一种矢量化友好技术和SIMD哈希计算算法来利用SIMD向量。然后，我们对地图进行管线处理并减少阶段以提高资源利用率。此外，我们消除了多个局部数组，但对全局数组使用低成本的原子操作来提高线程可伸缩性。对于给定的应用程序，我们的框架能够自动检测适用的技术。此外，我们将框架扩展到异构平台，以有效利用所有硬件资源。我们采用无阻塞数据传输来隐藏通信开销。我们还采用对齐的内存传输，以充分利用主机和协处理器之间的PCIe带宽。我们进行了全面的实验，以对至强融核进行基准测试，并将经过优化的MapReduce框架与基于最新的多核MapReduce框架（Phoenix ++）进行比较。通过评估六个实际应用程序，实验结果表明，针对单个Xeon Phi上的各种应用程序，我们的优化框架比Phoenix ++快1.2到38。此外，在配备多达四个Xeon Phi协处理器的平台上，四个应用程序的性能能够实现线性可扩展性。

著录项

相似文献

  • 外文文献
  • 中文文献
  • 专利
获取原文

客服邮箱：kefu@zhangqiaokeyan.com

京公网安备：11010802029741号 ICP备案号：京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有

  • 客服微信

  • 服务号