• 主题
高级搜索  >
历史搜索 清空历史
首页> 美国卫生研究院文献>Molecules >An Interface for Biomedical Big Data Processing on the Tianhe-2 Supercomputer
【2h】

An Interface for Biomedical Big Data Processing on the Tianhe-2 Supercomputer

机译：天河2号超级计算机上的生物医学大数据处理接口

代理获取
本网站仅为用户提供外文OA文献查询和代理获取服务，本网站没有原文。下单后我们将采用程序或人工为您竭诚获取高质量的原文，但由于OA文献来源多样且变更频繁，仍可能出现获取不到、文献不完整或与标题不符等情况，如果获取不到我们将提供退款服务。请知悉。
页面导航
  • 摘要
  • 著录项
  • 相似文献
  • 相关主题

摘要

Big data, cloud computing, and high-performance computing (HPC) are at the verge of convergence. Cloud computing is already playing an active part in big data processing with the help of big data frameworks like Hadoop and Spark. The recent upsurge of high-performance computing in China provides extra possibilities and capacity to address the challenges associated with big data. In this paper, we propose Orion—a big data interface on the Tianhe-2 supercomputer—to enable big data applications to run on Tianhe-2 via a single command or a shell script. Orion supports multiple users, and each user can launch multiple tasks. It minimizes the effort needed to initiate big data applications on the Tianhe-2 supercomputer via automated configuration. Orion follows the “allocate-when-needed” paradigm, and it avoids the idle occupation of computational resources. We tested the utility and performance of Orion using a big genomic dataset and achieved a satisfactory performance on Tianhe-2 with very few modifications to existing applications that were implemented in Hadoop/Spark. In summary, Orion provides a practical and economical interface for big data processing on Tianhe-2.
机译：大数据，云计算和高性能计算（HPC）处于融合的边缘。借助Hadoop和Spark等大数据框架，云计算已经在大数据处理中发挥了积极作用。最近中国高性能计算的热潮为应对与大数据相关的挑战提供了更多的可能性和能力。在本文中，我们提出了Orion（天河2超级计算机上的大数据接口），以使大数据应用程序可以通过单个命令或Shell脚本在Tianhe-2上运行。 Orion支持多个用户，每个用户可以启动多个任务。通过自动配置，它最小化了在天河2号超级计算机上启动大数据应用程序所需的工作。 Orion遵循“需要时分配”范式，并且避免了计算资源的闲置占用。我们使用大型基因组数据集测试了Orion的效用和性能，并在Tianhe-2上实现了令人满意的性能，而对Hadoop / Spark中实现的现有应用程序进行了很少的修改。总而言之，Orion为天河2号上的大数据处理提供了一种实用且经济的接口。

著录项

相似文献

  • 外文文献
  • 中文文献
  • 专利
代理获取

客服邮箱：kefu@zhangqiaokeyan.com

京公网安备：11010802029741号 ICP备案号：京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有

  • 客服微信

  • 服务号