• 主题
高级搜索  >
历史搜索 清空历史
首页> 外文期刊>Software, IET >Resource optimised workflow scheduling in Hadoop using stochastic hill climbing technique
【24h】

Resource optimised workflow scheduling in Hadoop using stochastic hill climbing technique

机译：使用随机爬坡技术在Hadoop中优化资源的工作流调度

获取原文
获取原文并翻译 | 示例
           
页面导航
  • 摘要
  • 著录项
  • 相似文献
  • 相关主题

摘要

Hadoop on datacentre is a popular analytical platform for enterprises. Cloud vendors host Hadoop clusters on the datacentre to provide high performance analytical computing facilities to its customers, who demand a parallel programming model to deal with huge data. Effective cost/time management and ingenious resource consumption among the concurrent users, must be the primary concern without which the key aspiration behind high performance cloud computing would suffer. Workflows portray such high performance applications in terms of individual jobs and dependencies between them. Workflows can be scheduled on virtual machines (VMs) in datacentre to make best possible use of resources. In the authors’ earlier work, a mechanism to pack and execute the customer jobs as workflows on Hadoop platform was proposed which minimises the VM cost and also executes the workflow jobs within deadline. In this work, the authors try to optimise certain other parameters such as load on cloud, response time for workflows, resource usage effectiveness by applying soft computing methods. Stochastic hill climbing (SCH) is a soft computing approach used to solve many optimisation problems. In this study, they have employed the SHC approach to schedule workflow jobs to VMs and thereby optimise the above mentioned multiple parameters in cloud datacentre.
机译：Hadoop on datacentre是企业常用的分析平台。云供应商将Hadoop集群托管在数据中心上，以为其客户提供高性能分析计算功能，这些客户需要并行编程模型来处理海量数据。在并发用户中进行有效的成本/时间管理和巧妙的资源消耗必须是首要考虑因素，否则，高性能云计算背后的关键愿望将受到损害。工作流程从单个作业及其之间的依赖性方面描述了此类高性能应用程序。可以在数据中心的虚拟机（VM）上调度工作流，以最大程度地利用资源。在作者的早期工作中，提出了一种在Hadoop平台上将客户作业打包并执行为工作流的机制，该机制可以最大程度地降低VM成本，并在截止日期之前执行工作流作业。在这项工作中，作者尝试通过应用软计算方法来优化某些其他参数，例如云上的负载，工作流的响应时间，资源使用效率。随机爬山（SCH）是一种软计算方法，用于解决许多优化问题。在这项研究中，他们采用了SHC方法将工作流作业调度到VM，从而优化了云数据中心中的上述多个参数。

著录项

相似文献

  • 外文文献
  • 中文文献
  • 专利
获取原文

客服邮箱：kefu@zhangqiaokeyan.com

京公网安备：11010802029741号 ICP备案号：京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有

  • 客服微信

  • 服务号