• 主题
高级搜索  >
历史搜索 清空历史
首页> 外文会议>IEEE Annual Computers, Software, and Applications Conference >A Dynamic Resource Allocation Framework for Apache Spark Applications
【24h】

A Dynamic Resource Allocation Framework for Apache Spark Applications

机译：适用于Apache Spark应用程序的动态资源分配框架

获取原文
页面导航
  • 摘要
  • 著录项
  • 相似文献
  • 相关主题

摘要

In this paper we design and implement a middleware service for dynamically allocating computing resources for Apache Spark applications on cloud platforms, and consider two different approaches to allocate resources. In the first approach, based on limited execution data of an application, we estimate the amount of resource adjustment (i.e., Delta) for each application separately a priori which is static during the execution of that particular application (i.e., Approach - I). In the second approach, we adjust the value of Delta dynamically during runtime based on execution pattern in real-time (i.e., Approach - II). Our evaluation using six different Apache Spark applications on both physical and virtual clusters demonstrates that our approaches can improve application performance while reducing resource requirements significantly in most cases compared to static resource allocation strategies.
机译：在本文中，我们设计并实现了一种中间件服务，用于为云平台上的Apache Spark应用程序动态分配计算资源，并考虑了两种不同的资源分配方法。在第一种方法中，基于应用程序的有限执行数据，我们分别估算每个应用程序的资源调整量（即Delta），该先验值在该特定应用程序的执行期间是静态的（即方法-I）。在第二种方法中，我们会根据执行模式实时地（即，方法-II）在运行时动态调整Delta的值。我们在物理和虚拟集群上使用六个不同的Apache Spark应用程序进行的评估表明，与静态资源分配策略相比，在大多数情况下，我们的方法可以提高应用程序性能，同时显着降低资源需求。

著录项

相似文献

  • 外文文献
  • 中文文献
  • 专利
获取原文

客服邮箱：kefu@zhangqiaokeyan.com

京公网安备：11010802029741号 ICP备案号：京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有

  • 客服微信

  • 服务号