• 主题
高级搜索  >
历史搜索 清空历史
首页> 外文期刊>Mathematical Problems in Engineering >Data Placement Algorithm for Improving I/O Load Balance without Using Popularity Information
【24h】

Data Placement Algorithm for Improving I/O Load Balance without Using Popularity Information

机译：无需使用流行度信息即可改善I / O负载平衡的数据放置算法

获取原文
获取原文并翻译 | 示例
           
页面导航
  • 摘要
  • 著录项
  • 相似文献
  • 相关主题

摘要

Data placement considerably affects the I/O performance of distributed storage systems such as HDFS. An ideal placement algorithm should keep the I/O load evenly distributed among different storage nodes. Most of the existing placement algorithms with I/O load balance guarantee depend on the information of data popularity to make the placement decisions. However, the popularity information is typically not available in the data placement phase. Furthermore, it usually varies during the data lifecycle. In this paper, we propose a new placement algorithm called Balanced Distribution for Each Age Group (BEAG), which makes data placement decisions in the absence of the popularity information. This algorithm maintains multiple counters for each storage node, with each counter representing the amount of data belonging to a certain age group. It ensures that the data in each age group are equally scattered among the different storage nodes. As the popularity variance of the data belonging to the same age group is considerably smaller than that of the entire data, BEAG significantly improves the I/O load balance. Experimental results show that compared to other popularity independent algorithms, BEAG decreases the I/O load standard deviation by 11.6% to 30.4%.
机译：数据放置会大大影响HDFS等分布式存储系统的I / O性能。理想的放置算法应保持I / O负载在不同存储节点之间均匀分布。现有的大多数具有I / O负载平衡保证的布局算法都取决于数据流行度的信息来做出布局决策。但是，受欢迎程度信息通常在数据放置阶段不可用。此外，它通常在数据生命周期中有所不同。在本文中，我们提出了一种新的放置算法，称为“每个年龄组的均衡分布”（BEAG），该算法可以在缺少流行度信息的情况下做出数据放置决策。该算法为每个存储节点维护多个计数器，每个计数器代表属于某个年龄组的数据量。这样可以确保每个年龄组中的数据平均分散在不同的存储节点之间。由于属于同一年龄组的数据的流行度差异远小于整个数据的流行度差异，因此BEAG显着改善了I / O负载平衡。实验结果表明，与其他与流行无关的算法相比，BEAG将I / O负载标准偏差降低了11.6％至30.4％。

著录项

  • 来源
    《Mathematical Problems in Engineering》 |2019年第2期|2617630.1-2617630.10|共10页
  • 作者

    Luo Xiangyu; Xin Gang; Gui Xiaolin;

  • 作者单位

    Xian Univ Sci & Technol Coll Comp Sci & Technol Xian 710054 Shaanxi Peoples R China|Xi An Jiao Tong Univ Sch Elect & Informat Engn Xian 710049 Shaanxi Peoples R China;

    AVIC Comp Tech Res Inst Xian Shaanxi Peoples R China;

    Xi An Jiao Tong Univ Sch Elect & Informat Engn Xian 710049 Shaanxi Peoples R China;

  • 收录信息
  • 原文格式 PDF
  • 正文语种 eng
  • 中图分类
  • 关键词

相似文献

  • 外文文献
  • 中文文献
  • 专利
获取原文

客服邮箱：kefu@zhangqiaokeyan.com

京公网安备：11010802029741号 ICP备案号：京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有

  • 客服微信

  • 服务号