一种Hadoop小文件存储优化策略研究

杜忠晖; 何慧; 王星

首页> 中文期刊> 《智能计算机与应用》 >一种Hadoop小文件存储优化策略研究

一种Hadoop小文件存储优化策略研究

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

随着＂大数据＂时代的到来,Hadoop等大数据处理平台也应运而生。但其存储载体——Hadoop分布式文件系统却在海量小文件存储方面存在着很大缺陷,存储海量小文件会导致整个集群的负载增高、运行效率下降。为了解决这一针对小文件的存储缺陷,通常的方法是将小文件进行合并,将合并后的大文件进行存储,但以往方法并未将文件体积大小分布加以利用,未能进一步提升小文件合并效果。本文提出一种基于数据块平衡的小文件合并算法,优化合并后的大文件体积分布,有效降低HDFS数据分块,从而减少集群主节点内存消耗、降低负载,使数据处理过程可以更高效的运行。

著录项

来源
《智能计算机与应用》 |2015年第3期|P.28-32,36|共6页
作者
杜忠晖; 何慧; 王星;
展开▼
作者单位

哈尔滨工业大学计算机科学与技术学院,哈尔滨150001;

展开▼
原文格式 PDF
正文语种 CHI
中图分类 TP391.41;
关键词
HDFS 小文件存储小文件合并算法;

相似文献

中文文献
外文文献
专利

1. 一种Hadoop小文件存储优化策略研究 [J] . 杜忠晖 ,何慧 ,王星 . 智能计算机与应用 . 2015,第003期
2. 一种Hadoop小文件存储优化方案 [J] . 王全民 ,张程 ,赵小桐 . 计算机技术与发展 . 2016,第011期
3. 一种Hadoop小文件存储和读取的方法 [J] . 张春明 ,芮建武 ,何婷婷 . 计算机应用与软件 . 2012,第011期
4. 基于Hadoop的海量小文件存储优化方法 [J] . 刘君 . 厦门理工学院学报 . 2017,第003期
5. 基于Hadoop的小文件存储优化方案 [J] . 李孟 ,曹晟 ,秦志光 . 电子科技大学学报 . 2016,第001期
6. 一种Hadoop小文件存储和读取的方法 [C] . Zhang Chunming ,张春明 ,Rui Jianwu . 2012中国计算机大会 . 2012
7. Hadoop平台下基于HDFS的小文件存储问题的优化与实现 [A] . 罗青 . 2019

一种Hadoop小文件存储优化策略研究

摘要

著录项

相似文献

相关主题

期刊订阅