改善Hadoop文件处理效率的技术研究

樊超; 凌捷

首页> 中文期刊> 《微电子学与计算机》 >改善Hadoop文件处理效率的技术研究

改善Hadoop文件处理效率的技术研究

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

提出一种改善Hadoop文件处理效率的方法,在Hadoop中添加一个小文件处理模块SFPM,根据文件名为海量小文件建立二级索引,同时采用预加载技术将索引提前存入缓存,可提高文件查找访问效率;在合并文件时,采取舍弃多余空间的策略,避免将一个文件拆分存储在两个block上,减少了文件访问时间开销.实验结果表明该方法能有效减轻NameNode的负荷,提高小文件读写效率.

著录项

来源
《微电子学与计算机》 |2014年第7期|125-128|共5页
作者
樊超; 凌捷;
展开▼
作者单位

广东工业大学计算机学院;

展开▼
原文格式 PDF
正文语种 chi
中图分类分布式操作系统、并行式操作系统;存贮器;
关键词
分布式文件系统; 小文件; 处理效率; 多余空间; 索引;

相似文献

中文文献
外文文献
专利

1. 基于Hadoop的云存储系统文件处理与安全研究 [J] . 李颖超 . 现代电子技术 . 2016,第021期
2. 基于Hadoop的海量医疗小文件处理系统 [J] . 魏强 ,孔广黔 ,吴云 . 计算机与数字工程 . 2015,第004期
3. 单机下Hadoop小文件处理性能分析 [J] . 袁玉 ,崔超远 ,乌云 . 计算机工程与应用 . 2013,第003期
4. 核电站建设中如何提高文件处理效率 [J] . 金锐 ,万锶锦 . 兰台世界 . 2013,第0z2期
5. 统一不同文件格式，提升文件处理效率：富士施乐DocuWorks 5.0 [J] . 王峰松 . 新电脑 . 2003,第010期
6. 基于hadoop云平台的智能电网HDFS资源存储技术研究 [C] . MENG Xiang-ping ,孟祥萍 ,ZHOU Lai . 全国电工仪器仪表标准化技术委员会第五届第二次全体委员会议暨2014第二十九届电磁测量技术、标准、产品国际研讨会 . 2014
7. 基于Hadoop的海量小文件处理技术研究 [A] . 陈旭 . 2014

改善Hadoop文件处理效率的技术研究

摘要

著录项

相似文献

相关主题

期刊订阅