基于Hadoop的海量车牌图像处理优化技术

侯向宁

首页> 中文期刊> 《计算机技术与发展》 >基于Hadoop的海量车牌图像处理优化技术

基于Hadoop的海量车牌图像处理优化技术

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

Hadoop集群下每个小文件均占据一个Block,一方面存储海量元数据信息消耗了大量的NameNode内存,另一方面,Hadoop为每个小文件单独启动一个Map任务,大量的时间花费在启动和关闭Map任务上,从而严重降低了MapReduce的执行速率.对此,在详细分析已有解决方案的基础上,采用CFIF将多个小文件分片打包到大分片中,给每个大分片只启动一个Map任务来执行,通过减少启动Map任务的数量,提高了处理海量小文件时的效率.通过设计Hadoop图像接口类,继承并实现CFIF抽象类,最终完成了对海量图像小文件的处理.与常规HDFS、HAR和MapFile方案在NameNode内存空间和运行效率方面进行了对比,结果表明,CFIF在NameNode内存占用率和运行效率方面,都有很好的表现.

著录项

来源
《计算机技术与发展》 |2018年第10期|135-138144|共5页
作者
侯向宁;
展开▼
作者单位

成都理工大学工程技术学院;

四川乐山 614007;

展开▼
原文格式 PDF
正文语种 chi
中图分类信息处理（信息加工）;
关键词
海量小文件; Hadoop分布式文件系统; 分片; 打包;

相似文献

中文文献
外文文献
专利

1. 基于Hadoop的海量图像处理研究 [J] . 郝林倩 ,王明辉 . 安阳师范学院学报 . 2018,第005期
2. Hadoop平台下海量图像处理实现 [J] . 谭台哲 ,向云鹏 . 计算机工程与设计 . 2017,第004期
3. 基于Hadoop的海量小文件存储优化方法 [J] . 刘君 . 厦门理工学院学报 . 2017,第003期
4. 基于Hadoop的海量统计小文件存取优化方案 [J] . 付红阁 ,姜华 ,张怀锋 . 聊城大学学报（自然科学版） . 2016,第001期
5. 基于Hadoop的优化海量录音小文件存取性能的方法 [J] . 徐欢欢 ,朱信忠 ,赵建民 . 微型电脑应用 . 2015,第002期
6. 基于Hadoop云平台的海量瓦片数据管理对比研究 [C] . 赵冲 ,毛雪岷 . 第十二届（2017）中国管理学年会 . 2017
7. 基于Hadoop的海量小文件存储性能优化研究 [A] . 张硕 . 2016

基于Hadoop的海量车牌图像处理优化技术

摘要

著录项

相似文献

相关主题

期刊订阅