基于MapReduce和HBase的海量网络数据处理

景晗; 郑建生; 陈鲤文; 许朝威

首页> 中文期刊> 《科学技术与工程》 >基于MapReduce和HBase的海量网络数据处理

基于MapReduce和HBase的海量网络数据处理

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

根据ERF数据的特点结合分布式框架Hadoop针对海量数据的计算优势,改进了网络数据的解析模式和数据存储模式,完成了ERF网络数据自动上传.根据XML文件解析多种类型的网络数据、HBase存储数据和HBase数据导入与数据查询的优化等一系列网络数据自动化处理工作.提出了一种新的MapReduce解析二进制数据的算法,该方案有效的解决了MapReduce读取和解析二进制数据的问题,在此基础上实现的海量网络数据处理系统,解析效率较高,数据库存储和查询数据的速度较快,系统自动化运行且稳定性强,有良好的应用前景.

著录项

来源
《科学技术与工程》 |2015年第34期|182-191|共10页
作者
景晗; 郑建生; 陈鲤文; 许朝威;
展开▼
作者单位

武汉大学,武汉430072;

武汉大学,武汉430072;

武汉大学,武汉430072;

武汉大学,武汉430072;

展开▼
原文格式 PDF
正文语种 chi
中图分类 TN311.13;
关键词
MapReduce; HBase; 网络数据; 分布式计算;

相似文献

中文文献
外文文献
专利

1. 基于RBNB和MapReduce的海量结构工程数据处理与分析 [J] . 马艾田 ,蒋海华 . 计算机应用与软件 . 2012,第009期
2. MongoDB与Hadoop MapReduce的海量非结构化数据处理方案 [J] . 宋辰萱 ,孔祥文 . 电子技术与软件工程 . 2021,第002期
3. 基于MapReduce操作HBase中数据 [J] . 田燕军 ,王莉 . 电子技术与软件工程 . 2021,第021期
4. 基于MapReduce-HBase的Apriori算法的改进与研究 [J] . 程阳 ,章韵 . 南京邮电大学学报（自然科学版） . 2018,第005期
5. 基于云计算技术的分布式网络海量数据处理系统设计 [J] . 胡素娟 . 微计算机信息 . 2021,第017期
6. 针对HBase的MapReduce访问接口的优化 [C] . TIAN Sheng-li ,田胜利 ,XU Xi-shan . 第九届中国通信学会学术年会 . 2012
7. Hadoop平台下基于HBase的海量数据处理研究 [A] . 孙赵旭 . 2014

基于MapReduce和HBase的海量网络数据处理

摘要

著录项

相似文献

相关主题

期刊订阅