基于Flume和HDFS的大数据采集系统的研究与实现

方中纯; 赵江鹏

首页> 中文期刊>内蒙古科技大学学报 >基于Flume和HDFS的大数据采集系统的研究与实现

基于Flume和HDFS的大数据采集系统的研究与实现

开具论文收录证明 >>

期刊封面封底目录下载 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

在充分研究大数据采集、大数据存储、HDFS和Flume基础上,综合分析并利用相关领域知识,给出了一种基于Flume和HDFS相结合的大数据采集系统BDAS的概念模型和体系结构.并根据BDAS的体系结构,可以明确实现一种大数据采集的具体工作,即:Flume Agent的配置.根据体系结构,给出一个实现Web Server日志采集的具体实现方法和步骤.BDAS概念模型和体系结构在大数据分析和研究领域具有重要的理论意义和实际意义,也为大数据领域的研究提供了一种通用的大数据获取手段.

著录项

来源
《内蒙古科技大学学报》|2018年第3期|153-157|共5页
作者
方中纯; 赵江鹏;
展开▼
作者单位

内蒙古科技大学工程训练中心,内蒙古包头 014010;

内蒙古科技大学信息工程学院,内蒙古包头 014010;

展开▼
原文格式 PDF
正文语种 chi
中图分类信息处理（信息加工）;
关键词
HDFS; Flume; 大数据采集系统; WebServer; BDAS;

相似文献

中文文献
外文文献
专利

1. 基于Flume、Kafka、HDFS的多源数据采集系统 [J] . 蒋亮 ,唐紫珺 . 信息技术与信息化 . 2021,第006期
2. 基于Flume、Kafka、Storm、HDFS的航空维修大数据系统 [J] . 徐海荣 ,陈闵叶 ,张兴媛 . 上海工程技术大学学报 . 2015,第004期
3. 基于HDFS分布式文件系统的大数据存储优点与功能 [J] . . 科学大众 . 2018,第001期
4. 大数据场景下基于HDFS的云存储服务系统设计 [J] . 孙燕飞 . 数字技术与应用 . 2014,第002期
5. 大数据场景下基于HDFS的云存储服务系统设计 [J] . 孙燕飞 . 数字技术与应用 . 2014,第002期
6. 基于Apache Flume的MR数据采集实现方案 [C] . 周波 . 中国移动通信集团设计院第23届新技术论坛 . 2017
7. 基于HDFS的大数据快速可视化系统的设计与实现 [A] . 郑雪 . 2018

基于Flume和HDFS的大数据采集系统的研究与实现

摘要

著录项

相似文献

相关主题

期刊订阅