基于Hadoop和Spark的可扩展性大数据分析系统设计

刘昕林; 邓巍; 黄萍; 刘睿臻

首页> 中文期刊> 《自动化与仪器仪表》 >基于Hadoop和Spark的可扩展性大数据分析系统设计

基于Hadoop和Spark的可扩展性大数据分析系统设计

开具论文收录证明 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

随着社会进步和信息化高速发展,网络数据规模大幅度扩大,面对大规模网络数据环境,基于Hadoop和Spark设计可拓展性大数据分析系统。系统Flume模块的Source组件负责采集大数据,Sink组件将大数据传输至Kafka;分析检测模块采用Spark离线训练可扩展性数据,将训练完成的模型传输到Spark streaming中,依据训练模型特征对普通大数据分类,获取可扩展性大数据。系统软件采用ALS算法、PageRank算法得到可扩展性大数据的有效性与价值度排名,据此向用户推荐优质可扩展性大数据。实验结果显示:系统分析可拓展性大数据精准度高于90%,优于对比系统,且具备低能耗、高稳定性的优点,实际应用价值高。

著录项

来源
《自动化与仪器仪表》 |2020年第3期|132-136|共5页
作者
刘昕林; 邓巍; 黄萍; 刘睿臻;
展开▼
作者单位

深圳供电局有限公司;

广东深圳518048;

中南大学;

长沙410083;

展开▼
原文格式 PDF
正文语种 chi
中图分类程序设计、软件工程;
关键词
Hodoop; Spark; 可拓展性; ALS算法; 大数据; 分析系统;

相似文献

中文文献
外文文献
专利

1. 基于Hadoop和Spark的可扩展性化工类大数据分析系统设计 [J] . 尹旭熙 . 粘接 . 2021,第6期
2. 基于Spark的大数据分析系统设计和实现 [J] . 边宁 . 信息记录材料 . 2023,第9期
3. 基于Spark的分布式健康大数据分析系统设计与实现 [J] . 吴磊 ,欧阳赫明 . 软件导刊 . 2020,第7期
4. 基于Hadoop的网站大数据分析系统设计 [J] . 林在宁 ,杨文杰 ,陈修洁 . 北京印刷学院学报 . 2022,第9期
5. 基于Hadoop的邮政寄递大数据分析系统设计与实现 [J] . 王卫锋 ,杨林 . 中国科学院研究生院学报 . 2017,第3期
6. 如何基于Alluxio提升Spark和Hadoop HDFS的数据访问性能与系统稳定性 [C] . 顾荣 . 2017中国数据库技术大会 . 2018
7. 基于Spark的大数据分析系统设计与实现 [A] . 杨东东 . 2019

基于Hadoop和Spark的可扩展性大数据分析系统设计

摘要

著录项

相似文献

相关主题

期刊订阅