基于MapReduce的大数据并行分析与处理

张昕晨; 王雅君; 程胜明; 冷峻宇; 刘小奇

首页> 中文期刊> 《计算机科学与应用》 >基于MapReduce的大数据并行分析与处理

基于MapReduce的大数据并行分析与处理

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

针对传统分布式数据库架构存储和管理企业产品相关的大数据资源效率不高等问题,研究企业产品海量数据资源处理与并行分析计算,提出在Hadoop平台基础上基于MapReduce并行架构模型的数据并行分析与数据处理方法。通过对数据的优化存储布局,在MapReduce并行框架基础上,采用多通道数据融合特征提取技术实现产品大数据信息的提取和并行分析计算,提高了数据资源管理效率。实际验证表明和标准Hadoop方案比较,多通道数据融合并行特征提取算法执行时间为其34.8%,实现了产品大数据资源高效的组织和管理。

著录项

来源
《计算机科学与应用》 |2022年第3期|582-589|共8页
作者
张昕晨; 王雅君; 程胜明; 冷峻宇; 刘小奇;
展开▼
作者单位

大连工业大学大连;

展开▼
原文格式 PDF
正文语种 chi
中图分类计算技术、计算机技术;
关键词
数据资源; 并行处理; 特征提取; MAPREDUCE;

相似文献

中文文献
外文文献
专利

1. 基于MapReduce并行计算的网站日志数据分析处理 [J] . 刘义卿 ,陈新房 . 科学技术创新 . 2022,第1期
2. 基于MapReduce框架的一种并行大数据算法的研究 [J] . 冯占伟 . 现代信息科技 . 2021,第018期
3. GOP-MRPGA:基于MapReduce大数据计算模型的遗传算子前置并行遗传算法 [J] . 任刚 ,狄文辉 ,郜广兰 . 河南机电高等专科学校学报 . 2020,第005期
4. GOP-MRPGA:基于MapReduce大数据计算模型的遗传算子前置并行遗传算法 [J] . 任刚 ,狄文辉 ,郜广兰 . 河南工学院学报 . 2020,第005期
5. 基于MapReduce并行化计算的大数据聚类算法 [J] . 张文杰 ,蒋烈辉 . 计算机应用研究 . 2020,第001期
6. 基于MapReduce并行架构的大数据社会网络社团挖掘方法 [C] . Deng Bo ,邓波 ,Zhang Yuchao . 中国计算机学会第一届CCF大数据学术会议 . 2013
7. 基于MapReduce大数据并行处理的若干关键技术研究 [A] . 张滨 . 2017

基于MapReduce的大数据并行分析与处理

摘要

著录项

相似文献

相关主题

期刊订阅