MongoDB与Hadoop MapReduce的海量非结构化数据处理方案

宋辰萱; 孔祥文

首页> 中文期刊> 《电子技术与软件工程》 >MongoDB与Hadoop MapReduce的海量非结构化数据处理方案

MongoDB与Hadoop MapReduce的海量非结构化数据处理方案

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

本文通过项目研究的实践经验,以分片与整合方式为研究视角,探索基于Mongo DB与Hadoop MapReduce的海量非结构化数据处理方案,以设置合适的分片方式以及chunk size、合理部署Mongo DB分片集群Sharded Cluster、平衡CAP、构建内存数据库(Memory DB)与磁盘数据库(Disk DB)的混合分区、构建有向无环图以降低系统开销、计算本地化等方面进行论述,并对这些改进措施在实践中的应用情况进行详细分析。

著录项

来源
《电子技术与软件工程》 |2021年第2期|P.187-188|共2页
作者
宋辰萱; 孔祥文;
展开▼
作者单位

中国市政工程华北设计研究总院有限公司天津市300074;

中国市政工程华北设计研究总院有限公司天津市300074;

展开▼
原文格式 PDF
正文语种 chi
中图分类计算技术、计算机技术;
关键词
MongoDB; MapReduce; 海量非结构化数据;

相似文献

中文文献
外文文献
专利

1. 一种基于MongoDB和Hadoop的海量非结构化物联网数据处理方案 [J] . 杨鹏 ,林俊晖 . 微电子学与计算机 . 2018,第4期
2. 基于MongoDB与Hadoop MapReduce的数据分析系统性能改进研究 [J] . 杨浩 . 微型电脑应用 . 2019,第011期
3. 基于Hadoop的海量网分数据MapReduce排序算法 [J] . 严关武 ,崔杨毅 ,刘恒 . 移动通信 . 2012,第022期
4. 非结构化数据库MongoDB的数据存储 [J] . 李纪伟 ,段中帅 ,王顺晔 . 电脑知识与技术 . 2018,第027期
5. MongoDB索引的用电信息非结构化数据存储方法 [J] . 徐英辉 ,祝恩国 ,赵睿 . 电力系统及其自动化学报 . 2017,第009期
6. 海量结构化和非结构化大数据Hadoop集群规划 [C] . 童小军 . 2017中国数据库技术大会 . 2018
7. 基于MongoDB的非结构化数据管理的研究与应用 [A] . 杨桥 . 2017

MongoDB与Hadoop MapReduce的海量非结构化数据处理方案

摘要

著录项

相似文献

相关主题

期刊订阅