分布式的大数据采集存储方法研究与系统实现

第一个书签之前

摘 要

Abstract

目 录

1 绪论

1.1 研究背景及意义

1.1.1 研究背景

1.1.2 研究意义

1.2 国内外研究概况

1.3 本文主要研究内容

1.4 论文组织结构

2 分布式大数据采集方法研究

2.1 传统集中式数据采集方案分析

2.2 分布式数据采集方案设计目标

2.3 分布式数据采集方案关键技术研究

2.3.1 负载均衡技术研究

2.3.2 方案高可用性方法研究

2.3.3 分布式消息队列技术研究

2.4 分布式数据采集方案设计

2.5 本章小结

3 分布式大数据存储方法研究

3.1 传统单点数据库数据存储方案分析

3.2 分布式数据存储方案设计目标

3.3 分布式数据存储方案关键技术研究

3.3.1 数据分片技术

3.3.2 数据库中间件技术

3.4 分布式数据存储方案设计

3.4.1 分布式数据存储方案整体架构

3.4.2 分布式存储模块方案设计

3.4.4 负载均衡模块方案设计

3.4.5 存储集群监控模块方案设计

3.5 全局自增序列方法设计

3.6 分片数据的数据仓库方案设计

3.7 本章小结

4 分布式数据采集与存储系统实现

4.1 分布式数据采集与存储系统需求分析

4.1.1 数据采集需求分析

4.1.2 数据存储需求分析

4.2 分布式数据采集与存储系统整体架构

4.3 分布式数据采集系统实现

4.3.1 数据接收模块实现

4.3.2 解析上传模块实现

4.3.3 采集监控模块实现

4.4 分布式数据存储系统实现

4.4.1 数据表关系分析

4.4.2 分片策略设计

4.4.3 数据节点扩展方法

4.4.4 数据迁移方法

4.4.5 基于分片表数据仓库模块实现

4.4.6 负载均衡模块实现

4.5 本章小结

5 分布式数据采集与存储系统验证与分析

5.1 数据采集系统验证与分析

5.1.1 实验环境

5.1.2 实验方案

5.1.3 实验结果分析

5.2 数据分布式存储验证与分析

5.2.1 实验环境

5.2.2 实验方案

5.2.3 实验结果分析

5.3 数据仓库模块验证与分析

5.3.1 实验环境

5.3.2 实验方案

5.3.3 实验结果分析

5.4 本章小结

6 总结与展望

6.1 论文总结

6.2 研究展望

致谢

参考文献