首页> 中文学位 >面向云存储的非结构化数据存储研究与应用
【6h】

面向云存储的非结构化数据存储研究与应用

代理获取

目录

摘要

第一章 绪论

1.1 论文研究背景及选题意义

1.2 国内外研究现状

1.3 主要研究内容和论文组织结构

第二章 非结构化数据存储与相关技术

2.1 非结构化数据存储方式

2.1.1 文件系统存储方式

2.1.2 数据库存储方式

2.1.3 数据库与文件系统结合存储方式

2.2 云存储技术

2.2.1 分布式对象存储

2.2.2 分布式文件系统

2.2.3 分布式表存储

2.3 NoSQL数据库技术

2.3.1 NoSQL

2.3.2 NoSQL与RDBMS的比较

2.4 MongoDB

2.4.1 MongoDB数据模型

2.4.2 MongoDB特性分析

2.4.3 MongoDB分布式存储架构

2.5 小结

第三章 非结构化数据云存储

3.1 云存储数据中心架构模型

3.2 非结构化数据云存储层次结构

3.3 非结构化数据云存储平台设计

3.3.1 设计思路

3.3.2 具体设计方案

3.4 工作原理

3.5 实验结果及分析

3.5.1 NameNode内存测试实验及结果分析

3.5.2 读写性能测试

3.6 小结

第四章 应用实例

4.1 应用背景

4.2 系统设计

4.2.1 设计目标

4.2.2 系统结构

4.3 图片存储实现

4.4 图片存储管理

4.4.1 图片上传与下载

4.4.2 图片删除与浏览

4.5 图片元数据管理

4.5.1 文档创建与查询

4.5.2 文档更新与删除

4.6 小结

总结与展望

总结

展望

参考文献

攻读硕士学位期间参加的研究项目和发表的学术论文

声明

致谢

展开▼

摘要

计算机应用的不断发展导致了数据量的急剧攀升,由于数据结构化过于受限于人工处理,非结构化数据的增长速度远远大于结构化数据。如何存储应用系统中需要处理的非结构化数据,包括文本、图像、音频、视频、PDF、电子表格等,是常常困扰系统设计人员的问题。非结构化数据的存储通常有两种方式,一是使用文件系统以文件的方式存储,将文件的路径或者链接存储在关系型数据库表中。这种存储方式的优点是数据的读写速度快,缺点是数据的管理不方便,并且还需要考虑数据的安全性和事务处理的一致性;另一种是将这些数据存储在传统的数据库表的大对象字段中,这种方式充分利用数据库的事务、管理和安全性,但是可能带来数据查询和读写上的性能问题。这就促使我们要对海量非结构数据的存储进行研究和分析。
  云存储是网格、并行和分布式计算等众多技术发展和延伸,云存储实现了存储的完全虚拟化,提供更强大的存储及共享功能。制约非结构化数据存储的关键因素是,数据中心与异构终端之间的数据共享程度不够高,存储系统的高并发读写能力欠缺,存储系统的线性扩展能力比较差。本文以云存储、NoSQL技术等相关领域为研究背景,提出面向云存储的非结构化数据存储方案,将数据分布到云中进行分节点处理,这样做不仅降低成本,而且提高数据的存储能力。
  论文首先论述了非结构数据的存储现状及云存储的发展前景,研究了非结构化数据的存储方式,探讨了当前存储方式的特点和不足。接着研究了云环境下的三种存储技术,并对云环境下新型数据库技术NoSQL以及非关系型数据库MongoDB进行了论述,结合非结构化数据的特点、云存储的优势以及MongoDB的数据存储特性,提出非结构化数据云存储的必要性。基于当前流行的hadoop云平台,设计了非结构化数据的云存储平台。在此平台中,将非结构化数据与其元数据信息进行分离式存储,非结构化数据以文件的方式存储在HDFS分布式文件系统中,元数据信息改用MongoDB进行存储。然后设计实验验证平台的可行性和有效性,实验结果表明,MongoDB存储元数据信息,可以加快数据的访问速度,NameNode节点的内存消耗有明显的降低。最后,针对海量图片存储系统中存在的问题,分析非结构化数据云存储平台应用的可行性,对海量图片云存储系统进行设计和存储管理实现。

著录项

相似文献

  • 中文文献
  • 外文文献
  • 专利
代理获取

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号