首页> 中文学位 >大规模分布式文件系统元数据管理子系统的设计与实现
【6h】

大规模分布式文件系统元数据管理子系统的设计与实现

代理获取

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪 论

1.1 背景介绍

1.2 国内外研究现状

1.3 本文主要工作

1.4 本论文的结构安排

第二章 相关技术基础

2.1直接附属存储(Direct-Attached Storage,DAS)

2.2存储局域网(Storage Area Networks, SAN)

2.3网络附属存储(network-attached storage, NAS)

2.4 分布式文件系统

2.5 本章小结

第三章 C-STORE介绍及元数据管理子系统需求分析

3.1 C-STORE应用场景及设计目标

3.2 C-STORE系统架构

3.3 C-STORE关键技术

3.4 元数据管理子系统的设计目标

3.5 本章小结

第四章 元数据管理子系统总体设计

4.1 元数据管理子系统系统架构

4.2 元数据管理子系统关键技术

4.3 元数据管理子系统交互流程设计

4.4 本章小结

第五章 元数据管理子系统详细设计与实现

5.1 子系统实现关键技术

5.2 元数据管理单元程序总体设计

5.3 元数据管理单元程序模块详细设计

5.4 本章小结

第六章 系统测试

6.1 测试环境

6.2 系统功能测试

6.3 系统性能测试

6.4 本章小结

第七章 结 论

致谢

参考文献

攻硕期间取得的研究成果

展开▼

摘要

分布式存储系统是云计算领域的核心技术。随着存储即服务这一云计算商业模式的出现,云端存储的数据量正在迅速增大,人们对数据安全、数据共享、数据管理等方面的要求也开始逐步提高。云存储服务提供商的后台正面临着巨大的存储压力。元数据是分布式存储系统中的一个概念,是描述所存储数据命名空间和属性的信息。由于元数据的性质及其操作方式较普通数据复杂,对性能、并发性、安全性的要求极高,因此,对系统中元数据的管理一直是分布式存储系统设计的重点和难点。
  本文以自行开发的大规模分布式文件系统C-STORE为背景,详细阐述了其元数据管理子系统的设计与实现。该子系统利用三层散列机制进行架构,将元数据分桶存储并进行负载均衡调度,使系统具备了较好的可扩展性。在存储上,元数据管理子系统充分利用了本地文件系统的高效特性,尽可能的提高各方面性能;在组织上,元数据基于用户进行隔离,为用户的数据安全提供了保障。有效且完备的日志管理和同步被设计出来,满足用户多点登录时文件系统的一致性需求。该子系统还引入了Master-Standby双副本同步机制,保证了系统元数据的可用性。
  元数据管理子系统通过 C++在 Linux环境下采用异步事件驱动这一高效网络编程模型实现,充分利用服务器的软硬件资源,提升了系统的吞吐量。经测试,元数据管理子系统可以充分满足用户对面向公有云存储服务在元数据管理各方面的需求。在性能上,相较于当前业界已经十分成熟且广泛使用的PVFS,优势明显。

著录项

相似文献

  • 中文文献
  • 外文文献
  • 专利
代理获取

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号