首页> 中文学位 >分布式文件系统中基于非易失存储器的缓存子系统
【6h】

分布式文件系统中基于非易失存储器的缓存子系统

代理获取

目录

声明

摘要

第一章 绪论

1.1 研究背景及意义

1.2 网络存储技术的发展

1.3 面向Flash的对象存储系统

1.4 新型非易失存储器

1.5 分布式文件系统

1.6 本文的主要工作和组织结构

1.6.1 本文的主要工作

1.6.2 本文的组织结构

第二章 分布式文件系统中新型缓存子系统的结构

2.1 分布式文件系统的结构

2.3 非易失存储器带来的影响

2.4 分布式文件系统缓存子系统的分析

2.5 分布式文件系统新型缓存子系统结构

2.6 本章小结

第三章 基于非易失存储器的客户端缓存机制

3.1 分布式文件系统客户端缓存机制的分析

3.2 基于非易失存储嚣缓存的写流程

3.3 自适应缓存写回策略

3.4 基于报文合并的通信策略

3.5 原型系统的测试与分析

3.5.1 原型系统的实现

3.5.2 测试与分析

3.6 本章小结

第四章 面向Flash的存储设备缓存机制

4.1 SSD中的缓存

4.2 基于对象SSD缓存的结构

4.3 基于扩展空间的缓存管理策略

4.3.1 基于对象的组织方式

4.3.2 基于扩展空间的管理方法

4.3.3 扩展区间的拆分

4.3.4 扩展区间的合并

4.4 元数据与数据缓存关联管理策略

4.5 缓存主动调度策略

4.6 基于对象缓存的访问流程

4.7 原型系统的实现

4.7.1 接口管理子模块

4.7.2 数据和元数据管理模块

4.7.3 缓存替换模块

4.7.4 写缓存流程

4.7.5 读缓存流程

4.7.6 缓存的刷回流程

4.8 原型系统的测试与分析

4.9 本章小结

第五章 总结与展望

5.1 工作总结

5.2 工作展望

参考文献

攻读硕士学位期间科研情况说明

致谢

展开▼

摘要

随着信息技术的发展,需要存储和管理的数据越来越多,作为存储系统重要支撑之一的分布式文件系统将面临更严峻的挑战。缓存机制是提高分布式文件系统性能的重要手段。本文以分布式文件系统中新型缓存子系统为研究对象,主要工作如下:
   首先针对SAN环境下的分布式文件系统和清华大学高性能计算技术实验室研发的面向Flash对象存储系统,引入新型非易失存储器,设计了基于非易失存储器新型缓存子系统的结构,阐述了各功能模块的作用。
   其次,针对分布式文件系统关闭文件时需要同步数据和元数据对性能的影响,提出了基于非易失存储器的客户端缓存机制。设计了基于非易失缓存的写流程,将数据和元数据缓存在非易失存储器上,在提高性能的同时避免数据和元数据丢失。设计了自适应缓存写回策略,通过动态调整写线程的数量,防止出现瓶颈。设计了基于报文合并的通信策略,减少通信对性能的影响。并在pNFS的基础上实现了原型系统,使用通用测试工具filebench应用fileserver与varmail负载,以及postmark设置5000、10000、30000和50000事务负载进行了测试,验证了基于非易失存储器的客户端缓存机制能提高分布式文件系统7%-1倍的I/O性能和1倍以上的事务处理速度。
   最后,针对SSD中现有缓存资源紧缺、缺失文件系统语义以及Flash读写速度不对称和擦写次数有限等问题,提出了面向Flash的存储设备缓存机制。在文件系统层实现SSD的缓存,引入基于对象的缓存管理方式,给出了基于对象SSD缓存的结构,设计了基于扩展空间的缓存管理策略、数据与元数据关联管理方式,缓存主动调度策略,给出了基于对象缓存的访问流程。在面向Flash的对象存储系统中实现了原型系统,重放了TPC-C、Iphoto、Ipages、Seer四种负载的trace,设置不同的缓存大小,统计块设备发往Flash的bio请求数以及bio请求的平均大小,验证了该缓存能够减小55%-95%的bio请求数,bio的平均大小是原来的3.5-25倍之间。

著录项

相似文献

  • 中文文献
  • 外文文献
  • 专利
代理获取

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号