面向云数据中心的存储服务质量技术研究

代理获取

页面导航

目录
摘要
著录项
相似文献
相关主题

摘要

互联网应用的蓬勃发展和数据量的爆炸式增长驱使着企业和政府机构构建面向公共服务的数据中心。数据服务中心的核心设计理念为资源服务化，即通过整合各种计算机系统资源向大量的并发应用提供资源共享服务。用户根据其存储容量和访问性能的需求直接使用存储服务，从而降低了企业的设备采购成本和数据中心的运营维护成本，并有力地推动了中小企业的信息化建设和社会生产力的发展。然而，存储服务化不可避免地引入了资源竞争及相互干扰，从而给应用的存储服务质量保证和存储系统的性能优化带来了巨大挑战。特别是在复杂的应用环境下，企业应用呈现多样性和突发性，存储平台具有异构性和复杂性，如何根据应用的需求合理地分配系统资源以保证应用的服务质量并提高数据中心的IT绩效已经成为了当前数据服务中心的关注重点。
　　针对应用需求的多样性和应用负载的突发性，提出了一种支持多维服务质量保证的I/O调度机制(Courier)。在面向服务的数据中心环境下，大量应用并发访问存储系统，且不同的应用有着不同的服务质量需求，尤其是延迟和带宽需求。针对此问题，Courier调度算法通过动态切换于基于反馈的延迟控制器和基于信誉分配的带宽分配算法之间以适应应用负载的动态变化。延迟控制器通过采用反馈的方式实时监控存储系统的请求服务时间及应用请求的最后期限，并判断请求的紧急性，优先处理应用中的紧急请求，从而向应用提供请求级别的优先级以应对应用负载中的突发请求。当所有请求的延迟期望得到保证时，调度器则采用基于信誉激励机制的带宽分配算法，允许应用透支限定额度的信誉以优先处理紧急请求，并奖励负载特征良好的应用更多的信誉额度以提高存储系统资源利用效率。测试结果表明，Courier不仅可同时支持应用对延迟和带宽的需求，存储系统的性能也提升了约20％。
　　针对日益普及的固态盘设备，提出了一种面向固态盘的I/O调度器（FBCQ）以保证应用的性能隔离并提高固态盘设备的访问性能。不同于传统的I/O调度算法，FBCQ调度算法采用二层调度框架，其中上层负责为应用提供性能隔离保证，而底层则采用灰盒子方法以挖掘固态盘的内部并行性。由于固态盘存在读写不平衡的问题，上层调度器通过管理应用的服务时间片，并区分对待应用中的读写请求以保证该应用的性能不受其它应用负载特征变化的影响。在FBCQ调度器底层，根据固态盘的数据页组织方式将固态盘的逻辑地址空间映射到不同的逻辑通道队列中，并为每个逻辑通道队列建立一个子调度器。每个到达的请求根据其物理位置和大小拆分小请求并放置到对应的通道队列中，多个逻辑通道队列并发地处理其内部等待的请求。在每个基于通道队列的调度器中，调度器优先处理读请求以避免读请求被阻塞，且对写请求进行排序和合并以进一步提高写性能。实验表明，FBCQ调度器可以有效地实现应用之间的性能隔离，并提高固态盘存储设备的整体性能。
　　鉴于由固态盘和机械磁盘组成的混合存储系统在性能、容量、成本等方面的优势及发展趋势，本文提出了一种固态盘缓存动态分配策略（QoS-FCA）。在混合存储系统中，固态盘可以作为磁盘的缓存，用于加速应用访问，然而，由于大量并发应用共享和竞争缓存资源，不合理的固态盘缓存资源分配必然会导致应用的性能无法得到保证。因此，本文详细讨论了固态盘缓存的访问流程并建立了应用的性能模型，通过模型分析发现，应用在固态盘缓存上的访问性能不仅依赖于缓存命中率，同时，与其自身的负载特征相关。因此，QoS-FCA实时监控每个应用的读写缓存大小及缓存命中率，通过曲线拟合的方式建立应用性能与固态盘缓存空间大小的关系模型。根据应用的性能模型及负载特征，采用了非线性规划的方法动态地计算出满足应用性能需求所需要的最小固态盘缓存空间大小，并将空闲固态盘缓存按照缓存边际效应分配给应用以提高存储系统的整体性能。测试结果显示，QoS-FCA可以在保证应用性能需求的基础上，提升固态盘缓存命中率约10％左右。
　　最后，针对互联网应用和科学计算中存在的海量小文件，提出了一种基于委托的元数据服务机制以优化并行文件系统的小文件访问性能。针对数据密集型应用的需求，设计和实现了具有高性能和高可靠性的分布式并行文件系统Cappella。通过分析分布式文件系统中文件访问流程发现，元数据操作开销占据着小文件访问开销的绝大部分。因此本文提出了基于委托的元数据服务机制，允许客户端在不影响语义一致性的情况下访问和修改客户端缓存中的元数据，并设计和实现了元数据后台刷新机制(mdflush)。测试结果表明，当文件小于64KB时，Cappella文件系统的性能相对于原始系统提高了35％以上。

著录项

作者
张泉;
展开▼
作者单位

华中科技大学;

展开▼
授予单位华中科技大学;
学科计算机系统结构
授予学位博士
导师姓名冯丹;
年度 2014
页码
总页数
原文格式 PDF
正文语种中文
中图分类一般性问题;
关键词
云数据中心; 存储系统; 服务质量; 调度机制;

相似文献

中文文献
外文文献
专利

1. 面向应用的云数据中心网络技术研究 [J] . 陈楠 ,樊勇兵 ,何晓武 . 电信科学 . 2014,第009期
2. 面向海量数据存储的对象存储技术研究 [J] . 杨文婧 ,方汐 . 计算机研究与发展 . 2007,第0z1期
3. 基于虚拟化存储设备的云数据中心存储双活架构 [J] . 聂晓伟 ,崔文博 . 通讯世界 . 2017,第015期
4. 面向大数据的分布式并行集群存储技术研究 [J] . 杨文娟 . 电子测试 . 2021,第009期
5. 面向云存储的分布式文件系统关键技术研究 [J] . 杨志勇 . 电子技术与软件工程 . 2021,第018期
6. 面向海量数据存储的对象存储技术研究 [C] . 方汐 ,杨文婧 . 第14届全国信息存储技术学术会议 . 2006
7. 面向云数据中心的能耗感知多目标虚拟资源管理技术研究 [A] . 秦尧 . 2020

面向云数据中心的存储服务质量技术研究

目录

摘要

著录项

相似文献

相关主题

期刊订阅