一种文件路径与属性信息分离的分布式元数据组织方法

代理获取

页面导航

目录
摘要
著录项
相似文献
相关主题

摘要

随着大数据时代的到来，面向大数据的存储系统纷纷出现。不断增长的数据量，使得集中式元数据管理系统的负担越来越重，逐渐成为大数据存储的瓶颈。为此，人们提出了多种分布式元数据管理方法，但由于元数据的结构类型复杂多样，目前尚没有一种方法能够同时改善元数据管理的性能和扩展性。
　　提出了一种文件路径和属性信息分离的分布式元数据组织方法。将元数据组织成目录索引和元数据属性信息两个部分，通过构建目录索引，将元数据以目录或小于目录为单位划分到不同的桶（Bucket）内，再根据元数据服务器集群的负载情况将桶指派到不同的元数据服务器上。方法利用目录索引和桶提高元数据的管理性能；通过构建目录索引时考虑集群负载情况，实现元数据管理的可扩展性。此外，提出基于该方法的元数据位置缓存策略，策略解决了位置缓存信息不一致的问题，缩短了元数据管理的流程。
　　测试结果表明，提出的方法能获得较高的管理性能，特别适合高并发的情况；具有良好的可扩展性和较好的访问局部性，而且可以不限制目录的大小；避免了重命名元数据造成的不必要的迁移。与集中式元数据管理方法对比，方法采用单一元数据服务器时，元数据的创建、查询等操作性能都有了数倍的提升。

著录项

作者
杨勇;
展开▼
作者单位

华中科技大学;

展开▼
授予单位华中科技大学;
学科计算机科学与技术
授予学位硕士
导师姓名李春花;
年度 2016
页码
总页数
原文格式 PDF
正文语种中文
中图分类 TP333.35;
关键词
元数据; 目录索引; 存储系统; 服务器; 缓存策略;

相似文献

中文文献
外文文献
专利

1. 一种基于目录服务的分布式空间元数据检索方法 [J] . 胡明明 ,唐宇 ,李军 . 计算机工程与科学 . 2011,第008期
2. 一种面向元数据的三维空间数据模型组织方法 [J] . 艾丛 ,霍亮 . 测绘与空间地理信息 . 2016,第005期
3. 一种基于XML／Z39．50的地球空间元数据组织方法 [J] . 黄舟 ,彭霞 ,解学通 . 地球科学期刊：中英文版 . 2014,第001期
4. 一种基于对象存储中的元数据组织管理方法 [J] . 谈华芳 ,孙丽丽 ,侯紫峰 . 计算机工程 . 2005,第020期
5. 一种基于影像块组织的遥感数据分布式存储方法 [J] . 池子文 ,张丰 ,杜震洪 . 浙江大学学报（理学版） . 2014,第001期
6. 一种集成链接和属性信息的社区挖掘方法 [C] . He Chaobo ,贺超波 ,Tang Yong . 第10届全国计算机支持的协同工作学术会议暨中国计算机学会协同计算专委年度工作会议 . 2015
7. 一种分布式存储系统中的元数据管理技术研究与实现 [A] . 倪英杰 . 2018

一种文件路径与属性信息分离的分布式元数据组织方法

目录

摘要

著录项

相似文献

相关主题

期刊订阅