基于Chord协议的分布式重复数据删除系统的设计与实现

代理获取

页面导航

目录
摘要
著录项
相似文献
相关主题

摘要

随着云存储和大数据等技术的迅猛发展，各行各业越来越多的数据都存储在云端。而存储在云端的海量数据中，有大量的数据是重复数据，这就造成了宝贵的存储空间的浪费。为了减少重复数据对存储资源的浪费，重复数据删除技术在云存储中被广泛应用。当前，重复数据删除技术的研究热点集中在两个方向，一个是对重复数据检测技术的研究，另一个是对分布式可扩展的重复数据删除技术的研究。在这两个研究领域已经有不少研究工作取得了许多有价值的成果，但还存在许多不足之处。在解决重复数据检测中存在的磁盘访问瓶颈问题以及实现分布式重复数据删除技术中的扩展性、容错性以及负载均衡等方面，当前的研究还有很多不完善的地方。本文针对重复数据检测中的磁盘访问瓶颈问题，提出了B+树簇和哈希表相结合的重复数据检测方案。此外，在分布式重复数据删除技术的研究基础上，设计并实现了基于Chord协议的分布式重复数据删除系统。论文主要工作如下： 1、分析现有的重复数据检测方法的不足后，提出并实现了B+树簇和哈希表相结合的重复数据检测方法。其中B+树簇能够对具有空间局部性特征的数据快速检测，而哈希表能够对不具空间局部性特征的数据快速检测，将两者相结合后，能够有效解决重复数据检测中存在的磁盘访问瓶颈问题。 2、设计并实现了基于Chord协议的分布式重复数据删除原型系统。该系统包括资源定位、节点加入和失效退出以及负载均衡等处理模块。 3、对实现的B+树簇和哈希表相结合的重复数据检测方法进行了性能测试，验证了本文提出的方法的有效性。此外，对基于Chord协议实现的分布式重复数据删除系统进行了功能和性能测试，验证了系统良好的扩展性、容错性和负载均衡。

著录项

作者
刘建勋;
展开▼
作者单位

东南大学;

展开▼
授予单位东南大学;
学科软件工程
授予学位硕士
导师姓名邓建明,朱妤晴;
年度 2018
页码
总页数
原文格式 PDF
正文语种中文
中图分类计算数学;概率论与数理统计;
关键词
Chord协议; 分布式; 数据删除; 系统;

相似文献

中文文献
外文文献
专利

1. 基于chord协议的分布式文件系统的设计与实现 [J] . 简博文 . 中国电子商务 . 2013,第005期
2. 一种基于重复数据删除的网络文件备份系统设计与实现 [J] . 孙爱玲 ,冉禄纯 . 计算机应用与软件 . 2014,第010期
3. 一种支持海量数据备份的可扩展分布式重复数据删除系统 [J] . 刘厚贵 ,邢晶 ,霍志刚 . 计算机研究与发展 . 2013,第0z2期
4. 基于分布式编程语言的Chord协议和算法 [J] . 彭成章 ,蒋泽军 ,蔡小斌 . 计算机应用 . 2013,第007期
5. 基于重复数据删除技术的存储系统分析 [J] . 朱江 ,冀鸣 ,杨志成 . 信息系统工程 . 2017,第004期
6. 一种支持海量数据备份的可扩展分布式重复数据删除系统 [C] . Liu Hougui ,刘厚贵 ,Xing Jing . 中国计算机学会第一届CCF大数据学术会议 . 2013
7. 针对虚拟机备份的分布式重复数据删除系统的设计与实现 [A] . 黄国强 . 2014

基于Chord协议的分布式重复数据删除系统的设计与实现

目录

摘要

著录项

相似文献

相关主题

期刊订阅