首页> 中文期刊> 《计算机研究与发展》 >一种基于历史信息的一致性Hash集群重复数据删除路由策略

一种基于历史信息的一致性Hash集群重复数据删除路由策略

         

摘要

随着全球数据量爆炸式增长,单节点重复数据删除系统已不能满足系统在吞吐量等方面的性能需求,因此集群重复数据删除系统应运而生.如何提高数据传输效率、节约网络带宽和增强系统的可扩展性,成为当前面临的严峻挑战.提出一种基于历史数据信息的一致性Hash路由策略,通过在本地缓存热点数据块指纹,数据路由前先在本地索引,可以大大减少索引消息请求数量,并且采用一致性Hash的路由策略,有效地缓解集群系统中动态扩展存储节点导致的全局数据重删率急剧恶化与负载不均.在3类真实的数据集上进行试验,能减少20%~80%的指纹消息请求,动态扩展存储节点导致数据缩减率降低保持在33%以下,并且能够很好地保持系统节点间负载均衡.

著录项

相似文献

  • 中文文献
  • 外文文献
  • 专利
获取原文

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号