基于Counting Bloom Filter的海量网页快速去重研究

吴家奇; 刘年国; 李雪; 谢翔; 王涛

首页> 中文期刊> 《贵州电力技术》 >基于Counting Bloom Filter的海量网页快速去重研究

基于Counting Bloom Filter的海量网页快速去重研究

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

网页去重是从给定的大量的数据集合中检测出冗余的网页,然后将冗余的网页从该数据集合中去除的过程,可以有效地减少检索和存储的压力.其中基于同源网页的URL去重方法、基于网页结构和特征的抽取指纹方法和基于网页内容的聚类方法的研究都已经取得了很大的发展,但是针对海量网页去重问题,上述三种方法,目前还是很难解决网页去重的时间和空间问题,本文在基于MD5指纹库网页去重算法的基础上,结合Counting Bloom filter算法的特性,提出一个节省空间的大规模数据表示和快速去重策略,实现了一种快速去重算法IMP-CM Filter,大大降低了网页去重算法的时间复杂度和空间复杂度.该算法通过减少I/O频繁操作,来提高海量网页去重的效率.最后通过实验表明,IMP-CM Filter算法的有效性.

著录项

来源
《贵州电力技术》 |2018年第12期|37-42|共6页
作者
吴家奇; 刘年国; 李雪; 谢翔; 王涛;
展开▼
作者单位

国网淮南供电公司,安徽淮南232007;

国网淮南供电公司,安徽淮南232007;

国网淮南供电公司,安徽淮南232007;

国网淮南供电公司,安徽淮南232007;

国网淮南供电公司,安徽淮南232007;

展开▼
原文格式 PDF
正文语种 chi
中图分类电力系统的计算;
关键词
网页去重; MD5指纹库; Counting Bloom filter; IMP-CM Filter算法;

相似文献

中文文献
外文文献
专利

1. 基于Counting Bloom Filter的海量网页快速去重研究 [J] . 吴家奇 ,刘年国 ,李雪 . 电力大数据 . 2018,第012期
2. 基于 Counting Bloom Filter 的海量网页快速去重研究 [J] . 刘年国 ,王芬 ,吴家奇 . 安徽电气工程职业技术学院学报 . 2016,第003期
3. 基于Bloom Filter的大规模网页去重策略研究 [J] . 丁振国 ,吴宝贵 ,辛友强 . 现代图书情报技术 . 2008,第003期
4. 基于Bloom Filter的网页去重算法 [J] . 徐娜 ,刘四维 ,汪翔 . 微型电脑应用 . 2011,第003期
5. 基于Counting Bloom Filter的流抽样算法研究 [J] . 翟金凤 ,孙立博 ,鲁凯 . 计算机工程 . 2018,第008期
6. 基于新闻网页主题要素的网页去重方法研究 [C] . 王鹏 ,张永奎 . 中国中文信息学会二十五周年学术会议 . 2006
7. 基于Bloom Filter算法的URL去重算法研究及其应用 [A] . 孟慧君 . 2019

基于Counting Bloom Filter的海量网页快速去重研究

摘要

著录项

相似文献

相关主题

期刊订阅