一种网络爬虫系统中URL去重方法的研究

成功; 李小正; 赵全军

首页> 中文期刊> 《中国新技术新产品》 >一种网络爬虫系统中URL去重方法的研究

一种网络爬虫系统中URL去重方法的研究

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

随着互联网技术的发展，网络中包含的信息量承爆炸式增长，如何在数量繁多的信息中找到自己需要的，是一项不小的工程，因此，网络搜索引擎应运而生，随着搜索引擎的发展，越来越多的用户选择使用搜索引擎，但是搜索引擎并不完善，还需要种类繁多的网络爬虫进行辅助。尽管使用了网络爬虫进行辅助，但是为了提高搜索效率，我们需要对采取一些方式来使网络爬虫优先选取那些符合搜索要求的网页，在这种情况下，如何对网络爬虫系统中进行设置来提高URL去重的能力将会对网络爬虫的运行效率产生不小的影响。下文将就如何简单的对URL去重进行阐述。

著录项

来源
《中国新技术新产品》 |2014年第12期|23-23|共1页
作者
成功; 李小正; 赵全军;
展开▼
作者单位

北京网博视界科技有限公司;

北京 100000;

北京网博视界科技有限公司;

北京 100000;

北京网博视界科技有限公司;

北京 100000;

展开▼
原文格式 PDF
正文语种 chi
中图分类计算机网络;
关键词
爬虫系统; URL去重;

相似文献

中文文献
外文文献
专利

1. 分布式爬虫系统中URL去重的设计与实现 [J] . CHEN Yulun ,ZHOU Kui . 现代信息科技 . 2019,第011期
2. 分布式爬虫系统中URL去重的设计与实现 [J] . 陈宇伦1 ,周奎1 . 现代信息科技 . 2019,第011期
3. 分布式网络爬虫URL去重策略的改进 [J] . 吴小惠 . 平顶山学院学报 . 2009,第005期
4. 基于Bloom Filter的网络爬虫URL消重算法研究 [J] . 王春梅 . 产业与科技论坛 . 2011,第018期
5. 双结构网络中URL去重机制研究 [J] . 袁志伟 ,杨鹏 ,刘旋 . 太原理工大学学报 . 2016,第001期
6. 双结构网络中URL去重机制研究 [C] . Yuan Zhiwei ,袁志伟 ,Yang Peng . 第10届全国计算机支持的协同工作学术会议暨中国计算机学会协同计算专委年度工作会议 . 2015
7. 支持数据去重的网络备份系统中数据恢复的性能优化方法 [A] . 杜飞 . 2013

一种网络爬虫系统中URL去重方法的研究

摘要

著录项

相似文献

相关主题

期刊订阅