分布式Web Crawler的研究:结构、算法和策略

叶允明; 于水; 马范援; 宋晖; 张岭

首页> 中文期刊> 《电子学报》 >分布式Web Crawler的研究:结构、算法和策略

分布式Web Crawler的研究:结构、算法和策略

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

本文介绍了一个大型分布式Web Crawler系统--Igloo 1.2版.它采用分布式的系统结构,通过我们设计的二级哈希映射算法使系统可以进行高效的任务分割,并且系统的规模动态可扩展.爬行网页的质量是评价Crawler的一个重要指标,Igloo以PageRank值作为网页质量评价的标准,从而提高了爬行质量.加快爬行速度的关键是如何解除Crawler系统中的性能瓶颈,本文对此也作了详细的讨论,并提出了一种基于"滞后合并"策略的URL数据库存取方法.实验表明,Igloo在保持高性能的同时能快速爬行到高质量的网页.

著录项

来源
《电子学报》 |2002年第z1期|2008-2011|共4页
作者
叶允明; 于水; 马范援; 宋晖; 张岭;
展开▼
作者单位

上海交通大学;

展开▼
原文格式 PDF
正文语种 chi
中图分类信息处理（信息加工）;计算机网络;
关键词
Web爬虫; 爬行策略; 分布式系统;

相似文献

中文文献
外文文献
专利

1. 分布式Web Crawler的研究：结构、算法和策略 [J] . 叶允明 ,于水 ,等 . 电子学报 . 2002,第12A期
2. 一种高性能分布式Web Crawler的设计与实现 [J] . 张岭 ,叶允明 ,宋晖 . 上海交通大学学报 . 2004,第1期
3. 分布式Crawler系统研究与设计 [J] . 万方 ,王大震 . 软件导刊 . 2007,第005期
4. 基于个性化图书馆的Deep Web Crawler研究与实现 [J] . 张云冬 ,徐和祥 ,胡运发 . 计算机应用与软件 . 2009,第004期
5. 增量更新Crawler进行Web收集方法研究 [J] . 程菲 ,汪建海 ,罗键 . 计算机工程与科学 . 2006,第012期
6. 针对模型驱动的Web应用测试的Web CraWler的设计和实现 [C] . 张晴 ,李诺 ,吴际 . 中国计算机学会软件工程专委会2006年年会 . 2006
7. 面向P2P网络的分布式Web Crawler的研究 [A] . 马晶 . 2010

分布式Web Crawler的研究:结构、算法和策略

摘要

著录项

相似文献

相关主题

期刊订阅