基于中央控制节点的分布式网络蜘蛛的设计与实现

王颖; 钟勇; 朱颢东

首页> 中文期刊> 《计算机应用》 >基于中央控制节点的分布式网络蜘蛛的设计与实现

基于中央控制节点的分布式网络蜘蛛的设计与实现

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

cqvip:针对互联网日益增长的网页数量,提出了一种采用分布式技术设计实现的分布式网络蜘蛛(DWS)。该系统作为搜索引擎的前端,快速有效地下载网页,以获得整个Internet更加完整的映像。DWS设置中央控制节点来协调各个Web Spider的行为,以宽度优先搜素获得高质量的网页,通过对域名系统(DNS)缓存来提高访问Web Server的速度,增加并行线程数量增加下载速度,并能动态地加入Web Spider节点或子中央控制节点,具有很强的灵活性和扩张能力。

著录项

来源
《计算机应用》 |2010年第12期|P.316-318|共3页
作者
王颖; 钟勇; 朱颢东;
展开▼
作者单位

^p;

展开▼
原文格式 PDF
正文语种 chi
中图分类程序设计、软件工程;
关键词
分布式网络蜘蛛; 网页质量; 搜索引擎; 分布式计算;

相似文献

中文文献
外文文献
专利

1. 基于Java的网络蜘蛛系统的设计与实现 [J] . 庄志蕾 ,李蓉 . 现代计算机（专业版） . 2009,第009期
2. 基于网络的多媒体教学设备中央控制及管理系统的设计与实现 [J] . 柳虹 ,李凌波 . 实验技术与管理 . 2010,第011期
3. 基于VxWorks的雷达中央控制系统的设计与实现 [J] . 王健 ,赵彬 ,张宁 . 计算机测量与控制 . 2003,第006期
4. 一种分布式多节点远程监控系统的设计与实现 [J] . 唐民钦 . 大众科技 . 2015,第002期
5. 分布式环境监控节点的设计与实现 [J] . 李萍 ,曹人龙 ,赖莉婷 . 计算机光盘软件与应用 . 2014,第012期
6. 基于单证人节点的分布式复制节点检测方法 [C] . MA Rui ,马锐 ,ZHU Tianbao . 第九届信息安全漏洞分析与风险评估大会（VARA2016） . 2016
7. 基于互联网分布式节点的数据流分析系统的设计与实现 [A] . 马成 . 2007

基于中央控制节点的分布式网络蜘蛛的设计与实现

摘要

著录项

相似文献

相关主题

期刊订阅