首页> 中文期刊> 《上饶师范学院学报》 >分布式网络爬虫系统的任务调度策略改进

分布式网络爬虫系统的任务调度策略改进

         

摘要

介绍了分布式爬虫系统的背景、需求和实现目标,提出分布式爬虫系统的结构及任务调度策略,核心思想是以总控式的分布式结构设计整个爬虫系统,任务调度策略上采用二次Hash算法对把URL发送到指定附属机上机型爬行抓取.通过主控服务器和附属服务器的任务分工,多机协同合作,提高爬行整个网络的效率.

著录项

相似文献

  • 中文文献
  • 外文文献
  • 专利
获取原文

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号