首页> 中文期刊> 《科技创新与应用》 >基于Crawler4j和Quartz的分布式爬虫系统

基于Crawler4j和Quartz的分布式爬虫系统

         

摘要

cqvip:网络爬虫是实现数据分析的重要基础,通过网络爬虫可实现对数据的获取。针对爬虫的渠道广、数量多且杂、单点效率低的问题,引入了轻量级的多线程爬虫框架Crawler4j和分布式定时任务调度框架Quartz,文章主要基于这两个框架来搭建稳定、高效的分布式爬虫系统。

著录项

相似文献

  • 中文文献
  • 外文文献
  • 专利
获取原文

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号