首页> 中国专利> URL检测任务的分配方法、分配器及URL检测系统

URL检测任务的分配方法、分配器及URL检测系统

摘要

本发明公开了一种URL检测任务的分配方法、分配器及URL检测系统。其中,URL为物料的链接地址,该方法包括:将从数据库中获取的URL检测任务存储在URL任务列表中;接收多个网络爬虫发送的获取URL检测任务的请求;响应请求,根据预设的分配策略将URL任务列表中的URL检测任务分配给多个网络爬虫中的其中一个,以供该网络爬虫检测URL的连通性。本发明根据预设的分配策略将URL检测任务分配给网络爬虫,可以防止网络爬虫频繁请求任务,降低被用户防火墙屏蔽掉的风险。

著录项

  • 公开/公告号CN104965933B

    专利类型发明专利

  • 公开/公告日2018-12-25

    原文格式PDF

  • 申请/专利号CN201510460127.6

  • 发明设计人 桂成林;

    申请日2015-07-30

  • 分类号G06F17/30(20060101);

  • 代理机构11276 北京市浩天知识产权代理事务所(普通合伙);

  • 代理人宋菲;刘云贵

  • 地址 100088 北京市西城区新街口外大街28号D座112室(德胜园区)

  • 入库时间 2022-08-23 10:22:46

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2018-12-25

    授权

    授权

  • 2015-11-11

    实质审查的生效 IPC(主分类):G06F17/30 申请日:20150730

    实质审查的生效

  • 2015-11-11

    实质审查的生效 IPC(主分类):G06F 17/30 申请日:20150730

    实质审查的生效

  • 2015-10-07

    公开

    公开

  • 2015-10-07

    公开

    公开

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号