首页> 中国专利> 基于Docker的Web数据采集方法、Web服务器及Web数据采集系统

基于Docker的Web数据采集方法、Web服务器及Web数据采集系统

摘要

本发明公开了一种基于Docker的Web数据采集方法、Web服务器及Web数据采集系统,其中Web数据采集方法在Web服务器内完成,包括基于Docker创建镜像容器,由镜像容器构建出一个数据采集主节点和若干个数据采集工作节点;所述数据采集主节点与数据采集工作节点相互通信;数据采集主节点接收Web数据采集任务,并根据Web数据采集任务中URL的数量来启动预设数量的数据采集工作节点;Web数据采集任务包括数据源IP地址和URL;数据采集工作节点启动后,数据采集主节点将数据源IP地址和URL分配给各数据采集工作节点,由数据采集工作节点采集相应的Web数据;数据采集主节点接收各数据采集工作节点传送来的数据,并回收所有数据采集工作节点,完成Web数据的采集。

著录项

  • 公开/公告号CN106534259B

    专利类型发明专利

  • 公开/公告日2019-08-13

    原文格式PDF

  • 申请/专利权人 山东大学;

    申请/专利号CN201610872814.3

  • 申请日2016-09-30

  • 分类号

  • 代理机构济南圣达知识产权代理有限公司;

  • 代理人赵妍

  • 地址 250061 山东省济南市舜华路1500号山东大学软件园校区

  • 入库时间 2022-08-23 10:38:12

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2019-08-13

    授权

    授权

  • 2017-04-19

    实质审查的生效 IPC(主分类):H04L29/08 申请日:20160930

    实质审查的生效

  • 2017-04-19

    实质审查的生效 IPC(主分类):H04L 29/08 申请日:20160930

    实质审查的生效

  • 2017-03-22

    公开

    公开

  • 2017-03-22

    公开

    公开

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号