首页> 中国专利> 云环境下分布式网络信息采集方法

云环境下分布式网络信息采集方法

页面导航

摘要
著录项
法律信息
相似文献

摘要

本发明提供了云环境下分布式网络信息采集方法。其主要包括：对于页面信息的采集，采用星型的分布式采集模型，页面信息采集服务器只负责通过异步的方式采集相关网页的页面信息，并将最终的采集结果返回给云服务器，页面信息的处理则在云端进行；关于待采集的URL的分配方式，云服务器根据不同的采集服务器的历史采集效率，动态地为不同的页面采集服务器分配不同的任务个数，从而尽可能地使各个页面采集服务器达到负载均衡的效果。本发明提出的分布式网络信息采集方法，对于通用网络爬虫和主题网络爬虫都适用，可以很好地提高网络爬虫的爬行效率以及解决在分布式环境中网络爬虫的负载均衡问题。

著录项

公开/公告号CN104699757B

专利类型发明专利
公开/公告日2018-03-13

原文格式PDF
申请/专利权人南京邮电大学;
展开▼

申请/专利号CN201510020854.0
发明设计人张登银;于建坤;
展开▼

申请日2015-01-15
分类号G06F17/30(20060101);
代理机构32241 江苏爱信律师事务所;
代理人唐小红
地址 210003 江苏省南京市鼓楼区新模范马路66号
入库时间 2022-08-23 10:08:07

法律信息

法律状态公告日

法律状态信息

法律状态
2019-08-09

专利权的转移 IPC(主分类):G06F17/30 登记生效日:20190719 变更前: 变更后: 申请日:20150115

专利申请权、专利权的转移
2018-03-13

授权

授权
2015-07-08

实质审查的生效 IPC(主分类):G06F17/30 申请日:20150115

实质审查的生效
2015-06-10

公开

公开

相似文献

专利
中文文献
外文文献

1. 云环境下分布式网络信息采集方法 [P] . 中国专利： CN104699757B . 2018.03.13
2. 一种基于云环境的网络信息采集方法 [P] . 中国专利： CN110659405A . 2020-01-07
3. HDFS DOCKER CONTAINER SECURITY LOG ANALYSIS METHOD AND SYSTEM BASED ON HADOOP DISTRIBUTED FILE SYSTEM IN CLOUD ENVIRONMENT [P] . 韩国专利： KR101810762B1 . 2017-12-19

机译：云环境下基于HADOOP分布式文件系统的HDFS DOCKER容器安全日志分析方法及系统
4. AUTONOMOUS DISTRIBUTED NETWORK INFORMATION COLLECTING APPARATUS, AUTONOMOUS DISTRIBUTED NETWORK INFORMATION COLLECTING METHOD, AND PROGRAM [P] . 日本专利： JP2005252606A . 2005-09-15

机译：自治分布式网络信息收集装置，自治分布式网络信息收集方法和程序
5. SYSTEM OR METHOD TO RUN DISTRIBUTED VALIDATION OF WORKFLOWS ACROSS A NETWORK IN A SHARED DISTRIBUTED LEDGER IN MULTI-TENANT CLOUD ENVIRONMENT [P] . US2021342329A1 . 2021-11-04

机译：在多租户云环境中的共享分布式分类帐中运行在网络中运行工作流的分布式验证的系统或方法