首页> 中国专利> 一种分布式农业网络数据采集方法及其采集系统

一种分布式农业网络数据采集方法及其采集系统

摘要

本发明涉及网络数据采集的技术领域,具体涉及一种分布式网络数据采集方法及其采集系统,该方法包括通过调度器对请求队列中的链接进行去重,并将请求队列分配给相应的从机节点进行网络数据采集;在某一采集节点的网络数据采集行为遭到所采集的网站的攻击行为时,触发相应的防御机制;防御机制根据攻击行为判断攻击类型,并判断攻击类型与该采集节点所对应的从机节点预设的防御类型是否匹配;匹配时,执行与防御类型对应的防御措施来解除攻击;不匹配时,取消该采集节点的网络数据采集行为,并将未采集的请求队列返回至调度器等待重新分配,解决了在正常的网络数据采集工作遭到所采集的网站错误攻击时,能够及时的采取相应的措施解除危机。

著录项

  • 公开/公告号CN109660532B

    专利类型发明专利

  • 公开/公告日2021-08-24

    原文格式PDF

  • 申请/专利权人 华南农业大学;

    申请/专利号CN201811532961.1

  • 发明设计人 王乐乐;杨自尚;韩宇星;

    申请日2018-12-14

  • 分类号H04L29/06(20060101);G06F16/951(20190101);

  • 代理机构41134 郑州铭晟知识产权代理事务所(特殊普通合伙);

  • 代理人张鹏

  • 地址 510642 广东省广州市天河区五山

  • 入库时间 2022-08-23 12:21:54

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号