首页> 中国专利> 一种防WEB爬虫的方法和装置

一种防WEB爬虫的方法和装置

页面导航

摘要
著录项
相似文献

摘要

本发明提供了一种防WEB爬虫的方法和装置，涉及网络安全的技术领域，包括：取目标网页的第一目标数据和第一目标数据对应的HTTP响应数据；对第一目标数据的原始DOM树形结构中的目标锚标签的原始href属性值进行改写，得到包含目标URL的目标DOM树形结构；基于目标DOM树形结构，构造第一目标数据的目标HTML代码，并将目标HTML代码发送给客户端；获取客户端基于目标HTML代码发送的访问请求；若访问请求为对目标URL的访问请求，则确定客户端为爬虫，并对访问请求执行阻断操作，解决了现有的防爬虫方法无法对爬虫访问进行实时识别和防御技术问题。

著录项

公开/公告号CN109492146B

专利类型发明专利
公开/公告日2021-06-29

原文格式PDF
申请/专利权人杭州安恒信息技术股份有限公司;
展开▼

申请/专利号CN201811333343.4
发明设计人陆波;范渊;
展开▼

申请日2018-11-09
分类号G06F16/951(20190101);
代理机构11371 北京超凡志成知识产权代理事务所(普通合伙);
代理人王文红
地址 310051 浙江省杭州市滨江区西兴街道联慧街188号
入库时间 2022-08-23 12:02:58

相似文献

专利
中文文献
外文文献

1. 一种防WEB爬虫的方法和装置 [P] . 中国专利： CN109492146B . 2021.06.29
2. 一种爬虫检测方法、web应用云防火墙、装置和存储介质 [P] . 中国专利： CN113810381A . 2021-12-17
3. METHODS AND APPARATUS TO THROTTLE MEDIA ACCESS BY WEB CRAWLERS [P] . 美国专利： US2019238480A1 . 2019-08-01

机译： Web爬虫对节流媒体访问的方法和装置
4. METHODS AND APPARATUS TO SUPPLEMENT WEB CRAWLING WITH CACHED DATA FROM DISTRIBUTED DEVICES [P] . 美国专利： US2019394294A1 . 2019-12-26

机译：用分布式设备中的缓存数据补充Web爬虫的方法和装置
5. METHOD AND APPARATUS TO THROTTLE MEDIA ACCESS BY WEB CRAWLERS [P] . 美国专利： US2018167336A1 . 2018-06-14

机译： Web爬虫对节流媒体访问的方法和装置