首页> 中国专利> 基于Gecco框架爬取网页数据并与数据库交互的方法

基于Gecco框架爬取网页数据并与数据库交互的方法

摘要

本发明涉及网络爬虫技术领域,公开了一种基于Gecco框架爬取网页数据并与数据库交互的方法,用以解决爬取到的数据不能直接而简洁的与相应数据库进行交互的问题。本发明包括:S1、编写一个包含模板类静态属性的工具类;S2、在控制类中通过springboot注解为模板类自动注入值;S3、在控制类中创建Gecco搜索引擎之前,使用步骤S1中创建的工具类对模板类静态属性赋值,其值为步骤S2中所注入值;S4、创建Gecco搜索引擎,开始爬取网页数据;S5、在实现Pipeline的处理类中使用步骤S1的工具类来获取一个模板类的实例;S6、使用步骤S5所创建的实例使通过Gecco爬取的数据与对应数据库实现交互。本发明适用于网页数据爬取。

著录项

  • 公开/公告号CN110516137A

    专利类型发明专利

  • 公开/公告日2019-11-29

    原文格式PDF

  • 申请/专利权人 四川长虹电器股份有限公司;

    申请/专利号CN201910814088.3

  • 发明设计人 钟声;

    申请日2019-08-30

  • 分类号

  • 代理机构成都虹桥专利事务所(普通合伙);

  • 代理人陈立志

  • 地址 621000 四川省绵阳市高新区绵兴东路35号

  • 入库时间 2024-02-19 15:57:53

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2019-12-24

    实质审查的生效 IPC(主分类):G06F16/951 申请日:20190830

    实质审查的生效

  • 2019-11-29

    公开

    公开

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号