基于页面集的异步刷新页面爬取技术研究

张萌

首页> 中文期刊> 《科技创新导报》 >基于页面集的异步刷新页面爬取技术研究

基于页面集的异步刷新页面爬取技术研究

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

对于网络爬虫来说,页面都是"静态"的.在实际的HTML页面中,静态的数据很少,并且很多数据通常通过异步刷新的方式填充到页面中.如何在静态页面中捕获异步刷新填充的数据是网络爬虫研究的关键.为了解决异步刷新获取的问题,多个相互关联的HTTP请求被合并,并加以解析.此外,进一步提出了页面集的概念,即对需要抓取的数据进行归类,将同一被抓取的链接中所有的请求链接归在同一个集合中进行处理,使得数据的层次更清晰.

著录项

来源
《科技创新导报》 |2020年第24期|127-128131|共3页
作者
张萌;
展开▼
作者单位

北京信息科技大学计算机院北京 100192;

展开▼
原文格式 PDF
正文语种 chi
中图分类计算机网络;
关键词
网络爬虫; 静态页面; 请求; 异步刷新; 页面集;

相似文献

中文文献
外文文献
专利

1. 基于Python的网页信息爬取技术研究 [J] . 陈海燕 ,朱庆华 ,常莹 . 电脑知识与技术 . 2021,第008期
2. 基于Python的网页信息爬取技术研究 [J] . 单艳 ,张帆 . 电子技术与软件工程 . 2021,第014期
3. 基于Python的淘宝评论爬取技术研究 [J] . 杨帆 ,董俊 ,唐宏亮 . 中国管理信息化 . 2019,第004期
4. Python框架下基于主题的数据爬取技术研究与实现 [J] . 严斐 ,肖璞 . 计算机时代 . 2018,第11期
5. 基于概念树的主题爬取技术研究 [J] . 曾义聪 ,杨贯中 ,刘柯 . 科学技术与工程 . 2005,第012期
6. 基于Hadoop平台的科技情报数据爬取系统研究 [C] . 李时玉 ,孟莹 ,孙沫卿 . “科技情报助力全国科技创新中心建设”2017年度论坛 . 2017
7. 基于概念树的主题爬取技术研究 [A] . 曾义聪 . 2005

基于页面集的异步刷新页面爬取技术研究

摘要

著录项

相似文献

相关主题

期刊订阅