首页> 中文期刊> 《现代图书情报技术》 >一种断点续传的多线程新闻组抓取方法及存储结构

一种断点续传的多线程新闻组抓取方法及存储结构

开具论文收录证明 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

针对新闻组的海量性及相关编码特点设计新闻帖抓取流程,采用多线程方式加快新闻帖的抓取及解析速度,同时设计一种便于海量数据断点续传的数据存储结构,通过实验采集验证该方法能有效达到信息检测的数据采集要求,抓取及解析新闻帖的速度比普通单线程抓取解析方式有显著提高。

著录项

来源
《现代图书情报技术》 |2011年第2期|29-33|共5页
作者
杨代庆; 王志苹; 王星; 刘敏健; 常迎春;
展开▼
作者单位

1. 中国科学技术信息研究所 2. 中国科学院国家科学图书馆 3. 中国科学院研究生院;

展开▼
原文格式 PDF
正文语种 chi
中图分类 TP393.09;
关键词
新闻组; 多线程; 海量数据; 网络新闻传输协议;

相似文献

中文文献
外文文献
专利

1. 基于动态解析方法的多线程数据高效抓取仿真 [J] . 刘彦 . 计算机仿真 . 2019,第007期
2. 一种基于SIP和MSRP协议实现文件断点续传的方法 [J] . 罗有平 ,周炳然 . 无线电工程 . 2018,第005期
3. 一种支持断点续传的UV LED固化系统升级方法的研究 [J] . 朱正伟 ,张南 ,钱露 . 计算机测量与控制 . 2016,第002期
4. 一种多路Flash存储结构的热数据判断方法 [J] . 钟诚 ,岳丽华 ,韦鹏 . 计算机工程 . 2009,第012期
5. 一种网页结构化数据的抓取方法 [J] . 薛春艳 . 现代工业经济和信息化 . 2021,第010期
6. 多线程向量处理器中向量数据存储结构的设计与实现 [C] . 王永文 ,陈微 ,郑倩冰 . 2011年第17届全国信息存储技术大会(IST 2011) . 2011
7. 基于HTTP/FTP协议的断点续传多线程下载组件 [A] . 郑营营 . 2012

获取原文

客服邮箱：kefu@zhangqiaokeyan.com

京公网安备：11010802029741号 ICP备案号：京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有

客服微信
服务号