面向分布式网络爬虫的域名解析方法研究

赵晓永; 王磊

首页> 中文期刊> 《北京信息科技大学学报（自然科学版）》 >面向分布式网络爬虫的域名解析方法研究

面向分布式网络爬虫的域名解析方法研究

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

提出了一种分布式JVM(Java Virtual Machine)网络爬虫的域名解析缓存方法DQ Cache(Distributed Quick Cache),实现了高效的DNS缓存机制.在深入分析操作系统和JVM的域名解析工作机制基础上,结合分布式爬虫的并行化与任务多节点均匀化等特点,采用正向和负向双缓存方式,为2个缓存分别设计采用了特定的数据结构和过期策略.实验表明,该方法可以有效提升域名解析性能,同时降低各爬虫节点的内存占用和域名解析请求对网络带宽的影响,提升了分布式爬虫的整体性能.

著录项

来源
《北京信息科技大学学报（自然科学版）》 |2017年第2期|45-49|共5页
作者
赵晓永; 王磊;
展开▼
作者单位

北京信息科技大学信息管理学院,北京100129;

北京信息科技大学信息管理学院,北京100129;

展开▼
原文格式 PDF
正文语种 chi
中图分类编译程序、解释程序;
关键词
分布式爬虫; 域名解析; DNS; 缓存;

相似文献

中文文献
外文文献
专利

1. 基于分布式网络爬虫的Web空间数据获取方法研究 [J] . 冯玲 ,黄亮 ,曾李阳 . 贵州大学学报（自然科学版） . 2019,第001期
2. 主动获取式的分布式网络爬虫集群方法研究 [J] . 董禹龙 ,杨连贺 ,马欣 . 计算机科学 . 2018,第0z1期
3. 一种网络爬虫的带缓存非阻塞异步域名解析器模型及其性能分析 [J] . 陈言 ,颜晨阳 . 软件导刊 . 2009,第011期
4. 一种网络爬虫的带缓存非阻塞异步域名解析器模型及其性能分析 [J] . 陈言 ,颜晨阳 . 教育技术导刊 . 2009,第011期
5. 面向岗位信息的分布式爬虫应用 [J] . 冯成 . 无线互联科技 . 2020,第015期
6. 基于分布式网络爬虫的Web空间数据获取方法研究 [C] . 曾李阳 ,齐华 ,任春雷 . 2016中国地理信息科学理论与方法学术年会 . -1
7. 基于分布式网络爬虫的Web空间数据获取与管理方法研究 [A] . 曾李阳 . 2016

面向分布式网络爬虫的域名解析方法研究

摘要

著录项

相似文献

相关主题

期刊订阅