首页> 中文会议>第二届全国信息检索与内容安全学术会议 >天罗Web信息采集系统中的性能优化

天罗Web信息采集系统中的性能优化

摘要

随着Web信息的爆炸性增长,对Web信息采集的性能提出了巨大的挑战.本文介绍了天罗Web信息采集的总体结构和性能优化策略.在性能优化策略中详细分析了优雅采集、页面采集、页面刷新和分布式采集.在页面采集中分析了多线程、重复网页、采集器陷阱和网页的存储.实验结果表明,天罗Web信息采集系统具有较高的性能.

著录项

相似文献

  • 中文文献
  • 外文文献
  • 专利
获取原文

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号