首页> 中文会议>2007年全国网络与信息安全技术研讨会 >一种分布式信息检索系统的设计与实现

一种分布式信息检索系统的设计与实现

摘要

在海量数据中迅速获取有效信息需要信息检索技术。设计并实现了采用分布式架构的信息检索系统,具有良好的可扩展性;提出了压缩trie树词典构建方法,减少了内存使用,获得了很高的分词性能;提出了基于软件流水线技术的细粒度流水索引机制,有效提升了索引过程的性能。实测数据表明,该信息检索系统单机分词速率可达8.06MB/s,单机建立索引速率可达23.2GB/h,性能较高;数据平均分布的情况下,分布式系统整体创建索引速度与节点数基本成正比,检索时间对节点个数不敏感,可扩展性良好。

著录项

相似文献

  • 中文文献
  • 外文文献
  • 专利
获取原文

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号