基于Lucene网页排名改进的分布式搜索系统

代理获取

页面导航

目录
摘要
著录项
相似文献
相关主题

摘要

近年来，互联网信息量日益庞大，如何从海量数据中高效准确定位到目标信息成为搜索引擎的一大挑战。构建大规模集群实现对目标信息的分布式并行搜索是应对上述问题的重要途径，这为分布式搜索领域的高速发展提供了土壤，许多与此相关的技术很快出现，如Hadoop、Spark等，与此同时，对信息进行准确筛选与过滤显得尤为重要，这便要求完善信息评判机制，以实现对信息的有效甄别。
　　在上述前提下，本文深入分析了搜索引擎的相关原理和实现机制，详细介绍了Hadoop相关技术和开源工具Lucene相关技术，并在此基础上展开了构建高性能搜索引擎的研究工作。首先，为实现信息采集过程中URL高效过滤与去重，本文采用嵌入式数据库BerkeleyDB记录已处理链接队列，BerkeleyDB与调用程序共享内存空间保证了访问的快捷性。其次，本文采用追加方式进行索引更新，针对新加入数据不必重建整个索引，而是为新数据单独生成索引文件，并且可以独立访问。当追加索引文件个数达到阈值时引发合并操作，本文通过实验选取了最优阈值大大提高了构建索引的效率。然后，分析了已有的几种网页评分算法的优缺点，基于Lucene固有的网页评分算法做出了改进，提出了基于词频位置加权和文档新鲜度的网页评分算法，本算法不单是关注查询关键词在网页中出现的次数，还将查询词在网页中出现的位置以及网页的新鲜程度作为网页得分的重要影响因子，这种方式能够更加全面地评判网页的优劣程度。
　　最后，本文先基于开源Java工具包Lucene构建出单节点搜索子系统，子系统具备完整搜索引擎的各个组件，能够独立提供搜索服务，在此基础上，利用Hadoop技术建立了由三个单节点子系统构成的小型集群服务系统，实现了数据的分布式冗余存储和索引构建的高效并行，并将改进后的网页评分算法应用于分布式系统上，对改进前后搜索结果的正确率做了比较，实际实验证明新算法优于Lucene固有算法。

著录项

作者
张东方;
展开▼
作者单位

西安电子科技大学;

展开▼
授予单位西安电子科技大学;
学科计算机技术
授予学位硕士
导师姓名姚勇,乔国平;
年度 2014
页码
总页数
原文格式 PDF
正文语种中文
中图分类检索机;
关键词
分布式搜索系统; Lucene网页排名; 嵌入式数据库; Hadoop技术; 网页评分算法;

相似文献

中文文献
外文文献
专利

1. 基于Lucene网页排序算法的改进 [J] . 张贤 ,周娅 . 计算机系统应用 . 2009,第002期
2. 基于Lucene的企业电子文档搜索系统的开发研究 [J] . 林钰杰 ,吴丽贤 . 电子设计工程 . 2017,第017期
3. 基于Lucene.net的教学资源智能搜索系统的设计与实现 [J] . 韦书令 . 广西广播电视大学学报 . 2017,第001期
4. 基于Lucene的个性化网络信息搜索系统设计与实现 [J] . 徐想 . 信息通信 . 2016,第004期
5. 基于lucene的人才网全文搜索系统设计及应用 [J] . 潘文富 . 电子技术与软件工程 . 2014,第009期
6. 专利排名-以网页排名与论文排名进行引用次数与引文网络的实验研究 [C] . 顾立平 . 2011图书馆信息技术的应用、服务和创新学术研讨会暨第3届数字图书馆与开放源代码软件(DLIBOSS2011)学术研讨会 . 2011
7. 基于Lucene的产品比价搜索系统的研究与设计 [A] . 张俊 . 2013

基于Lucene网页排名改进的分布式搜索系统

目录

摘要

著录项

相似文献

相关主题

期刊订阅