基于语义的聚焦爬虫算法研究

孙红光; 藏润强; 姬传德; 杨凤芹; 冯国忠

首页> 中文期刊> 《东北师大学报：自然科学版》 >基于语义的聚焦爬虫算法研究

基于语义的聚焦爬虫算法研究

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

针对现存的语义主题爬虫没有考虑主题意义的延伸、页面与主题的相似度计算模型存在的缺陷及主题词项细化过于苛刻导致返回结果较少等不足,采用LDA(Latent Dirichlet Allocation)模型,对主题词项描述文档进行降维,改进语义相似度计算模型.引入语义信息的相似度计算模型(SVSM),用SVSM计算文档和主题模型的相似度.从本体中获取该主题词项的上位词,构建主题上位词的主题模型,爬虫依据现有网络中的主题重新获取主题相关信息,提出语义聚焦爬虫(ESVSM),通过不同主题下多个爬虫进行实验对比,发现所提出的基于主题建模和上位词替换的ESVSM算法在收获率、相关网页数量和网页平均相关度中均优于其他算法,平均抓取精度达到85%.

著录项

来源
《东北师大学报：自然科学版》 |2018年第2期|51-57|共7页
作者
孙红光; 藏润强; 姬传德; 杨凤芹; 冯国忠;
展开▼
作者单位

东北师范大学信息科学与技术学院;

智能信息处理吉林省重点实验室;

吉林大学计算机科学与技术学院;

展开▼
原文格式 PDF
正文语种 chi
中图分类文字信息处理;
关键词
聚焦爬虫; LDA; 主题模型; 向量空间模型(VSM); 语义相似度;

相似文献

中文文献
外文文献
专利

1. 基于语义相似聚合的主题爬虫算法研究 [J] . 吴林 ,王永滨 . 中国传媒大学学报（自然科学版） . 2018,第001期
2. 基于语义相似度的聚焦爬虫研究 [J] . 林春杰 ,金苗娟 . 现代信息科技 . 2020,第008期
3. 基于语义相似度的聚焦爬虫研究 [J] . 林春杰 ,金苗娟 . 现代信息科技 . 2020,第008期
4. 结合文本密度的语义聚焦爬虫方法 [J] . 林椹尠 ,袁柱 ,李小平 . 计算机应用与软件 . 2019,第009期
5. 基于爬虫技术和语义分析的网络舆情采集系统设计 [J] . 赵瑞丹 ,朱旭 . 电子设计工程 . 2021,第014期
6. 基于语义相似聚合的主题爬虫算法研究 [C] . WU Lin ,吴林 ,WANG Yong-bin . 2017首届文化科技学术会议 . 2017
7. 基于Web Community识别的聚焦爬虫算法研究与设计 [A] . 李君梅 . 2008

基于语义的聚焦爬虫算法研究

摘要

著录项

相似文献

相关主题

期刊订阅