基于关键词提取的娱乐新闻文档去重算法

沙芸; 张国英; 孟凡亮

首页> 中文期刊> 《广西师范大学学报：自然科学版》 >基于关键词提取的娱乐新闻文档去重算法

基于关键词提取的娱乐新闻文档去重算法

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

去除内容相同或相近的新闻是提高搜索引擎的关键技术之一。提出一种基于关键词提取的新闻去重算法,通过以标题为种子点构建词汇链的方法,能够找到对主题贡献大的非高频词,从而抽取出完整文档关键词集合,该方法能够基于小规模语料库识别新词;为了提高网页去重速度和质量,基于关键词建立去重倒排文档。实验结果显示,该方法与传统方法相比排斥错误率降低了5%,去重时间缩短了20%-30%。

著录项

来源
《广西师范大学学报：自然科学版》 |2007年第2期|30-33|共4页
作者
沙芸; 张国英; 孟凡亮;
展开▼
作者单位

北京石油化工学院计算机系;

展开▼
原文格式 PDF
正文语种 chi
中图分类自动推理、机器学习;
关键词
关键词提取; 新词识别; 文档相似度;

相似文献

中文文献
外文文献
专利

1. 基于Simhash的大规模文档去重改进算法研究 [J] . 王诚 ,王宇成 . 计算机技术与发展 . 2019,第002期
2. 基于Simhash算法的大规模文档去重技术研究 [J] . 余意 ,张玉柱 ,胡自健 . 信息通信 . 2015,第002期
3. 基于语言节奏的大规模文档去重算法研究 [J] . 陈钒 ,冯志勇 ,李晓红 . 计算机工程与应用 . 2011,第011期
4. 网页去重中的关键词和特征串提取 [J] . 符于江 . 电子技术与软件工程 . 2016,第017期
5. 基于网页正文逻辑段落和长句提取的网页去重算法 [J] . 张小娣 ,宋余庆 . 图书情报研究 . 2012,第002期
6. 基于主题关键词的新闻去重算法 [C] . . 第四届全国信息检索与内容安全学术会议 . 2008
7. 基于关键词的搜索引擎网页去重算法研究 [A] . 贺知义 . 2015

基于关键词提取的娱乐新闻文档去重算法

摘要

著录项

相似文献

相关主题

期刊订阅