一种采用SpotSigs算法的中文新闻网页相似性检测方法

李岩1; 徐硕1; 吴广印12; 干生洪3

首页> 中文期刊> 《情报工程》 >一种采用SpotSigs算法的中文新闻网页相似性检测方法

一种采用SpotSigs算法的中文新闻网页相似性检测方法

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

互联网的高速发展使得新闻网页成为了网民了解国内外大事的首要选择,然而中国互联网存在着大量重复新闻网页的现象,对于提高用户体验以及新闻情报的分析造成了一定的困难。本文以SpotSigs算法为基础提出了一种中文新闻网页相似性检测方法,在先行词选取阶段使用基础先行词与优化先行词相结合的选择策略,从而降低了网页中的导航栏、广告等噪音对中文新闻网页相似性检测的影响。以实际的中文新闻网页为实验数据集,通过准确率、召回率两项指标验证了基于SpotSigs算法的中文新闻网页相似性检测方法的有效性和可行性,特别在相似度阈值较低的情况下具有较好的性能。

著录项

来源
《情报工程》 |2017年第3期|P.116-124|共9页
作者
李岩1; 徐硕1; 吴广印12; 干生洪3;
展开▼
作者单位

[1]中国科学技术信息研究所,北京100038 [2]万方数据股份有限公司,北京100038 [3]古联（北京）数字传媒科技有限公司,北京100049;

[1]中国科学技术信息研究所,北京100038 [2]万方数据股份有限公司,北京100038 [3]古联（北京）数字传媒科技有限公司,北京100049;

[1]中国科学技术信息研究所,北京100038 [2]万方数据股份有限公司,北京100038 [3]古联（北京）数字传媒科技有限公司,北京100049;

[1]中国科学技术信息研究所,北京100038 [2]万方数据股份有限公司,北京100038 [3]古联（北京）数字传媒科技有限公司,北京100049;

[1]中国科学技术信息研究所,北京100038 [2]万方数据股份有限公司,北京100038 [3]古联（北京）数字传媒科技有限公司,北京100049;

展开▼
原文格式 PDF
正文语种 CHI
中图分类情报学、情报工作;
关键词
SpotSigs算法新闻网页相似性检测先行词选取;

相似文献

中文文献
外文文献
专利

1. 一种采用SpotSigs算法的中文新闻网页相似性检测方法 [J] . 李岩 ,徐硕 ,吴广印 . 情报工程 . 2017,第003期
2. CCDet:一种高效的大规模中文重复网页检测方法 [J] . 韦永壮 ,袁春风 ,黄宜华 . 计算机研究与发展 . 2013,第0z2期
3. 改进的中文静态网页新闻正文自动抽取算法 [J] . 何春辉 ,王孟然 . 东莞理工学院学报 . 2018,第5期
4. 基于后缀树的中文新闻重复网页识别算法 [J] . 钱爱兵 ,江岚 . 现代图书情报技术 . 2008,第003期
5. 一种新的自适应中文网页聚类算法 [J] . 谢志妮 . 现代计算机（专业版） . 2009,第012期
6. CCDet:一种高效的大规模中文重复网页检测方法 [C] . Wei Yongzhuang ,韦永壮 ,Yuan Chunfeng . 中国计算机学会第一届CCF大数据学术会议 . 2013
7. 基于句子情感和主题相似性中文新闻文本情感摘要方法 [A] . 王玮 . 2017

一种采用SpotSigs算法的中文新闻网页相似性检测方法

摘要

著录项

相似文献

相关主题

期刊订阅