基于Hash技术的重复性评论检测

李真; 林琛; 李弼程

首页> 中文期刊> 《计算机应用》 >基于Hash技术的重复性评论检测

基于Hash技术的重复性评论检测

开具论文收录证明 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

随着互联网技术的迅速发展,论坛已经成为人们获取信息、发表言论的重要场所,但大量的重复评论已成为论坛舆情信息内容获取与监管系统中新的难题,因此对重复评论进行有效检测和消重就至关重要.针对重复评论在一定时间内具有数量大、密度高、内容相似度高的特点,提出了一种基于SHA-1技术的重复评论检测方法.该方法以句和段为粒度块计算评论Hash值,然后统计Hash表中相同的指纹数目以此判断评论之间的相似度.最后依据给出的相似度阈值检测评论是否为重复评论.实验结果表明,该方法可以对重复评论进行有效检测和消重,且优于传统方法.

著录项

来源
《计算机应用》 |2009年第z2期|263-266|共4页
作者
李真; 林琛; 李弼程;
展开▼
作者单位

信息工程大学;

信息工程大学;

信息工程大学;

展开▼
原文格式 PDF
正文语种 chi
中图分类信息处理（信息加工）;
关键词
舆情信息; 重复评论; 相似度计算; Hash表;

相似文献

中文文献
外文文献
专利

1. 基于Hash技术的重复性评论检测 [J] . 李真 ,林琛 ,李弼程 . 计算机应用 . 2009,第s2期
2. 基于Hash技术的重复性评论检测 [J] . 李真 ,林琛 ,李弼程 . 计算机应用 . 2009,第b12期
3. 基于文本认知Hash的网络水军发帖检测技术研究 [J] . 胡舜良 ,凌宝红 ,胡东辉 . 安庆师范大学学报：自然科学版 . 2012,第2期
4. 基于Hash算法的分布式状态检测技术 [J] . 郭方方 ,杨永田 . 武汉大学学报：理学版 . 2006,第5期
5. 基于超高速成像技术的脉搏波传导速度检测颈动脉弹性的一致性和重复性研究 [J] . 张宏 ,胡向东 ,钱林学 . 临床和实验医学杂志 . 2014,第22期
6. 基于Hash算法的分布式状态检测技术 [C] . 郭方方 ,杨永田 . 第二届中国可信计算与信息安全学术会议 . 2006
7. 基于马尔科夫随机场的虚假评论在线检测技术的研究 [A] . 高珮 . 2020

基于Hash技术的重复性评论检测

摘要

著录项

相似文献

相关主题

期刊订阅