首页> 中文会议>第十六届全国数据库学术会议 >一种基于N-Gram的检测相似重复记录的高效方法

一种基于N-Gram的检测相似重复记录的高效方法

摘要

如何消除数据库中的重复信息已成为数据质量研究中的一个热门话题。该文提出了一种基于N-Gram的检测相似重复记录的方法,主要工作有:(1)给出了一种高效的基于N-Gram的聚类算法,该算法能适应常见的拼写错误如插入、删除、替换、效换等,复杂度为0(N);(2)介绍了一种高效的应用无关的Pairwise比较算法,复杂度为0(K〈’2〉);(3)采用了一种改进的优先队列算法来准确地聚类相似重复记录。

著录项

相似文献

  • 中文文献
  • 外文文献
  • 专利
获取原文

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号