首页> 中国专利> 一种面向公共资源交易数据的清洗去重方法及其系统

一种面向公共资源交易数据的清洗去重方法及其系统

页面导航

摘要
著录项
相似文献

摘要

本发明涉及一种面向公共资源交易数据的清洗去重方法及其系统，该公共资源交易数据所对应的文本以文本数据记录形式存储在数据集中；其中，按照预设规则对数据集进行分组，控制每个分组内的文本数据记录数量；基于最长公共子序列计算每一分组内各个文本数据记录之间的数据相似度；当两条文本数据记录之间的数据相似度大于预定阈值时，进一步对比这两条文本数据记录的命名实体信息，当这两条文本数据记录的命名实体信息相同时，判断属于重复数据，否则判断属于非重复数据。通过多维度的交叉验证方式来确定来自公共资源交易数据中的重复信息，能够在提高文本处理性能的基础上进一步防止误判重复数据。

著录项

公开/公告号CN110196848B

专利类型发明专利
公开/公告日2022-04-12

原文格式PDF
申请/专利权人广联达科技股份有限公司;
展开▼

申请/专利号CN201910278683.X
发明设计人刘全超;祝华令;付永晖;
展开▼

申请日2019-04-09
分类号G06F16/215(20190101);G06F16/951(20190101);
代理机构11015 北京英特普罗知识产权代理有限公司;
代理人程超
地址 100193 北京市海淀区西北旺东路10号院东区13号楼广联达信息大厦
入库时间 2022-08-23 13:27:17

相似文献

专利
中文文献
外文文献

1. 一种面向公共资源交易数据的清洗去重方法及其系统 [P] . 中国专利： CN110196848A . 2019-09-03
2. 一种基于移动CA证书的公共资源交易数据签名方法及系统 [P] . 中国专利： CN110166257A . 2019-08-23
3. 数据发送方法及其装置、通信系统 [P] . 世界知识产权组织专利： WO2020/142932A1 . 2020.07.16
4. 异常数据的检测方法及其系统 [P] . 世界知识产权组织专利： WO2020/143379A1 . 2020.07.16
5. 一种基于变分自编码器的训练样本数据扩充方法、存储介质及计算机设备 [P] . 世界知识产权组织专利： WO2020/143321A1 . 2020.07.16