首页> 中国专利> 一种基于汉语音位特征的文本查重方法

一种基于汉语音位特征的文本查重方法

页面导航

摘要
著录项
法律信息
相似文献

摘要

本发明公开了一种基于汉语音位特征的文本查重方法，属于数据处理领域。查重方法包括如下步骤：S1:选取包括声母、韵母和声调在内的音位特征，使其覆盖汉语拼音标准下包括整体认读音节的所有情况；S2：遍历待查重的两个文档中的所有字，分别得到每个文档中各汉字的声母、韵母和声调在该文档中的频率，并分别将其作为声母、韵母和声调三个空间的向量；再求得两个文档在声母、韵母和声调三个空间的余弦距离；S3：基于得到的三个余弦距离，求得两个文档的相似度，并根据相似度阈值判断两个文档是否重复。本发明由于音位频率的计算只需一次内存访问的开销，因此效率高于基于关键词向量的方法。

著录项

公开/公告号CN106649749B

专利类型发明专利
公开/公告日2019-07-16

原文格式PDF
申请/专利权人浙江传媒学院;
展开▼

申请/专利号CN201611219144.1
发明设计人金哲凡;俞定国;
展开▼

申请日2016-12-26
分类号
代理机构杭州求是专利事务所有限公司;
代理人张法高
地址 310018 浙江省杭州市下沙学源街998号
入库时间 2022-08-23 10:36:58

法律信息

法律状态公告日

法律状态信息

法律状态
2019-07-16

授权

授权
2017-06-06

实质审查的生效 IPC(主分类):G06F17/30 申请日:20161226

实质审查的生效
2017-06-06

实质审查的生效 IPC(主分类):G06F 17/30 申请日:20161226

实质审查的生效
2017-05-10

公开

公开
2017-05-10

公开

公开

相似文献

专利
中文文献
外文文献

1. 一种基于汉语音位特征的文本查重方法 [P] . 中国专利： CN106649749B . 2019.07.16
2. 一种基于汉语音位特征的文本查重方法 [P] . 中国专利： CN106649749A . 2017-05-10
3. methods to reprogram a source cell and a chondrocyte, to generate a cell, to prevent the differentiation of a chondrocyte cell culture, to treat osteoarthritis or another condition distinguished by the degeneration of cartilaginous tissue and to identify a useful agent to promote the conversion of a source cell type in a chondrocyte cell type, cell, cell population, uses of one or more compounds and a cell population, one or more of acid 4 - (5,6,7,8- tetrahydro-5,5,8,8-tetramethyl-2-naphthalenyl) carboxamido benzoic (am580), all trans retinoic acid, 9-cis retinoic acid, betaestradiol, calcitriol, ciglitazone, cartogenin, lithium chloride, melatonin, rhosin hydrochloride, leucovorin, vorinostat and forskolin, pharmaceutical composition, kit for use in a method, and processes for reprogramming a source cell, for generating a cell and for preventing the differentiation of a chondrocyte cell culture [P] . BR112019027313A2 . 2020-07-21

机译：重编程源细胞和软骨细胞，产生细胞，防止软骨细胞培养物分化，治疗骨关节炎或以软骨组织变性为特征的另一种疾病的方法，以及鉴定可促进软骨细胞转化的有用方法软骨细胞类型，细胞，细胞群，一种或多种化合物的用途和细胞群，一种或多种酸[4-[（5,6,7,8-四氢-5,5,8 ，（8-四甲基-2-萘基）羧酰胺基]（am580），全反式视黄酸，9-顺式视黄酸，β-雌二醇，骨化三醇，西格列酮，软骨素，氯化锂，褪黑激素，盐酸罗欣，盐酸亚叶酸，伏立诺他和佛司可林，药物组合物，用于重编程源细胞，产生细胞并防止软骨细胞培养物分化的方法和方法的试剂盒和方法
4. The system and method based on computer for the development of monolingual documents systems based computer to translate text input in language source for a foreign language and to desInvolvement of documents mono and multilingual translation method based on the computer to translate the text in the language source for a language estrageira method based on computer for developmentThe documents mono and multilingual translation and domain model tripartite [P] . BR9307175A . 1999-03-30

机译：用于开发单语文档的基于计算机的系统和方法基于计算机的系统，用于翻译外语源中的文本输入，并且基于计算机的单，多语翻译方法涉及用于翻译语言源中的文本的计算机。一种基于计算机的语言开发方法用于文档开发单，多语言翻译和领域模型三方
5. Feature text string-based sensitive text detecting method and apparatus [P] . 美国专利： US9710455B2 . 2017-07-18

机译：基于特征文本字符串的敏感文本检测方法及装置