基于规则和N-Gram算法的新词识别研究

JIANG Ruxia; HUANG Shuiyuan; DUAN Longzhen; LUO Lijuan

首页> 中文期刊> 《现代电子技术》 >基于规则和N-Gram算法的新词识别研究

基于规则和N-Gram算法的新词识别研究

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

当前的分词工具分词后会出现很多单字碎片,分词之后意义与原意相差甚远.同时因为新词的构词规则具有自由度大的特点,当前分词方法不能有效识别网络中的新词.在ICTCLAS2016分词系统的基础上,结合新词结构制定规则构建碎片库,利用Bi-gram和Tri-gram模式提取碎片库中的候选字串,再采用左右邻接熵进行扩展及过滤,最后提出基于规则和N-Gram算法的新词识别方法.结果表明使用该方法的分词效果准确率、召回率和F值都有所提高.实验结果表明,该新词识别方法能有效构造候选新词集合,提高中文分词效果.

著录项

来源
《现代电子技术》 |2019年第4期|166-170|共5页
作者
JIANG Ruxia; HUANG Shuiyuan; DUAN Longzhen; LUO Lijuan;
展开▼
作者单位

展开▼
原文格式 PDF
正文语种 chi
中图分类信息处理（信息加工）;
关键词
新词识别; N-Gram算法; 构词规则; 中文分词; 碎片库; 召回率;

相似文献

中文文献
外文文献
专利

1. 基于词表和N-gram算法的新词识别实验 [J] . 曹艳 ,杜慧平 ,刘竟 . 中国索引 . 2008,第001期
2. 基于N-Gram模型的蒙古语文本语种识别算法的研究 [J] . 马志强 ,张泽广 ,闫瑞 . 中文信息学报 . 2016,第001期
3. 基于规则的维吾尔语对偶词识别算法研究 [J] . 扎依达·木沙 ,吐尔根·依布拉音 . 新疆大学学报（自然科学版） . 2009,第002期
4. 网络新词识别算法研究 [J] . 刘哲 ,黄永峰 ,罗芳 . 计算机工程与科学 . 2013,第009期
5. 一种基于规则与句法合成的层次化语句分析识别算法 [J] . 贾继康 ,邵玉斌 ,龙华 . 吉林大学学报（理学版） . 2020,第004期
6. 基于n-gram相邻字的中文文本特征提取算法 [C] . 王晔 ,黄上腾 . 第一届全国信息检索与内容安全学术会议 . 2004
7. 基于N-gram与混合策略的新词识别研究与实现 [A] . 冯嘉康 . 2018

基于规则和N-Gram算法的新词识别研究

摘要

著录项

相似文献

相关主题

期刊订阅