支持多语言的自然语言倒序分词最大成词算法

王智慧; 姜建国; 张秋亮

首页> 中文期刊> 《科学技术与工程》 >支持多语言的自然语言倒序分词最大成词算法

支持多语言的自然语言倒序分词最大成词算法

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

提出一种支持多语言的分词算法,该算法可以按照以下层次来理解:首先,对不同编码的源词库文件编码转换,生成Unicode编码的源词库文件;然后,用Unicode编码的词库文件生成Unicode词库索引;最后,将待分词的自然语句转换成Unicode编码的语句并按照索引倒序分词.该算法已经用C++语言实现,基于此算法实现的分析系统能够自动探测词库的更新并确定是否需要更新索引,能够支持多种编码方式,其编码转换和分词代码与平台无关,分词效率在9 MB/s以上,正确率在90%以上.

著录项

来源
《科学技术与工程》 |2007年第17期|4311-4315|共5页
作者
王智慧; 姜建国; 张秋亮;
展开▼
作者单位

西安电子科技大学计算机学院,西安,710071;

西安电子科技大学计算机学院,西安,710071;

华北电力大学计算机学院,保定,071003;

展开▼
原文格式 PDF
正文语种 chi
中图分类信息处理（信息加工）;
关键词
多语言; 索引树; 倒序分词; 最大成词算法;

相似文献

中文文献
外文文献
专利

1. 基于自然语言网络教学答疑中无词典分词算法的研究 [J] . 高晓梅 ,杨旭 . 西安工程大学学报 . 2009,第003期
2. 基于标志词的正向自适应长度匹配的地址分词算法与缺失地址要素补充方法 [J] . 李净 ,朱贵鲜 ,周亮 . 中国医疗设备 . 2019,第004期
3. 基于关键词筛选分词算法的企业级搜索引擎 [J] . 吴亮 ,李树广 . 微型电脑应用 . 2010,第007期
4. 自适应分词算法中的未登录词识别技术研究 [J] . 程冲 ,黄水清 . 情报学报 . 2009,第004期
5. 一种基于局部歧义词网格的快速分词算法 [J] . 张国兵 ,李淼 . 计算机工程与应用 . 2008,第012期
6. 基于词位信息的HMM中文分词算法 [C] . 刘善峰 ,李雅 ,陶建华 . 第十二届全国人机语言通讯学术会议（NCMMSC`2013） . 2013
7. 英语分词复合词中-ing分词和-ed分词选择的认知研究 [A] . 黄想弟 . 2014

支持多语言的自然语言倒序分词最大成词算法

摘要

著录项

相似文献

相关主题

期刊订阅