首页> 中文会议>中国中文信息学会二十五周年学术会议 >由字构词——中文分词新方法

由字构词——中文分词新方法

页面导航

摘要
著录项
相似文献
相关主题

摘要

被称为Bakeoff的国际中文分词评测由于创建了公开、可比的分词评测语料库和多视角的评测指标,从而一举改变了中文分词研究的格局.通过带标注的语料库来定义中文的词语,允许采用不同分词标准而不是唯一标准的语料同台评测,通过定量分析科学地确认未登录词(OOV)识别的性能是进一步提高分词精度的突破口,以及针对这一需求而提出的"由字构词"的新分词方法等,都是近四年来分词研究领域涌现的喜人景象.本文将简略介绍"由字构词"的中文分词新方法,说明它出现的动机和采用的机器学习机制.微软亚洲研究院用条件随机场(CRF)模型实现的这种分词系统参加Bakeoff2006的六项中文分词评测,获得四个第一和两个第三.本文也相应地解释了这个参赛系统的一些重要设计理念.

著录项

来源
《中国中文信息学会二十五周年学术会议》|2006年|53-63|共11页
会议地点北京
作者
黄昌宁; 赵海;
展开▼
作者单位

中国中文信息学会;

展开▼
会议组织
正文语种
原文格式 PDF
中图分类文字处理软件;基本词汇;
关键词
分词精度; 语料库; 中文分词方法;

相似文献

中文文献
外文文献
专利

1. 基于Hash结构词典的逆向回溯中文分词技术研究 [J] . 梁桢 ,李禹生 . 计算机工程与设计 . 2010,第023期
2. 基于字簇的多模型中文分词方法研究 [J] . 李对红 ,王裴岩 ,张桂平 . 计算机应用研究 . 2020,第002期
3. 基于字向量的条件随机场的中文分词方法 [J] . 周寅 . 武汉船舶职业技术学院学报 . 2019,第004期
4. 一种基于字的多模型中文分词方法 [J] . 张少阳 ,王裴岩 ,蔡东风 . 沈阳航空航天大学学报 . 2017,第001期
5. 一种基于字的多模型中文分词方法 [J] . 张少阳 ,王裴岩 ,蔡东风 . 沈阳航空航天大学学报 . 2017,第001期
6. 面向普通未登录词理解的二字词语义构词研究 [C] . Zhiwei Ji ,吉志薇 ,Minxuan Feng . 中国中文信息学会2015学术年会（CIPS2015）暨第十四届全国计算语言学学术会议（CCL2015）、第三届基于自然标注大数据的自然语言处理国际学术研讨会（NLP-NABD2015） . 2015
7. 关于“啰”字简化与构词能力的定量考察 [A] . 贾凌 . 2016

由字构词——中文分词新方法

摘要

著录项

相似文献

相关主题

期刊订阅