基于层次隐马尔可夫模型的汉语词法分析和命名实体识别技术

文摘

英文文摘

北京化工大学学位论文原创性声明

一引言

1.1 自然语言处理技术简介

1.2汉语词法分析和命名实体识别简介

二相关基础

2.1 N元模型

2.2基于类的语言模型

2.3马尔可夫模型

2.4隐马尔可夫模型

2.5层次隐马模型

三汉语词法分析的研究

3.1 介绍

3.2前人的相关工作

3.3基于层次隐马模型的汉语词法分析

3.4基于类的隐马分词算法

3.5 N-最短路径的切分排歧策略

四中文命名实体的识别

4.1介绍

4.1.1命名实体识别的任务

4.1.2为什么要研究命名实体识别的识别

4.1.3中文命名实体识别的困难

4.2中文命名实体的定义和标准

4.2.1关于人名的定义

4.2.2关于地名的定义

4.2.3关于机构名的定义

4.3前人的相关工作

4.3.1基于规则的方法

4.3.2基于统计的方法

4.3.3统计与规则相结合的方法

4.4基于角色标注的中文命名实体识别

4.4.1命名实体识别角色表

4.4.2角色的自动标注

4.4.3角色信息的抽取

4.4.4嵌套未登录词的识别

4.5实验和结果分析

4.5.1词法分析和命名实体识别

4.5.2 ICTCLAS在973评测中的测试结果

4.5.3第一届国际分词大赛的评测结果

五结束语

参考文献

附录1汉语文本词性标注标记集

附录2命名实体词语切分标准

攻读学位期间发表的学术论文目录

致谢