基于深度学习的中文特定领域命名实体识别方法研究

1 绪 论

1.1 课题研究背景和意义

1.2 国内外相关研究现状

1.2.1 传统基于规则的命名实体识别方法

1.2.2 基于统计机器学习的命名实体识别方法

1.2.3 基于深度学习的命名实体识别方法

1.3 论文主要工作内容及章节安排

2 相关理论与技术基础

2.1 自然语言的数值化

2.1.1 独热编码表示

2.1.2 分布式编码表示

2.2 基于统计机器学习的模型

2.2.1 条件随机场

2.2.2 维特比算法

2.3 深度学习相关理论与模型

2.3.1 激活函数

2.3.2 循环神经网络

2.3.3 长短期记忆网络

2.3.4 注意力机制模型Transformer

2.3.5 正则化方法Dropout

2.4 本章小结

3 基于循环神经网络的实体识别方法

3.1 基于BiLSTM-CRF模型的实体识别方法

3.1.1 BiLSTM模型

3.1.2 BiLSTM-CRF模型

3.2基于Hierarchical BiLSTM-CRF模型的实体识别方法

3.3 实验语料及其预处理

3.3.1 数据集介绍

3.3.2 数据预处理及其统计

3.4 相关实验

3.4.1 实验评价指标

3.4.2 基于BiLSTM-CRF模型的实体识别实验结果及分析

3.4.3基于Hierarchical BiLSTM-CRF模型的实体识别实验结果及分析

3.5 本章小结

4 基于深层语境语言模型的实体识别方法

4.1 深层语境语言模型BERT

4.1.1 输入表示

4.1.2 特征编码

4.1.3 预训练策略

4.1.4 相关总结

4.2 基于BERT语言模型融合CRF的实体识别方法

4.2.1 相关原理

4.2.2 实验结果

4.3 基于BERT语言模型融合BiLSTM-CRF的实体识别方法

4.3.1 相关原理

4.3.2 实验对比及分析

4.4 本章小结

5 总结与展望

5.1 全文总结

5.2 下一步工作展望

参考文献

附录

A 学位论文数据集

致谢