基于文档表示的文本分类算法研究

声明

致谢

摘要

第一章绪论

1．1课题研究背景与意义

1．2国内外研究现状

1．3本文研究内容与难点

1．4本文的组织结构

第二章文档表示的相关算法介绍

2．1语言模型

2．2．1卷积神经网络

2．2．2循环神经网络

2．2．3 Transformer模型

2．2．4分析三个模型的优缺点

2．3本章小结

第三章基于带dropout与池化的LSTM文本表示

3．1模型的构建原理阐述

3．1．1词向量层

3．1．2 dropout

3．1．3双向长短期记忆网络

3．1．4池化

3．1．5模型的主要架构

3．2．1实验数据

3．2．2文本数据的预处理

3．2．3实验模型及参数设置

3．3实验结果分析

3．3．1模型之间的比较结果分析

3．3．2 dropout对模型的影响

3．3．3池化操作对模型的影响

3．4本章小结

第四章基于混合softmax的BERT模型

4．1．1 BERT模型的介绍

4．1．2混合softmax

4．1．3优化函数

4．1．4模型架构说明

4．2实验数据

4．2．1实验数据说明

4．2．2文本预处理过程

4．3实验结果分析

4．3．1预训练模型与直接训练模型的对比

4．3．2混合softmax的实验分析

4．3．3随机种子对模型的影响

4．4本章小结

第五章总结与展望

5．1工作总结

5．2工作展望

参考文献

攻读硕士学位期间的学术活动及成果情况