首页> 中文学位 >联合BERT与Seq2Seq模型的情感对话生成研究
【6h】

联合BERT与Seq2Seq模型的情感对话生成研究

代理获取

目录

声明

第1章 绪论

1.1 研究背景与意义

1.2 国内外研究现状

1.2.1 对话生成的研究现状

1.2.2 情感对话生成的研究现状

1.3 主要研究内容

1.4 组织结构

第2章 相关理论与技术

2.1 文本表示

2.1.1 离散表示

2.1.2 分布式表示

2.1.3 中文分词

2.2 经典神经网络模型

2.2.1 卷积神经网络

2.2.2 循环神经网络

2.3 Seq2Seq模型

2.3.1 Encoder–Decoder框架

2.3.2 基础Seq2Seq模型

2.3.3 注意力机制

2.3.4 Beam Search算法

2.4 BERT模型

2.4.1 Transformer

2.4.2 BERT模型结构

2.4.3 BERT模型输入

2.5 本章小结

第3章 联合BERT与Seq2Seq的对话生成研究

3.1 问题描述

3.2 联合BERT与Seq2Seq的对话生成模型

3.2.1 模型结构

3.2.2 基于双向GRU的编码器

3.2.3 BERT模块

3.2.4 融合单元

3.3 实验结果与分析

3.3.1 实验数据集

3.3.2 对比实验模型

3.3.3 实验参数设置

3.3.4 模型评价指标

3.3.5 实验结果分析

3.4 本章小结

第4章 联合BERT与Seq2Seq的层次情感对话生成

4.1 问题描述

4.2 联合BERT与Seq2Seq的层次情感对话生成模型

4.2.1 模型结构

4.2.2 层次情感编码

4.2.3 基于BERT的情感分类器

4.2.4 情感损失函数

4.3 实验结果与分析

4.3.1 实验数据集

4.3.2 对比实验模型

4.3.3 实验参数设置

4.3.4 模型评价指标

4.3.5 实验结果与分析

4.4 本章小结

结论

二、下一步工作的展望

参考文献

附录A 发表论文和参加科研情况说明

致谢

展开▼

摘要

建立一个能与人类自然交流的对话系统一直是人工智能的一个研究热点。情感信息的加入可以让系统更加智能,然而现有研究虽然在模型中融入了情感信息,但也面临着生成回复的内容质量不高的问题。本文针对该问题,运用深度学习相关技术辅助对话模型生成指定情感类别的回复,主要工作如下:  (1)提出了一种联合BERT与Seq2Seq的对话生成模型。针对传统的Seq2Seq模型存在特征提取能力有限,难以捕捉文本的长期依赖关系等缺点,本文将预训练模型BERT与Seq2Seq模型相结合,利用BERT为Seq2Seq模型的解码器提供输入序列的句向量表征。对于任意的输入序列,该模型的编码器使用双向GRU将其转化成隐含向量集,然后在解码的每个时刻计算出注意力向量。同时,模型的BERT模块根据输入序列和解码器的隐含状态得到当前时刻的句向量表征。再通过一个融合单元将BERT模块提供的句向量表征与注意力向量相融合,最后模型通过解码器得到预测的回复。本文采用了两种语言的数据集进行实验,分别是英文的康奈尔电影对话数据集和中文的NLPCC2017情感对话数据集。通过设计对比实验,在自动评估指标和人工评估指标上进行了模型评估,实验结果显示该模型所生成的回复在多样性和相关性方面明显优于传统的Seq2Seq模型。  (2)提出了一种联合BERT与Seq2Seq的层次情感对话生成模型。现有的情感对话研究工作中,由于情感信息的加入,容易导致模型生成回复的内容质量较差。针对该问题,本文通过在传统的Seq2Seq模型中,把词级别情感信息和句级别情感信息分层次进行融合,有效的缓解了这个问题。为了辅助模型准确生成指定情感类别的回复,本文继上一章的基础,进一步利用预训练语言模型在特征提取方面的优势,建立了基于BERT的情感分类器,使用BERT提取的特征提高情感分类的精确度。另外,还提出了情感损失函数的概念,使得模型生成的回复能够包含指定的情感类别。本文实验使用的数据集为NLPCC2017中文情感对话数据集。在自动评价指标和人工评价指标两种评估方法中的实验结果显示,本文提出的模型在回复的情感准确度和内容质量上均优于其他基准模型。

著录项

相似文献

  • 中文文献
  • 外文文献
  • 专利
代理获取

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号