结合多注意力和条件变分自编码器的宋词生成模型

梁骁; 黄文明; 姚俊; 温雅媛; 邓珍荣

首页> 中文期刊> 《广西科学》 >结合多注意力和条件变分自编码器的宋词生成模型

结合多注意力和条件变分自编码器的宋词生成模型

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

现有的诗词生成方法忽略了风格的重要性。另外,由于宋词大部分词牌词句较多,逐句生成宋词的过程中容易产生上下文缺乏连贯性的现象,在上下文连贯性方面仍存在提升空间。针对这两个问题,在编码解码的文本生成框架基础上,引入自注意力机制的句子表示算法计算多注意力权重矩阵,用于提取词句的多种重要语义特征,让模型更多地关注上文的显著信息来提高上下文连贯性。引入条件变分自编码器(CVAE)将每条宋词数据转化为隐空间中不同风格特征的高维高斯分布,从各自的分布中采样隐变量来控制宋词的风格。由于自构建的宋词语料库缺少完整风格分类标签,使用具有风格标签的宋词微调BERT模型,将其作为风格分类器标注全部的宋词数据。在上述关键技术的基础上实现了宋词生成模型,生成上下文连贯的婉约词以及豪放词。通过与其他4种基准方法进行对比实验,结果表明引入自注意力机制的句子表示算法和条件变分自编码器,在上下文连贯性和风格控制方面有一定的提升。

著录项

来源
《广西科学》 |2022年第2期|308-315|共8页
作者
梁骁; 黄文明; 姚俊; 温雅媛; 邓珍荣;
展开▼
作者单位

桂林电子科技大学计算机与信息安全学院;

广西图形图像与智能处理重点实验室;

广西壮族自治区高级人民法院;

广西师范大学电子工程学院;

展开▼
原文格式 PDF
正文语种 chi
中图分类文字信息处理;诗歌;
关键词
条件变分自编码器; 宋词风格; 宋词生成; Bi-GRU; 自注意力机制;

相似文献

中文文献
外文文献
专利

1. 基于条件变分自编码器的射线样本生成算法 [J] . 朱军 ,杨军 ,李凯 . 通信技术 . 2022,第4期
2. 基于条件变分自编码器的井下配电室巡检行为检测 [J] . 党伟超 ,史云龙 ,白尚旺 . 工矿自动化 . 2021,第12期
3. 基于改进条件变分自编码器的入侵检测研究 [J] . 朱琼 ,袁永晖 ,田春岐 . 计算机科学与应用 . 2021,第006期
4. 基于条件变分自编码器的齿轮箱故障诊断 [J] . 王昱 ,尹爱军 . 装备环境工程 . 2020,第7期
5. 一种基于条件变分自编码器的加密流量识别方法 [J] . 栗刚 ,孙中军 ,翟江涛 . 计算机应用研究 . 2020,第S01期
6. 包含初始条件为驻值条件的非哈氏型弹性动力学变分原理 [C] . 邢京堂 . 第三届全国振动理论及应用学术会议 . 1987
7. 基于变分自编码器生成模型的图像加密 [A] . 刘京京 . 2018

结合多注意力和条件变分自编码器的宋词生成模型

摘要

著录项

相似文献

相关主题

期刊订阅