基于迁移学习的个性化循环神经网络语言模型

徐萍; 吴超; 胡峰俊; 吴凡; 林建伟; 刘静静

首页> 中文期刊> 《南京理工大学学报：自然科学版》 >基于迁移学习的个性化循环神经网络语言模型

基于迁移学习的个性化循环神经网络语言模型

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

针对在小数据集上开发个性化语言模型仍存在的障碍,提出基于迁移学习的个性化循环神经网络语言模型。设计了基于预训练词向量、预训练电影剧本数据集、基于参数微调和特征提取分类器的迁移学习训练模式,在小数据集上建立了具有较高辨识度的个性化语言模型,降低了模型的困惑度,改进了模型的性能。模型的实验以电视剧Seinfeld角色为基础。结果表明:该模型在特定角色测试数据集上的困惑度比其他角色数据集平均低17.65%,证明其已经学会了该角色的个性化风格;迁移学习使得模型最低困惑度平均降低了36.38%,较好地解决了基于小数据集开发个性化语言模型存在的障碍问题。

著录项

来源
《南京理工大学学报：自然科学版》 |2018年第4期|401-408|共8页
作者
徐萍; 吴超; 胡峰俊; 吴凡; 林建伟; 刘静静;
展开▼
作者单位

浙江树人大学信息科技学院;

浙江大学计算机科学与技术学院;

展开▼
原文格式 PDF
正文语种 chi
中图分类信息处理（信息加工）;
关键词
语言模型; 个性化; 循环神经网络; 迁移学习; 小数据集; 预训练词向量;

相似文献

中文文献
外文文献
专利

1. 基于循环神经网络语言模型的N-bes t重打分算法 [J] . 张剑 ,屈丹 ,李真 . 数据采集与处理 . 2016,第002期
2. 基于循环神经网络的汉语语言模型并行优化算法 [J] . 王龙 ,杨俊安 ,陈雷 . 应用科学学报 . 2015,第003期
3. 基于词向量特征的循环神经网络语言模型∗ [J] . 张剑 ,屈丹 ,李真 . 模式识别与人工智能 . 2015,第004期
4. 基于循环神经网络的汉语语言模型建模方法 [J] . 王龙 ,杨俊安 ,陈雷 . 声学技术 . 2015,第5期
5. 循环神经网络语言模型定点化优化算法研究 [J] . 王敏 ,曾浩 . 软件导刊 . 2017,第002期
6. 循环神经网络语言模型在语音输入法系统中的应用 [C] . 司玉景 ,潘接林 ,颜永红 . 中国科学院声学研究所第四届青年学术交流会 . 2012
7. 基于循环神经网络语言模型的中文分词研究 [A] . 刁琦 . 2017

基于迁移学习的个性化循环神经网络语言模型

摘要

著录项

相似文献

相关主题

期刊订阅