首页> 中文会议>第十四届全国人机语音通讯学术会议 >学习率的自适应调整在语言模型中的应用

学习率的自适应调整在语言模型中的应用

页面导航

摘要
著录项
相似文献
相关主题

摘要

神经网络被广泛应用于智能语音、自然语言处理、图像识别等各个领域,并应用小批量梯度下降法对其进行训练.然而该训练方法对初始学习率非常敏感,如果无法通过大量实验得到较好的初始学习率,会严重影响训练结果.本文将探究在LSTM语言模型中自适应地调整学习率和加入自适应稳定算子的L2范数优化对训练结果、收敛速度、初始学习率的敏感程度上的影响.最后得出结论,在语言模型中加入学习率的自适应稳定算子会降低初始学习率的敏感度,加快收敛速度,加入L2范数能小幅度提升模型性能.

著录项

来源
《第十四届全国人机语音通讯学术会议》|2017年|1-5|共5页
会议地点江苏连云港
作者
吴越; 刘奇; 俞凯;
展开▼
作者单位

中国中文信息学会;

展开▼
会议组织
正文语种
原文格式 PDF
中图分类语音信号处理;
关键词
语言模型; 长短时间记忆循环神经网络; 学习率; 自适应稳定算子; L2范数;

相似文献

中文文献
外文文献
专利

1. 自适应学习率的 BP 网络算法及其在汽轮发电机组故障模糊诊断中的应用 [J] . 李勇 ,李洪源 ,叶荣学 . 热能动力工程 . 1997,第6期
2. 基于自适应学习率的深度信念网设计与应用 [J] . 乔俊飞 ,王功明 ,李晓理 . 自动化学报 . 2017,第008期
3. 神经网络动量-自适应学习率BP算法与BP算法的性能比较及其应用 [J] . 金仁杰 . 微型电脑应用 . 2001,第007期
4. BP神经网络中自适应学习率的研究 [J] . 王文成 . 计算机科学 . 1995,第004期
5. 统计机器翻译中基于双语数据筛选的语言模型自适应方法 [J] . 卢世祥 ,雷晓江 ,杨劲锋 . 电子技术与软件工程 . 2014,第020期
6. 自适应学习率动量法在BP网络故障诊断中的应用 [C] . 苏镇 ,田培根 ,刘海军 . 第六届中国造船工程学会修船技术委员会电子设备维修保障技术学术会议 . 2007
7. 基于自适应学习率深度堆叠网络的脑电信号识别方法研究 [A] . 马伟昌 . 2020

学习率的自适应调整在语言模型中的应用

摘要

著录项

相似文献

相关主题

期刊订阅