基于强化学习的自监督语音识别模型微调技术

陈紫龙; 张文林

首页> 中文期刊> 《信息工程大学学报》 >基于强化学习的自监督语音识别模型微调技术

基于强化学习的自监督语音识别模型微调技术

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

近年来,基于大规模自监督预训练和微调技术的端到端连续语音识别取得显著进展,然而现有方法在模型微调阶段和测试阶段存在目标不一致性,制约其性能的进一步提升。针对此问题,提出采用强化学习技术对自监督预训练模型进行微调的方法。该方法将语音识别问题转化为序列决策问题,将预训练模型得到的语音高层表示作为环境状态编码,将词错误率作为奖励函数,将语音识别模型视为策略函数,采用策略梯度算法直接对词错误率进行优化。针对LibriSpeech语料库上的实验结果表明,基于Wav2vec2.0或Hubert预训练模型,采用强化学习微调得到的语音识别模型比采用CTC准则微调后系统的词错误率分别相对降低了6.3%和4.9%。

著录项

来源
《信息工程大学学报》 |2023年第2期|150-156|共7页
作者
陈紫龙; 张文林;
展开▼
作者单位

信息工程大学;

展开▼
原文格式 PDF
正文语种 chi
中图分类语音识别与设备;
关键词
自动语音识别; 强化学习; 预训练模型; 自监督学习;

相似文献

中文文献
外文文献
专利

1. 基于微调优化的深度学习在语音识别中的应用 [J] . 彭玉青 ,刘帆 ,高晴晴 . 郑州大学学报（理学版） . 2016,第4期
2. 基于自监督知识迁移的鲁棒性语音识别技术 [J] . 柏财通 ,崔翛龙 ,郑会吉 . 计算机应用 . 2022,第10期
3. 基于手机的语音识别模型专利技术综述 [J] . 王绮宇 ,龙云璐 . 中国科技信息 . 2021,第3期
4. 基于混合注意力机制和CTC语音识别模型技术研究 [J] . 朱向前 . 电视技术 . 2019,第22期
5. 基于声学模型的不良语音识别技术研究 [J] . 杜刚 ,朱艳云 ,张晨 . 电信工程技术与标准化 . 2019,第12期
6. 未知环境中基于概率模型的动态分层强化学习 [C] . 袁姣红 ,吴敏 . 湖南省第三届研究生创新论坛——信息与控制工程的新理论和新技术分论坛 . 2010
7. 基于HMM和DNN混合模型研究的语音识别技术 [A] . 冯怡林 . 2020

基于强化学习的自监督语音识别模型微调技术

摘要

著录项

相似文献

相关主题

期刊订阅