首页> 中国专利> 一种基于残差高斯自注意力的Transformer端到端语音识别方法

一种基于残差高斯自注意力的Transformer端到端语音识别方法

页面导航

摘要
著录项
法律信息
相似文献

摘要

本发明公开了一种基于残差高斯自注意力的Transformer端到端语音识别方法，属于基于注意力机制的编码器解码器模型，相比于已有的方法，能够动态自适应调整自注意力的窗长，提高灵活性的同时，提升模型性能。本发明内容如下：通过一个前馈神经网络(FNN,Feedforward Neural Network)学习高斯函数的均值和方差，使得模型可以根据输入帧长动态自适应调整自注意力的窗口长度，来进一步降低字符错误率(CER,Character Error Rate)，并通过残差连接提高模型的收敛速度。在国际标准化组织评测数据AISHELL‑1的测试集上，resGSA‑Transformer的CER为5.86％，相对SA‑Transformer降低7.8％，并且参数和计算复杂度与SA‑Transformer大致相同。

著录项

公开/公告号CN113241075A

专利类型发明专利
公开/公告日2021-08-10

原文格式PDF
申请/专利权人西北工业大学;西北工业大学深圳研究院;
展开▼

申请/专利号CN202110488262.7
发明设计人张晓雷;梁成栋;陈星;
展开▼

申请日2021-05-06
分类号G10L15/26(20060101);G10L15/16(20060101);G10L15/06(20130101);G06N3/04(20060101);G06N3/08(20060101);
代理机构61204 西北工业大学专利中心;
代理人金凤
地址 710072 陕西省西安市友谊西路127号
入库时间 2023-06-19 12:10:19

法律信息

法律状态公告日

法律状态信息

法律状态
2023-06-09

发明专利申请公布后的视为撤回 IPC(主分类):G10L15/26 专利申请号:2021104882627 申请公布日:20210810

发明专利申请公布后的视为撤回

相似文献

专利
中文文献
外文文献

1. 一种基于残差高斯自注意力的Transformer端到端语音识别方法 [P] . 中国专利： CN113241075A . 2021-08-10
2. 基于卷积自注意力变换网络的轻量级端到端语音识别方法 [P] . 中国专利： CN113140220A . 2021-07-20
3. TOKEN-WISE TRAINING FOR ATTENTION BASED END-TO-END SPEECH RECOGNITION [P] . US2021264901A1 . 2021-08-26

机译：基于端到端语音识别的注意力令牌培训
4. Token-wise training for attention based end-to-end speech recognition [P] . US11037547B2 . 2021-06-15

机译：基于端到端语音识别的注意力令牌培训
5. TOKEN-WISE TRAINING FOR ATTENTION BASED END-TO-END SPEECH RECOGNITION [P] . 美国专利： US2020265830A1 . 2020-08-20

机译：基于注意力的端到端语音识别的令牌明智培训