首页> 中国专利> 融合通道注意力和选择性特征融合机制的唇语识别方法

融合通道注意力和选择性特征融合机制的唇语识别方法

页面导航

摘要
著录项
法律信息
相似文献

摘要

本发明公开了一种融合通道注意力和选择性特征融合机制的唇语识别方法，包括：1、下载用于训练模型的数据集GRID，并对数据集进行预处理；2、搭建唇语识别网络，并选择合适的目标函数来优化模型参数；3、采用相应的评估指标来评价模型的效果；4、用训练好的模型对视频进行唇语识别。本发明使用堆叠的3D卷积神经网络、选择性特征融合网络、双向GRU网络对输入视频帧进行编码，其中每层3D卷积层之间加入通道注意力机制，最后采用CTC解码器来生成输出文本，可以更好的学习说话者嘴唇区域特征，从而实现更准确的唇读效果。

著录项

公开/公告号CN113033452B

专利类型发明专利
公开/公告日2022.09.16

原文格式PDF
申请/专利权人合肥工业大学;
展开▼

申请/专利号CN202110366767.6
发明设计人薛峰;杨添;王文博;洪自坤;
展开▼

申请日2021.04.06
分类号G06V40/20;G06V40/16;G06V20/40;G06V10/774;G06V10/80;G06V10/82;G06N3/04;G06N3/08;
代理机构安徽省合肥新安专利代理有限责任公司;
代理人陆丽莉;何梅生
地址 230009 安徽省合肥市包河区屯溪路193号
入库时间 2022-09-26 23:20:13

法律信息

法律状态公告日

法律状态信息

法律状态
2022-09-16

授权

发明专利权授予

相似文献

专利
中文文献
外文文献

1. 融合通道注意力和选择性特征融合机制的唇语识别方法 [P] . 中国专利： CN113033452A . 2021-06-25
2. 多层时序注意力融合机制的弱监督神经网络手语识别方法 [P] . 中国专利： CN113537024B . 2022-06-21
3. MICROCHANNEL SUBSTRATE FOR CELL FUSION AND MICROCHANNEL STRUCTURE FOR CELL FUSION USING THE SAME AND CELL FUSION METHOD [P] . 日本专利： JP2006345706A . 2006-12-28

机译：用于细胞融合的微通道基质和用于细胞融合的微通道结构的相同和细胞融合方法
4. The curative medicine of the fusion protein, and the Hirotune Characteristic heaven smallpox which are recognized in the Hirotune Characteristic heaven smallpox patient self antibody, being the remedy instrument, and the fusion [P] . 日本专利： JP4297519B2 . 2009-07-15

机译：广谱特征天堂天花患者自身抗体中识别的融合蛋白的治疗药物和广谱特征天花，作为治疗手段，以及融合
5. METHOD AND DEVICE FOR FUSING VOICEPRINT FEATURES, VOICE RECOGNITION METHOD AND SYSTEM, AND STORAGE MEDIUM [P] . 美国专利： US2022139401A1 . 2022-05-05

机译：用于融合声纹特征的方法和设备，语音识别方法和系统，以及存储介质