首页> 中国专利> 基于线索神经网络的语音-视觉融合情感识别方法

基于线索神经网络的语音-视觉融合情感识别方法

页面导航

摘要
著录项
法律信息
相似文献

摘要

本发明提出的一种基于线索神经网络的语音‑视觉融合情感识别方法，属于自动情感识别领域。其基本思想是：首先，分别使用人的正面脸部表情、侧面脸部表情和语音三个通道的特征数据，独立地训练一个神经网络来执行离散的情感类别的识别，训练过程中神经网络模型中的输出层加入4个线索(hint)节点，分别承载活跃度‑评价度（activation‑evaluation）空间中的4个粗粒度类别的线索(hint)信息。在线索信息的帮助下，神经网络权重的学习会产生更优的特征选择。然后，使用多模态融合模型对三个神经网络的输出结果进行融合，多模态融合模型也采用基于线索信息训练的神经网络。该方法具有较低的计算量，识别率高且鲁棒性好。对于训练数据较少的情况，效果更加明显。

著录项

公开/公告号CN103400145B

专利类型发明专利
公开/公告日2016-08-10

原文格式PDF
申请/专利权人北京理工大学;
展开▼

申请/专利号CN201310304011.4
发明设计人吕坤;张欣;
展开▼

申请日2013-07-19
分类号G06K9/62(20060101);G06K9/66(20060101);G06N3/02(20060101);
代理机构
代理人
地址 100081 北京市海淀区中关村南大街5号
入库时间 2022-08-23 09:44:06

法律信息

法律状态公告日

法律状态信息

法律状态
2016-08-10

授权

授权
2013-12-18

实质审查的生效 IPC(主分类):G06K 9/62 申请日:20130719

实质审查的生效
2013-11-20

公开

公开

相似文献

专利
中文文献
外文文献

1. 基于线索神经网络的语音-视觉融合情感识别方法 [P] . 中国专利： CN103400145B . 2016.08.10
2. 一种基于注意力CNN Bi-GRU融合视觉信息的语音情感识别方法 [P] . 中国专利： CN113643723A . 2021-11-12
3. Speech Recognition Method and Device by Integrating Audio, Visual and Contextual Features Based on Neural Networks [P] . 韩国专利： KR100576803B1 . 2006-05-10

机译：基于神经网络的音频，视觉和语境特征融合的语音识别方法和装置
4. SPEECH RECOGNITION METHOD AND DEVICE BY INTEGRATING AUDIO, VISUAL AND CONTEXTUAL FEATURES BASED ON NEURAL NETWORKS [P] . 韩国专利： KR20050058161A . 2005-06-16

机译：基于神经网络的音频，视觉和语境特征集成的语音识别方法和装置
5. RECURRENT NEURAL NETWORK-BASED EMOTION RECOGNITION METHOD, APPARATUS, AND STORAGE MEDIUM [P] . WO2021135457A1 . 2021-07-08

机译：基于内部的基于神经网络的情感识别方法，装置和存储介质