首页> 中国专利> 一种基于Transformer的多模态特征融合的在押人员情感识别方法、设备及介质

一种基于Transformer的多模态特征融合的在押人员情感识别方法、设备及介质

页面导航

摘要
著录项
法律信息
相似文献

摘要

本发明涉及一种基于Transformer的多模态特征融合的在押人员情感识别方法、设备及介质，包括：(1)数据预处理：对文本数据、语音数据、微表情数据、肢体动作数据分别进行预处理，使其符合不同模态对应模型的输入要求；(2)特征提取：对四个模态的数据所蕴含的情感信息分别进行提取，获取对应的特征向量；(3)特征融合：采用跨模态Transformer将特征向量进行特征融合：(4)训练模型，得到最优的情感识别模型。本发明克服不同模态间的长时依赖性，有效地捕捉不同模态之间的互补信息及它们之间的相互影响，使得到的联合特征向量能更加全面的表示在押人员的正确的情感状态，提高情感识别的准确率。

著录项

公开/公告号CN113822192A

专利类型发明专利
公开/公告日2021-12-21

原文格式PDF
申请/专利权人山东大学;
展开▼

申请/专利号CN202111098471.7
发明设计人李玉军;韩卓群;朱孔凡;杨阳;翟超;
展开▼

申请日2021-09-18
分类号G06K9/00(20060101);G06K9/62(20060101);G06F40/242(20200101);G06F40/289(20200101);G06N3/04(20060101);G06N3/08(20060101);
代理机构37219 济南金迪知识产权代理有限公司;
代理人杨树云
地址 250199 山东省济南市历城区山大南路27号
入库时间 2023-06-19 13:46:35

法律信息

法律状态公告日

法律状态信息

法律状态
2023-06-30

授权

发明专利权授予

相似文献

专利
中文文献
外文文献

1. 一种基于Transformer的多模态特征融合的在押人员情感识别方法、设备及介质 [P] . 中国专利： CN113822192A . 2021-12-21
2. 一种基于自权重差分编码器进行多模态特征融合的服刑人员情感识别方法 [P] . 中国专利： CN110751208B . 2020.06.30
3. VOICE-BASED EMOTION RECOGNITION METHOD, APPARATUS AND DEVICE, AND STORAGE MEDIUM [P] . WO2021208719A1 . 2021-10-21

机译：基于语音的情感识别方法，装置和设备和存储介质
4. RECURRENT NEURAL NETWORK-BASED EMOTION RECOGNITION METHOD, APPARATUS, AND STORAGE MEDIUM [P] . WO2021135457A1 . 2021-07-08

机译：基于内部的基于神经网络的情感识别方法，装置和存储介质
5. Emotion recognition apparatus using facial expression, emotion recognition method using the same, and recording medium thereof [P] . 韩国专利： KR101265466B1 . 2013-05-16

机译：使用面部表情的情感识别设备，使用面部表情的情感识别方法及其记录介质