首页> 中国专利> 一种基于语音和微表情的多模态融合的自杀情绪感知方法

一种基于语音和微表情的多模态融合的自杀情绪感知方法

页面导航

摘要
著录项
法律信息
相似文献

摘要

本发明公开了一种基于语音和微表情的多模态融合的自杀情绪感知方法。所述方法包括以下步骤：使用带有红外摄像头的Kinect对视频和音频进行采集；对视频中的图像帧和音频使用不同方法分析并转换为相应的特征文本；对特征文本进行融合，即降维处理得到融合特征；使用SoftMax激活函数对融合特征进行分类，判断该情绪是否属于自杀情绪。本发明将多模态数据与文本层对齐。文本中间表示和所提出的融合方法形成了一个融合语音和面部表情的框架。本发明降低了语音和面部表情的维数，将两条信息统一为一个分量。本发明利用Kinect用于数据采集，具有无创、性能高和操作方便的特点。

著录项

公开/公告号CN112101096A

专利类型发明专利
公开/公告日2020-12-18

原文格式PDF
申请/专利权人华南理工大学;
展开▼

申请/专利号CN202010764408.1
发明设计人杜广龙;
展开▼

申请日2020-08-02
分类号G06K9/00(20060101);G06K9/62(20060101);G06N3/04(20060101);G06N3/08(20060101);
代理机构44102 广州粤高专利商标代理有限公司;
代理人何淑珍;江裕强
地址 510640 广东省广州市天河区五山路381号
入库时间 2023-06-19 09:13:40

法律信息

法律状态公告日

法律状态信息

法律状态
2023-09-22

授权

发明专利权授予

相似文献

专利
中文文献
外文文献

1. 一种基于语音和微表情的多模态融合的自杀情绪感知方法 [P] . 中国专利： CN112101096A . 2020-12-18
2. 基于视频图像面部表情和语音的多模态儿童情绪识别融合模型 [P] . 中国专利： CN113408649A . 2021-09-17
3. A FEEDBACK MECHANISM FOR MOOD BASED INHERENT VOICE SENSING MECHANISM. [P] . IN2014MU03547A . 2016-05-13

机译：基于情绪的固有语音感知机制的反馈机制。
4. MULTI-MODAL SENSOR BASED EMOTION RECOGNITION AND EMOTIONAL INTERFACE [P] . 美国专利： US2014112556A1 . 2014-04-24

机译：基于多模态传感器的情绪识别和情绪接口
5. SPATIO-TEMPORAL AWARENESS ENGINE FOR PRIORITY TREE BASED REGION SELECTION ACROSS MULTIPLE INPUT CAMERAS AND MULTIMODAL SENSOR EMPOWERED AWARENESS ENGINE FOR TARGET RECOVERY AND OBJECT PATH PREDICTION [P] . 美国专利： US2019362173A1 . 2019-11-28

机译：时空感知引擎用于跨多个输入摄像机和多模态传感器感知感知引擎的基于优先树的区域选择，用于目标恢复和对象路径预测