基于多任务学习的轻量级语音情感识别模型

宋羽凯; 谢江

首页> 中文期刊> 《计算机工程》 >基于多任务学习的轻量级语音情感识别模型

基于多任务学习的轻量级语音情感识别模型

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

现有的语音情感识别(SER)模型存在训练参数量大、模型泛化性能差、情感识别准确率低等问题,利用有限的语音情感数据建立一个轻量级的模型以提高识别效率和准确率尤为重要。提出一种轻量级端到端多任务学习的P-CNN+Gender深度模型,该模型由语音特征组合网络、负责情感特征和性别特征提取的主体卷积网络以及情感和性别分类器组成。以语音的梅尔频率倒谱系数(MFCC)特征作为输入,特征组合网络使用多个大小不同的卷积核从MFCC特征中平行提取特征再进行组合,供后续的主体卷积网络进行情感特征和性别特征的提取。考虑到情感表达和性别的相关性,将性别分类作为辅助任务融合到情感分类中以提高模型的情感分类性能。实验结果表明,该模型在IEMOCAP、Emo-DB和CASIA语音情感数据集上的类别分类准确率分别达到73.3%、96.4%和93.9%,较P-CNN模型分别提高3.0、5.8和6.5个百分点,与3D-ACRNN、CNNBiRNN等模型相比,其训练参数量仅为其他模型的1/10~1/2,且处理速度更快、准确率更高。

著录项

来源
《计算机工程》 |2023年第5期|122-128|共7页
作者
宋羽凯; 谢江;
展开▼
作者单位

上海大学计算机工程与科学学院;

展开▼
原文格式 PDF
正文语种 chi
中图分类人工智能理论;
关键词
语音情感识别; MFCC特征; 特征提取; 卷积网络; 深度学习;

相似文献

中文文献
外文文献
专利

1. 基于多任务学习的多语言语音情感识别方法 [J] . 薛艳飞 ,毛启容 ,张建明 . 计算机应用研究 . 2021,第004期
2. 采用多任务学习和循环神经网络的语音情感识别算法 [J] . 冯天艺 ,杨震 . 信号处理 . 2019,第7期
3. 基于注意力机制的多任务3D CNN-BLSTM情感语音识别 [J] . 姜特 ,陈志刚 ,万永菁 . 华东理工大学学报:自然科学版 . 2022,第4期
4. 基于多任务训练的用户登入语音识别模型仿真 [J] . 江官星 ,付悦 . 计算机仿真 . 2022,第9期
5. 基于多任务学习的端到端维吾尔语语音识别 [J] . 苏比·艾依提 ,努尔麦麦提·尤鲁瓦斯 ,黄浩 . 信号处理 . 2021,第10期
6. 基于注意力LSTM和多任务学习的远场语音识别 [C] . ZHANG Yu ,张宇 ,ZHANG Pengyuan . 第十四届全国人机语音通讯学术会议 . 2017
7. 基于元-多任务学习的语音情感识别 [A] . 郭锴槟 . 2021

基于多任务学习的轻量级语音情感识别模型

摘要

著录项

相似文献

相关主题

期刊订阅