• 主题
高级搜索  >
历史搜索 清空历史
首页> 中文期刊> 《计算机应用》 >基于注意力机制的特征融合-双向门控循环单元多模态情感分析

基于注意力机制的特征融合-双向门控循环单元多模态情感分析

         
页面导航
  • 摘要
  • 著录项
  • 相似文献
  • 相关主题

摘要

针对视频多模态情感分析中,未考虑跨模态的交互作用以及各模态贡献程度对最后情感分类结果的影响的问题,提出一种基于注意力机制的特征融合-双向门控循环单元多模态情感分析模型(AMF-BiGRU).首先,利用双向门控循环单元(BiGRU)来考虑各模态中话语间的相互依赖关系,并得到各模态的内部信息;其次,通过跨模态注意力交互网络层将模态内部信息与模态之间的交互作用相结合;然后,引入注意力机制来确定各模态的注意力权重,并将各模态特征进行有效融合;最后,通过全连接层和softmax层获取情感分类结果.在公开的CMU-MOSI和CMU-MOSEI数据集上进行实验.实验结果表明,与传统的多模态情感分析方法(如多注意力循环网络(MARN))相比,AMF-BiGRU模型在CMU-MOSI数据集上的准确率和F1值分别提升了6.01％和6.52％,在CMU-MOSEI数据集上的准确率和F1值分别提升了2.72％和2.30％.可见,AMF-BiGRU模型能够有效提高多模态的情感分类性能.

著录项

  • 来源
    《计算机应用》 |2021年第5期|1268-1274|共7页
  • 作者

    赖雪梅; 唐宏; 陈虹羽; 李珊珊;

  • 作者单位

    重庆邮电大学通信与信息工程学院 重庆400065;

    移动通信技术重庆市重点实验室(重庆邮电大学) 重庆400065;

    重庆邮电大学通信与信息工程学院 重庆400065;

    移动通信技术重庆市重点实验室(重庆邮电大学) 重庆400065;

    重庆邮电大学通信与信息工程学院 重庆400065;

    移动通信技术重庆市重点实验室(重庆邮电大学) 重庆400065;

    重庆邮电大学通信与信息工程学院 重庆400065;

    移动通信技术重庆市重点实验室(重庆邮电大学) 重庆400065;

  • 原文格式 PDF
  • 正文语种 chi
  • 中图分类 自动推理、机器学习;
  • 关键词

    多模态; 情感分析; 双向门控循环单元; 注意力机制; 特征融合;

相似文献

  • 中文文献
  • 外文文献
  • 专利
获取原文

客服邮箱：kefu@zhangqiaokeyan.com

京公网安备：11010802029741号 ICP备案号：京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有

  • 客服微信

  • 服务号