• 主题
高级搜索  >
历史搜索 清空历史
首页> 外文期刊>Future generation computer systems >A social emotion classification approach using multi-model fusion
【24h】

A social emotion classification approach using multi-model fusion

机译：使用多模型融合的社会情感分类方法

获取原文
获取原文并翻译 | 示例
           
页面导航
  • 摘要
  • 著录项
  • 相似文献
  • 相关主题

摘要

With the proliferation of the online video publishing, the number of multimodal contents on the Internet has exponentially grown. Research of emotion analysis has developed from the traditional single-mode to complex multimode analysis. Most recent studies have paid rare attention to the visual emotion information deriving from merging visual and audio emotional information at the feature or decision level, even though some of them considered the multimodality analysis. In this paper, we extract visual, textual, and audio information from video and propose a multimodal emotional classification framework to capture the emotions of users in social networks. We have designed a 3DCLS (3D Convolutional-Long Short Term Memory) hybrid model that classifies visual emotions as well as a CNN-RNN hybrid model that classifies text-based emotions. Finally, visual, audio and text modes are combined to generate final emotional classification results. Experiments on the MOUD and IEMOCAP emotion datasets show that the proposed framework outperforms existing models in multimodal mood analysis. (C) 2019 Elsevier B.V. All rights reserved.
机译：随着在线视频发布的激增，Internet上多模式内容的数量呈指数增长。情绪分析的研究已从传统的单模式分析发展到复杂的多模式分析。尽管其中一些研究考虑了多模态分析，但最近的研究很少关注在功能或决策级别融合视觉和音频情感信息而产生的视觉情感信息。在本文中，我们从视频中提取视觉，文本和音频信息，并提出了一种多模式情感分类框架来捕获社交网络中用户的情感。我们设计了对视觉情感进行分类的3DCLS（3D卷积-长期短期记忆）混合模型以及对基于文本的情感进行分类的CNN-RNN混合模型。最后，将视觉，音频和文本模式进行组合以生成最终的情感分类结果。在MOUD和IEMOCAP情绪数据集上进行的实验表明，该框架在多模式情绪分析中的表现优于现有模型。 （C）2019 Elsevier B.V.保留所有权利。

著录项

  • 来源
    《Future generation computer systems》 |2020年第1期|347-356|共10页
  • 作者

    Xu Guangxia; Li Weifeng; Liu Jun;

  • 作者单位

    Chongqing Univ Posts & Telecommun Chongqing Key Lab Cyberspace & Informat Secur Chongqing 400065 Peoples R China|Chongqing Univ Informat & Commun Engn Postdoctoral Res Stn Chongqing 400044 Peoples R China|Chongqing Univ Posts & Telecommun Sch Software Engn Chongqing 400065 Peoples R China;

    Chongqing Univ Posts & Telecommun Sch Software Engn Chongqing 400065 Peoples R China;

  • 收录信息 美国《科学引文索引》(SCI);美国《工程索引》(EI);
  • 原文格式 PDF
  • 正文语种 eng
  • 中图分类
  • 关键词

    Multimodal fusion; Emotion analysis; 3D convolutional neural network; Recurrent neural network;

    机译：多峰融合;情绪分析;3D卷积神经网络递归神经网络;

相似文献

  • 外文文献
  • 中文文献
  • 专利
获取原文

客服邮箱：kefu@zhangqiaokeyan.com

京公网安备：11010802029741号 ICP备案号：京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有

  • 客服微信

  • 服务号