首页> 中国专利> 基于双线性的多模态信息处理的人工智能方法、系统及介质

基于双线性的多模态信息处理的人工智能方法、系统及介质

摘要

本发明公开了一种基于双线性的多模态信息处理的人工智能方法、系统及介质,该方法包括:将视频流转化为图像帧;划分动作序列;构建骨架时序特征、RGB和深度时序特征;构建三维特征立方体并输入双线性特征学习模块;输出分类识别结果。本发明通过双线性的处理方式构造深度网络融合RGBD视频中多模态信息,克服了现有的多模态模型中简单地拼接或加权不同模态输出的特征或激活向量,并没有深入挖掘模态间信息的缺陷,进行准确的动作行为识别。本发明的双线性操作为平面级计算,计算代价小,适于在实时性要求高的工业领域进行应用。

著录项

  • 公开/公告号CN113033430A

    专利类型发明专利

  • 公开/公告日2021-06-25

    原文格式PDF

  • 申请/专利权人 中山大学;

    申请/专利号CN202110340725.5

  • 发明设计人 胡建芳;侯智聪;

    申请日2021-03-30

  • 分类号G06K9/00(20060101);G06K9/62(20060101);G06N3/04(20060101);

  • 代理机构44245 广州市华学知识产权代理有限公司;

  • 代理人李斌

  • 地址 510275 广东省广州市海珠区新港西路135号

  • 入库时间 2023-06-19 11:35:49

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2023-10-03

    授权

    发明专利权授予

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号