首页> 中国专利> 一种基于问题语义映射的视觉问答方法及装置

一种基于问题语义映射的视觉问答方法及装置

摘要

本发明公开了一种基于问题语义映射的视觉问答方法及装置,其中方法包括:提取训练集中图像的视觉特征和问题中的问题特征;对提取的视觉特征和问题特征进行特征融合;对训练集中的问题进行分类,统计训练集中不同问题类型的答案范围;提取答案范围中答案的答案特征;建立问题特征与答案特征之间的映射关系,获得答案范围概率分布;根据特征融合后的融合特征及答案范围概率分布进行推理,得到最终答案。本发明通过门控循环单元提取出问题特征,再利用嵌入学习提取出问题与答案的一致性语义,并将该语义映射到答案,通过问题导向的区域注意力机制和关系提取得到图像高层语义信息;将图像高层语义信息与答案范围映射结果融合,生成最后的答案。

著录项

  • 公开/公告号CN113420833A

    专利类型发明专利

  • 公开/公告日2021-09-21

    原文格式PDF

  • 申请/专利权人 南京大学;

    申请/专利号CN202110825773.3

  • 发明设计人 路通;马云涛;

    申请日2021-07-21

  • 分类号G06K9/62(20060101);G06N20/00(20190101);

  • 代理机构11467 北京德崇智捷知识产权代理有限公司;

  • 代理人王斌

  • 地址 210000 江苏省南京市栖霞区仙林大道163号

  • 入库时间 2023-06-19 12:38:50

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号