首页> 中国专利> 基于结构化语义表示的视觉问答方法

基于结构化语义表示的视觉问答方法

页面导航

摘要
著录项
法律信息
相似文献

摘要

本发明提供了一种基于结构化语义表示的视觉问答方法，通过卷积神经网络提取出输入图像的图像特征；通过预先训练的字嵌入模型从所述输入图像相关的输入问题中，提取出每个词的词向量；对所述图像特征和所述词向量进行加权处理，得到加权后的图像特征向量和文本特征向量；通过Tree‑LSTM网络将所述词向量转换为结构化语义表示向量；将所述图像特征向量、文本特征向量、结构化语义表示向量进行融合处理，得到对应的融合特征向量；将所述融合特征向量作为预测模型的输入，由所述预测模型输出所述输入问题对应的答案。本发明从问题中提取了更加丰富的语义信息，通过多层训练优化提高了预测模型的性能，从而提高了答案的准确性。

著录项

公开/公告号CN111008293A

专利类型发明专利
公开/公告日2020-04-14

原文格式PDF
申请/专利权人上海交通大学;
展开▼

申请/专利号CN201811164612.9
发明设计人熊红凯;余东晨;
展开▼

申请日2018-10-06
分类号
代理机构上海恒慧知识产权代理事务所(特殊普通合伙);
代理人徐红银
地址 200240 上海市闵行区东川路800号
入库时间 2023-12-17 07:34:32

法律信息

法律状态公告日

法律状态信息

法律状态
2020-05-08

实质审查的生效 IPC(主分类):G06F16/583 申请日:20181006

实质审查的生效
2020-04-14

公开

公开

相似文献

专利
中文文献
外文文献

1. 基于结构化语义表示的视觉问答方法 [P] . 中国专利： CN111008293A . 2020-04-14
2. 一种基于问题语义映射的视觉问答方法及装置 [P] . 中国专利： CN113420833A . 2021-09-21
3. A method of information modeling, representation and integration of arbitrary objects of information processes with different models of knowledge representation without the use of formal languages, a method of presenting semi-structured data describing these objects based on a limited collection of structured data [P] . RU2020107083A . 2021-08-16

机译：一种信息建模，表示和集成的信息进程与不同型号的知识表示的无需使用正式语言的方法，这是一种基于结构化数据的有限集合来呈现描述这些对象的半结构化数据的方法
4. Text generation method based on semantic expression, text generating apparatus based on semantic representation, electronic apparatus, non-temporary computer readable storage medium, and computer program [P] . JP2021117985A . 2021-08-10

机译：基于语义表达的文本生成方法，基于语义表示，电子设备，非临时计算机可读存储介质和计算机程序的文本生成装置
5. WEB-BASED VISUAL REPRESENTATION OF A STRUCTURED DATA SOLUTION [P] . 美国专利： US2018158003A1 . 2018-06-07

机译：基于Web的结构化数据解决方案的视觉表示