首页> 中国专利> 一种基于多模态动态交互机制的图文解析方法

一种基于多模态动态交互机制的图文解析方法

页面导航

摘要
著录项
法律信息
相似文献

摘要

一种基于多模态动态交互机制的图文解析方法，提出了一个动态模态交互建模框架用于解决图文检索问题，该框架不仅能够涵盖现有方法的交互模式，还能够自动学习其他未被探索到的模式。为了赋予模型充分的模态交互能力，从不同角度、不同粒度设计了四种基础的交互模块，其有效解决了模态内推理和模态间对齐两大图文检索中的核心挑战。为了动态地学习模态交互模式，在每个交互模块中整合了一个动态路由器。通过提出的语义一致性正则化技术对路径决策过程进行了合理的、强有力的约束，确保了模型路径学习的高效性。在进行图像和文本之间的相互检索时准确度大幅度提高。

著录项

公开/公告号CN113065012A

专利类型发明专利
公开/公告日2021-07-02

原文格式PDF
申请/专利权人山东省人工智能研究院;山东大学;
展开▼

申请/专利号CN202110288644.5
发明设计人曲磊钢;刘萌;胡宇鹏;高赞;聂礼强;
展开▼

申请日2021-03-17
分类号G06F16/53(20190101);G06F16/33(20190101);G06K9/62(20060101);G06N3/04(20060101);G06N3/08(20060101);
代理机构37218 济南泉城专利商标事务所;
代理人支文彬
地址 250013 山东省济南市历下区科院路19号
入库时间 2023-06-19 11:42:32

法律信息

法律状态公告日

法律状态信息

法律状态
2022-04-22

授权

发明专利权授予

相似文献

专利
中文文献
外文文献

1. 一种基于多模态动态交互机制的图文解析方法 [P] . 中国专利： CN113065012A . 2021-07-02
2. 一种基于动态交互注意力机制的序列推荐方法及其系统 [P] . 中国专利： CN110245299B . 2022.02.08
3. TUNNEL TUNNELING FEASIBILITY PREDICTION METHOD AND SYSTEM BASED ON TBM ROCK-MACHINE PARAMETER DYNAMIC INTERACTION MECHANISM [P] . US2021209263A1 . 2021-07-08

机译：基于TBM摇滚机参数动态交互机制的隧道隧道可行性预测方法与系统
4. A method and apparatus for storing audio-based information by a TOC mechanism and a file-based access mechanism via a root directory that includes a top-level table of contents (TOC) directory, and a simpler way to hold such information One storage medium [P] . 日本专利： JP4086910B2 . 2008-05-14

机译：一种用于通过TOC机制和基于文件的访问机制经由包括顶级目录（TOC）目录的根目录来存储基于音频的信息的方法和装置，以及一种更简单的方式来保存这种信息。
5. MULTI-MODAL GESTURE BASED INTERACTIVE SYSTEM AND METHOD USING ONE SINGLE SENSING SYSTEM [P] . KR102335132B1 . 2021-12-06

机译：基于多模态手势的交互式系统与一种单一传感系统的方法