首页> 中国专利> 一种跨模态图像-文本关联异常检测方法

一种跨模态图像-文本关联异常检测方法

页面导航

摘要
著录项
法律信息
相似文献

摘要

本发明属于计算机多媒体技术领域，具体为一种跨模态图像‑文本关联异常检测方法。本发明通过以下几个步骤来判断图像‑文本对的关联是否异常：1)图像多标签分类阶段，将图像输入基于CNN‑RNN的编码解码器，准确提取图像的标签信息；2)文本多标签分类阶段，将文本输入基于BiLSTM的网络，得到文本的标签信息；3)关联异常检测阶段，融合图像和文本的分类结果，判断图像‑文本对的关联是否异常。本发明提出的方法能够准确实现对图像‑文本对关联异常的检测，并且模型具有较强的鲁棒性。

著录项

公开/公告号CN113159071A

专利类型发明专利
公开/公告日2021-07-23

原文格式PDF
申请/专利权人复旦大学;
展开▼

申请/专利号CN202110423224.3
发明设计人金城;王尚尚;吴渊;
展开▼

申请日2021-04-20
分类号G06K9/46(20060101);G06K9/62(20060101);G06N3/04(20060101);G06N3/08(20060101);
代理机构31200 上海正旦专利代理有限公司;
代理人王洁平
地址 200433 上海市杨浦区邯郸路220号
入库时间 2023-06-19 11:57:35

法律信息

法律状态公告日

法律状态信息

法律状态
2022-06-21

授权

发明专利权授予

相似文献

专利
中文文献
外文文献

1. 一种跨模态图像-文本关联异常检测方法 [P] . 中国专利： CN113159071A . 2021-07-23
2. 一种跨文本模态和图像模态的数据检索方法 [P] . 中国专利： CN105205096A . 2015-12-30
3. systems and methods for associating image with text and text with image [P] . BR112013019907A2 . 2016-10-11

机译：用于将图像与文本相关联以及将文本与图像相关联的系统和方法
4. VOICE DEGREE OF SIMILARITY DETECTING METHOD AND VOICE RECOGNITION METHOD USING THE DETECTED VALUE, VIBRATING WAVE DEGREE OF SIMILARITY DETECTING METHOD AND MACHINE ABNORMAL DISCRIMINATING METHOD USING THE DETECTED VALUE, IMAGE DEGREE OF SIMILARITY DETECTING METHOD AND IMAGE RECOGNITION METHOD USING THE DETECTED VALUE, SOLID BODY DEGREE OF SIMILARITY DETECTING METHOD AND SOLID BODY RECOGNITION METHOD USING THE DETECTED VALUE AND ANIMATION IMAGE DEGREE OF SIMILARITY DETECTING METHOD AND ANIMATION IMAGE RECOGNITION METHOD USING THE DETECTED VALUE [P] . 日本专利： JP2002091481A . 2002-03-27

机译：利用该检测值的相似度检测方法和语音识别方法的语音度，利用检测值的相似度检测方法和机器异常识别方法的振动度，类似检测度的图像度，使用检测方法的图像识别值方法探测值和动画图像识别度的相似度检测方法和实体图像识别方法探测值和动画图像识别度的图像相似度检测方法
5. Similarity detection method of voice and voice recognition method using the detection value thereof, similarity detection method of vibration wave and abnormality determination method of machine using the detection value, similarity detection method of image and detection thereof Image recognition method using values, stereoscopic similarity detection method and stereoscopic recognition method using the detected values, and moving image similarity detection method and moving image recognition method using the detected values [P] . 日本专利： JP3342864B2 . 2002-11-11

机译：语音的相似度检测方法和使用其检测值的语音识别方法，振动波的相似度检测方法和使用该检测值的机器异常确定方法，图像的相似度检测方法及其检测使用值的图像识别方法，立体相似度检测方法使用检测到的值的立体识别方法，使用检测到的值的运动图像相似性检测方法和运动图像识别方法