• 主题
高级搜索  >
历史搜索 清空历史
首页> 外文期刊>Information Processing & Management >Multi-level similarity learning for image-text retrieval
【24h】

Multi-level similarity learning for image-text retrieval

机译：图像文本检索的多级相似度学习

获取原文
获取原文并翻译 | 示例
           
页面导航
  • 摘要
  • 著录项
  • 相似文献
  • 相关主题

摘要

Image-text retrieval task has been a popular research topic and attracts a growing interest due to it bridges computer vision and natural language processing communities and involves two different modalities. Although a lot of methods have made a great progress in image-text task, it remains challenging because of the difficulty to learn the correspondence between two heterogeneous modalities. In this paper, we propose a multi-level representation learning for image-text retrieval task, which utilizes semantic-level, structural-level and contextual information to improve the quality of visual and textual representation. To utilize semantic-level information, we firstly extract the nouns, adjectives and number with high frequency as the semantic labels and adopt multi-label convolutional neural network framework to encode the semantic-level information. To explore the structure-level information of image-text pair, we firstly construct two graphs to encode the visual and textual information with respect to the corresponding modality and then, we apply graph matching with triplet loss to reduce the cross-modality discrepancy. To further improve the retrieval results, we utilize the contextual-level information from two modalities to refine the rank list and enhance the retrieval quality. Extensive experiments on Flickr30k and MSCOCO, which are two commonly datasets for image-text retrieval, have demonstrated the superiority of our proposed method.
机译：图像文本检索任务一直是一个流行的研究主题，并且由于它桥接计算机视觉和自然语言处理社区而引起了越来越多的利益，并且涉及两个不同的方式。虽然许多方法在图像文本任务中取得了很大进展，但它仍然具有挑战性，因为难以学习两个异构模式之间的对应关系。在本文中，我们提出了一种用于图像文本检索任务的多级表示学习，它利用语义级，结构级别和上下文信息来提高视觉和文本表示的质量。要利用语义级信息，我们首先用高频作为语义标签提取名词，形容词和数字，采用多标签卷积神经网络框架来编码语义级信息。为了探索图像文本对的结构级信息，我们首先构造两个图形来对相应的模态进行编码视觉和文本信息，然后，我们应用与三重态丢失相匹配的图形，以减少跨模型差异。为了进一步提高检索结果，我们利用来自两个模态的上下文信息来改进等级列表并增强检索质量。关于Flickr30k和Mscoco的广泛实验，这是图像文本检索的两个通常数据集，已经证明了我们所提出的方法的优越性。

著录项

相似文献

  • 外文文献
  • 中文文献
  • 专利
获取原文

客服邮箱：kefu@zhangqiaokeyan.com

京公网安备：11010802029741号 ICP备案号：京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有

  • 客服微信

  • 服务号