• 主题
高级搜索  >
历史搜索 清空历史
首页> 外文会议>IEEE International Conference on Image Processing >Attend, Correct And Focus: A Bidirectional Correct Attention Network For Image-Text Matching
【24h】

Attend, Correct And Focus: A Bidirectional Correct Attention Network For Image-Text Matching

机译：参加，正确和焦点：用于图像文本匹配的双向正确关注网络

获取原文
页面导航
  • 摘要
  • 著录项
  • 相似文献
  • 相关主题

摘要

Image-text matching task aims to learn the fine-grained correspondences between images and sentences. Existing methods use attention mechanism to learn the correspondences by attending to all fragments without considering the relationship between fragments and global semantics, which inevitably lead to semantic misalignment among irrelevant fragments. To this end, we propose a Bidirectional Correct Attention Network (BCAN), which leverages global similarities and local similarities to reassign the attention weight, to avoid such semantic misalignment. Specifically, we introduce a global correct unit to correct the attention focused on relevant fragments in irrelevant semantics. A local correct unit is used to correct the attention focused on irrelevant fragments in relevant semantics. Experiments on Flickr30K and MSCOCO datasets verify the effectiveness of our proposed BCAN by outperforming both previous attention-based methods and state-of-the-art methods. Code can be found at: https://github.com/liuyyy111/BCAN.
机译：图像文本匹配任务旨在了解图像和句子之间的细粒度对应关系。现有方法使用注意机制来学习通过参加所有碎片来学习对应关系，而不考虑片段和全球语义之间的关系，这不可避免地导致无关碎片之间的语义未对准。为此，我们提出了双向正确关注网络（BCAN），它利用全球相似性和局部相似性来重新分配注意力，以避免这种语义错位。具体而言，我们介绍了全球正确的单位，以纠正关注无关语义中相关碎片的关注。局部正确的单元用于纠正相关语义中无关碎片的注意力。 Flickr30k和Mscoco数据集的实验通过表现出先前的基于关注的方法和最先进的方法来验证我们提出的BCAN的有效性。代码可以找到：https://github.com/liuyyy111/bcan。

著录项

相似文献

  • 外文文献
  • 中文文献
  • 专利
获取原文

客服邮箱：kefu@zhangqiaokeyan.com

京公网安备：11010802029741号 ICP备案号：京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有

  • 客服微信

  • 服务号