...
  • 主题
高级搜索  >
历史搜索 清空历史
首页> 外文期刊>IEEE transactions on multimedia >GLNet: Global Local Network for Weakly Supervised Action Localization
【24h】

GLNet: Global Local Network for Weakly Supervised Action Localization

机译：GLNET：全球本地网络，用于弱监督行动本地化

获取原文
获取原文并翻译 | 示例
           
页面导航
  • 摘要
  • 著录项
  • 相似文献
  • 相关主题

摘要

In this paper, we address the challenging problem of weakly supervised spatio-temporal action localization for which only video-level action labels are available during training. To solve this problem, we propose an end-to-end Global Local Network (GLNet) to predict the probability distribution simultaneously in both spatial and temporal space. The proposed GLNet model includes two key components: a local spatial module and a global temporal module. The local spatial module aims to predict the frame-level spatial distribution by encoding short-term temporal information. In particular, we propose a Region Actionness Network (RAN) to select the target region boxes from the precomputed exhaustive proposals. The global temporal module can predict temporal distribution by a long-term temporal structuremodelling. Specifically, we design a temporal fusion-and-excitation architecture on the top of several clips, and trained by a sparse loss function. Therefore, the proposed GLNet model can perform spatio-temporal action localization in an end-to-end manner. We evaluate the performance of GLNet on the J-HMDB and UCF101-24 datasets. The experimental results demonstrate GLNet achieves a significant margin against other state-of-the-art weakly supervised methods and even some fully supervised methods in terms of frame mean Average Precision (mAP) and the video mAP (called frame-mAP and video-mAP, respectively).
机译：在本文中，我们解决了在培训期间只有视频级动作标签的弱势监督时空行动定位问题的挑战性问题。为了解决这个问题，我们提出了一个端到端的全局本地网络（GLNET），以在空间和时间空间中同时预测概率分布。所提出的Glnet模型包括两个关键组件：局部空间模块和全局时间模块。局部空间模块旨在通过编码短期时间信息来预测帧级空间分布。特别是，我们提出了一个区域actionsnet网络（RAN）来从预先计算的详尽提案中选择目标区域框。全球时间模块可以通过长期的时间结构调节预测时间分布。具体而言，我们在多个剪辑的顶部设计一个时间融合和激励架构，并通过稀疏损耗函数训练。因此，所提出的GLNET模型可以以端到端的方式执行时空动作定位。我们评估GLNET在J-HMDB和UCF101-24数据集上的性能。实验结果展示GLNET实现了其他最先进的弱监督方法的显着保证金，甚至在框架平均精度（地图）和视频地图方面的一些完全监督方法（称为帧 - 地图和视频地图， 分别）。

著录项

  • 来源
    《IEEE transactions on multimedia》 |2020年第10期|2610-2622|共13页
  • 作者

    Zhang Shiwei; Song Lin; Gao Changxin; Sang Nong;

  • 作者单位

    Huazhong Univ Sci & Technol Sch Artificial Intelligence & Automat Key Lab Minist Educ Image Proc & Intelligent Cont Wuhan 430074 Peoples R China;

    Xi An Jiao Tong Univ Sch Artificial Intelligence & Automat Xian 710049 Peoples R China;

    Huazhong Univ Sci & Technol Sch Artificial Intelligence & Automat Key Lab Minist Educ Image Proc & Intelligent Cont Wuhan 430074 Peoples R China;

    Huazhong Univ Sci & Technol Sch Artificial Intelligence & Automat Key Lab Minist Educ Image Proc & Intelligent Cont Wuhan 430074 Peoples R China;

  • 收录信息
  • 原文格式 PDF
  • 正文语种 eng
  • 中图分类
  • 关键词

    Spatio-temporal action localization; global local network; weakly supervised;

    机译：时空行动本地化;全球本地网络;弱势监督;

相似文献

  • 外文文献
  • 中文文献
  • 专利
获取原文

客服邮箱：kefu@zhangqiaokeyan.com

京公网安备：11010802029741号 ICP备案号：京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有

  • 客服微信

  • 服务号