首页> 中国专利> 一种基于双路分形网络和LSTM的视频描述方法

一种基于双路分形网络和LSTM的视频描述方法

页面导航

摘要
著录项
法律信息
相似文献

摘要

本发明公开了一种基于双路分形网络和LSTM的视频描述方法。所述方法首先对待描述视频进行关键帧的采样，并提取原视频相邻两帧之间的光流特征，然后通过两个分形网络分别学习并获得视频帧和光流特征的高层特征表达，再分别输入到两个基于LSTM单元的递归神经网络模型，最后将两个独立模型每个时刻的输出值进行加权平均，从而获得与所述视频对应的描述语句。本发明对待描述视频分别利用了原视频帧和光流的信息，添加的光流特征补偿了采样帧不可避免会丢失的动态信息，考虑到了视频在空间维度和时间维度上的变化。再者，通过新颖的分形网络对底层特征进行抽象的视觉特征表达，从而更精确地分析挖掘视频中涉及的人、物、行为以及空间位置关系等联系。

著录项

公开/公告号CN106934352A

专利类型发明专利
公开/公告日2017-07-07

原文格式PDF
申请/专利权人华南理工大学;
展开▼

申请/专利号CN201710111507.8
发明设计人李楚怡;袁东芝;余卫宇;胡丹;
展开▼

申请日2017-02-28
分类号G06K9/00(20060101);G06K9/62(20060101);G06N3/02(20060101);
代理机构44245 广州市华学知识产权代理有限公司;
代理人李斌
地址 510640 广东省广州市天河区五山路381号
入库时间 2023-06-19 02:44:13

法律信息

法律状态公告日

法律状态信息

法律状态
2020-01-24

发明专利申请公布后的驳回 IPC(主分类):G06K9/00 申请公布日:20170707 申请日:20170228

发明专利申请公布后的驳回
2017-08-01

实质审查的生效 IPC(主分类):G06K9/00 申请日:20170228

实质审查的生效
2017-07-07

公开

公开

相似文献

专利
中文文献
外文文献

1. 一种基于双路分形网络和LSTM的视频描述方法 [P] . 中国专利： CN106934352A . 2017-07-07
2. 一种基于双路孪生网络的视频运动目标跟踪方法及装置 [P] . 中国专利： CN112233147A . 2021-01-15
3. A Multiple Chirp Based Inter-Relay Interference Mitigation Technique for Two-Path Successive Relaying Protocol [P] . KR102243152B1 . 2021-04-22

机译：双路连续中继协议的一种基于多啁啾的继电器间干扰缓解技术
4. Network-based control of dual-access network [P] . 日本专利： JP5559405B2 . 2014-07-23

机译：基于网络的双路访问控制
5. Network-based control of dual-access network [P] . 日本专利： JP2011524686A . 2011-09-01

机译：基于网络的双路访问控制