基于多模态语义分组的视频摘要模型

叶晓辉; 杨欣; 李涛

首页> 中文期刊> 《云南民族大学学报：自然科学版》 >基于多模态语义分组的视频摘要模型

基于多模态语义分组的视频摘要模型

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

充分利用视频的信息以及解码去除冗余信息是视频摘要生成的关键.提出了一种基于多模态语义分组的视频摘要生成模型(VMSG).首先,该模型使用3D ResNet神经网络和残差神经网络来提取3D和2D特征;然后把音频信息与视频的分类信息加入多模态的框架中进行编码,得到多模态的特征之后,需要对其进行解码;为了减少视频帧的冗余信息,不同于按帧分组的解码模式,VMSG使用了一种新颖的语义分组方式进行解码,将相同语义的视频分为一个语义组进行解码,预测下一个单词.实验表明,与当前一些最先进的模型相比,VMSG具有更好的摘要生成性能,其生成的视频摘要更加客观丰富.

著录项

来源
《云南民族大学学报：自然科学版》 |2022年第4期|445-449|共5页
作者
叶晓辉; 杨欣; 李涛;
展开▼
作者单位

南京航空航天大学自动化学院;

展开▼
原文格式 PDF
正文语种 chi
中图分类人工神经网络与计算;
关键词
多模态; 语义分组; 残差网络; 视频摘要;

相似文献

中文文献
外文文献
专利

1. 基于注意力机制的细粒度语义关联视频-文本跨模态实体分辨 [J] . 曾志贤 ,曹建军 ,翁年凤 . 计算机科学 . 2022,第7期
2. 基于语义空间统一表征的视频多模态内容分析技术 [J] . 张德 ,王子玮 ,张峰 . 电视技术 . 2017,第007期
3. 基于多模态融合的视频语义概念检测 [J] . 赵建勋 ,黄继海 . 科技创新与应用 . 2013,第028期
4. 一种基于多模态特征的新闻视频语义提取框架 [J] . 闫建鹏 ,封化民 ,刘嘉琦 . 计算机应用研究 . 2012,第007期
5. 基于多模态融合的足球视频语义分析 [J] . 张玉珍 ,魏带娣 ,王建宇 . 计算机科学 . 2010,第007期
6. 基于敏感属性值语义桶分组的t-closeness隐私模型 [C] . Zhang Jianpei ,张健沛 ,Xie Jing . 第30届中国数据库学术会议 . 2013
7. 基于多模态特征融合的新闻视频摘要技术研究 [A] . 孟文婷 . 2012

基于多模态语义分组的视频摘要模型

摘要

著录项

相似文献

相关主题

期刊订阅