视频摘要

摘要： 是通过生成关键帧或片段来达到压缩视频的效果,能够在概括视频主要内容的基础上极大缩短观看时间,在视频快速浏览与检索领域应用广泛。现有方法大多只基于图像内容进行探索,忽略了视频具有时序的特点,且模型对波动数据学习能力较差,导致生成的摘要缺乏时间连贯性和代表性。提出了一个以编码器-解码器为框架的视频摘要网络。具体来说,编码部分由卷积神经网络提取特征,通过自注意力机制提升对关键特征的权重,而解码部分由融合了随机森林的双向长短期记忆网络构成,通过调整随机森林和双向长短期记忆网络在损失函数中所占比例,使模型具有较强的稳定性和预测准确率。实验在两个数据集上与其他七种方法进行了比较,综合实验结果证明了方法的有效性与可行性。提出了自注意力机制和随机森林回归的视频摘要网络,利用自注意力机制完成对特征的优化,将双向长短期记忆网络与随机森林结合,提升模型的稳定性与泛化性,有效降低损失值,使得生成的视频摘要更符合用户视觉特性。

摘要： 充分利用视频的信息以及解码去除冗余信息是视频摘要生成的关键.提出了一种基于多模态语义分组的视频摘要生成模型(VMSG).首先,该模型使用3D ResNet神经网络和残差神经网络来提取3D和2D特征;然后把音频信息与视频的分类信息加入多模态的框架中进行编码,得到多模态的特征之后,需要对其进行解码;为了减少视频帧的冗余信息,不同于按帧分组的解码模式,VMSG使用了一种新颖的语义分组方式进行解码,将相同语义的视频分为一个语义组进行解码,预测下一个单词.实验表明,与当前一些最先进的模型相比,VMSG具有更好的摘要生成性能,其生成的视频摘要更加客观丰富.

摘要： 视频摘要是监控视频浏览和存储的有效技术。在压缩比的限制下,现有的视频摘要生成方法容易导致重排目标碰撞和时序错乱。针对该问题,文中提出一种融合目标速度变化机制的视频摘要生成模型。在目标重排的能量函数中,除目标起始位置变量之外还加入了目标速度变量,从而能够同时改变目标的起始位置和速度,避免碰撞和时序错乱问题。随后使用马尔科夫链蒙特卡罗随机采样算法求解能量函数的最优值,得到了目标重排方案的最优解。实验表明,在压缩率相同的情况下,相较于其他方法,该模型生成的摘要视频中的目标碰撞和时序错乱的问题较少。

摘要： 技术可以从冗长的原始视频中提取出关键帧或关键镜头,生成简明紧凑的视频摘要,在基本概括了视频主要内容的基础上极大地缩短用户浏览时间。针对目前视频摘要算法普遍忽略视频中的运动信息而导致摘要缺乏逻辑性和故事性的问题,提出了一种基于多模态特征融合的动态视频摘要算法(MFFSN),采用了有监督的编码器-解码器的网络框架。在编码端通过深度神经网络提取原始视频帧的多尺度空间特征和光流图像的多尺度运动特征,利用运动引导注意力模块(Motion Guided Attention,MGA)进行时空注意力建模,对空间特征和运动特征进行有机融合得到多模态特征;在解码阶段,采用自注意力机制关注数据中的显著特征,再通过回归网络得到帧重要性分数;最后根据背包算法选择关键镜头生成动态摘要。在Sum Me基准数据集上的实验结果证明提出的MFFSN摘要算法优于现有的同类视频摘要算法。

摘要： 在大数据时代,如何从浩如烟海的视频数据中高效地获取所需要的信息,已然成为当前困扰人们的一个难题,而视频摘要技术或许正是破局的关键所在。本文以专利申请为切入点,从专利的申请状况、申请人的研发重点以及专利发展趋势等方面,分析中国视频摘要技术的专利发展状况和趋势,希望对业内人士有所帮助。

摘要： 为了增加论文的传播效果和被引用次数,提高论文的显示度和学术影响力,《机床与液压》杂志建议作者在投稿的同时提供图文摘要,并鼓励提供视频摘要。同时也欢迎已投稿作者提供图文摘要和视频摘要,用于数据库增强出版和新媒体平台论文推送。论文图文摘要撰写要求图文摘要是将论文内容可视化,更直观地展示文章的主要内容和主要创新点,让读者更高效地了解文章内容。首先,它是对文章内容和创新点的高度概括,其次,需要与配图相呼应以帮助读者更好地了解文章内容。

摘要： 为解决现有视频摘要方法的视频帧特征信息提取不充分、摘要结果过分依赖单一特征的问题,提出了一种融合时空切片和双注意力机制的视频摘要方法。在原视频的精准分段阶段,提出了基于时空切片的核时序分割算法(STS-KTS),将视频场景信息反映为时空切片纹理信息,采用水平映射法将预处理后的时空切片投影为一维数组,作为KTS的输入特征;以双注意力机制和分组卷积为基本组件,结合BiLSTM构建时空特征提取网络,以快速提取丰富的时空特征信息,从而配合纹理特征信息消除现有摘要模型对单一特征的过分依赖;采用帧参数预测模块获取最佳的视频帧贡献度分数、中心度分数以及帧序列位置;将帧分数转化为镜头分数,以选取内容丰富的片段,进而生成动态视频摘要。在SumMe和TVSum数据集上的实验表明:所提方法能提高生成摘要的准确性,比现有方法性能更高,尤其在SumMe数据集上的生成摘要准确性相比于现有方法提升了0.58%。

摘要： 现有视频摘要生成模型存在计算量大,冗余帧带来的性能损耗大,模型效果不稳定等问题。基于此,提出融合GRU和非极大值抑制的视频摘要生成模型。所提模型对视频帧之间的特征关系进行建模,在获取帧级重要性得分模块中,提出一种融入GRU和注意力机制的Seq2Seq模型,增强帧与帧之间的时域特征关系影响,并且有效减少模型计算量,提高模型在反向传播时的收敛速度;在获取视频摘要模块中,提出基于非极大值抑制的关键序列生成算法,有效去除冗余帧。通过在多个数据集上与现今主流的视频摘要生成模型比对,显示所提模型在F-score和KFRR两个评估指标上均有不同程度的提升,表明其所生成的视频摘要具有更强的内容概括能力,并且模型在各种数据状况下具有较高的稳定性。

摘要： [目的]探究新媒体出版在国际学术期刊知识传播上的应用,为国内期刊开展相关创新实践提供参考.[方法]采用文献调查、网络调研方法,针对图文摘要、视频摘要、播客这三种媒体业态,研究多家国际期刊和出版集团为提升论文传播效率所开展的相关实践,特别是在三者的提交与同行评议、生产与更新、展示和传播及版权方面的策略.[结果]国际出版机构对于这三种媒体业态的应用尚处于初级阶段,存在提交激励机制不完善、展示效果不理想、出版机构持续更新动力不足、对独立性与引用性的关注度低等问题,相关提交、评审、发布、传播、版权等机制有待探讨和完善.[结论]学术期刊出版和传播方式向着多元化、多媒体方向发展的趋势不可扭转,也将越趋繁荣.国内期刊可结合自身意愿、学科特征、发展规划,以及人力、技术和资金等情况,以国际相关应用先行者的经验为鏊,通过合理规划,以可执行、可持续、渐进的方式,将图文摘要、视频摘要、播客等媒体业态应用于期刊论文的出版和传播中.

摘要： 视频摘要任务旨在通过生成简短的视频片段来表示原视频的主要内容,针对现有方法缺乏对语义信息探索的问题,提出了一种融合语义信息的视频摘要生成模型,学习视频特征使其包含丰富的语义信息,进而同时生成描述原始视频内容的视频摘要和文本摘要.该模型分为3个模块:帧级分数加权模块、视觉-语义嵌入模块、视频文本描述生成模块.帧级分数加权模块结合卷积网络与全连接层以获取帧级重要性分数;视觉-语义嵌入模块将视觉特征与文本特征映射到同一空间,以使2种特征相互靠近;视频文本描述生成模块最小化视频摘要的生成描述与文本标注真值之间的距离,以生成带有语义信息的视频摘要.测试时,在获取视频摘要的同时,该模型获得简短的文本摘要作为副产品,可以帮助人们更直观地理解视频内容.在SumMe和TVSum数据集上的实验表明:该模型通过融合语义信息,比现有先进方法取得了更好的性能,在这2个数据集上F-score指标分别提高了0.5％和1.6％.

摘要： 本文提出了一种新的电影视频摘要的生成方法。此方法首先对镜头进行分割,然后对镜头进行聚类,然后通过对镜头分散程度的判别方法,生成最终的视频摘要。

摘要： 视频摘要是对视频主要内容简明扼要的总结.本文首先阐述了视频摘要的基本概念,然后结合近年来国内外相关研究成果,按照视频摘要的表现形式,将其分为以标题、关键帧和故事板为代表的静态视频摘要和以缩略视频为代表的动态视频摘要,并着重分析了其中涉及的关键帧提取、重要度评判、片段重组等关键技术,最后探讨了多模态摘要、视频专题摘要、交互式摘要等视频摘要技术的新发展方向.

摘要： 视频摘要是从原始视频中提取的一段视音频图像序列,它可以提供给人们一个有关原始视频基本内容的较为精炼的信息,是实现基于内容视频检索的有效工具.在系统论述建立基于内容的视频摘要所涉及的主要关键技术的基础上,通过对常用的视频关键帧提取算法进行分析比较,提出了基于FCNN模型的自适应关键帧提取方法,该方法综合利用视频流中的各类音视特征,可以适应于各种视频类型.通过对视频单元进行分割和提取镜头的视频关键帧,提出基于视频关键帧、利用插值算法建立视频摘要的方法,并以新闻视频为例,基于DirectShow组件结构建立了基于内容的新闻视频摘要系统(KBVA-1).

摘要： 本文首先提出了一个用于视频摘要的一般性的概念模型,即:"实体-描述-效用"模型,该模型把"实体"作为摘要的基本单元,通过对实体进行描述,获得实体的"效用",以效用函数为基本依据来生成摘要;然后,以新闻故事摘要为例,阐述了该模型的实现.

摘要： 要从浩如烟海的视频数据库中挖掘分析它所蕴涵的语义相关内容,这是视频摘要生成方法面临的难题。本文提出了一种视频结构挖掘的概念框架和视频结构挖掘的系统框架,在概念框架中对视频结构挖掘相关概念给出了规范化的定义,视频结构挖掘框架包括的主要内容有视频基本结构挖掘、视频语法结构挖掘和视频语义结构挖掘.重点讨论了语义预处理及语义相关内容挖掘.

摘要： 在当今网络化与数字化时代,随着播客类网站如火如荼的兴起,如何有效地管理网上视频数据,抵制色情、暴力影像,保障网络安全已成为信息领域一个亟待解决的问题。本文通过对网络视频蕴含的情感语义内容进行计算机理解,采用纵向分层、横向排列的结构化分析方法,在纵向上对每段视频提取关键帧、获得精彩片段生成视频摘要,建立三层结构;在横向上使用各视频段的关键帧为数据库建立索引。实验证明该模型能够实现不同用户按照其权限等级进行不同程度的授权浏览,也提供了便捷的用户视频查找途径并有效保护视频数据库信息的安全。

摘要： 本公开涉及用于为用数字视频获取装置获取数字视频序列存储视频摘要的方法，其包含：用数字视频获取装置获取数字视频序列，其中数字视频序列包括多个视频帧；在处理器可存取存储器中存储数字视频序列；确定一个或更多关键视频片断，每个关键视频片断相应于来自存储数字视频序列的一组视频帧；组合关键视频片断从而形成视频摘要；和通过存储与存储数字视频序列关联的元数据在处理器可存取存储器中存储视频摘要，其中元数据提供相应于视频摘要的视频帧的指示。

摘要： 本发明提供了一种视频摘要生成装置及视频摘要生成方法。该装置包括片段参数提取模块、距离参数提取模块、系数参数提取模块，用于从接收的多个原始片段中提取出参数；待选片段集合计算模块，用于计算出待选片段集合，并发送至关键帧集合计算模块；关键帧集合计算模块，用于计算出关键帧集合，并发送至关键帧中主要人物与总人物的相关系数计算模块；关键帧中主要人物与总人物的相关系数计算模块，用于计算出关键帧中主要人物与总人物的相关系数，并发送至视频摘要制作模块；视频摘要制作模块，用于制作成视频摘要进行存储。本发明具有节省人工、成本较低的优点。

摘要： 本发明提出一种视频摘要生成方法和视频摘要生成装置。该视频摘要生成方法包括：对原始视频中的目标帧图像进行背景建模，得到背景模型；利用背景模型提取出目标帧图像中的运动目标；使用预设的分类器判断提取到的运动目标中是否包括人脸图像；将包括人脸图像的运动目标进行轨迹排列，生成摘要。从而完整准确地生成符合用户需求的视频摘要，通过人脸检测和视频摘要相结合，生成包含人脸图像的移动目标的视频摘要。使用户可以从视频摘要中迅速地得到包含人脸的视频信息，提高了视频的使用效率。

摘要： 本发明提出一种视频摘要生成方法和视频摘要生成装置。该视频摘要生成方法包括：对原始视频中的目标帧图像进行背景建模，得到背景模型；利用背景模型提取出目标帧图像中的运动目标；使用预设的分类器将提取到的运动目标进行分类；按照分类结果将提取到的运动目标进行轨迹排列，生成摘要。应用本发明的技术方案，本发明的技术方案提高了视频的使用效率。最终使用物体分类的方法生成了有条理的摘要，满足了快速多目标浏览的目的。

摘要： 为了解决现有技术中从AV数据中产生视频摘要会花费较多操作的问题，本发明包括从包含所述多角度视频的AV数据中检索多角度视频的检索设备4；定义所述多角度视频为视频摘要的视频摘要指定设备5；提供视频摘要的视频摘要提供设备6，及包括接收视频摘要的接收设备11的信息终端9。

摘要： 本申请公开了一种视频摘要生成模型的训练方法、视频摘要生成方法及装置，属于机器学习领域。该方法包括：获取视频样本，从视频样本中确定出至少两帧样本图像，每一帧样本图像标注有参考评分；调用视频摘要生成模型分别对每一帧样本图像进行时间特征与空间特征的混合自注意力学习，得到样本图像在时间与空间上的混合特征向量；调用视频摘要生成模型基于混合特征向量对样本图像进行评分，得到每一帧样本图像作为视频摘要的重要性评分；基于参考评分与重要性评分之间的学习损失更新视频摘要生成模型中的模型参数，最终得到训练完成的视频摘要生成模型。该方法使得模型能够更充分的捕捉视频的上下文信息，生成时序表达优秀的视频摘要。

摘要： 本发明提供了一种视频摘要模型的训练方法、装置及存储介质；视频摘要模型的训练方法包括：分别对目标视频的视频帧序列中各视频帧进行特征提取，得到各视频帧的第一图像特征；结合各视频帧的第一图像特征，确定目标视频的特征复杂度；当特征复杂度满足特征复杂度条件时，将视频帧序列输入至视频摘要模型，得到对应目标视频的视频摘要，视频摘要包括由多个关键帧构成的关键帧序列；基于得到的目标视频的视频摘要，确定深度强化学习的奖励函数的值；基于奖励函数的值，更新视频摘要模型的模型参数。如此，能够自动识别视频的特征复杂度，并在特征复杂度满足特征复杂度条件的情况下采用无监督的方式训练视频摘要模型，提高输出视频摘要的准确度。

摘要： 本发明提供了一种视频摘要生成装置及视频摘要生成方法。该装置包括片段参数提取模块、距离参数提取模块、系数参数提取模块，用于从接收的多个原始片段中提取出参数；待选片段集合计算模块，用于计算出待选片段集合，并发送至关键帧集合计算模块；关键帧集合计算模块，用于计算出关键帧集合，并发送至关键帧中主要人物与总人物的相关系数计算模块；关键帧中主要人物与总人物的相关系数计算模块，用于计算出关键帧中主要人物与总人物的相关系数，并发送至视频摘要制作模块；视频摘要制作模块，用于制作成视频摘要进行存储。本发明具有节省人工、成本较低的优点。

摘要： 本发明提出一种视频摘要生成方法和视频摘要生成装置。该视频摘要生成方法包括：对原始视频中的目标帧图像进行背景建模，得到背景模型；利用背景模型提取出目标帧图像中的运动目标；使用预设的分类器判断提取到的运动目标中是否包括人脸图像；将包括人脸图像的运动目标进行轨迹排列，生成摘要。从而完整准确地生成符合用户需求的视频摘要，通过人脸检测和视频摘要相结合，生成包含人脸图像的移动目标的视频摘要。使用户可以从视频摘要中迅速地得到包含人脸的视频信息，提高了视频的使用效率。

摘要： 本发明提出一种视频摘要生成方法和视频摘要生成装置。该视频摘要生成方法包括：对原始视频中的目标帧图像进行背景建模，得到背景模型；利用背景模型提取出目标帧图像中的运动目标；使用预设的分类器将提取到的运动目标进行分类；按照分类结果将提取到的运动目标进行轨迹排列，生成摘要。应用本发明的技术方案，本发明的技术方案提高了视频的使用效率。最终使用物体分类的方法生成了有条理的摘要，满足了快速多目标浏览的目的。