首页> 中国专利> 差异区域检测系统和差异区域检测方法

差异区域检测系统和差异区域检测方法

摘要

本发明使得能够检测图像之间的局部差异区域。基于第一特征量向量和第二特征量向量,生成指示第一和第二图像之间的每个子区域的特征量差异的图像间差分信息,该第一特征量向量为分别对应于所述第一图像中的多个子区域的特征量的集合,并且该第二特征量向量为分别对应于所述第二图像中的多个子区域的特征量的集合;基于由所述图像间差分信息指示的相应子区域中的差异,检测差异区域,所述差异区域为所述第一和第二图像之间有差异的图像区域,并且输出指示检测结果的检测信息。

著录项

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2016-08-10

    授权

    授权

  • 2013-11-06

    实质审查的生效 IPC(主分类):G06T7/00 申请日:20111128

    实质审查的生效

  • 2013-10-09

    公开

    公开

说明书

技术领域

本发明涉及差异区域检测系统和差异区域检测方法。 

背景技术

因特网上最近越来越多的视频网站已经导致从原始视频创建的非法视频的泛滥,这已经成为社会问题。非法视频的示例包括为原始视频的精确拷贝的视频,通过提取诸如精彩场景的原始视频的一部分而创建的视频,以及通过向原始视频添加字幕(telop)等来改动原始视频而创建的视频。考虑到这些,存在检测与源视频具有同一性的视频,同时也将这种改动的视频考虑在内的需求。 

例如,专利文献1公开了一种判断两个图像之间的同一性的方法。特别地,利用专利文献1中公开的方法,针对每个图像生成多维特征量向量,并且在各图像之间比较特征量向量从而判断所述图像之间的同一性。通过将这种方法应用到例如视频中的帧图像的一部分,则可以判断视频之间的同一性,即使视频已被改动。 

专利文献1:WO2010/084714 

然而,尽管专利文献1中公开的方法使得能够如上所述判断视频之间的视频同一性,但是当被判断为具有同一性的视频之间出现诸如存在/不存在字幕或字幕内容差异的局部差异时,专利文献1中公开的方法并不能够作出有关差异区域在哪里的确定。例如,即使添加了字幕的视频被上述方法判断为是与源视频具有同一性的视频,被判断为具有同一性的该视频必须被回放,从而检查在哪里添加了字幕,从而导致工作负荷显著增加。 

发明内容

本发明是考虑到这种情形而作出的,并且本发明的目的是检测 图像之间的局部差异区域。 

根据本发明一方面的差异区域检测系统包括:差分信息生成单元,所述差分信息生成单元配置成基于第一特征量向量和第二特征量向量生成图像间差分信息,所述图像间差分信息指示第一和第二图像之间的每个子区域的特征量差异,所述第一特征量向量为分别对应于所述第一图像中的多个子区域的特征量的集合,并且所述第二特征量向量为分别对应于所述第二图像中的多个子区域的特征量的集合;以及差异区域检测单元,所述差异区域检测单元配置成,基于由所述图像间差分信息指示的相应子区域中的差异,检测差异区域,所述差异区域为所述第一和第二图像之间有差异的图像区域,并且所述差异区域检测单元配置成输出指示检测结果的检测信息。 

再者,如本发明中所使用,术语“单元”不仅仅意味着物理手段,而且包括其中所述“单元”的功能由软件实现的情形。此外,一个“单元”或装置的功能可以由两个或更多个物理手段或装置实现,并且两个或更多个″单元”或装置的功能可以由一个物理手段或装置实现。 

根据本发明,图像之间的局部差异区域可以被检测。 

附图说明

图1为示出为本发明实施例的差异区域检测系统的配置的图示; 

图2为示出由差异区域检测系统检测的差异区域的示例的图示; 

图3为示出帧图像的区域分割的示例的图示; 

图4为示出第M维特征量从其被提取的图像的图示; 

图5为示出特征量存储单元中存储的特征量向量的示例的图示; 

图6为示出特征量DB中存储的特征量向量的示例的图示; 

图7为示出差分信息生成单元的配置示例的图示; 

图8为示出由差分信息生成单元生成差分向量的示例的图示; 

图9为示出差分信息生成单元中存储的差分向量的示例的图示; 

图10为示出差异区域检测单元的配置示例的图示; 

图11为示出差分值映射和差异区域检测的示例的图示; 

图12为示出检测信息存储单元中存储的检测信息的示例的图示; 

图13示出可识别地显示其中局部改动已经被检测到的区间的屏幕的示例; 

图14示出可识别地显示差异区域的位置的屏幕的示例; 

图15示出可识别地三维地显示差异区域的位置的屏幕的示例; 

图16示出在存在多个原始视频作为源候选的情况下,差异区域的检测结果的输出屏幕的示例; 

图17示出在存在多个原始视频作为源候选的情况下,差异区域的检测结果的输出屏幕的示例; 

图18示出在考虑到局部改动执行镜头分割的情况下,输出屏幕的示例;以及 

图19为示出差异区域的示例检测过程的流程图。 

具体实施方式

在下文中将参考附图描述本发明的实施例。 

图1为示出为本发明实施例的差异区域检测系统的配置的图示。差异区域检测系统10为这样的系统,其检测具有同一性的视频之间的有局部差异的区域,并且被配置从而包括特征量提取单元20、特征量存储单元21、差分信息生成单元22、差分信息存储单元23、差异区域检测单元24、检测信息存储单元25和检测结果输出单元26。在本实施例中,局部差异也可以称为“局部改动”。此外,差异区域检测系统10参照特征量数据库(DB)30和视频数据库(DB)32。再者,差异区域检测系统10利用一个或多个信息处理装置而被配置,并且特征量提取单元20、差分信息生成单元22、差异区域检测单元24和检测结果输出单元26可以通过使处理器执行存储器中存储的程序来实现。此外,特征量存储单元21和差分信息存储单元23可以利用存储器、存储装置等的存储区来实现。 

图2为示出由差异区域检测系统10检测的差异区域的示例的图 示。这种情况下,差异区域是指出现局部改动的区域。图2示出具有同一性的视频40和42。视频40例如为即将推出的汽车的广告视频,并且写着“3月1日发售!”的副标题显示于构成视频40的帧图像的下图像区域44。另一方面,视频42为在同一汽车出售之后将将广播的该汽车的广告视频。因此,构成视频42的帧图像的下图像区域46中显示的副标题写着“现已发售!”因为两个视频40和42彼此之间差异仅仅在于副标题的内容,视频整体上被判断为具有同一性。此外,利用差异区域检测系统10,视频40和42之间的差异区域48可以被检测到。按照类似方式,例如,有关从原始视频生成的非法视频,差异区域检测系统10能够检测到差异区域,该差异区域为对原始视频进行改动的区域。 

回到图1,现在将详细描述构成差异区域检测系统10的各种单元。 

特征量提取单元20从构成输入视频的多个帧图像的每个提取特征量向量,并且将特征量向量存储于特征量存储单元21。这种情况下,例如,输入视频是指放送中的视频或者上载到视频网站的视频。特征量向量为对应于在帧图像中定义的N个子区域的N个(其中N≥2)特征量的集合,并且可以根据例如WO2010/084714中描述的方法生成。对应于特征量向量的每个维的每个子区域包括例如帧图像中的多个子区域。此外,每个维的特征量可以基于例如对应于每个维的多个子区域的特征量之间的差异而生成。 

图3为示出帧图像的区域分割的示例的图示。如图3所示,例如,每帧图像可以分割为32×32=1024个区域(分割区域)。对应于特征量向量中的每个维的子区域由一个或多个分割区域的组合构成。 

图4为示出第M维特征量从其被提取的图像的图示。在图4所示示例中,两个子区域62和64对应于第M维。此外,特征量提取单元20能够基于子区域62的特征量(区域特征量)和子区域64的特征量(区域特征量)之间的差异而生成第M维特征量。这种情况下,相应子区域62和64的特征量可以由任何方法(诸如基于相应子区域 中像素值的平均值或中值的方法)来计算。此外,特征量提取单元20可以通过将子区域62和64的区域特征量之间的差异量化为3个值(-1,0,1)而生成第M维特征量。通过生成每个维(第1至N维)的特征量,特征量提取单元20可以生成第N维特征量向量。应指出,如上所述计算每个维的特征量的方法仅仅是示例,并且任何方法可以被使用,只要基于每个维的子区域集的特征量生成特征量向量即可。 

图5为示出特征量存储单元21中存储的特征量向量的示例的图示。如图5所示,特征量向量与视频标识符和序列信息相关联被存储,该视频标识符识别输入视频,并且该序列信息指示帧图像的时间顺序。这种情况下,视频标识符是用于识别一批视频,并且例如视频标题、节目名称、文件名称或URL(统一资源定位器)可以被使用。此外,序列信息可以是使得特征量向量的顺序能够被评估的任何信息,并且例如帧编号可以被使用。再者,如果只有一个输入视频,则无须使用视频标识符。另一方面,如果数据的存储结构等使得特征量向量的时间顺序能够被识别,则无须使用序列信息。 

回到图1,差分信息生成单元22将特征量存储单元21中存储的输入视频的特征量向量与特征量DB30中存储的特征量向量比较,并且根据具有同一性的视频的特征量向量生成差分向量。再者,差分信息生成单元22也能够通过比较特征量DB30中存储的特征量向量而生成差分向量。换言之,利用差异区域检测系统10,也可以检测多个视频之间的差异区域,所述多个视频的特征量向量存储于特征量DB30中。 

图6为示出特征量DB30中存储的特征量向量的示例的图示。特征量DB30存储多个视频的特征量向量,所述多个视频为与输入视频的比较对象。在本实施例中,其特征量向量存储于特征量DB30的视频将称为原始视频。如图6所示,原始视频的特征量向量与下述相关联存储:识别原始视频的视频标识符,原始视频的创建日期/时间,以及指示帧图像的时间顺序的序列信息。 

图7为示出差分信息生成单元22的配置示例的图示。如图7所 示,差分信息生成单元22可以被配置从而包括特征量比较单元70、帧选择单元72和差分信息输出单元74。 

例如,针对每帧,特征量比较单元70将输入视频的特征量向量与特征量DB30中的特征量向量比较。基于特征量比较单元70的比较结果,帧选择单元72选择输入视频和原始视频之间被判断为具有同一性的帧图像。再者,帧图像之间的同一性的判断可以例如通过下述执行:比较两个特征量向量之间具有相同特征量的维数或具有不相同特征量的维数,或者比较两个特征量向量的大小。差分信息输出单元74输出差分区域信息,该差分区域信息指示特征量差异大于预定基准的维。特别地,差分信息输出单元74根据由帧选择单元72选择的帧图像的特征量向量生成差分向量,并且将差分向量存储于差分信息存储单元23。 

图8为示出由差分信息生成单元22生成差分向量的示例的图示。在图8所示的差分向量示例中,在输入视频的特征量向量和原始视频的特征量向量之间,具有相同特征量的维用“0”表示,并且具有不同特征量的维用“1”表示。换言之,差分向量为相应维的差分区域信息的集合。再者,图7所示差分向量纯粹是示例,并且依据特征量差异大小的不同值可以被设置到差分向量的相应维。 

图9为示出差分信息存储单元23中存储的差分向量的示例的图示。如图9所示,差分向量与输入视频和原始视频的视频标识符以及序列信息相关联而存储。如图9所示,在输入视频和原始视频之间之间,视频标识符或序列信息可以不同。此外,输入视频或原始视频的序列信息不需要是毗邻的。 

再者,在本实施例中,尽管差分向量被用作输入视频和原始视频的特征量向量之间的差分信息,差分信息不必一定是向量,只要针对每个子区域的输入视频和原始视频的帧图像之间的特征量差异可以被区分即可。此外,尽管在本实施例中差分向量的相应元素用“0”或“1”表示,代替地,也可以使用依据特征量差异的值。 

回到图1,差异区域检测单元24基于差分信息存储单元23中存 储的差分向量而检测被判断为具有同一性的输入视频和原始视频中的差异区域,并且将指示检测结果的检测信息存储于检测信息存储单元25。 

图10为示出差异区域检测单元24的配置示例的图示。差异区域检测单元24可以被配置从而包括区域映射单元80、平滑单元82和区域检测单元84。 

区域映射单元80参照差分向量,并且针对每个维将输入视频和原始视频的帧图像之间的特征量差异映射到对应子区域。例如,差分向量的值为“1”的维指示对应于该维的子区域中的特征量在输入视频和原始视频之间是不同的。此外,例如,如果对应于该维的子区域为图11上部所示的子区域90和92,区域映射单元80(分配单元)将例如“1”加到子区域90和92中每个区域的差分值。区域映射单元80在具有特征量差异的所有维上执行这种映射处理。 

通过由区域映射单元80执行的映射而生成的每个区域的差分值由平滑单元82在帧图像之间以及在帧图像中被平滑,或者换言之,在时间和空间方向上被平滑。经平滑差分值的示例示于图11下部。 

基于经平滑差分值,区域检测单元84检测输入视频和原始视频之间的差异区域,并且将指示检测结果的检测信息存储于检测信息存储单元25。例如,如图11下部所示,区域检测单元84能够将区域94检测为差异区域,在时间和空间方向上平滑的差分值投影在该区域94中(下文中称为投影区域)。这种情况下,例如,投影区域可以是差分值大于所有区域的平均差分值的区域。此外,区域检测单元84可以被配置,从而在投影区域的大小大于预先设置的值时,将投影区域检测为差异区域。可替换地,区域检测单元84可以在投影区域的重心位置在预先设置的区域中时将投影区域检测为差异区域。再者,用于检测差异区域的预先设置的值或区域不必一定是固定的,并且可以依据例如平均差分值而变化。 

尽管本实施例被配置使得,通过在多个帧上平滑被映射在构成视频的每帧图像中的差分值,视频之间的差异区域被检测到,但是 即使在仅仅使用一对帧图像之间的差分值时,帧图像之间的差异区域也可以在一定程度上被检测到。 

此外,在本实施例中,尽管统一的值被加到与具有特征量差异的维对应的区域的差分值而与该区域或该维无关,但是被加到差分值的所述值可以根据该区域或该维而变化。例如,当特征量提取单元20提取的特征量向量具有用于在视频之间进行同一性判断的特性,而帧图像的中央区域比其周围区域的权重更高时,每个区域或维可以被分开加权,使得在检测差异区域时,对周围区域中的差异的考虑要大于对中央区域中的差异的考虑。 

图12为示出检测信息存储单元25中存储的检测信息的示例的图示。如图12所示,检测信息包括与其中局部改动已经被检测的差异区域有关的信息。特别地,在图12所示示例中,检测信息包括输入视频和原始视频的视频标识符、区间信息、差异区域信息、差分信息以及相似性信息。这种情况下,区间信息为指示视频区间的信息,并且例如视频中该区间的回放时间或帧编号可以被使用。此外,差异区域信息为指示所检测差异区域的位置的信息,并且例如图3所示的指示分割区域之间差异区域中包括的区域的信息可以被使用。另外,差分信息为指示差异区域中视频之间的差异程度的信息。再者,尽管在图12中仅仅示出一个数字值作为与每个区间有关的差分信息,指示每个区间中的差异的变化的信息也可以被使用。此外,相似性信息为指示被判断为具有同一性的输入视频和原始视频之间的相似性的信息。例如,当特征量比较单元70比较特征量向量时,相似性信息可以被输出。 

回到图1,基于差分信息存储单元23中存储的差分向量以及检测信息存储单元25中存储的检测信息,检测结果输出单元26输出指示输入视频和原始视频之间的差异区域的信息。将参考图13至18描述与差异区域有关的信息的输出的示例。 

如图13所示,检测结果输出单元26能够显示其中局部改动已经被检测到的区间。屏幕110包括用于显示视频时间线的区域112 和用于显示视频之间的差异的区域114。 

在图13所示示例中,视频的时间线120显示于区域112,并且其中差异区域已经被检测到的区间122在时间线120上显示。另外,区间122中的缩略图像124显示在其中差异区域已经被检测到的区间122下方。这种情况下,例如,检测结果输出单元26可以通过参考视频DB32而显示缩略图像124。此外,差异区域检测单元24可以被配置从而在检测信息中包括其中差异区域已经被检测到的区间中的输入视频的缩略图像。这种情况下,检测结果输出单元26能够使用检测信息中包括的缩略图像,而不必参考视频DB32。 

另外,在图13所示示例中,代表差异的曲线图130显示于区域114。为曲线图130的横坐标的时间轴与时间线120的时间轴一致。因此,如图13所示,在曲线图130中具有大的差异的区间132以及其中差异区域已经被检测到并且被显示在时间线120上的区间122位于相同时隙中。 

如所示,显示时间线120和代表差异的曲线图130使得容易确认在哪个区间中已经检测到差异区域。此外,显示缩略图像124使得能够确认该差异在视频的哪个场景中出现。再者,尽管区域112和114显示于图13所示屏幕110,也可以显示仅仅一个区域。 

在图13所示屏幕中,当指示其中差异区域已经被检测到的区间的区间122或区间132或者缩略图像124通过单击等被选择时,检测结果输出单元26输出图14所示屏幕140。 

屏幕140包括在所选择区间中显示原始视频和输入视频的区域142和143。检测结果输出单元26从检测信息采集所选择区间的区间信息,从视频DB32回放该区间中的原始视频并且在区域142中显示原始视频,以及在区域143中显示该区间中的输入视频。再者,假设输入视频存储于位于差异区域检测系统10内部或外部的预定存储区(输入视频存储单元)。 

此外,如图14所示,检测结果输出单元26能够显示帧144和145,所述帧144和145指示所检测差异区域在区域142和143中显 示的视频上的位置。再者,“帧”的显示纯粹是示例,并且便于识别差异区域的位置的任何显示方法可以被采用。例如,如图15所示,检测结果输出单元26可以输出三维视频,使得能够识别差异区域的位置。图15示出显示于图14所示区域142中的视频146-1和146-2。视频146-1为左眼视频,并且图14中帧144指示的区域已被向右移动而显示于区域147-1。此外,视频146-2为右眼视频,并且图14中帧144指示的区域已被向左移动而显示于区域147-2。通过将视频146-1和146-2分别在图14所示区域142中显示为左眼视频和右眼视频,差异区域可以被立体地显示。区域143中显示的视频按照类似方式可以被立体地显示。 

如上所述,通过显示视频使得差异区域的位置是可识别的,在确认视频之间差异时,不再需要视觉上比较区域142和143中显示的视频中的所有区域,并且因为仅仅比较所显示区域足以使得差异区域的位置是可识别的,工作负荷可以减小。 

此外会存在这样的情形,其中输入视频具有多个对应原始视频作为源候选。在这种情况下,检测结果输出单元26能够评估源原始视频并且显示所评估原始视频和输入视频之间其中出现局部改动的区间。例如,检测结果输出单元26可以显示诸如图16所示的屏幕。 

图16所示屏幕150包括区域152和区域154,区域152显示与为源候选的原始视频有关的信息,并且区域154显示与输入视频有关的信息。如图16所示,显示与输入视频有关的信息的区域156被提供于区域154。此外,显示与为输入视频的源候选的两个原始视频有关的信息的区域158-1和158-2被提供于区域152。 

当如上所述存在为源候选的多个原始视频时,检测结果输出单元26基于检测信息存储单元25中存储的检测信息和特征量DB30中存储的信息而评估源原始视频。例如使用诸如图16所示的列表框160等,可以选择评估源原始视频的方法。检测结果输出单元26根据所选择方法评估来自多个原始视频的源原始视频。源评估方法的示例包括:将更高的优先权赋予与输入视频具有更长重合阶段(或者 换言之,被判断为与输入视频具有同一性的阶段更长)的视频的方法,将更高的优先权赋予与输入视频具有更大相似性的视频的方法,以及将更高的优先权赋予相对于输入视频在创建日期/时间的时间顺序上没有出入的视频的方法。再者,对于与输入视频的相似性,可以使用例如检测信息存储单元25中存储的相似性信息。 

在图16所示示例中,与输入视频的重合阶段被选择为源评估方法。这种情况下,区域158-1所示原始视频和输入视频之间的重合阶段为5分钟,并且区域158-2所示原始视频和输入视频之间的重合阶段为12分钟。因此,检测结果输出单元26将区域158-2所示的原始视频评估为源,并且显示所评估源原始视频从而例如通过高亮显示区域158-2而可识别。 

此外,检测结果输出单元26可识别地显示输入视频中的其中对所评估源原始视频进行局部改动的区间。例如,如图16所示,检测结果输出单元26显示原始视频和输入视频的时间线使得相应时间轴彼此一致,并且在输入视频的时间线上显示对所评估源进行局部改动的区间。另外,如图16所示,除了显示进行局部改动的区间之外,检测结果输出单元26能够显示该改动为“局部改动”。 

此外,当进行局部改动的区间在图16所示屏幕150中通过单击等被选择时,检测结果输出单元26输出图14所示屏幕140并且在所选择区间中显示输入视频和原始视频。 

另外,当另一评估方法在图16所示屏幕150中利用列表框160等被选择时,检测结果输出单元26显示在由所选评估方法评估的源原始视频和输入视频之间出现局部改动的区间。此外,当另一原始视频在屏幕150中通过单击等被选择而不是改变评估方法时,检测结果输出单元26类似地通过使用所选择的原始视频作为源而显示其中已经出现局部改动的区间。例如,当区域158-1在图16所示屏幕150中通过单击等被选择时,出现局部改动的区间通过使用区域158-1中显示的原始视频作为源而被显示,如图17所示。 

如上所述,当存在多个为输入视频的源候选的原始视频时,被 评估为源的原始视频和输入视频之间的出现局部改动的区间可以被显示。此外,通过选择所显示区间,该区间中的视频可以被确认。因此,当存在多个为输入视频的源候选的原始视频时,用于确认改动内容的工作负荷可以减小。 

此外,当显示被评估为源的原始视频和输入视频之间的出现局部改动的区间时,检测结果输出单元26能够更清楚地示出改动出现在哪个镜头中。例如,检测结果输出单元26可以显示诸如图18所示的屏幕。 

图18所示屏幕180包括区域182和区域184,区域182显示与原始视频有关的信息,并且区域184显示与输入视频有关的信息。如图18所示,原始视频的缩略图像190显示于区域182并且输入视频的缩略图像192显示于区域184。这种情况下,例如,生成缩略图像的通常方法涉及将目标视频分割为多个镜头。镜头分割可以通过例如下述执行:检测在视频中包括的帧图像中特征量向量显著变化的计时。随后,根据每个镜头中的代表性帧图像生成缩略图像。 

然而,因为这种镜头分割的计时经常不同于视频中进行局部改动的计时,针对每个镜头简单显示缩略图像可能不足以评估改动的内容。 

考虑到这一点,利用通过通常方法分割的镜头中局部改动已经被检测到的镜头,检测结果输出单元26可以依据局部改动的存在/不存在而进一步执行镜头分割从而生成缩略图像。 

例如,让我们假设在图18所示屏幕中,作为由通常方法执行的镜头分割的结果,产生了3个镜头194、196和198。如图18所示,假设在每个镜头中局部改动已经被检测到,通过依据每个镜头中存在/不存在局部改动而进一步执行镜头分割,检测结果输出单元26能够生成与进行局部改动的计时一致的镜头。此外,例如,检测结果输出单元26能够在进行局部改动的计时显示镜头的缩略图像200。另外,检测结果输出单元26可以在进行局部改动的计时一起显示能够识别“局部改动”出现在该区间中的信息202以及镜头的缩 略图像200。这同样适用于其它镜头196和198。 

再者,通常镜头分割过程可以在输入到差异区域检测系统10之前执行。可替换地,通常镜头分割过程可以由设于差异区域检测系统10内部的镜头分割单元执行。 

如上所述,通过根据出现局部改动的镜头的内部上存在/不存在局部改动而进一步执行镜头分割,有关在哪个镜头中出现改动的评估可以更容易进行。因此,在确认改动内容时的工作负荷可以减小。 

图19的流程图说明根据差异区域检测系统10的差异区域检测过程的示例。首先,特征量提取单元20提取输入视频中每帧图像的特征量向量并且将特征量向量存储于特征量存储单元21(S1901)。 

特征量比较单元70将特征量存储单元21中存储的输入视频的特征量向量与特征量DB30中存储的原始视频的特征量向量比较(S1902)。基于特征量比较单元70的比较结果,帧选择单元72选择具有同一性的帧图像(S1903)。此外,差分信息输出单元74将所选择帧图像的差分向量存储于差分信息存储单元23(S1904)。 

基于差分信息存储单元23中存储的差分向量,区域映射单元80将差分值映射到对应于出现特征量差异的维的区域(S1905)。平滑单元82在时间和空间方向上平滑所映射的差分值(S1906)。此外,基于经平滑差分值,区域检测单元84检测输入视频和原始视频之间的差异区域,并且将检测信息存储于检测信息存储单元25(S1907)。 

最后,基于检测信息存储单元25中存储的检测信息,检测结果输出单元26输出信息,该信息指示具有同一性的输入视频和原始视频之间的差异区域(S1908)。 

以上说明了根据本实施例的差异区域检测系统10。利用差异区域检测系统10,通过将特征量向量的每个维的特征量差异映射到对应于每个维的子区域,而不是简单比较特征量向量之间的距离,具有同一性的视频之间的差异区域可以被检测。 

此外,利用差异区域检测系统10,所比较视频之间的具有同一性的区间可以被指定,并且所指定区间中的差异区域可以被检测。 

另外,利用差异区域检测系统10,因为被映射到对应于差分向量值不同的维的子区域的差分值在时间和空间方向上被平滑,可以高精度地检测出差异区域。 

再者,利用差异区域检测系统10,差异区域可以被检测,同时考虑到差分向量中的每个维或每个区域的权重集合。例如,当用于判断同一性的特征量向量与周围部分相比更多地反映图像区域中的中央部分中的特征量时,周围部分中的区域的权重在检测差异区域时可以增大。例如,因为字幕经常被加到图像区域的下部,在检测具有字幕差异的视频之间的差异区域时,增大下部中的区域的权重是有效的。此外,例如,即使当视频之间存在同一性而没有局部差异时,图像区域的最外围部分中的差异有可能增大。因此,可以减小图像区域的最外围部分的权重。 

此外,利用差异区域检测系统10,所检测差异区域的位置可以被显示从而是可识别的。因此,用户可以容易地确认具有同一性的视频之间的差异区域的位置。 

另外,利用差异区域检测系统10,视频中出现差异区域的区间可以被显示从而是可识别的。因此,当确认视频之间不同的内容时,因为用户只需确认该区间的视频而不是整个视频,工作负荷可以减小。 

应指出,本实施例是用于促进对本发明的理解并且不是用于限制对本发明的解释。可以对本发明进行各种改动和变化而不背离本发明的精神和范围,并且等同内容将被包括在本发明内。 

本申请主张基于2011年2月10日提交的日本专利申请No.2011-027429的优先权,其全部内容通过引用结合于此。 

尽管本发明已经参考实施例予以描述,本发明并不意图限制上文所述的实施例。本领域技术人员将想到对本发明配置和细节的各种调整而不背离本发明的范围。 

部分或全部的本实施例也可以被描述为,但是不限于下面提供的附注。 

(附注1)一种差异区域检测系统,包括:差分信息生成单元,所述差分信息生成单元配置成基于第一特征量向量和第二特征量向量生成图像间差分信息,所述图像间差分信息指示第一和第二图像之间的每个子区域的特征量差异,所述第一特征量向量为分别对应于所述第一图像中的多个子区域的特征量的集合,并且所述第二特征量向量为分别对应于所述第二图像中的多个子区域的特征量的集合;以及差异区域检测单元,所述差异区域检测单元配置成基于由所述图像间差分信息指示的相应子区域中的差异,检测差异区域,所述差异区域为所述第一和第二图像之间有差异的图像区域,并且所述差异区域检测单元配置成输出指示检测结果的检测信息。 

(附注2)根据附注1的差异区域检测系统,其中所述子区域包括至少一个分割区域,以及所述差异区域检测单元配置成,通过基于所述图像间差分信息依据所述差异将差分值分配到每个子区域中的每个分割区域,利用所述分割区域作为单位而检测所述差异区域。 

(附注3)根据附注1的差异区域检测系统,其中所述第一图像为构成第一视频的第一帧图像,所述第二图像为构成第二视频并且对应于第一帧图像的第二帧图像,所述差分信息生成单元配置成生成用于多对第一和第二图像的所述图像间差分信息,以及所述差异区域检测单元配置成,基于用于多对第一和第二图像的所述图像间差分信息,检测第一和第二视频中的差异区域。 

(附注4)系统根据附注3的差异区域检测,其中所述子区域包括至少一个分割区域,以及所述差异区域检测单元配置成:基于所述图像间差分信息,依据所述差异将差分值分配到每个子区域中的每个分割区域;以及通过平滑帧图像之间的用于多对第一和第二图像的所述差分值,利用所述分割区域作为单位来检测所述差异区域。 

(附注5)根据附注3或4的差异区域检测系统,其中所述差异区域检测单元配置成,通过平滑帧图像之间的用于多对第一和第二图像的所述差分值,检测所述差异区域。 

(附注6)根据附注3至5中任意一项的差异区域检测系统,其中 所述差分信息生成单元配置成:基于多个第一特征量向量和多个第二特征量向量,选择其中特征量向量的差异小于预定基准的多对第一和第二图像;以及输出用于所选择多对的所述图像间差分信息。 

(附注7)根据附注3至6中任意一项的差异区域检测系统,其中所述差异区域检测单元配置成,基于每个所述子区域的权重集以及多对第一和第二图像的所述差分值,检测所述差异区域。 

(附注8)根据附注3至7中任意一项的差异区域检测系统,其中所述差分信息生成单元配置成,基于第一视频的多个第一特征量向量和每个所述多个第二视频的多个第二特征量向量,选择第一视频中的多对第一和第二图像和多个第二视频中的一个第二视频。 

(附注9)根据附注8的差异区域检测系统,其中所述差分信息生成单元配置成,基于每个所述多个第一视频的多个第一特征量向量和每个所述多个第二视频的多个第二特征量向量,选择多个第一视频中的一个第一视频和多个第二视频中的一个第二视频中的多对第一和第二图像。 

(附注10)根据附注1至9中任意一项的差异区域检测系统,还包括检测结果输出单元,所述检测结果输出单元配置成,基于所述检测信息,可识别地显示所述第一和第二图像之间的所述差异区域的位置。 

(附注11)根据附注3至9中任意一项的差异区域检测系统,还包括检测结果输出单元,所述检测结果输出单元配置成,基于所述检测信息,可识别地显示所述第一和第二视频之间的所述差异区域的位置。 

(附注12)根据附注11的差异区域检测系统,其中所述差异区域检测单元配置成包括在所述检测信息中指示第一和第二视频之间的差异区域已被检测到的区间的信息,并且输出所述信息,以及所述检测结果输出单元配置成,基于所述检测信息,可识别地显示所述差异区域已被检测到的区间。 

(附注13)根据附注11或12的差异区域检测系统,其中所述差异 区域检测单元配置成包括在所述检测信息中指示所述差异区域中的差异程度的信息,并且输出所述信息,以及所述检测结果输出单元配置成,基于所述检测信息,可识别地显示所述差异区域中的所述差异程度。 

(附注14)根据附注12的差异区域检测系统,其中响应于选择所述差异区域已被检测到的区间的用户输入,所述检测结果输出单元配置成在所述区间中显示所述第一和第二视频。 

(附注15)一种差异区域检测方法,包括步骤:基于第一特征量向量和第二特征量向量生成图像间差分信息,所述图像间差分信息指示第一和第二图像之间的每个子区域的特征量差异,所述第一特征量向量为分别对应于所述第一图像中的多个子区域的特征量的集合,并且所述第二特征量向量为分别对应于所述第二图像中的多个子区域的特征量的集合;以及基于由所述图像间差分信息指示的相应子区域中的差异,检测差异区域,所述差异区域为所述第一和第二图像之间有差异的图像区域,并且输出指示检测结果的检测信息。 

10 差异区域检测系统 

20 特征量提取单元 

21 特征量存储单元 

22 差分信息生成单元 

23 差分信息存储单元 

24 差异区域检测单元 

25 检测信息存储单元 

26 检测结果输出单元 

30 特征量数据库 

32 视频数据库 

70 特征量比较单元 

72 帧选择单元 

74 差分信息输出单元 

80 区域映射单元 

82 平滑单元 

84 区域检测单元 。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号