预测视频中的记忆和直观色彩的感知差异的方法

技术领域

本公开针对画面质量分析，并且更特别地涉及提供直观画面或视频与从记忆（memory）恢复的画面或视频之间的相对质量的评定的系统。

背景技术

视频常常从原始视频流变成修改的视频流。改变的动力常常与在其上将传送已修改的视频流的目标介质的带宽有关，但是存在用以修改视频的多种原因。用于处理视频的其他原因包括例如编辑、压缩和解压缩、重新格式化、视频插入和覆盖、传输错误最小化以及修改用于不同显示器的色彩。

用于将两个视频相互比较的某些系统包括两个输入，一个是被测试的视频且一个作为参考视频。一个此类系统是诸如PQA 500/600或可从俄勒冈州比弗顿市的Tektronix获得的PQASW的PAQ生产线。两个视频被直接比较，并且产生描述原始、已修改或者其之间的比较的各种测量。用于比较两个视频的其他系统包括首先示出原始视频，然后快速地示出已修改的视频或者反之亦然。此类系统不仅是耗费时间的，而且由于未计入的人类观看者所固有的人类色彩记忆失真和色彩记忆的衰退，此类比较不像同时实现的那些那样准确。连续观看是主要的，并且可能是尽可能完整地比较视频以用于人的最可重复和可靠的视频质量评定的唯一可行方式。

在多个情况下发生评估从记忆恢复的图像时的色彩偏差的效果。例如，视频数据压缩和解压缩（编解码器）技术是固有地有损耗的，引入错误。最好的技术以最小的感知冲击引入错误。然而，如果使用某些视频内容和/或所选比特率被设置的过低，即使是产生良好观看视频的非常好的编解码器技术也可能产生难看的伪像。色彩伪像在可能产生的伪像之中。评估主观质量的行业标准最好方法是ITU-R BT.500，其描述了使用人来观看视频并评级视频且然后获得统计来指示被评估的那些之中最好的一个的许多方法。一般地，使用8至12秒的短视频剪辑并连续地对其评级。剪辑之间的最短时间一般约为几秒，使得相应帧之间的最短时间约为10秒，而相应帧之间的最长时间可以是几分钟。虽然许多工程组织遵循ITU-R BT.500，但在许多情况下，其过于昂贵和/或耗费时间。在这些情况下，单独评估者可以简单地看一个剪辑，然后另一个。在所有这些情况下，在评估中使用色彩的记忆，相应帧之间的延迟的范围为从几秒至很多秒至几分钟至不确定（即，不使用参考，简单地使用根据先前的经验类似的对象看起来如何的记忆）。

关于根据恢复色彩的色彩分析的另一方案涉及分辨率和帧速率之间的视频转换。例如，已经具体地出售了用于对从HD至SD和从SD至HD的转换进行评估和/或最优化的许多转换器。色彩的数字表示在HD中与历史SD不同，虽然用于数字电视传输（ATIS）的US标准允许老的和新的两种方法（SMPTE-M对比709比色法）用于SD分辨率。在广播信号的各种审计中，发现不正确的比色法由于转换或者简单地由于未在相应的数据字段中设置用于比色法的适当标志而被广播是常见的。虽然结果得到的色彩误差常常是细微的，但其在某些情况下可能是相当明显的。再次地，该评估方法如在编解码器评估情况中一样，但实际上常常使用连续观看，一次一个，尤其是如果在所显示的视频标准之间切换是麻烦的。

在涉及编辑的方案中，当将在跨几个小时的时间段内拍摄的来自特定外景的胶片或视频剪辑放在一起时，照明由于太阳、云等位置变化而改变。为了使场景看起来连贯，一般要求色彩编辑。在某些情况下，由于时间约束或者由于给定色彩编辑工具内的可用控件，将一个剪辑完全颜色修正至与另一个匹配是不切实际或不可行的。然而，如果在其之间具有第3剪辑的情况下示出这两个剪辑，则结果产生的前两个剪辑之间的延迟降低大多数人注意到色差的能力。能够预测在两个剪辑之间要求多少秒（这取决于剪辑的类型）以便使所感知（记忆和直接）色彩匹配将节省宝贵的时间。否则，使用有根据猜测（educated guesses）以及累试法(trial and error)。

遗憾的是，由于人类观看者所固有的人类色彩记忆失真和衰退，在被比较的当前视频与从记忆恢复的视频之间，色差的准确预测是困难或不可能的，即使恢复时段是相对短的。

本发明的实施例解决了现有技术的这个及其他限制。

发明内容

修改色彩外观模型的感知差异分量以说明人类记忆的色彩失真。本发明的实施例通过准确地预测并结合由于在人身上发生的记忆衰退而引起的失真和不确定性来显著地改善了从记忆恢复的人类色差的预测准确度。

本发明的特定实施例针对用于预测被测试视频中的从记忆恢复的色彩与直观色彩之间的感知差异的处理器。处理器包括被构造成产生用于由于记忆效应而引起的色彩失真的补偿因子并将该补偿因子施加于来自参考视频的数据或来自被测试视频的数据的记忆效应处理器。

附图说明

图1是根据本发明的实施例的用于使用运动图像色彩外观模型来预测评级的系统的功能方框图。

图2是根据本发明的实施例的用于包括不确定性补偿的感知差异的色度特定处理的预测块的功能方框图。

图3A、3B和3C是根据本发明的实施例的在图1的色彩外观模型系统内的分类过程中使用的各种翘曲因子的示例性图。

图4是根据本发明的另一实施例的用于感知差异的色度特定处理的简化预测块的功能方框图。

图5是根据本发明的另一实施例的用于感知差异的色度特定处理的另一简化预测块的功能方框图。

图6是示出了根据本发明的实施例的人类记忆色彩的变化针对由来自处理器的记忆预测所预测的变化的一组图。

图7是示出了根据本发明的实施例的人类记忆色彩的变化针对由来自处理器的记忆预测所预测的变化的一组图。

图8是示出了根据本发明的实施例的人类记忆色彩的变化针对由来自处理器的记忆预测所预测的变化的一组图。

图9图示出根据本发明的实施例的人类记忆色彩之间的匹配的不确定性增加针对由处理器的记忆预测所预测的不确定性增加的图。

具体实施方式

当将观看的色彩与从记忆恢复的那些相比较时，色差的判断不同于当并排地或直接连续地观看色彩时的差异的判断。根据个人和应用/任务，对当与记忆相比较时的色差的已改变灵敏度是由于以下各项中的任何组合而引起的：

a）对（特定对象和/或一般地）色彩的关注程度；

b）看到了什么的记忆衰退导致随时间推移而增加的不确定性，除非故意地要记住（committed to memory）；

c）如果要记住，则通常发生由于分类而引起的量化误差，平均误差量值与已知种类的数目成反比，已知种类的数目又取决于训练的水平；

d）感知色彩记忆趋向于例如随着增加的饱和度而夸大；以及

e）色彩记忆的其他偏见。

图1是用于使用运动图像色彩外观模型来预测评级的系统的功能方框图，所述运动图像色彩外观模型包括在评估从记忆恢复的图像时可以调用的色彩补偿。

图1的各部分出现在题为METHOD AND APPARATUS FOR IMPLEMENTING MOVING IMAGE COLOR APPEARANCE MODEL FOR VIDEO QUALITY RATINGS PREDICTION的在2010年6月17日公开的美国专利申请公开2010/0149344中，其提供该模型的后台和操作细节。在本文中将此模型称为MICAM。

参考图1，在MICAM 12中，也可以是各图像系列的测试图像和参考图像作为单独的输入被接收到单独的可选格式转换器20、21中。格式转换器20、21对用于显示模型24、25的输入进行转换，其又将各输入转换成用于输入到各视图和感知模型28、29、30和31的模拟光。各感知模型30，31以CIECAM02 {a,b}为单位输出每个空间（例如，像素）和时间（例如，帧）的各色彩响应。CIECAM02是由CIE技术委员会8-01在2002年公布的普遍已知的用于色彩管理系统的色彩外观建模（Color Appearance Modeling for Color Management Systems）。这些相应的{a,b}视频响应被用来估计一个（或多个）参考图像与一个（或多个）已修改（测试）图像之间的感知差异。

除感知模型30、31之外，可以向系统添加认知模型。可以在选择器42中选择图像内的感兴趣区域，其可以是空间或时间或两个方面的区域。在某些实施例中，默认感兴趣区域是用于测试和参考图像的整个长度的整个帧。MICAM 12的输出是如图1中所示的测试和参考图像之间的比较的一组统计概要。虽然国际标准团体推荐用于静态图像补色的色彩建模，但使用CIECAM02作为用于构建对于视频而言足够准确的色彩视觉模型的基础。CIECAM02被设计、校准和验证以确定色差的阈值、方向和量值。

公布的研究已被用来确定用于描述色调变化的主色调以及用于每个主色调的极端色调角。这些研究使用来自不同文化和不同语言的相应本地说话者的主题，并且识别其中存在基础的基本色彩种类的色彩空间的一大部分。由R.M Boynton、R.E. MacLaury和K. Uchikawa所著的题为“Centroids of color categories compared by two methods”的一个此类参考文献包括粉红色、红色、棕色、橙色、黄色、绿色、蓝色和紫色的OSA gjL色彩空间中的图。由于棕色在主要由L轴所表示的辉度（brightness）/亮度（luminance）所区别的色调角方面在很大程度上与红色和橙色一致，所以不使用它。这留下粉红色、红色、棕色、橙色、黄色、绿色、蓝色和紫色作为主要色彩。使用相应名称之间的连字符或斜线可以系统地将连续主要色彩之间的色彩命名。例如，将位于绿色和黄色区域之间的色彩称为“绿黄色”或“绿色/黄色”。

通过跨OSA色彩空间详尽地对色彩进行采样并将每个分类在主要色彩种类（或并无一个）中来识别Boynton参考的主要色彩的界限。使用专有方法将用于每个主要色彩种类的色彩组从OSA gjL转换成xyY，并且然后使用在CIECAM02文献中概述的方法将其进一步转换成CIECAM02 ab空间和相应的色调角h(a,b)。

图2是根据本发明的实施例的用于包括不确定性补偿的感知差异的色度特定处理的预测块的功能方框图。该预测块包括用以说明分类、饱和夸大以及色调偏移的特定过程，如下文详细地描述的。

分类

存在被来自不同文化且完全具有不同本地语言的另外未经训练的人使用的相对少量的“主要色彩种类”。经训练的个体可以将超过几十种色彩分类，并且已证明某些个体能够将几百个或几千个分类。某些人相信理论上限可以是几百万个。虽然已知的是分类是用来改善记忆保持力的认知方案，本质上是有损压缩方案，这种现象到目前为止尚未在任何视频质量评定方法中直接采用。此外，存在朝向这些主要色彩移位的感知色彩记忆的更敏锐效应，即使当未进行用以记住色彩种类的任何故意努力时。

色彩种类的数目和相应主要色彩的质心对于不同的个体且在观看者群组之间根据多个因素而不同。给定可能的训练程度、特定应用等，可以预测每个情况。观看者类型和相应色彩种类的示例性范围包括：

a）默认“典型观看者”：CIECAM02 a,b空间中的种类主要色彩质心；

b）针对更擅长于色彩分析的那些人而言，可以包括适合于该应用的更精细的种类；

c）针对那些精细记忆感知，观看者：

          i）是具有低认知负荷的最终专家，意味着视频随着仅几个色彩缓慢地变化；或者 

          ii）感兴趣的注意的个体，具有足够的时间反复地比较视频的每个部分； 

或者i）和ii）两者，在这种情况下，分类过程实际上变成透明的，并且相应地减少了随后的记忆失真。

到分类块220的输入可以是CIECAM02 a,b、极坐标的已经被转换成色调角和可选地半径的笛卡尔/直角坐标，或者该输入可以是直接使用的相应色调角和半径（极坐标）。

量化是允许分类的相当准确的建模的数学过程。

CIECAM02 a,b空间中的例如色调角的量化在本发明的实施例中根据下式发生：

其中

如下文所述，由Cal_kneeOS、Cal_LimAngleSens & Cal_power来控制量化的水平。

globalShift(delay)由于“其他色彩偏移”而引起，并且是参考以下的色调和饱和度小节的记忆失真中的色调偏移来讨论。

f(sampleAngle,knee)过程确定量化的软度或硬度，如参考图3A和3B所描述的。

质心角是上文所述的主要色彩。除主要色彩之外，通过将Munsell或其他色彩坐标转换成a,b坐标并设置与最近邻居的边界，可以添加附加色彩以反映特定观看者和/或特定行业群体的训练和词汇，诸如针对特定应用经过训练的那些。可以使用主观数据来执行边界设置，或者作为主观数据的替代，近似为质心之间的（a,b）距离的一半。

根据应用，被预测的人类观察者（观看者）可能在许多色彩种类或仅仅重要的主要色彩种类方面经过很好的训练。量化的硬度或软度也是观察者可以如何很好记住基本种类、认知负荷以及其他因素的不同子类或修改的函数。一旦已经确定了观察者类型，可以将相应的硬或软限制类型量化用于色彩记忆预测，如参考图3A和3B所描述的。

实际上，主要色彩是使色彩空间翘曲的吸引物，使得附近色彩被拉得更近。有效翘曲可以在从在直接观察比较或精细色彩分类方面的世界专家的情况下一点没有至导致种类边界阈值处的接近硬限制的严重范围内。针对相对软限制，其中色调角并未从直观的感知角改变很多，可以使用用于极限角灵敏度的默认值（Cal_limAngleSens＝0.6、CalKneeOS＝.007）以及2和4之间的幂（Cal_power）。在图3A中图示出了此类相对软限制的示例，其中，与无翘曲的点线相比，曲线是使用所列因子计算的软翘曲。在图3A、3B和3C中，x轴表示瞬时角，而y轴表示从记忆恢复的角。

通过使用用于极限角灵敏度的较高值（即Cal_limAngleSens＝1.5）以及大的幂、即在10和30之间（即Cal_power＝20）来实现较硬翘曲。在图3B中图示出此类示例，其中，在本示例中，如果原始色调角差小于约6度，则在主要色彩角与记忆色彩角之间不存在区别。实际上，主要色彩的6度内的色彩被一直拉到主要色彩吸引物。这表示在色彩种类方面没有过多训练或者至少对用于色彩种类的精细的细节没有过多注意情况下非常具有色彩决定性的个体。

针对无分类量化、无色彩空间翘曲、无主要色彩吸引物，在直接观察和/或精细色彩分类方面的世界专家的情况下，Cal_limAngleSens被设置为0，这在图3C中图示出。

虽然分类的主要维度是色调，但还可以将饱和度分类，并且因此在图2的块240中类似地量化。针对名义上的优选实施例，不将此饱和度量化步骤视为要求，因为饱和度量化趋向于具有更大的差异或不确定性，并且不确定性趋向于相对于量化误差占支配地位。使用下述过程来预测不确定性。然而，针对某些特定的特殊化应用，a,b半径（与饱和度相关联）量化机制可以改善预测结果。例如，为了中度训练的个体的色彩记忆的最好预测，可以使用相同的过程将以上量化机制施加于a,b半径，用用于a,b空间中的半径的类似的那些代替角输入和校准。

色调偏移

当色彩的回忆被恢复时，色彩饱和度被夸大。在上文参考图1所述的人类视觉模型中结合了短期自适应效果，其说明具有由于平均局部和全局亮度、色彩等的变化引起的偏爱的偏移的感知灵敏度偏移。

可以在上述分类过程内包括全局色调偏移并在过程220、240中执行，即使在技术上色调偏移是感知色彩记忆/恢复的现象。在分类处理内包括色调处理是方便的，然而，由于其允许将角处理分组，在用硬件、诸如DSP和FPGA等的固件以及用软件来实现过程时有助于更高的效率。

全局色调偏移可能受到以下各项的影响： 

其中

          度

等价MathCAD型式将是：

饱和度夸大

饱和度在色彩记忆中被夸大并作为色彩（a,b）、关联半径（其中，半径＝下文定义的长度（a,b））、上述最近相应主要色彩质心半径以及自从最初被观看的延迟memDelaySec函数被预测。

饱和度夸大可能受到以下各项的影响： 

其中

名义上, Cal_MemSatTimeLapsePower = 1, 因此

返回参考图2，在操作中，具有不确定性补偿的感知差异预测通过向预测器40呈现测试图像（或图像组）和参考图像（或图像组）两者开始。到复用器210的输入确定测试图像或参考图像两者是否将被记忆补偿。

直接和记忆路径两者经历分类过程220、222，如上所述，其使用参考图3A、3B和3C所述的补偿因子。然后，在过程230中针对色调偏移并在过程250中针对饱和度夸大对记忆路径进行补偿，也如上所述。

色调偏移补偿过程230的输出是偏移色调角，并且饱和度夸大过程250的输出是具有变化尺寸的半径。偏移半径和偏移色调角两者可以再次经历另一分类过程240。

将分类过程240的输出与来自直接路径的分类过程222的输出相比较并相减，使得用各参考色彩向量减去各测试色彩向量。例如，如果经由复用器将参考（L,a,b）选择为是感知记忆中的色彩，则图2的结果得到的“Test– Ref”＝（cda,cdb）色差将是： 

否则

不确定性过程260取决于恢复图像（视频帧）的原始观看、色彩的亮度水平、CIECAM02 a,b空间中的位置：与色彩原点的距离（半径）（近似地，相对饱和度）以及色调角之间的延迟。

可以用下式来计算延迟： 

memDelayFactor(delay) = 1 - e^(-delay/Cal_U ncertaintyTimeConstantSec) 

MathCAD中的等价型式将是：

可以用下式来计算亮度： 

MathCAD中的等价型式将是： 

可以用下式来计算半径：

MathCAD中的等价型式将是： 

可以用下式来计算色调角： 

将该过程用于基于延迟、亮度和特定色彩（CIECAM02空间中的半径和角度）来预测不确定性，将用以产生ua和ub（a的不确定性和b的不确定性）的复合过程给定为： 

其中

abRadius仅仅是a,b向量长度（平方的和的平方根）

并且 

使用四象限反正切函数根据CIECAM02 a,b坐标来计算abAngle（a,b色调角），使得arctan(a/b)提供从0至180度的角度（或弧度等价物）。

不确定性补偿过程270有效地是使用与在题为“Predicting human vision perception and perceptual difference”的美国专利6,975,776中描述的相同或类似的噪声掩蔽模型的掩蔽过程，其中： 

其中，如下从不确定性导出噪声值： 

其中JND（恰可察觉差）约为0.025。

此掩蔽被单独地施加于色差的a（cda）和b（cdb）分量。

此不确定性掩蔽的解释涉及阈值。用色彩的直观和比较，存在用于恰可察觉差的阈值，在该阈值以下色彩看起来相同。用于记忆的不确定性函数导致此阈值的增加，使得结果得到的感知差异对应于JND，在CIECAM02 a,b空间中为约0.025。因此，例如，由于记忆时间推移而衰退且不确定性增加，记忆匹配色彩（由于分类、饱和度夸大和全局角偏移而偏移）与直观色彩之间的阈值差增加。

由于不确定性而引起的信号掩蔽的示例（cda或cdb）： 

考虑其中差异分量cda匹配由于不确定性引起的阈值增加的情况

记忆失真和不确定性可能由于增加的色彩种类的数目而改变。色调角和饱和度（a,b半径）方面的记忆失真和不确定性全部与局部色彩种类密度成比例地下降。可以将2-D IIR空间滤波器（基于上文参考的'776专利的水平和垂直双向IIR滤波器的级联）施加于与主要色彩质心相对应的a,b空间中的脉冲，以便针对上述主要色彩中的标称质心情况和具有添加主要种类色彩的任何新特定情况进行确定。a,b空间中的任何点处的相对增加滤波器响应使用以下近似来确定色调角偏移、饱和度夸大和不确定性的减少： 

其中

因此，对于其中可以记住注意焦点内的色彩的情况而言，达到感知负荷的极限，或者在诸如如在DMOS中一样预测整体响应或者基于多个人的多次观看的其他类似主观分数且其中许多色彩种类被观看者中的至少某个相当大的部分所知晓的情况下，可以确定平均新等价主要色彩质心密度，并且施加于注意焦点的区域。针对其中所有色彩被成功地记住的最高色彩种类密度（而非通常情况），有效地不存在由于记忆而引起的变化。

图4是用于图2中所述的感知差异块的替换实施例，具有以某些准确度为代价的改善的速度。作为处理向上通过通过不确定性补偿器260和分类块232、240的所有中间输出的替代，可以用感兴趣的全（L,a,b）范围和要求的分辨率（或者对于容纳来自可用记忆的LUT空间而言可行）使用图2的相应处理来对查找表（LUT）进行初始化。

请注意，可以将图2的复用器移动至各LUT初始化。作为将参考和测试通道的输入L,a,b复用，可以在有或没有可选分类或记忆a,b的情况下对各LUT进行初始化以将L,a,b转换成直接的。

图5是用于在图2中所述的感知差异块的另一替换实施例。图5类似于图4，除了还可以用LUT来替换不确定性补偿感知差异处理器之外。此不确定性补偿感知差异LUT产生用于a和b通道的两个独立数，一个具有{ua,ma,da}的输入和mda输出，并且另一个具有{ub,mb,db}的输入且具有mdb输出。

图6包含示出了根据本发明的实施例的人记忆色彩的变化（与直接实验匹配）对比由来自处理器的记忆预测所预测的变化的刺激参数的一个维度的两个图。顶部图示出了ma-da响应（实线用于人、虚线用于模型），而底行同样地示出了用于mb-db。独立x轴是各种测试的测试数，而y轴是以CIECAM02为单位的。每个图中的两个水平线近似地示出正和负JND/阈值差。

图7图示出根据本发明的实施例的人记忆色彩的变化（与直接实验匹配）针对由来自处理器的记忆预测所预测的变化的图。这些图与图6的那些类似，除了独立轴是色彩角之外。同样地图示出JND。

图8图示出根据本发明的实施例的人记忆色彩的变化（与直接实验匹配）对比由处理器的记忆预测所预测的变化的图。从属轴表示CIECAM02 a,b空间中的记忆色彩半径（近似对应于相对饱和），而独立（水平）轴对应于参考（直观）色彩半径：o用于人响应，+用于模型响应。自上而下的三个对角线分别示出了上阈值极限、无变化和下阈值极限。

图9图示出根据本发明的实施例的人记忆色彩（与直接实验匹配）之间的匹配的不确定性增加针对由处理器的记忆预测所预测的不确定性增加的图。独立（水平）轴是CIECAM02 a，并且从属（垂直）轴是CIECAM02 b。类似于MacAdam椭圆，每个椭圆表示从记忆恢复的色彩与直接看到的色彩（ua、ub）之间的分辨力（恰可察觉差或JND）的阈值的增加（在CIECAM02 a,b空间中而不是CIE 1931 xy空间中等）。用菱形（10秒延迟、8尼特（nit））、o（3秒延迟、12尼特）和正方形（30秒延迟、20尼特）来表示人响应分辨力增加。用亮+（10秒延迟、8尼特）、暗+（3秒延迟、12尼特）和暗×（30秒延迟、20尼特）来表示根据本发明的实施例的预测响应分辨力增加。最大偏差与实验数据误差裕度一致。

在各种实施例中，可以用硬件、软件或两者的组合来实现本发明的部件，并且其可以包括通用微处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）等。

从前述讨论将认识到的是本发明表示人类视觉建模领域的重要进步。虽然已经出于举例说明的目的图示出并描述了本发明的特定实施例，但将理解的是在不脱离本发明的精神和范围的情况下可以进行各种修改。因此，如由所附权利要求之外，不应限制本发明。