评估视频中丢包可见性

技术领域

本发明涉及视频序列中丢包可见性的评估，具体地涉及利用视频序列的动态时空 建模确定差错可见性的测度，以确定受丢包影响的序列中的块的预期的测度，并将块 的预期测度和与块相关联的实际测度进行比较。

背景技术

互联网上视频直播服务与日俱增流的重要性已经突显出本方法的必要性，其可以 准确地评估由终端用户体验的视频的质量。网络特征可以对视频质量产生重大影响， 如丢包、时延和其它网络效应。精准的质量评估是视频传输系统设计，配置和测试所 不可缺少的。例如视频分辨率、编码器属性、编码比特率、时延和差错检测以及纠错 /恢复这样的因素的合理平衡，全部取决于对终端用户体验的理解，特别是所感知的 视频质量。

对于无法利用重传来减少网络丢失效应的服务，丢包损害(PLI)可以对终端用 户所体验的感知的视频质量产生主要影响。例如，基于IP的广播视频系统，其中视频 仅能被发送一次，并且传输过程中的任何丢包必须在没有利用重传的情况下被处理。

用于PLI评估的技术可以被分类如下：a)全参考(FR)，其中，对源和劣化的视 频序列进行分析；b)图像缓冲无参考(NR-P)，其中仅对解码的图像进行分析；c) 比特流无参考(NR-B)，其中仅在解码之前对比特流进行分析；和d)混合无参考 (NR-H)，其中对比特流和解码的图像信息进行分析。

平方差错(MSE)和峰值信噪比(PSNR)的FR测量因其方便和易处理的属性而 流行。但可惜的是，上述测量作为感知视频质量的指标精度有限。上述测量的改进可 以根据预期的可见性通过对差错信号进行感知加权来实现，其中加权因子可由主观性 测试确定。基于FR结构相似度(SSIM)的图像质量评价技术比较基准信号和失真信 号的结构(来自视觉场景的信息和属性)。SSIM将结构信息中改变的测量用作对感知 的图像失真的近似。

PLI的感知影响取决于多种因素，如视频中差错的位置、大小和持续时间，恢复 技术的复杂性以及视频的掩蔽特性。FR测量，例如SSIM和MSE，可以被用来评估对 解码的视频的PLI效果，但通常不直接考虑这些PLI因素。

专用于PLI评估的NR-P技术(如条带边界失配(SBM))试图通过对例如像素行 中的不连续性这样的效应进行建模来测量PLI因子。然而，NR-P技术无法获取差错的 精确位置，并且必须依赖统计模型来区分图像的差错部分和正确部分。由于自然图像 变化的错误分类作为可能的差错，所以这会造成不准确。

NR-H模型通常使用差错比特流来测量差错程度，并使用宏块类型和运动信息来 预测上述差错的传播的限度。该差错特有的信息可以被用于提高FR和NR-P技术的准 确性。

发明内容

本发明的实施方式的目的是提供一种评估视频序列中的丢包影响的改进的方法。

根据本发明的一个方面，提供了一种确定视频序列中由丢包导致的差错可见性的 方法，所述视频序列包括多个帧，每个帧包括多个块，所述方法包括：

(i)识别受所述多个帧中的一帧中的丢包影响的块，其中，包含所识别的块的 帧是当前帧；

(ii)跨过多个先前的帧，基于与所识别的块相关联的区域的时间差异，确定与 所识别的块相关联的预期的时间测度；

(iii)基于在所识别的块和与所识别的块相邻的一个或更多个块之间的空间差 异，确定与所识别的块相关联的预期的空间测度，在多个先前的帧之上考虑所述空间 差异；

(iv)针对所识别的块比较所确定的预期的时间测度和实际的时间测度，其中， 所述实际的时间测度是基于与在所述当前块中的所识别的块相关联的所述区域与至 少一个先前的帧的时间差异；

(v)针对所识别的块比较所确定的预期的空间测度和实际的空间测度，其中， 所述实际的空间测度是基于在所述当前帧中在所识别的块和与所识别的块相邻的一 个或更多个块之间的空间差异；

(vi)基于所述比较确定所识别的块的差错可见性的测度。

所述比较步骤(iv)还可以包括基于所确定的预期的时间测度来设置一个或更多 个时间阈值，其中，所述一个或更多个时间阈值用于与所述实际的时间测度进行比较

所述比较步骤(v)还可以包括基于所确定的预期的空间测度设置一个或更多个 空间阈值，其中，所述一个或更多个空间阈值用于与所述实际的空间测度进行比较。

附图说明

为了更好地理解本发明，现将仅以示例的方式参考这些附图，其中：

图1示出了本发明的一个示例的用于差错可见性评估的接收器；

图2是例示了本发明的一个示例的步骤的流程图；

图3是示出了在本发明的示例中的功能模块之间的数据流的处理流程图；

图4是例示了对视频序列进行时间分析和分类的示意图；

图5是例示了对视频序列进行空间分析和分类的示意图；

图6是用于对时间测度进行分类的二维矩阵；

图7是用于对空间测度进行分类的二维矩阵。

具体实施方式

这里参照具体示例来描述本发明。但是，本发明不局限于这种示例。

本发明呈现了一种新的NR-H方法用以对视频序列的丢包可见性测度进行评估， 其中，所述测度表明了对视频的感知质量的影响。可能由于在不够完善的网络内传输 视频而出现丢包。本发明将解码的图像的空间和时间特性的动态建模与展现了任何差 错的位置、范围以及传播的比特流信息进行结合。对像素块进行分析，并且优选地对 特定的视频编码方案中所限定的宏块进行分析。从比特流信息获知差错程度用以针对 具体的差错位置周围进行空间分析。通过利用时空建模以预测丢失块的属性并将这些 预测与丢失块的实际属性进行比较，来评估感知影响。将相邻块产生的掩蔽效应考虑 在内，并用于调整判定阈值。

图1例示了接收机100的示例。例如，接收机100可以是PC或机顶盒(STB)的一 部分。接收机100能够接收编码的视频并按下述步骤处理视频。

具体地，接收机100包括接收编码的视频信号的视频输入接口102。可通过例如因 特网这样的网络接收视频信号。网络会导致正被传输的数据的丢失，如掉包，并且任 何接收的视频信号会包括某些数据丢失。

处理器104根据存储在本地存储器106(例如，硬盘)内的程序模块的控制进行操 作，并且还可以访问存储器108，例如RAM。视频输入接口102包括缓冲器以存储接 收到的编码的视频，直到编码的视频准备好被处理器104进行解码。

接收的视频同样可以由接收器100存储在存储器108中，用于以后的解码和分析， 或仅用于回放。

接收器还包括视频输出接口109，其可将视频信号输出到合适的输出设备，例如， 监视器或电视机。

程序模块包括通用的操作系统(未例示)和用于视频解码和分析的各类其它软件 模块。软件模块包括：

-控制模块110；

-视频解码器模块112：在此示例中，解码软件实现符合ITU H.264标准的解码算 法；

-宏块分析模块114；

-时间分析模块116；

-空间分析模块118；

-PLI可见性分类模块120。

当处理器104运算时，控制模块110用于控制接收器的总体操作。其他软件模块也 可以由处理器104运算，并提供下文描述的本发明相关的功能。

图2是一个流程图，汇总了本发明的示例中的用于评估丢包损失的常规方法。图3 示出了一个示意性框图，其中示出了图1内的系统图的各种软件模块，并示出了它们 之间的处理流，相同的元件参照相同的附图标记。

在步骤200中，编码的视频序列在控制模块110的控制下被输入到接收器100。该 编码的视频可以经由视频输入接口102输入，或者另选地可以预先已被接收并且现在 正从存储器108中取出。在此示例中，假定视频序列根据ITU-T H.264视频编码标准进 行编码，不过我们将认识到本发明可以与采用其它标准的视频编码一起使用。

编码的视频序列包括一系列帧，并且在步骤202中，视频解码模块112对视频序列 的第一帧进行解码。解码的图像被存储在存储器108中。

由于网络之上的传输损耗，编码的视频序列遭受丢包。由信道损伤所引起的数据 丢失(包)的单位和底层编码的数据结构(条带)之间的关系对解码的视频的劣化的 属性非常重要。条带是一个数据块，表示编码的宏块的整数(whole number)，并且 重要地包括一个报头，该报头指示上述宏块的空间位置。一条带可独立于帧内其它条 带进行单独地解码，并且由于其损失将不会影响到帧内其他条带的事实提供了固有差 错鲁棒性。使用小的编码器条带尺寸，对齐到传输单元(例如每个包1个条带)，使可 见伪影(visible artefact)的空间传播最小化并使解码器中复杂宏块恢复技术带来的益 处最大化。相反地，使用大的条带尺寸(例如每幅图像一个条带)，可以允许由后续 的宏块来传播小单位的数据丢失。

这里，我们认为每个包具有单个编码的条带。在这种情况下，数据丢失将不会影 响同一图像内的其他条带，因此任何影响都将被限定在由该条带表示的空间区域。此 外，通过搜索没有被更新的宏块以及所生成的丢失图(loss map)，可以在图像解码结 束时检测数据的丢失。虽然已存在高效率的宏块恢复技术(例如，运动补偿差错掩盖 (MCEC)，能够将所产生的伪影的可见性最小化)，但解码器实现之间可以使用多种 不同的恢复级别。因此，评估可恢复的块的特性以准确估计伪影的可见性是重要的。

在步骤204中，分析编码的比特流以确定上述帧的丢失部分的精确位置。实际上， 作为解码过程的一部分执行这种分析。

在步骤206中，宏块分析模块114生成针对帧的宏块丢失图。宏块丢失图包括与帧 的宏块相对应的元素的阵列。每个元素都包含一个标志，以指示对应的宏块是否已丢 失。宏块丢失图以及与其相关的帧的指示符被一起存储在存储器108内。

针对帧n的宏块m的丢失图L(n,m)可被给出为：

L(n，m)＝{0，1}    m∈M(n)    n∈N                   (1)

N定义了视频序列中的一组帧；并且

M(n)定义了帧n内的宏块的组。

接着对解码的帧进行下述时间和空间分析。

在步骤208中，对解码的帧(来自步骤202)的每个宏块执行时间分析，并且其用 于模拟帧内各宏块的预期的时间变化。时间分析模块116执行步骤208。实际上，时间 分析需要至少一个更早的帧(earlier frame)，所以通常不对第一帧执行分析。然而， 常规分析方法将汇总如下。

通过观察针对帧内每个宏块的时间变化，包括观察像素属性的变化(例如强度、 超时)，生成了时间模型(temporal model)，相当于若干视频帧。这将导致针对给定 的帧内每个宏块的预期的时间变化，伴随着针对各个新的帧的模型更新。当检测到丢 失的宏块时，通过观察宏块丢失图，将预期的时间变化与已识别的丢失的宏块的测度 的时间变化进行比较，来确定丢失的可见性。

针对帧n内的宏块m，预期的时间变化或测度可以表示为ET(n,m)。用于确定预期 的时间测度的具体方法将在下文详细说明。针对各帧内的各宏块的ET(n,m)被存储在 存储器108中。

在优选的示例中，考虑丢失的宏块周围的区域，例如与丢失的宏块相邻的宏块， 而不是仅单一的丢失的宏块。接着，通过考虑在若干更早的帧之上的区域，该区域的 变化被用于生成预期的时间变化。

在步骤210中，对解码的帧内的各个宏块进行空间分析(从步骤202)，以模拟一 帧内的各宏块的预期的空间变化。步骤210是由空间分析模块来执行的。

通过观察针对帧内各宏块的空间变化，包括观察像素属性的变化(例如在同一帧 内给定的宏块和其相邻的某些宏块之间的强度)，产生了一空间模型。这将导致针对 给定的帧内的各宏块的期望的空间变化，伴随着针对各新帧的模型的更新。当检测到 丢失的宏块时，通过观察宏块丢失图，将针对该丢失的宏块的预期的空间变化与针对 该宏块的测度的空间变化进行比较。这些测度用于确定该丢失的可见性。

针对帧n的宏块m，预期的空间变化或测度可以表示为ES(n,m)。用于确定预期的 空间测度的具体方法将在下文详细说明。针对每一帧内各宏块的ES(n,m)被存储在存 储器108中。

在步骤212中，时间分类是由时间分析模块116执行的。而时间分析步骤208和时 间分类步骤212已被示出为两个单独的步骤，应理解的是，这些步骤可作为单一的步 骤由时间分析模块来执行。

时间分类首先涉及使用宏块丢失图来识别已经受丢失的宏块。这些宏块是针对通 过首次测量各丢失的宏块的实际时间变化MT(n,m)进行分析。从存储器中检索针对同 一丢失的宏块的预期的时间变化ET(n,m)。接着，根据本发明将测量的时间变化与预 期的时间变化以这样的方式进行比较，即，将阈值施加至测量的时间变化，同时根据 所模拟的期望的时间变化的结果动态地调整阈值。作为结果输出宏块的时间类。

时间分析过程和时间分类过程示于图4。在图4中，时间分析模块116对每一帧内 各宏块针对若干的帧或帧的窗口进行时间分析410。产生预期的时间值ET(n,m)。使用 宏块丢失图L(n,m)400，识别丢失的宏块。对于各丢失的宏块，针对该宏块的时间变 化是测量的MT(n,m)。在块412中，时间分析模块116使用针对各丢失的宏块的测量的 时间变化MT(n,m)和预期的时间变化ET(n,m)来执行时间分类。测量的和预期的时间变 化用于产生针对丢失的宏块的一时间类ClassT(n,m)。时间类ClassT(n,m)被存储在存储 器108中，并稍后在PLI可见性分类的进一步的步骤中连同所产生的空间类ClassS(n,m) 一起使用。

在步骤214中，空间分类是由空间分析模块118执行的。如同时间分类，空间分类 可以由空间分析模块连同空间分析步骤一起执行。

空间分类首先涉及使用宏块丢失图来识别已经受丢失的宏块。这些宏块是用于通 过首次测量针对各丢失的宏块的实际空间变化MS(n,m)来进行分析。从存储器中检索 针对同一丢失的宏块的预期的空间变化ES(n,m)。接着根据本发明对测量的空间变化 与预期的空间变化以这样的方式进行比较，即，将阈值施加至测量的空间变化，同时 根据所模拟的预期的空间变化的结果动态地调整阈值。作为结果输出宏块的时间类。

空间分析过程以及空间分类过程示于图5。在图5中，空间分析模块118对各帧内 的各宏块进行空间分析510，产生预期的空间值ES(n,m)。使用宏块丢失图L(n,m)500， 丢失的宏块被识别。对于各丢失的宏块，针对该宏块的空间变化是测量的MS(n,m)。 在块512中，空间分析模块118使用针对各丢失的宏块的测量的空间变化MS(n,m)和预 期的空间变化ES(n,m)来执行空间分类。测量的和预期的空间变化被用于产生针对丢 失的宏块的一空间类ClassS(n,m)。该空间类被存储在存储器108中，并稍后在PLI可见 性分类的进一步的步骤中连同所产生的时间类ClassS(n,m)一起使用。

在步骤216中，可以例如通过对出现所测量的时间测度与预期的时间测度不匹配 进行计数来执行丢包损失分类。这可以通过各个测度之间的直接比较来完成，但同时 施加某些动态阈值。这将在下文的详细介绍中更具体地讨论。同样地，可以针对空间 分析采用类似的计数。

时间和空间计数可以被简单地组合，或进一步处理，例如可使用合并分析(pooling  analysis)来确定单独丢包的某些整体视觉影响。

结果被集中的具体方式对于本文描述的总体发明不是关键的，即，对视频序列内 的空间和时间测度进行动态建模，以确定视频序列中丢包的影响。

在步骤220，分析视频序列内的下一帧，并重复执行步骤202至216，以确定下一 帧内任何丢失的宏块的PLI可见性分类。该方法被重复循环，直到在视频序列中所有 帧均被处理。

丢包损失分析的详细描述

下文介绍以一个优选的示例详细说明丢包损失的评估。

本发明的示例利用对于解码的图像的时间特性和空间特性连同从编码的比特流 所提取的差错的已知的位置、传播和范围的统计建模。

对像素块进行分析，并且可以方便地选择这些块以与在特定的视频编码方案中所 定义的宏块相匹配。对于H.264主要档次编码，优选地对16×16像素宏块进行分析。在 此，执行NR-P方法来分析宏块，以建立具有可以反映存在可见PLI的特性的模型。该 分析的一般形式在下述等式(2)中给出，其中，可根据针对宏块内像素的组J(n,m) 进行运算的函数f_NRP来计算针对帧n的宏块m的像素属性NRP(n,m)。

NRP(n，m)＝f_NRP(J(n，m))   m∈M(n)    n∈N              (2)

N定义了视频序列中的帧的组；

M(n)定义了帧n内的宏块的组；

J(n,m)表示在帧n的宏块m内的像素的组；和

fNRP()表示对分析块内的像素的组进行运算的函数。

像素亮度LAv和像素方差LVar是对像素的组进行运算的函数的两种示例，并被示 出为：

$\mathrm{LAv}\left(J(n,m)\right)=\frac{1}{\mathrm{Jtot}\left(J(n,m)\right)}\underset{j\in J(n,m)}{\Sigma }\mathrm{lum}\left(j\right),m\in M\left(n\right),n\in N---\left(3\right)$

$\mathrm{LVar}\left(J(n,m)\right)=\frac{1}{\mathrm{Jtot}\left(J(n,m)\right)}\underset{j\in J(n,m)}{\Sigma }{(\mathrm{LAv}\left(j(n,m)\right)-\mathrm{lum}\left(j\right)))}^2,m\in M\left(n\right),n\in N---\left(4\right)$

Lum(j)表示来自组J(n,m)的像素j的亮度值。

Jtot(J(n,m))等于在帧n的分析块m内的像素数。

为了评估PLI可见性，时间分析和空间分析均使用等式(2)。

时间分析和分类

在步骤208中，时间分析用于模拟各宏块的像素属性的预期的时间变化。这可通 过对等式(2)的预期的时间变化进行建模来完成，为了识别在已知丢包差错位置发 生的异常的和可见的变化。

可以根据(5)来定义针对帧n的宏块m的时间差异测度MT(n,m)。

MT(n，m)＝NRP(n，m)-NRP(nprev，m)    m∈M(n)    n∈N             (5)

Nprev标识在序列组N内在时间上先于当前帧n的帧。

由此，MT(n,m)表示对给定的宏块的时间变化的测度。通过比较测量的值和从之 前的帧计算出的预期的值，该测度可用来估计丢失的或恢复的宏块的可见性。可以使 用等式(6)来分析对前面的帧的时间差异测度MT(n,m)，以确定预期的时间测度 ET(n,m)。

ET(n，m)＝f_TWin(MT()，WT(n，m))    m∈M(n)   n∈N         (6)

其中，WT()是指要应用于由WT(n,m)所定义的宏块的时间差函数；

WT(n,m)定义了宏块的一滑动窗口，在该窗口中要对帧n内的单个宏块m计算预期 的时间测度；

f_Twin表示针对宏块的组W(n,m)的MT()值进行运算的函数。

等式(7)示出了空间上协同定位的宏块的线性(连续)5-帧窗口的示例，其中， 每一帧内的被检查的宏块是固定的。

WT(n，m)＝{(n-1，m)，(n-2，m)，(n-3，m)，(n-4，m)，(n-5，m)}              (7)

此外，窗口之上的平均时间差异测度ET_ave(n,m)可以根据等式(8)进行计算。

${\mathrm{ET}}_{\mathrm{ave}}(n,m)=\frac{1}{\mathrm{nWT}}\underset{(\mathrm{nw},\mathrm{mw})\in \mathrm{WT}(n,m)}{\Sigma }\mathrm{MT}(\mathrm{nw},\mathrm{mw}),m\in M\left(n\right),n\in N---\left(8\right)$

nWT等于窗口WT()内宏块的数目。

同样地，窗口之上的最大时间差异测度可以根据等式(9)来计算。

${\mathrm{ET}}_{\max }(n,m)=\underset{(\mathrm{nw},\mathrm{mw})\in W(n,m)}{\max }\left(\mathrm{MT}(\mathrm{nw},\mathrm{mw})\right),m\in M\left(n\right),n\in N---\left(9\right)$

因此，计算出针对每帧内的各宏块的平均和最大时间差异，并将结果存储在存储 器108中。

窗口时间测度ET(n,m)，其在本示例中优选地是ET_ave(n,m)，表示在宏块(n,m)之前 的时空窗口中的MT()的变化的分析，并且可以用于表示MT(n,m)的预期的值。因此， 在时间分析中，可以分析宏块m周围的若干宏块，而非仅m，由此进行时空分析。针 对当前帧之前的若干帧(窗口)执行分析。接着可以利用根据等式(8)计算的预期 时间差异测度、通过比较如由等式(5)给出对当前帧与之前的帧的测量的实际时间 差异测度来估计丢失的宏块的可见影响。

在优选的示例中，一种使用时间模型具有调整的阈值的分类方法确定宏块的实际 值是否足够“独特地”可见。在此分类中使用预期的值的优势在于具有测量的时间值与 预期的时间值之间的差值的丢失可见性的相关性。

等式(1)之前描述了宏块丢失图。使用等式(1)定义的宏块丢失图以利用下述 等式(10)分析预期的和测量的时间差异测度，可估计丢失的或恢复的宏块的可见的 影响。

ClassT(n，m)＝fTclass(L(n，m)，MT(n，m)，ET(n，m)  m∈M(n)  n∈N          (10)

在等式(10)中，针对L(n,m)＝0，fTclass()＝T0，其中，类T0表示一个有效的宏 块，在丢包可见性中不考虑。因此，该方法优选地仅对经历了丢失的宏块进行分类。

时间分类处理分析丢失的宏块的测量的时间值和预期的时间值，以识别预期的值 和测量的值之间存在大的差异。这可以依据等式(11)，基于每个宏块以2个阈值、3 类技术的形式来实现。

ClassMT(n，m)＝0  MT(n，m)＜MT1(m，n)         (11)

＝1   MT1(n，m)＜＝MT(n，m)＜MT2(n，m)

＝2   MT2(n，m)＜＝MT(n，m)  m∈M(n)   n∈N

在等式(11)中，MT1(n,m)和MT2(n,m)是针对正被分析的各宏块所确定的自 适应的阈值，并基于针对该宏块的对应的预期的时间差值。Class 0意在表示显著低于 预期值的测量的值MT(n,m)，，Class 1在预期范围内且Class 2显著高于预期，相应地设 置阈值MT1(n,m)和MT2(n,m)。

下面的等式(12)和(13)示出了用于确定阈值的一般形式，其中，函数fT1() 和fT2()可以是例如基于窗口化的(windowed)宏块的平均函数(见等式7)、最大函 数(见等式8)、最小函数或类似的统计函数这样的函数的加权版本。

MT1(n，m)＝f_T1(MT(n，m)，WT(n，m))    m∈M(n)   n∈N             (12)

MT2(n，m)＝f_T2(MT(n，m)，WT(n，m))    m∈M(n)    n∈N            (13)

通过还考虑根据等式(14)的预期的测度ET()的幅度，根据(11)的分类的可能 的可见影响可以被考虑。

ClassET(n，m)＝0   ET(n，m)＜ET1       (14)

＝1   ET1＜＝ET(n，m)＜ET2

＝2   ET2＜＝ET(n，m)  m∈M(n)   n∈N

在等式(14)中，ET1和ET2为固定的阈值。Class 0意在代表低的时间差异的预 期的时间值ET(n,m)，Class 2用于高的时间差异，且ET1和ET2被相应地设置。

从等式(11)和(14)得到的分类可以根据下面的等式(15)合并为二维分类表。

ClassT(n，m)＝ClassET(n，m)*3+ClassMT(n，m)+1                (15)

等式(15)产生时间类ClassT(n,m)＝1->9，并且图6示出了对应的等级T1至T9。 Class T0被预留给尚未丢失或恢复的宏块，如丢失图所示(见等式1)。图6以二维表格 示出了分类处理。分类表可以被解释为向每个宏块类提供可见性加权值，ClassT(n,m)， 以帮助进行可见性合并计算。针对各差错事件(丢失的宏块和恢复的宏块的时空区域) 执行合并，以确定整体的可见性等级。

空间分析和分类

在步骤210中，空间分析被用于模拟针对各宏块的像素属性的预期的空间变化。 这通过模拟等式(2)的预期的空间变化来完成，以识别在已知的丢包差错位置发生 的异常的和可见的变化。

可以根据等式(16)来定义针对帧n的宏块m的空间差异测度ms(n,m)。

ms(n，m，i)＝NRP(n，m)-NRP(n，i)    m∈M(n)    n∈N             (16)

在(16)中，变量i标识在帧n内的属于与作为m的空间分析区域相同的区域的宏 块。通常，这会是相邻的宏块。

该空间差异测度接着可以被用作区域空间分析的基础，根据(17)确定针对帧n 的宏块m的测度MS(n,m)。

MS(n，m)＝f_SW1(ms(n，m，i)) i∈WS1(n，m)    m∈M(n)    n∈N          (17)

WS1(n,m)定义了宏块的组，在该组之上针对帧n的宏块m计算区域测度，并且通 常是同一帧内的相邻的宏块。

f_sw1表示针对来自组WS1()的针对宏块i的ms(n,m,i)组进行运算的函数。接着，平 均函数可以根据(18)来实现。

$\mathrm{MS}(n,m)=\frac{1}{\mathrm{nWS}1}\underset{i\in \mathrm{WS}1(n,m)}{\Sigma }\mathrm{ms}(n,m,i),m\in M\left(n\right),n\in N---\left(18\right)$

在等式(18)中，nWS1表示进入组WS1()中的宏块的总数。

由此，MS(n,m)表示对在给定的宏块和其相邻宏块之间的空间变化的测度。通过 比较测量值和由先前的帧计算得出的预期的值，该测度可用来估计丢失的或恢复的宏 块的可见性。可以使用(19)来分析针对更早的帧的空间差异测度MS(n,m)，以确定 预期的空间测度ES(n,m)。

ES(n，m)＝f_SW2(MS()，WS2(n，m))    m∈M(n)    n∈N             (19)

其中，MS()是要应用于由WS2(n,m)所定义的宏块的空间差异函数。因此，在等 式(19)中，f_sw2()表示对由滑动窗口WS2(n,m)所定义的宏块组所计算得出的测度MS() 进行运算的函数。

WS2(n,m)针对由等式(20)给出的线性的5帧窗口，但该窗口不必在空间上受限 于单个宏块位置m。

WS2(n，m)＝{(n-1，m)，(n-2，m)，(n-3，m)，(n-4，m)，(n-5，m)}           (20)

因此，可以根据等式(21)由ES_ave(n,m)计算窗口WS2()之上的平均的预期的 空间测度。

${\mathrm{ES}}_{\mathrm{ave}}(n,m)=\frac{1}{\mathrm{nWS}2}\underset{(\mathrm{nw},\mathrm{mw})\in \mathrm{WS}2(n,m)}{\Sigma }\mathrm{ES}(\mathrm{nw},\mathrm{mw}),m\in M\left(n\right),n\in N---\left(21\right)$

在等式(21)中，nWS2表示窗口WS2()内的宏块的数目。

因而，针对各帧中的各个宏块计算窗口空间差异测度，并将结果存储在存储器108 中。

窗口空间差异测度ES(n,m)表示对在宏块(n,m)之前的时间-空间窗口中的MS()变 化的分析，并且可以用于表示MS(n,m)的预期的值。接着，可以通过比较针对丢失的 宏块的实际的和预期的空间差异测度来估计丢失的宏块的可见影响。使用在该处理中 的预期的值的优点是，允许针对适应于视频内容的随时间变化的特性的阈值做出判 定，因此，反映了局部掩蔽特性。

等式(1)之前描述了宏块丢失图。使用等式(1)定义的宏块丢失图可以估计丢 失的或恢复的宏块的可见影响，以使用以下等式(22)分析预期的和测量的空间差异 测度ES()和MS()。

ClassS(n，m)＝fSclass(L(n，m)，MS(n，m)，ES(n，m)  m∈M(n)  n∈N        (22)

在等式(22)中，针对L(n,m)＝0，fSclass()＝S0，其中，classS0表示一个有效的 宏块，无需在丢包可见性中被考虑。因此，该方法优选地仅对经受了丢包的宏块进行 分类。图5例示了该流程，由空间分类块512来表示fSclass()函数。

空间分类过程分析丢失的宏块的测量值和预期的值，来识别在预期的值和测量值 之间存在大的差异。这可以根据等式(23)基于每个宏块以简单的2个阈值3类技术的 形式来实现。

ClassMS(n，m)＝0   MS(n，m)＜MS1(m，n)                      (23)

＝1   MS1(n，m)＜＝MS(n，m)＜MS2(n，m)

＝2   MS2(n，m)＜＝MS(n，m)   m∈M(n)   n∈N

在等式(23)中，MS1(n,m)和MS2(n,m)是针对正被分析的各宏块所确定的自适 应阈值，并且基于针对该宏块的对应的预期的空间差异值。Class 0意在表示显著低于 预期值的测量值MS(n,m)，Class 1在预期范围内，且Class 2显著高于预期值，阈值 MS1(n,m)和MS2(n,m)相应地被设置。MS1()和MS2()可以是例如基于如在下面的等式 (24)和(25)中给出的例如最大和最小的窗口化的宏块的平均空间函数(21)或类 似的统计函数这样的函数的加权版本。

$\mathrm{MS}1(n,m)=\underset{(\mathrm{nw},\mathrm{mw})\in \mathrm{WS}2(n,m)}{\mathrm{Min}}\left(\mathrm{MS}(\mathrm{nw},\mathrm{mw})\right),m\in M\left(n\right),n\in N---\left(24\right)$

$\mathrm{MS}2(n,m)=\underset{(\mathrm{nw},\mathrm{mw})\in \mathrm{WS}2(n,m)}{\mathrm{Max}}\left(\mathrm{MS}(\mathrm{nw},\mathrm{mw})\right),m\in M\left(n\right),n\in N---\left(25\right)$

根据等式(23)的分类的可能的可见影响可以被还根据等式(26)考虑预期的测 度ES()的幅度而被量化。

ClassES(n，m)＝0   ES(n，m)＜ES1                    (26)

＝1   ES1＜＝ES(n，m)＜ES2

＝2   ES2＜＝ES(n，m)  m∈M(n)   n∈N

在等式(26)，ES1和ES2是固定的阈值。Class 0意在代表低的空间差异的预期的 值ES(n,m)，并且Class 2用于高的空间差异，且ES1和ES2被相应地设置。

从(23)和(26)得到的分类可以根据以下等式(27)合并为二维类别表。

ClassS(n，m)＝ClassES(n，m)*3+ClassMS(n，m)+1                   (27)

等式(27)产生范围从1到9的输出空间类ClassS(n,m)，并且对应于图7中的等级 S1至S9。ClassS0被预留给尚未丢失或恢复的宏块，如由丢失图所示的(见等式1)。 图7例示了二维分类处理。分类表可以被解释为向每个宏块类ClassS(n,m)提供可见性 加权值，以帮助可见性合并计算。针对各差错事件(丢失的和恢复的宏块的时空区域) 执行合并，来确定整体可见性等级。

至少可以部分地由具体实施在针对接收器100处的程序模块106所提供的应用程 序数据中的计算机程序代码来实现本发明的示例性实施方式。当这种计算机程序代码 被加载到接收器100的存储器108用于由处理器104执行时，它提供了一种计算机程序 代码结构，能够根据本发明的上述示例性实施方式执行至少部分的方法。

此外，本领域技术人员将理解的是，所提到的计算机程序结构可对应于图2中所 示的处理流程图，其中流程图的每个步骤可以对应于至少一行计算机程序代码，并且 这样与处理器104相结合，提供了使所描述的流程生效的装置。

一般情况下，应注意的是，虽然描述了本发明的的上述示例，但是在不脱离如在 所附权利要求中所限定的本发明的范围的情况下可以对所描述的示例进行各种改变 和修改。本领域的技术人员将认识到对所描述的示例的修改。