用于实施时间预测对图像序列进行编码的方法和装置、对应的信号、数据存储媒体、方法和解码装置以及计算机程序产品

具体实施方式

5.1一般原理

本发明的一般原理依赖于实施时间预测对图像序列的编码和解码，所述时间预测使待编码图像的块与序列的参考图像中的至少一个对应块相关联。

更具体来说，本发明提出通过对以“帧间”模式编码的块的运动补偿进行的新颖预测技术。所提出的技术可用以通过限制其在计算和待传输参数的数目方面带来的复杂性而获得自然运动的表示。

本发明可尤其适用于对借助于运动管道(motion tube)表示的图像序列或场景的编码，其中运动管道对应于在时间上改变的像素块。在此改变期间，管道可变形以例如考虑视在运动或块中存在的像素的数目是增加还是减少。此管道也可例如在向块的子像素层级传递中得以精细化。本发明可尤其用以确定管道所经历的变形。

特定来说，可回想运动管道由至少以下若干条信息界定：

-包括关于参考纹理的信息的参考像素块；

-管道开始和结束时刻；

-关于转变的信息，用以更新所述参考块和所述序列的至少一个时刻。

用于表示图像序列的此技术尤其在处于本申请人名义下的于2007年6月25日申请的第0756007号法国专利申请案中描述。

根据本发明的时间预测依赖于确定用于至少一个块的多个控制向量、将至少此块再分为若干子块以及确定用于所述子块的多个控制向量。随后使用这些控制向量来确定子块的预测且接着确定块的预测。

5.2运动补偿

下文中参看图1A，描述例如在H.264型视频编码器中实施的针对通过运动补偿进行的预测实施的主要步骤。

可注意到，本发明可适用于如H.264标准中所理解的块以及宏块。因此，描述中的术语《块》根据此标准的意义必须理解为表示《宏块》或《块》，其不包括相反的指示。

如图1A中说明，通过对图像序列的当前图像的至少一个块的运动补偿(11)进行的预测针对第一图像的至少给定块b_C实施以下步骤：

-确定(111)用于块b_C的多个控制向量vb_C，每一控制向量表示块b_C的特征点与其在第二图像中的对应位置之间的移位；

-将块b_C至少一次再分(112)为子块b_SC1、b_SC2等；

-基于用于块的控制向量vb_C而确定(113)用于子块的多个控制向量vb_SC1、vb_SC2等；

-基于根据针对子块确定的控制向量vb_SC1、vb_SC2等执行的运动补偿而确定(114)当前图像的至少一个点的预测值。

特定来说，如果预测实施向后运动补偿，那么第一图像是当前图像且第二图像是参考图像。可回想参考图像对应于经先前编码/解码的图像。

如果预测实施向前运动补偿，那么第一图像是参考图像且第二图像是当前图像。

以此方式，确定至少一个当前图像块的预测，也称为预测块

下文中，提供对经实施以确定帧间编码块的预测的不同步骤的更详细描述。用于确定控制向量和用于将块再分为若干子块的步骤是针对向后运动补偿的情况而描述的，根据向后运动补偿，控制向量从当前图像指向一个或一个以上参考图像。所属领域的技术人员将不难用参考图像替换当前图像来将此教示延伸到向前运动补偿，根据向前运动补偿，控制向量从参考图像指向当前图像，且反之亦然。接着针对两种类型的运动补偿中的每一者来描述用于确定点或像素的预测值的步骤。

A)确定控制向量

首先，以经典方式，针对当前图像I_C的块b_C确定运动向量。此运动向量表示为v。

接着针对块b_C确定(111)多个控制向量vb_C。在此实施例中，针对块确定四个控制向量，每一控制向量与块的一顶点或隅角相关联。

举例来说，说明以下内容

-v_br，与位于块b_C的右下方的隅角相关联的控制向量；

-v_bl，与位于块b_C的左下方的隅角相关联的控制向量；

-v_tr，与位于块b_C的右上角的隅角相关联的控制向量；

-v_tl，与位于块b_C的左上角的隅角相关联的控制向量。

这些控制向量以零值初始化。

在编码侧，将块b_C在当前图像I_C中的位置与其相邻者的位置进行比较，且将对应块在参考图像I_R中的位置与其相邻者的位置进行比较。

举例来说，如果块b_C和位于上方的块在运动补偿之后具有对当前图像和参考图像两者共同的脊部，那么意味着所述两个块垂直连接。

接着将值1指派给第一旗标flag_tc。

如果块b_C和位于其左边的块在运动补偿之后具有对当前图像和参考图像两者共同的脊部，那么意味着所述两个块水平连接。

接着将值1指派给第二旗标flag_lc。

这些旗标用以表示块b_C及其相邻者(顶部或左边)在当前图像与参考图像之间的运动。其可用以确定控制向量。这些旗标可用以在控制向量由解码器接收的情况下重构控制向量。

任选地，对于具有减少信令的实施方案，两个旗标flag_tc和flag_lc可被限于采用同一值。其接着由单个旗标(采用单个值0或1的flag_c)表示。在此变体中，因此解码器使用唯一旗标来重构控制向量。

在对当前和参考图像进行分析之后，确定用于块b_C的控制向量v_br、v_bl、v_tr和v_tl，如图2中提出。

举例来说，向与位于块b_C的右下方的隅角相关联的控制向量v_br分配(21)针对块预界定的运动向量v。

接着进行检查(22)以查看flag_lc是否等于1，等于1意味着块b_C和位于其左边的块水平连接。

还进行检查(231、232)以查看flag_tc是否等于1，等于1意味着块b_C和位于上方的块垂直连接。

如果flag_lc等于1，那么控制向量v_bl采用位于块b_C的左边的块的控制向量v_br的值(v_bl＝v_br(left_block))。选择这些符号以便于所属领域的技术人员对等式的阅读和理解。

此外，在垂直连接模式中(旗标flag_tc等于1)，控制向量v_tr采用位于块b_C的上方的块的控制向量v_br的值(v_tr＝v_br(top_block))，且控制向量v_tl采用位于块b_C的上方的块的控制向量v_bl与位于块b_C的左边的块的控制向量v_tr的平均值(v_tl＝moy[v_tr(left_block)，v_bl(top_block)])。

在垂直未连接模式中(flag_tc等于0)，控制向量v_tl采用位于块b_C的左边的块的控制向量v_tr的值(v_tl＝v_tr(left_block))，且根据块b_C的三个其它控制向量而获得控制向量v_tr(v_tr＝v_tl+v_br-v_bl)。

如果在步骤22期间观察到flag_lc不等于1，这意味着块b_C和位于其右边的块处于未连接模式，那么获得：

-在垂直连接模式中(旗标flag_tc等于1)：

○控制向量v_tr采用位于块b_C的上方的块的控制向量v_br的值(v_tr＝v_br(top_block))；

○控制向量v_tl采用位于块b_C的上方的块的控制向量v_bl的值(v_tl＝v_bl(top_block))；

○根据块b_C的其它三个控制向量而获得控制向量v_bl(v_bl＝v_tl+v_br-v_tr)；

-在垂直未连接模式中(flag_tc等于0)：

○控制向量v_tl、v_tr和v_bl全部采用块b_C的控制向量v_br的值(v_bl＝v_tl＝v_br＝v_tr＝v)。

特定来说，如果块在其左边不具有任何相邻者，那么与其左上角和左下角相关联的控制向量是根据针对其右上角和右下角确定的控制向量来界定(v_bl＝v_br且v_tl＝v_tr)。以相同方式，如果块在其上方不具有相邻者，那么与其左上角和右上角相关联的在其上方的控制向量是基于针对其左下角和右下角确定的控制向量来界定(v_tl＝v_bl且v_tr＝v_br)。如果块在左边不具有相邻者且在上方也不具有相邻者，那么与其左上角、右上角和右下角相关联的控制向量是基于针对其右下角确定的控制向量来界定(v_bl＝v_tl＝v_tr＝v_br)。

根据所呈现的实施例，以用于块b_C的控制向量的重构的信息的形式将旗标flag_lc和flag_tc传输到解码器。

特定来说，旗标可由一组块或再次逐个块来界定。此外，可在给定块的运动向量v的界定期间利用这些旗标。事实上，这些条信息可例如用于用于与给定块相关联的运动向量的预测的预测模式中。

因此，如果给定块和位于其上方的块连接且如果给定块不连接到位于其左边的块，那么对给定块的运动向量的编码可借助于由位于上方的块的运动向量界定的预测来完成(而不是如在现有技术的编码器中使用那样基于相邻块的中值向量进行预测)。

类似地，如果给定块和位于其左边的块连接，且如果给定块不连接到位于其上方的块，那么对给定块的运动向量的编码可借助于由位于其左边的块的运动向量界定的预测来完成(而不是如在现有技术的编码器中使用那样基于相邻块的中值向量进行预测)。

此外，根据所呈现的实施例，仅可对一个运动向量(向量v(v＝v_br))进行编码。其它运动向量(v_tr，v_tl，v_bl)可借助于旗标flag_lc和flag_tc来界定。

图3A到图3F尤其说明针对通过向前运动补偿进行的预测确定用于当前图像I_C的块b_C的控制向量，根据向前运动补偿，控制向量从当前图像I_C指向参考图像I_R。

更具体来说，图3A说明在位于块b_C的左边和上方的块一致的情况下确定用于块b_C的控制向量，所述一致即指位于块b_C的上方的块的左下角和位于块b_C的左边的块的右上角连接且旗标flag_lc和flag_tc等于1。

图3B说明位于块b_C的左边和上方的块一致、flag_lc等于1且flag_tc等于0的情况。

图3C说明位于块b_C的左边和上方的块一致、flag_lc等于0且flag_tc等于1的情况。

图3D说明位于块b_C的左边和上方的块一致、且旗标flag_lc和flag_tc等于0的情况。

图3E说明位于块b_C的左边和上方的块不一致(即位于块b_C的上方的块的左下角和位于块b_C的左边的块的右上角不同)、flag_lc等于1且flag_tc等于0的情况。

图3F说明位于块b_C的左边和上方的块不一致、flag_lc等于0且flag_tc等于1的情况。

图3G说明位于块b_C的左边和上方的块不一致、且flag_lc和flag_tc等于1的情况。

B)将块再分为若干子块

下文中提供对将块b_C再分为若干子块的步骤112的更精确描述。可回想根据本发明，将当前图像的至少一个块再分为若干子块。

接着使用针对块b_C界定的四个控制向量以便进行内插来界定不同子块的控制向量。举例来说，针对每一子块确定四个控制向量。

因此，如图4中说明，将块b_C例如再分为四个子块b_SC1、b_SC2、b_SC3和b_SC4。附接到块b_C的控制向量经内插以界定用于子块的新控制向量。举例来说，使用以下符号：

-v_ml，与位于子块b_SC1的左下方的隅角相关联的控制向量，还对应于位于子块b_SC3的左上方的隅角；

-v_tm，与位于子块b_SC1的顶部的隅角相关联的控制向量，还对应于位于子块b_SC2的左上方的隅角；

-v_mr，与位于子块b_SC2的右下方的隅角相关联的控制向量，还对应于位于子块b_SC4的右上方的隅角；

-v_bm，与位于子块b_SC3的右上方的隅角相关联的控制向量，还对应于位于子块b_SC4的左下方的隅角；以及

-v_mm，与位于子块b_SC1的右下方的隅角相关联的控制向量，还对应于位于子块b_SC2的左下方的隅角、位于子块b_SC3的右上方的隅角和位于子块b_SC4的左上方的隅角。

接着根据用于块b_C的控制向量确定用于子块的控制向量，例如如下：和$v_{\mathrm{mm}}=\frac{v_{\mathrm{tl}}+v_{\mathrm{tr}}+v_{\mathrm{bl}}+v_{\mathrm{br}}}{4}.$

接着将这些控制向量分配给不同子块：

-位于左上方的子块b_SC1具有运动向量v_tl、v_tm、v_ml、v_mm作为控制向量；

-位于左上方的子块b_SC2具有运动向量v_tm、v_tr、v_mm、v_mr作为控制向量；

-位于左下方的子块b_SC3具有运动向量v_ml、v_mm、v_bl、v_bm作为控制向量；

-位于右下方的子块b_SC4具有运动向量v_mm、v_mr、v_bm、v_br作为控制向量。

再分的次数可取决于若干参数。举例来说，其可由针对一组块界定的总体参数界定，否则为按块自适应的。因此，将块分割为针对其进行特定预测的具有较小大小的子块。接着，出现可变块大小以便获得运动补偿。

更具体来说，可根据块的大小或根据块的子块的预界定数目来界定再分的次数。举例来说，大小为16x16的宏块可再分为8个大小为4x8或8x4的块或四个大小为8x8的块，或再分为由两个大小为8x16或16x8的块形成的块。

根据一个变体，将与块b_C相关联的控制向量两两比较以便获得关于相似性的一条信息。接着仅在关于相似性的信息高于至少一个预定阈值的情况下将块b_C再分为若干子块。

在其为按块自适应的情况下，可将待进行再分的次数界定为控制向量的幅值之间的最大差(例如通过最大差的值的简单量化)。

C)针对当前图像的子块的向后运动补偿确定当前图像的至少一个点的预测值。

下文呈现用于根据基于当前图像的子块确定的控制向量执行的向后运动补偿来确定当前图像的至少一个像素的预测值的步骤114，如图5中所说明。

给定一子块及其四个控制向量，借助于以下等式针对此子块的任一点x建立预测P(x)：

P(x)＝w₁(x)I_R(x+v₁)+w₂(x)I_R(x+v₂)+w₃(x)I_R(x+v₃)+w₄(x)I_R(x+v₄)

其中：对于子块b_SC1，(v₁，v₂，v₃，v₄)＝(v_tl，v_tm，v_mm，v_ml)；

对于子块b_SC2，(v₁，v₂，v₃，v₄)＝(v_tm，v_tr，v_mr，v_mm)；

对于子块b_SC3，(v₁，v₂，v₃，v₄)＝(v_ml，v_mm，v_bm，v_bl)；以及

对于子块b_SC4，(v₁，v₂，v₃，v₄)＝(v_mm，v_mr，v_br，v_bm)。

可如本文在上文提到的文献“On Spatial Adaptation of MotionField Smoothness in Video Coding”中描述那样确定加权值w₁(x)、w₂(x)、w₃(x)、w₄(x)。也可想到其它已知技术。

因此，确定当前图像I_C的至少一个块的预测。

D)针对参考图像的子块的向前运动补偿确定当前图像的至少一个点的预测值。

下文呈现用于根据基于针对参考图像的子块确定的控制向量执行的向前运动补偿来确定当前图像的至少一个像素的预测值的步骤114。

在向前运动补偿的情况下，可通过一个或一个以上参考图像的若干块来预测当前图像的块。为了针对当前图像的点计算预测值，必须在当前图像上投影参考图像的所有块，以便确定哪些块可用以预测当前图像的点。

下文提出用于针对当前图像构造预测图像的算法。

在第一步骤期间，初始化预测图像。因此，对于图像的任一点x，存在：RI(x)＝0、RW(x)＝0。RI对应于其中由参考图像的块给出的所有预测值经加权且累加的预测图像，RW对应于权重累加图像。

对于任一子块b_SC1、b_SC2、...，实施以下步骤：

-对于子块的每一运动向量，在ab等于tl、tr、bl且接着br的情况下更新预测图像。对于子块中的任一x：

-累加点RI(x+v_ab)处的值w_ab(x)＊P(x)：RI(x+v_ab)+＝w_ab(x)＊P(x)，

P(x)为子块的点x处的预测；

-累加点RW(x+v_ab)处的值w_ab(x)：RW(x+v_ab)+＝w_ab(x)。

在向前运动补偿期间使用的权重w_ab可采用在向后运动补偿中使用的权重的值以及不同的值。特定来说，其值可不同且可按块自适应。举例来说，此自适应可取决于控制运动向量的相似性。

接着针对图像中的任一点x而将预测图像标准化：

-如果RW(x)不等于0，那么将RI(x)除以RW(x)：

RW(x)！＝0thenRI(x)/＝RW(x)；

-如果否，则将RI(x)更新为预界定值UNDEF，例如值0。

任选地，修改RW(x)等于0的未界定值以便具有相对于其相邻者更可能的值。此最后的步骤可以不同方式执行，例如在针对未界定的任何值界定在预测图像中最近的点y的值时，所述值具有准确界定的值(即，RW(y)不等于0)。

以此方式，界定对当前图像块IC的预测。

5.3编码

下文中，参看图1B，界定例如在H.264型视频编码器中实施的主要编码步骤。特定来说，本发明的方法可以各种方式、尤其以有线形式或软件形式来实施。

如图1B中所说明，本发明的编码方法可包含用于实施通过如上文参看图1A所描述的运动补偿进行的预测来对图像序列的当前图像I_C的至少一个块b_C进行编码的编码步骤11。

以此方式，确定对至少一个当前图像块b_C的预测，也称为预测块

接着传统地确定对应于当前图像块与预测块之间的差的预测误差残差。

最终，在步骤12处，将与重构用于块b_C的控制向量相关的信息插入到表示图像序列的信号中。

举例来说，这些条重构信息采用表示块b_C与至少一个相邻块之间的运动的连接旗标的形式，或者其直接包括用于块b_C的控制向量。

还将预测误差残差插入到信号中。这些残差可由解码器在图像序列的重构期间使用。

接着可传输表示图像序列的信号和/或将其存储在记录媒体上。

5.3信号

一旦经编码，便将序列的图像传输到解码器。

此外，将与重构用于块b_C的控制向量相关的信息元素插入到此信号中。举例来说，这些条重构信息包含旗标flag_lc和flag_tc。

根据一个实施例，还将预测误差残差插入到信号中，尤其是将由解码器在图像序列的重构期间使用的运动向量v的预测残差。

还可能插入指定块b_C在编码器处经历的再分操作的次数的旗标。以此方式，确保在编码器进行预测期间执行的再分等于在解码器进行预测期间执行的再分。

5.4解码

现在参看图6，呈现例如H.264型视频解码器实施的解码的主要步骤。

本发明的方法可以各种方式、尤其以有线形式或软件形式实施。

假定解码器接收到例如根据本文在上文描述的编码方法而经编码的表示图像序列的信号。

更具体来说，如图6中所说明，根据本发明的解码方法具有用于根据对待重构图像的预测来重构序列的至少一个图像的步骤61，以及用于获得与重构用于待重构消息或参考图像的至少一个给定块b_C的控制向量相关的信息的步骤62。

根据此实例，针对待重构图像或参考图像的至少给定块b_C实施以下步骤：

-基于重构信息而确定(611)用于块b_C的多个控制向量vb_C，每一控制向量表示块b_C的特征点与其在参考图像中或待重构图像中的对应位置之间的移位；

-将块b_C至少一次再分(612)为子块b_SC1、b_SC2等；

-基于用于此块的控制向量而确定(613)用于子块的多个控制向量vb_SC1、vb_SC2等；

-基于根据针对子块确定的控制向量进行的对子块中的至少一者的运动补偿而确定(614)待重构图像的至少一个像素的预测值。

以此方式，针对待重构图像的至少一个块确定预测，也称为预测块

接着，传统地添加在预测块的编码期间确定的预测误差残差，以便确定待重构图像的经重构块。

用于确定用于块的多个控制向量的步骤611、将块再分(612)为若干子块、确定(613)用于子块的多个控制向量以及确定(614)待重构图像的至少一个像素的预测值类似于在编码期间实施的那些步骤，且因此此处不再更详细描述。

特定来说，可注意到此用于确定用于块b_C的多个控制向量vb_C的步骤611考虑了在步骤62期间获得的关于重构的信息。

根据第一变体，关于重构的这些条信息尤其采用插入到表示编码器处的图像序列的信号中的至少一个连接旗标的形式。举例来说，这些条重构信息包含flag_tc和flag_lc。

根据第二变体，关于重构的这些条信息采用用于块b_C的控制向量的形式，其直接在流中传输。

5.5运动的颠倒

如本文在上文指示，所提出的技术使得能够使用向前和/或向后投影对图像序列进行编码/解码。

因此，基于块界定的运动可颠倒且可使得能够进行通过向前投影(基于参考图像界定的运动向量)、若干条信息(在当前图像中对运动的纹理值的预测)或所有其它有用信息(例如对关于深度的信息进行编码的3D视频编码器的关于深度的一条信息)来进行编码/解码的过程。

通过运动颠倒重构的图像是借助于本文在上文描述的再分为子块而获得的。此经重构图像可在编码器中和/或在解码器中使用。

5.6编码器和解码器的结构

现在参看图7和图8，最终呈现编码装置和解码装置的简化结构，其分别实施本文在上文描述的编码技术和解码技术。

如图7中所说明的编码装置包括包含缓冲存储器的存储器71，和例如配备微处理器μP且由计算机程序73驱动的处理单元72，所述计算机程序73实施根据本发明的编码方法。

在初始化时，将计算机程序代码指令73例如加载到RAM中且接着由处理单元72的处理器执行。处理单元72在输入处接收待编码的至少一个图像或待编码图像的块。处理单元72的微处理器根据计算机程序73的指令实施本文在上文描述的编码方法的步骤以确定对待编码的图像或块的预测，且对块或对应图像进行编码。为此，编码装置除了缓冲存储器71以外还包括使块与序列的参考图像中的至少一个对应块相关联的预测构件，和用于在表示序列的信号中插入与重构用于块的控制向量相关的信息的构件，所述预测构件包括用于确定用于块的多个控制向量的构件、用于将块再分为若干子块的构件、用于确定用于子块的多个控制向量的构件以及用于确定当前图像的至少一个像素的预测值的构件。这些构件由处理单元72的微处理器驱动。

如图8中所说明的解码装置包括包含缓冲存储器的存储器81，和例如配备微处理器μP且由计算机程序83驱动的处理单元82，所述计算机程序83实施根据本发明的编码方法。

在初始化时，将计算机程序代码指令83例如加载到RAM中且接着由处理单元82的处理器执行。处理单元82在输入处接收包括用于重构与至少一个给定块相关联的控制向量的若干条信息的表示图像序列的信号。控制单元82的微处理器根据计算机程序83的指令实施本文在上文描述的解码方法的步骤以确定对给定块的预测，且重构对应图像。为此，解码装置除了缓冲存储器81以外还包括重构所述序列的至少一个图像的构件和用于获得与重构用于至少一个给定块的控制向量相关的信息的构件，所述重构构件包括预测构件，所述预测构件包括用于确定用于块的多个控制向量的构件、用于再分为若干子块的构件和用于确定用于子块的多个控制向量的构件、用于确定待重构图像的至少一个像素的预测值的构件。这些构件由处理单元82的微处理器驱动。