使用预测信号和变换编译信号预测视频信号的方法和装置

技术领域

本发明涉及用于编码和解码视频信号的方法和装置，并且更具体地，涉及使用预测信号和变换编译信号的预测技术。

背景技术

压缩编译指的是用于经由通信线路发送数字化的信息或者以适用于存储介质的形式存储数字化的信息的一组信号处理技术。介质，诸如视频、图像和语音可以是压缩编译的对象。具体地，用于对视频执行压缩编译的技术称作视频压缩。

许多的介质压缩技术基于两种解决方法：预测编译和变换编译。具体地，混合编译技术包括使用预先解码的上下文值空间预测采样并对预测的误差执行变换编译。这样的过程对高斯信号执行，使得其具有优化的速率失真(RD)值。

但是，普通视频信号需要被更加有效率地编译，因为它们具有不适用于高斯信号的结构。

同时，在出现在块的其它部分中的误差的每个中，重要性可能是不同的。因此，存在对能够控制在空间域和频率域这两者中的误差方法的需要。

发明内容

技术问题

本发明的实施例涉及更加有效率地编译具有边缘和方向结构的信号。

本发明的实施例涉及与预测的信号一起使用变换编译的信号来非因果地预测视频信号。

本发明的实施例涉及基于非正交变换来编译视频信号。

本发明的实施例涉及获得最小化失真的优化的变换系数。

本发明的实施例涉及导出速率失真(RD)优化的量化步长。

本发明的实施例涉及使用具有形式和参数的非正交变换来表示本发明可以适用于其的非因果的编译技术。

本发明的实施例涉及在空间域和频率域这两者中控制量化误差。

本发明的实施例涉及定义不同的对角矩阵以便区分在空间域上误差的重要性。

本发明的实施例涉及提出从速率失真(RD)的视点来计算优化对角矩阵的方法。

本发明的实施例涉及提出在空间域上更加精细地控制量化误差的方法。

技术方案

本发明提出更加有效率地编译具有边缘和方向结构的信号的方法。

此外，本发明提出与预测的信号一起使用变换编译的信号来非因果地预测视频信号的方法。

此外，本发明提出基于非正交变换来编译视频信号的方法。

此外，本发明提出用于获得优化的变换系数的量化算法。

此外，本发明提出导出优化的量化步长的方法。

此外，本发明提出可以由具有形式和参数的非正交变换表示的非因果的编译技术。

此外，本发明提出使用所有已经重建的信号和上下文信号来产生优化预测信号的方法。

此外，本发明提出在空间域和频率域这两者中控制量化误差的方法。

此外，本发明定义不同的对角矩阵以便区分在空间域上误差的重要性。

此外，本发明提出从速率失真(RD)的视点来计算优化对角矩阵的方法。

此外，本发明提出在空间域上更加精细地控制量化误差的方法。

有益效果

本发明能够使用所有解码信息来执行更加精细和先进的预测。

此外，本发明可以通过与预测的信号一起使用变换编译的信号来非因果地预测视频信号而更加有效率地编译具有边缘和方向结构的信号。

此外，本发明可以通过提出可以由具有形式和参数的非正交变换表示的非因果的编译技术来执行更加精细和先进的预测。

此外，本发明可以通过提出用于获得优化的变换系数的量化算法来最小化量化误差。

此外，本发明可以通过提出导出优化的量化步长的方法来执行更加先进的编译。

此外，本发明可以使用所有已经重建的信号和上下文信号来产生优化预测信号。

此外，本发明可以通过在空间域和频率域这两者中控制量化误差来执行更加先进的编译。

附图说明

图1和2是执行视频编译的编码器和解码器的简略框图；

图3和4图示本发明可以适用于其的实施例，并且是先进的编译方法已经适用于其的编码器和解码器的简略框图；

图5和6图示本发明可以适用于其的实施例，并且定义图示使用预先编译的像素执行预测方法的层；

图7图示本发明可以适用于其的实施例，并且是图示使用对于每个层预先编译的像素执行预测方法的流程图；

图8图示本发明可以适用于其的实施例，并且是图示用于获得优化系数的量化过程的流程图；

图9图示本发明可以适用于其的实施例，并且是图示用于获得优化系数的量化过程的详细流程图；

图10图示本发明可以适用于其的实施例，并且是图示获得优化的量化步长过程的流程图；

图11和12图示本发明可以适用于其的实施例，其中图11图示本发明已经适用于其的测试图像，以及图12图示速率增益对测试图像的百分比；

图13图示本发明可以适用于其的实施例，并且是图示改进的预测编译方法的简略流程图；

图14图示本发明可以适用于其的实施例，并且是图示基于优化的量化步长执行量化的方法的简略流程图；

图15和16图示本发明可以适用于其的实施例，并且是改进的编译方法经由量化误差的控制已经适用于其的编码器和解码器的简略框图；

图17图示本发明可以适用于其的实施例，并且是图示经由速率失真(RD)优化过程获得缩放对角矩阵(scaling diagonal matrix)过程的流程图；

图18图示本发明可以适用于其的实施例，并且是图示在使用优化的缩放矩阵执行编译的情形下，和在使用现有的方法执行编译的情形下，在相应的图像的编译增益之间的比较的图形；

图19和20图示本发明可以适用于其的实施例，并且是先进的编译方法已经适用于其的编码器和解码器的简略框图；以及

图21图示本发明可以适用于其的实施例，并且是图示先进的视频编译方法的简略流程图。

具体实施方式

本发明的实施例提供一种编码视频信号的方法，包括：接收原始视频信号；将原始视频信号与可用重建信号进行比较；基于比较的结果来生成变换编译校正的信号；基于变换编译校正的信号和可用重建信号来生成预测信号；以及通过将变换编译的校正信号添加到预测信号来重建信号。

在本发明的一个方面中，该方法进一步包括：确定缩放参数以最小化失真分量和速率分量的总和，以及基于缩放参数来执行对变换编译的校正信号的量化。

在本发明的一个方面中，失真分量指示在原始视频信号和重建信号之间的总失真，以及速率分量指示发送量化系数所要求的比特的数目。

在本发明的一个方面中，从量化参数值来确定缩放参数。

在本发明的一个方面中，该方法进一步包括：将要被编译的原始视频信号分解成多个层。

在本发明的一个方面中，非正交变换矩阵被用于重建信号。

本发明的另一实施例提供一种解码视频信号的方法，包括：接收包括最佳量化系数的视频信号；基于最佳量化系数来获得残留误差向量；以及通过将残留信号添加到预测信号来重建视频信号，其中基于所有先前重建的信号已经获得最佳量化系数。

在本发明的一个方面中，解码方法进一步包括：从视频信号提取缩放参数，以及基于缩放参数来执行对最佳量化系数的量化。

本发明的另一实施例提供一种编码视频信号的装置，包括：接收单元，该接收单元被配置成接收原始视频信号；优化器，该优化器被配置成将原始视频信号与可用重建信号进行比较，并且基于比较的结果来生成变换编译的校正信号；预测单元，该预测单元被配置成基于变换编译的校正信号和可用重建信号来生成预测信号；以及重建单元，该重建单元被配置成通过将变换编译的校正信号添加到预测信号来重建信号。

在本发明的一个方面中，编码装置进一步包括：优化器，该优化器被配置成确定缩放参数以最小化失真分量和速率分量的总和；以及量化单元，该量化单元被配置成基于缩放参数来执行对变换编译的校正信号的量化。

本发明的另一实施例提供一种解码视频信号的装置，包括：接收单元，该接收单元被配置成接收包括最佳量化系数的视频信号；反变换单元，该反变换单元被配置成基于最佳量化系数来获得残留误差向量；以及重建单元，该重建单元被配置成通过将残留信号添加到预测信号来重建视频信号，其中基于所有先前重建信号已经获得最佳量化系数。

在本发明的一个方面中，解码装置进一步包括：去量化单元，该去量化单元被配置成从视频信号提取缩放参数，以及基于缩放参数来执行对最佳量化系数的量化。

用于发明的模式

在下文中，按照本发明的实施例示范的单元和操作参考伴随的附图描述。但是，注意到，参考附图描述的本发明的单元和操作被仅仅作为实施例提供，并且本发明的技术精神和核心配置和操作不受限于此。

此外，在本说明书中使用的术语是现在广泛地使用的公用术语，但是，在特定的情形下，使用由本申请人随机地选择的术语。在这样的情况下，相应的术语的含义在对应部分的详细说明中清楚地描述。因此，应当注意，本发明不应该认为是仅仅基于在本说明书的相应的描述中使用的术语的名称，并且本发明应该通过检查甚至相应的术语的含义解释。

此外，在本说明书中使用的术语是选择描述本发明的常见术语，但是，如果存在具有类似含义的这样的术语，可以以其他术语替换以更加适合于分析。例如，信号、数据、采样、图片、帧和块可以在每个编译过程中适当地替换和解释。

图1和2图示执行媒体编译的编码器和解码器的简略框图。

图1的编码器100包括变换单元110、量化单元120、去量化单元130、反变换单元140、缓存器150、预测单元160和熵编码单元170。图2的解码器200包括熵解码单元210、去量化单元220、反变换单元230、缓存器240和预测单元250。

编码器100接收原始视频信号，并且通过从原始视频信号减去由预测单元160输出的预测信号产生预测误差。产生的预测误差被发送给变换单元110。变换单元110通过将变换方案适用于预测误差产生变换系数。

该变换方案可以例如包括基于块的变换方法和基于图像的变换方法。基于块的变换方法例如可以包括离散余弦变换(DCT)和Karhuhen-Loeve变换。DCT指的是在空间域上的信号被分解为二维的频率分量。在块内朝着左上角的方向具有低频率分量和在块内朝着右下角的方向具有高频率分量的图案被形成。例如，64个二维的频率分量(其被设置在左上角上)的仅一个可以是直流(DC)分量，并且可以具有0的频率。剩余的频率分量可以是交流(AC)分量，并且可以包括从最低的频率分量到较高的频率分量的63个频率分量。执行DCT包括计算包括在原始视频信号块中的基础分量(例如，64个基础图案分量)每个的大小，基础分量的大小是离散余弦变换系数。

此外，DCT是用于简单表示为原始视频信号分量的变换。在反变换时，原始视频信号从频率分量被完全重建。也就是说，仅仅表示视频的方法被改变，并且除了冗余信息之外包括在原始视频中的所有信息块被保留。如果对原始视频信号执行DCT，则与原始视频信号的幅度分布不同，DCT系数聚集在接近于0的值。因此，可以使用DCT系数获得高压缩效果。

量化单元120量化产生的变换系数，并且将量化系数发送给熵编码单元170。熵编码单元170对量化的信号执行熵编译，并且输出熵编译的信号。

量化单元120将用于输入数据的输入值的特定范围映射为单个代表值。量化可以通过输入数据除以量化步长计算，如以下的公式1。

[公式1]

$>Y=Sign\left(X\right)*Round\left\{\frac{\left|X\right|}{Q}\right\}$>

在公式1中，Y表示量化的数据、X表示输入数据，并且Q表示量化步长。函数Sign()是用于获得数据的符号的操作，并且函数Round()表示取整操作。量化步长可以由量化范围表示。此外，在本说明书中，量化步长可以指的是缩放参数(scaling parameter)。当执行视频编译时，量化步长可以变化。压缩比例可以使用变化的量化步长控制。同时，使用整数值的量化参数可以被使用，代替量化步长。

在量化过程中，如以下的公式2，量化系数C’可以通过输入变换系数C除以量化步长Q获得。

[公式2]

C′＝C/Q

在公式2中，C’表示量化系数，C表示输入变换系数，并且Q表示量化步长。

同时，由量化单元120输出的量化的信号可用于产生预测信号。例如，在编码器100的环路内的去量化单元130和反变换单元140可以对量化的信号执行去量化和反变换，使得量化的信号被重建为预测误差。可以通过将重建的预测误差加到由中间预测单元160输出的预测信号产生重建的信号。

缓存器150存储重建的信号用于预测单元160未来参考。预测单元160使用存储在缓存器150中预先重建的信号产生预测信号。

图2的解码器200接收由图1的编码器100输出的信号。熵解码单元210对接收的信号执行熵解码。去量化单元220基于有关量化步长的信息从熵解码的信号获得变换系数。反变换单元230通过对变换系数执行反变换获得预测误差。通过将获得的预测误差加到由预测单元250输出的预测信号产生重建的信号。

去量化单元220可以通过量化的数据乘以去量化缩放值Q计算重建的数据，如以下的公式3。

[公式3]

X′＝Y＊Q

在公式3中，X’表示重建的数据，Y表示量化的数据，并且Q表示去量化缩放值。去量化缩放值Q可以具有与量化步长相同的值。

缓存器240存储重建的信号用于预测单元250未来参考。预测单元250使用存储在缓存器240中预先重建的信号产生预测信号。

本发明提供在混合视频编译器中的内部预测方法。要压缩的采样值被使用预先编译的上下文值预测，并且预测的误差被变换编译。这样的过程可以对高斯信号执行，使得其具有优化的RD值。普通视频信号包括不适用于高斯信号的许多的信号。因此，本发明针对这样的信号，并且提出用于与预测采样一起使用变换编译的采样和上下文值非因果地预测每个采样的技术。这样的非因果编码可以由包括形式和参数的非正交变换表示。

图3和4图示本发明可以适用于其的实施例，并且是先进的编译方法已经适用于其的编码器和解码器的简略框图。

图3的编码器300包括优化器310、量化单元315、反变换单元320、预测单元330、重建单元340、缓存器350和熵编码单元360。图4的解码器400包括熵解码单元410、去量化单元420、反变换单元430、重建单元440、缓存器450和预测单元460。

优化器310可以从缓存器350提取有关当前块的像素的信息、有关预先解码的块的像素的信息，和有关量化步长的信息的至少一个。在这种情况下，当前块的像素信息可以由排列为矢量的要编译的块的像素表示。预先解码的块的像素信息可以由排列为矢量的预先解码的块的像素表示。量化步长信息可以由排列为矢量的量化步长表示。

优化器310可以基于当前块的像素信息、预先解码的块的像素信息，和量化步长信息的至少一个获得变换系数C(i,j)。变换系数C(i,j)可以指的是去量化的变换系数。

反变换单元320可以接收获得的变换系数C(i,j)，并且对接收的变换系数C(i,j)执行反变换。反变换单元320可以通过对接收的变换系数C(i,j)执行反变换获得残留信号“res(i,j)”。

预测单元330可以从缓存器350提取有关预先解码的块的像素的信息。预测单元330可以使用预先解码的块的像素和从先前的层重建的像素的至少一个预测当前层的像素。预测单元330可以通过执行这样的预测获得预测信号“pred(i,j)”。在这种情况下，假设当前块是B×B块，水平分量是j，并且垂直分量是i，当前层L_k的像素可以由设置在位置(k，i)和(j，k)(i＝1、…、B，j＝1、…、B，k＝1、…、B)的像素表示。在这种情况下，从先前的层重建的像素可以由所有先前的层L₁、…、L_k-1的重建的像素表示。这些将参考图5和6更详细地描述。

重建单元340可以通过将由预测单元330获得的预测信号“pred(i,j)”和由反变换单元320获得的残留信号“res(i,j)相加获得重建的信号“rec(i,j)”。在这种情况下，重建的信号“rec(i,j)”可以指的是当前层L_k的重建的信号。重建的信号“rec(i,j)”被发送给缓存器350，供下一层未来的预测。

由优化器310获得的变换系数C(i,j)被发送给量化单元315。

量化单元315执行量化处理，并且将量化的变换系数发送给熵编码单元360。

在这种情况下，变换系数C(i,j)可以指的是速率失真(RD)优化的变换系数。此外，量化处理可以通过变换系数C(i,j)除以量化步长执行。

熵编码单元360可以接收量化的变换系数，并且对接收的变换系数执行熵编码。图4的解码器400可以接收由图3的编码器300输出的信号。

熵解码单元410可以接收比特流，并且对该比特流执行熵解码。

去量化单元420可以使用量化步长信息从熵解码的信号获得变换系数。

反变换单元430可以通过对变换系数执行反变换获得残留信号“res(i,j)”。

重建单元440可以通过将由预测单元450获得的残留信号“res(i,j)”和预测信号“pred(i,j)”相加获得重建的信号“rec(i,j)”。重建的信号“rec(i,j)”可以被发送给缓存器450，并且存储在其中。此外，重建的信号“rec(i,j)”可以被发送给预测单元450，用于接下来信号未来的预测。

参考图3的编码器300描述的实施例可以适用于图4的解码器400的单元的操作。

本发明可以适用于其的混合视频编译器通过使用预先解码的采样(即，上下文值)，空间地预测采样执行有效率的预测编译，并且对预测的误差执行变换编译。

在这样的编译方法中，对于其块变换已经部分地优化的偶数信号连贯地执行块变换。例如，部分地优化的信号可以包括具有很大块间相关性的信号，和具有边缘和不同的方向特性的信号。因此，空间预测操作可以被认为是不太适配于精细预测处理，因为其产生更加适配于简单变换压缩的预测信号。这样的预测操作的效率可以强烈地取决于具有高斯信号的基本处理，因为预测操作使用上下文值来执行。

为了详细地讨论，考虑一维的示例，其中序列x_i(i＝1～N)被使用上下文采样x₀压缩。

例如，x包括来自目标块的一系列的水平或者方向的像素，对其使用使用上下文采样x₀执行方向性预测。在这种情况下，上下文采样x₀可以从预先解码的块的边缘中获得。上下文采样x₀被假设为在编码器和解码器这两者中是可用的。假设使用上下文采样x₀的x_i的线性预测是P_i(x₀)，残留信号“r_i”可以如在以下的公式4中定义的。

[公式4]

r_i＝x_i-P_i(x₀)

在其经历按照编译过程的变换编译、经历按照解码过程的变换解码之后，残留信号“r_i”可以如在以下的公式5中表示的。

[公式5]

$>{\hat{x}}_i=P_i\left(x_0\right)+{\hat{r}}_i$>

在公式5中，x^_i表示重建的信号。

如果优化的线性预测器被获得，并且使用KLT，则该过程对于高斯序列的压缩可以逐渐地变为最佳。但是，该过程可能不适用于许多的图像/视频结构，诸如，高斯建模。因此，在本发明的实施例中，预测方法可以使用在解码过程期间使用所有解码信息的更好的预测器进一步改进。本发明可以对于具有边缘和方向结构的视频信号具有出色的效果。

在下文中，首先，基本想法经由本发明的一维的示例描述。接下来，通过集中于线性预测器论述在本发明和DPCM之间的联系，并且等效的非正交变换将被导出。此外，在论述编解码器设计之后，描述使用非正交变换的压缩和速率失真(RD)优化的量化参数的导出。最后，描述本发明可以适用于其的模拟结果的细节。

在变换解码之后，解码器可以访问所有残留采样。但是，当解码第i个采样x^_i时，其仅仅使用x₀和r_i。具体地，当解码x^_i+1时，解码器已经重建x^_i，与x₀相比，其通常是x^_i+1的更好的预测器。在本发明中，解码链可以设计如以下的公式6。

[公式6]

因为解码器具有可用的所有变换解码的残留，所以这个链和增强的预测器P^t可能是合理的。相应的编码链可以被描述为最佳编译的变换系数的选择，当在公式6中馈送进变换解码器时，其导致x^，其在给定的目标比特率上具有最小失真。

虽然本发明对于非线性的预测功能可以通用化，其将保持可计算的简单、线性预测器，但是使用最靠近的可用的采样，而不是始终使用x0实现预测。对于一维的示例，本发明可以构成公式7。

[公式7]

$>\left(\begin{array}{c}{\hat{x}}_1=P_1\left(x_0\right)+{\hat{r}}_1=x_0+{\hat{r}}_1,\\ {\hat{x}}_2=P_2\left({\hat{x}}_1\right)+{\hat{r}}_2=x_0+{\hat{r}}_1+{\hat{r}}_2,\\ ·\\ ·\\ ·\\ {\hat{x}}_N=P_N\left({\hat{x}}_{N-1}\right)+{\hat{r}}_N=x_0+{\hat{r}}_1+...+{\hat{r}}_N\end{array}\right)$>

在这种情况下，预测可以与单元的预测权重成线性关系。在这个设置中，在公式7中预测P_i(x₀)可以简单地以P_i(x^_i-1)替换。线性预测器的其它的权重和类型可以直接推广。

在下文中，将解释有关与DPCM和等效的非正交变换的关系。

公式7类似于一阶DPCM解码器，其以统一的预测权重操作。DPCM系统将因果地和独立地编码残留，而公式7的解码器对应于非因果地和联合地编码的残留的解码。这是由于r^是在公式6中示出的变换解码器的输出。可以说建议的系统获得DPCM系统的预测精确度，同时经由变换编译利用了残留相关性和其它的DPCM R-D低效。

公式7可以导致矩阵公式8。

[公式8]

$>\hat{x}=F\hat{r}+{\mathrm{Bx}}_0$>

在这里，F是具有公式9的(N×N)下三角形预测矩阵。

[公式9]

这个实施例是具有单位条目的(N×1)矩阵。增强公式8适应变换编译，本发明可以结果形成公式10。

[公式10]

$>\hat{x}=FT\hat{c}+{\mathrm{Bx}}_0,$>

在公式10中，T(N×N)是在压缩(例如，在HEVC中的块DCT/DST)中使用的变换，并且c^是去量化的变换系数。令G＝FT，公式10对应于具有经由公式11非正交变换G的x^-Bx₀的变换编译。

[公式11]

$>\hat{x}-{\mathrm{Bx}}_0=G\hat{c},$>

在这个简单线性形式中，本发明可以是使用非正交变换G的x-Bx₀的变换压缩。

使用基于模式的线性预测器，通过设计F和B矩阵，并导出用于每个预测模式的等效的非正交变换G，建议的解码链可以结合在类似HEVC的基线混合编解码器内。

与基线相比，这样的解码链将仅仅具有微小的复杂度增长，因为其所做的是使用最靠近的采样而不是边缘采样预测。编码链更加复杂，但是，因为其必须选择最佳系数以发送用于解码链。在下文中，本发明将提供编码器必须实现和导出速率失真最佳量化参数的迭代量化算法。

图5和6图示本发明可以适用于其的实施例，并且定义图示使用预先编译的像素执行预测方法的层。

本发明的实施例提供使用预先编译的像素非因果地预测采样的方法。

在这种情况下，当前块的像素和用于预测的预先编译的像素可以使用各种方法确定。

在本发明可以适用于其的实施例中，当前块可以被以至少一个层为单位分解。因此，预先编译的像素可以以每个层为单位确定。

在这种情况下，层单元可以基于按照特定准则设置的像素不同地定义。例如，基于设置在当前块的左上的像素排列在水平和垂直方向中的像素可以定义为单个层。此外，排列在设置在左上的像素的对角方向的像素可以定义为顺序的层。

在这种情况下，层可以定义为一个像素或者多个像素，或者可以定义为块的全部像素。此外，层可以定义为如在5中图示的一组顺序的像素，但是，可以定义为按照情形不是顺序的一组像素。

例如，参考图5，假设当前块是B×B块，并且在块内像素的位置是(i,j)。在这种情况下，i∈{1、2、…、B}，j∈{1、2、…、B}。在这种情况下，基于设置在当前块的左上的像素排列在水平和垂直方向中的像素可以定义为层L₁。也就是说，设置在像素位置(1,j)和(i,1)上的像素可以定义为层L₁。

这可以概括如下。例如，设置在像素位置(k,j)和(i,k)上的像素可以定义为层L_k(k＝1、2、…、B)。

在本发明可以适用于其的实施例中，预先编译的像素可以包括正好在要编译的层之前编译的层的像素。

参考图6，为了预测当前的层L_k，可以使用正好在当前的层L_k之前编译的层L_k-1。在这种情况下，为了预测当前的层L_k，也可以使用邻近当前块的边缘的像素。也就是说，邻近于邻近当前块的已经解码的块的像素可用于预测层L_k。

例如，当前的层L_k可以基于所有先前的层L₁、…、L_k-1的重建的像素和邻近已经解码的块的像素预测。

本发明的另一个实施例可以提供预测形式。

编码器可以将系数(i,j)、i∈{1、2、…、B}、j∈{1、2、…、B}排列为矢量c。其可以如公式12表示。

[公式12]

C((i-1)＊B+(j-1)+1)＝coeffs(i，j)

并且，编码器可以将res(i,j)、i∈{1、2、…、B}、j∈{1、2、…、B}排列为矢量r。其可以如公式13表示。

[公式13]

r((i-1)＊B+(j-1)+1)＝res(i，j)

然后，编码器可以将来自预先解码的块的像素排列为矢量y。

在这种情况下，本发明可以使用如公式14的矩阵乘法实现。

[公式14]

这里是重建的块。

此外，本发明可以使用如公式15的矩阵乘法实现。

[公式15]

这里T是反变换的矩阵等效。

此外，本发明可以使用如公式16的矩阵乘法实现。

[公式16]

这里G＝FT

此外，本发明可以使用如公式17的矩阵乘法实现。

[公式17]

这里G’＝F’T,并且F’和H’是经训练集合优化的矩阵。

同时，参考图5和6描述的实施例可以适用于内部预测，并且也可以适用于供内部预测的各种预测模式。但是，本发明不受限于此。例如，这些实施例也可以适用于中间预测。

图7图示本发明可以适用于其的实施例，并且是图示使用对于每个层预先编译的像素执行预测方法的流程图。

首先，熵编译的系数可以从接收的比特流中提取。在步骤S710可以对熵编译的系数执行熵解码，并且熵解码的系数可以在步骤S720被去量化，从而能够获得变换系数“coeffs(i,j)”。

残留信号“res(i,j)”可以在步骤S730通过对变换系数执行反变换而获得。残留信号“res(i,j)”用于重建当前的层L_k。

为了预测当前的层L_k的像素，可以使用预先解码的块的像素。在这种情况下，当前的层L_k的像素可以在步骤S740一起使用所有先前的层L₁、…、L_k-1的重建的像素被预测。

在步骤S740产生的预测信号“pred(i,j)”可以被加到在步骤S730获得的残留信号“res(i,j)”，从而能够在步骤S750重建当前的层L_k的像素。如上所述产生的重建的信号“rec(i,j)”可用于预测下一个层。

图8图示本发明可以适用于其的实施例，并且是图示用于获得优化系数的量化过程的流程图。

本发明提供一种具有非正交变换的压缩方法。

考虑随机矢量x(N×1)。为了标记的便利，假设上下文预测在x内被吸收。矢量x被使用线性变换G(N×N)表示，其列g_i，i＝1、...、N形成变换基。假设G是满秩，但是，否则是常规的，即，G可以不必正交，并且g_i可以不必是单位范数(norm)。

[公式18]

x＝Gc

在公式18中，c(N×1)是变换系数。系数可以被标量(scalar)量化以得到c^＝Q(c)，其然后被熵编译，并且发送给解码器。

其一个目的是最小化量化失真的相对于非正交基G的标量量化问题可以如公式19编写。

[公式19]

$>\left|\right|x-G\hat{c}\left|\right|$>

虽然本发明可以适应用于与视频编译器兼容的各种量化器，其将如公式20采用。

[公式20]

$>\hat{c}=\Lambda /$>

在公式20中，(N×1)是整数的矢量，并且Λ是量化器步长的对角矩阵，即，具有λ_i，第i个步长的Λ_i,j＝λ_iδ_i,j，并且δ_i,j是克朗内克(Kronecker)符号函数。因此可以导出公式21。

[公式21]

$>\left|\right|x-{\mathrm{G\Lambda }}_l\left|\right|$>

公式21可以识别为网格量化器，就L需要解决整数问题而言，其是最佳解决方案。许多次最佳的技术已经建议用于公式19的解决方案。为了适应快速解决方案，本发明可以随后结合类似于集中在每个系数的一个迭代解决标量量化问题的方法。假设除第i个系数之外的所有系数已经被量化。误差矢量可以如公式22限定。

[公式22]

$>{ϵ}_i=x-\underset{\left\{k\right|1\le k\le N,k\ne i\}}{\Sigma }{g}_k{\hat{c}}_k.$>

没有整数约束条件，失真可以通过选择公式23的第i个系数最小化。

[公式23]

$>c_i^{*}=\arg \underset{d}{min}\left|\right|{ϵ}_i-g_{i}d|{|}^2=g_i^T{ϵ}_i/\left(g_i^T{g}_i\right)$>

对于在公式20中的均匀去量化过程，最佳量化系数可以如公式24获得。

[公式24]

$>\widehat{c_i}={\lambda }_{i}round(c_i^{*}/{\lambda }_i)=U({ϵ}_i,g_i,{\lambda }_i)$>

这可以导致要以下解释的量化算法。

编码器可以在步骤S810执行重复模拟以便获得要发送给解码器的优化系数。

如果作为在当前的系数和先前的系数之间比较的结果，当前的系数满足特定条件，则当前的系数可以被确定为是优化系数。例如，假设当前的系数是C_n，并且先前的系数是C_n-1，是否在当前的系数和先前的系数之间的差值C_n-1–C_n收敛于0可以在步骤S820检查。作为该检查的结果，如果发现差值C_n-1–C_n收敛于0，则当前的系数C_n可以在步骤S830被确定为是优化系数，并且被发送给解码器。作为该检查的结果，如果发现差值C_n-1–C_n没有收敛于0，则当前的系数C_n可以被返回使得先前的步骤S810和S820被重复地执行。

在另一个特定的条件下，优化系数可以通过将在当前的系数和先前的系数之间的差值C_n-1–C_n与特定的阈值比较而被确定。例如，作为该比较的结果，如果发现差值C_n-1–C_n大于特定的阈值τ，则当前的系数C_n可以被返回使得先前的步骤S810和S820被重复地执行。相比之下，作为该比较的结果，如果发现差值C_n-1–C_n等于或者小于特定的阈值τ，则当前的系数C_n可以确定为是优化系数，并且被发送给解码器。

这样的操作可以由图3的编码器执行。例如，该操作可以由优化器310执行。

图9图示本发明可以适用于其的实施例，并且是图示用于获得优化系数的量化过程的详细流程图。

按照本发明的实施例，编码器可以基于有关当前块的像素信息、有关预先解码的块的像素信息，和有关量化步长信息的至少一个获得优化系数。这样的操作可以由编码器的量化单元执行。

首先，编码器可以在步骤S910基于有关当前块的像素信息，和有关预先解码的块的像素信息获得最初量化系数。最初量化系数可以如在公式25中表示的。

[公式25]

C₀＝G^-1(x–Hy)

在这种情况下，C₀表示最初量化系数，x表示有关当前块的像素信息，并且y表示有关预先解码的块的像素信息。在这种情况下，G、H表示对训练集合优化的矩阵。此外，矩阵G可以由非正交变换矩阵表示。

由在原始信号和重建的信号之间的差值表示的误差矢量可以在步骤S920基于最初量化系数获得。在这种情况下，当前块的像素信息x和预先解码的块的像素信息y可以使用，其可以如在公式26中表示的。

[公式26]

e_n＝x-H_y-GC_n-1

在公式26中，e_n表示误差矢量，并且n＝0、1、2、…，其可以被重复执行直到获得优化系数为止。对于这样的迭代过程，临时的矢量可以如在公式27中限定的。

[公式27]

t＝e_n+g_kC_n-1(k)

在公式27中，t表示临时的矢量，并且g_k表示矩阵G的第K个列矢量。此外，C_n-1(k)表示第(n-1)个量化系数。

第n个量化系数C_n可以在步骤S930基于临时的矢量t和量化步长信息λ(k)获得。在这种情况下，可以使用公式28。

[公式28]

C_n(k)＝λ(k)round(g_k^Tt/λ(k)(g_k^Tg_k))(k＝1,2,...,B²)

在公式28中，λ(k)表示用于第K个变换系数的量化步长。

此外，误差矢量e_n可以在步骤S940如在公式29中被更新。

[公式29]

e_n+＝g_k(C_n-1(k)-C_n(k))

如果第n个量化系数C_n经由这样的过程被获得，则是否特定的条件满足可以通过将第n个量化系数C_n与先前的系数C_n-1比较检查。第n个量化系数C_n可以基于该比较的结果确定为是优化系数。例如，是否在第n个量化系数C_n和先前的系数C_n-1之间的差值C_n-1–C_n收敛于9可以在步骤S950被检查。

作为检查的结果，如果发现差值C_n-1–C_n收敛于0，则第n个量化系数C_n可以在步骤S960被确定为是优化系数，并且被发送给解码器。相比之下，作为检查的结果，如果发现差值C_n-1–C_n没有收敛于0，则第n个量化系数C_n可以被返回使得先前的步骤被迭代。

在又一个特定的条件下，优化系数可以通过将在当前的系数和先前的系数之间的差值C_n-1–C_n与特定的阈值比较确定。例如，这可以如在公式30中表示的。

[公式30]

||C_n-C_n-1||₂＞τ

如果差值∥C_n-C_n-1∥₂大于特定的阈值τ，则当前的系数C_n可以被返回使得先前的步骤被迭代。相比之下，如果差值∥C_n-C_n-1∥₂等于或者小于特定的阈值τ，则当前的系数C_n可以确定为是优化系数，并且被发送给解码器。

图10图示本发明可以适用于其的实施例，并且是图示获得优化的量化步长过程的流程图。

如上参考图9所述，优化的量化步长可以在由编码器执行量化以便获得优化系数的过程中导出。

首先，量化步长信息可以在步骤S1010从量化参数值中获得。例如，量化步长信息可以如在公式31中表示的。

[公式31]

Δ(k)＝2^(QP-4)/6(k＝1，2,...,B²)

在公式31中，Δ(k)表示第K个量化步长，并且QP表示量化参数。

用于获得优化系数的矩阵和矢量可以在步骤S1020被初始化。例如，矢量和矩阵可以如在公式32和33中表示的。

[公式32]

u(k)＝1(k＝1，2，...，B²)

[公式33]

$>\bar{G}(k,l)=G{(k,l)}^2,(l=1,2,...,B^2)$>

$>\bar{H}(k,l)=H{(k,l)}^2,(l=1,2,...,B^2)$>

优化器可以在步骤S1030基于第K个量化步长Δ(k)和初始化的矢量u(k)以及矩阵获得优化的量化步长。在这种情况下，可以使用凸最优化算法。

本发明的实施例可以提供导出最佳量化器步长的方法。

量化器步长的速率失真最佳设计通常是难题，因为用于速率和失真易处理的表示是编解码器相关的，并且难以获得。在这个实施例中，高速率近似值可以使用，以便优化步长λ的矢量。继之以成功的图像和视频编译器的变换编译方法利用标量熵编译器。因此，在中传送量化系数需要的速率可以近似为公式34。

[公式34]

在公式34中，H()表示熵。因为系数是使用步长λ_i标量量化的，所以近似值可以以高的比特率调用。

[公式35]

$>H\left({\hat{c}}_i\right)\approx h\left(c_i\right)-log\left({\lambda }_i\right)$>

在公式35中，h(c_i)是连续定值的系数的微分熵。因此，为了满足速率约束条件，可能需要公式36。

[公式36]

$>\underset{k}{\Sigma }log\left({\lambda }_k\right)~cons\tan t$>

由于G已经正交化，在λ方面用于平均失真的直接的近似值将是其通过采用均匀分布的量化误差获得。

借助于非正交的G，信号域和系数域失真不相同，并且人们无法使用这个近似值。假设所有数值是零均值。信号域平均失真可以书写为其中E[]表示期望值，并且Tr(.)是矩阵的迹。使用可以获得公式37。

[公式37]

在公式37中，已经设置表示系数域误差。假设系数域误差被去相关，即，E[pp^T]是对角的，具有对角项π_i，i＝1、…、N，直接的代数得到公式38。

[公式38]

因为量化经由量化算法实现，所以形式π＝λ_i²/12的近似值不是有效的。为了相关π与λ，让我们集中在由量化算法导出的舍入误差上。在关注点上，可以获得公式39。

[公式39]

$>\begin{array}{c}{l}_k={\hat{c}}_k/{\lambda }_k=round\left(\frac{g_k^T(e+g_k{\hat{c}}_k)}{\left(g_k^T{g}_k\right){\lambda }_k}\right)\\ =round\left(\frac{g_k^{T}e}{\left(g_k^T{g}_k\right){\lambda }_k}\right)+l_k\end{array},$>

公式39导致满足的舍入误差。

设置并且如果我们假设舍入误差是均匀的，则可以获得公式40。

[公式40]

令是具有第i个列的矩阵。可以获得公式41。

[公式41]

$>\omega ={\bar{G}}^{T}e={\bar{G}}^{T}G(c-\hat{c})$>

令可以获得公式42。

[公式42]

$>\begin{array}{c}HE\left[(c-\hat{c}){(c-\hat{c})}^T\right]H^T=HE\left[{\mathrm{pp}}^T\right]H^T\\ =E\left[{\mathrm{\omega \omega }}^T\right]\end{array}.$>

考虑公式42的对角元素可以导致公式43。

[公式43]

令和表示分别具有G和H的平方的矩阵元素的矩阵。公式38和43变为公式44。

[公式44]

$>D\left(\lambda \right)=u^T\bar{G}\pi$>

$>\bar{H}\pi =\bar{\lambda }/12$>

在公式44中，u是全一的矢量，并且

因此，可以获得公式45。

[公式45]

这里

可以以受制于速率约束条件的平均失真(公式45)的最小化的形式赋予优化以获得公式46。

[公式46]

$>\underset{\lambda }{min}\{\underset{k}{\Sigma }{a}_k{\lambda }_k^2+\gamma \underset{k}{\Sigma }\log \left({\lambda }_k^2\right)\}$>

在公式46中，γ是拉格朗日乘数。公式46的优化得到以下的公式47。

[公式47]

$>{\lambda }_i=\sqrt{\gamma /a_i}$>

图11和12图示本发明可以适用于其的实施例，其中图11图示本发明已经适用于其的测试图像，和图12图示速率增益对测试图像的百分比。

如上所述，按照本发明的实施例，具有边缘和方向结构的信号可以通过与预测的信号一起使用变换编译信号非因果地预测视频信号更加有效率地编译。

在给出的模拟中，对在块内的1像素厚度的层执行内部预测，并且参考图3至10描述的预测过程和量化过程被适用于该模拟。

图11图示6个测试图像(a)～(f)，并且6个图像的每个具有图像特点。

与其他常见的图像相比，6个测试图像的每个可以被认为对应于边缘和方向的特性的至少一个显著出现的信号。

作为测量这样的测试图像的速率增益的结果，可以发现诸如图12(a)的结果。也就是说，从图12(a)中，可以看到，与相对于所有6个测试图像的现有的编解码器的效率相比，效果已经改善。

也可以看到，与图11(c)、11(d)和11(f)的剩余的图像相比，图11(a)、11(b)和11(e)的图像具有极大的方向特性。因此，从图12(a)中，可以看到，图11(a)、11(b)和11(e)的图像具有相对更高的速率增益。

同样地，从图12(b)中，可以看到，在用于视频序列模拟的情况下，与现有的编解码器的效率相比，效果已经改善。

图13图示本发明可以适用于其的实施例，并且是图示改进的预测编译方法的简略流程图。

首先，当在步骤S1310接收到原始视频信号时，编码器可以在步骤S1320将原始视频信号与可用重建信号比较。并且，编码器可以基于比较的结果确定校正信号。

在这种情况下，校正信号可以被确定为最小化失真分量和速率分量的总和。失真分量由在原始视频信号和校正信号之间的总的失真表示，并且速率分量由发送变换编译的校正信号需要的比特数表示。为了确定校正信号，编码器可以执行解码模拟。

编码器可以在步骤S1330基于比较的结果产生变换编译的校正信号。

并且，编码器可以在步骤S1340基于变换编译的校正信号和可用重建信号产生预测信号。

然后，编码器可以在步骤S1350通过将变换编译的校正信号与预测信号相加来重建信号。

图14图示本发明可以适用于其的实施例，并且是图示基于优化的量化步长执行量化的方法的简略流程图。

本发明的实施例提供在执行量化以便获得优化系数的过程中导出优化的量化步长的方法。可以基于导出的量化步长执行量化。

首先，有关量化步长的信息可以从量化参数值中获得。在这种情况下，量化步长信息可以指的是缩放参数。缩放参数可以使用速率失真(RD)优化的算法获得。例如，缩放参数可以在步骤S1410被确定为最小化失真分量和速率分量的总和的值。

变换编译的校正信号可以按照如上参考图8至10所述的实施例获得。例如，变换编译的校正信号可以包括优化的变换系数。

在步骤S1420，可以基于在步骤S1410确定的缩放参数对变换编译的校正信号执行量化。

量化系数可以经历熵编码，并且在步骤S1430被发送。

图15和16图示本发明可以适用于其的实施例，并且是先进的编译方法经由量化误差的控制已经适用于其的编码器和解码器的简略框图。

本发明通过在三个空间：空间、频谱和网格范数中同时地操纵因素，来限定控制量化效果的一组编译参数。改进的压缩可以通过找到使用特定的类型和图像压缩方法的训练技术确定的优化的参数提供。

在图1中，包括用于预测编译、变换编译和混合编译需要的所有因素。

预测编译基于以信号元素被使用预先编译的部分预测，以及在预测值和实际值之间的差值被编译。n维的矢量X用于表示编译的数据(例如，图像或者视频帧)，并且矢量P用于表示从n维的矢量X预测的值。这样的预测使用由重建的矢量的过去的值形成的矢量y执行。

首先，由预测残留表示的差值矢量可以如在以下公式48中计算。

[公式48]

d＝x-p(y)

通常，这样的差值被另外使用由N×N矩阵T表示的正交线性变换变换。此后，矢量系数被转换为用于熵编译的整数。

具有整数系数的矢量由c表示，并且可以如在以下的公式49中限定的。

[公式49]

c＝Q(T[x-p])，ci∈z，i＝1，2，...，N

通常，量化被使用正交缩放矩阵Q执行，并且可以如在以下公式50中限定的。

[公式50]

c＝[[QT(x-p)]]

在公式50中，双括号[[]]表示如在以下的公式51中的每个元素取整。

[公式51]

重建的矢量可以由编码器和解码器这两者使用以下的公式52计算。

[公式52]

$>\tilde{X}=p+T^{-1}{Q}^{-1}c$>

在公式52中，表示重建的矢量，p表示预测矢量，T表示变换矩阵，Q表示量化矩阵，以及c表示变换系数。

如果矩阵T通过变换，诸如DCT限定，则这样的变换的应用差不多与计算残留矢量d的频谱分量的应用相同。因此，在本发明的实施例中，在频率域中量化误差的分配可以使用对角矩阵Q的不同的值变化。

当执行中间块预测时，在图像或者视频块的矢量内的所有元素不能以相同的方式使用。因此，由于存在于块的边缘中某些元素的误差，预测精度可能显著地降低。

此外，如果线性变换，诸如DCT被独立地适用于矢量，则块伪影可能在块的边缘上产生。

在这种情况下，在块的其他部分出现的误差的每个中的重要性是不同的。在本发明的实施例中，块伪影可以通过对空间域提供更加精细地控制量化误差的方法降低。但是，使用对角矩阵Q的方法可以仅仅在频率域中控制。因此，本发明可以通过在空间域和频率域这两者中控制量化误差解决这样的问题。

参考图15，本发明可以适用于其的编码器1500可以包括优化器1520、去量化单元1530、反变换单元1540、缓存器1550、预测单元1560和熵编码单元1570。在这种情况下，反变换单元1540可以包括空间缩放单元1545。

参考图15的编码器1500，优化器1520可以获得最佳地量化的变换系数。

首先，优化器1520可以经由训练步骤获得最佳地量化的变换系数。例如，优化器1520可以从速率失真(RD)的视点计算优化对角矩阵S、W和Q的集合。

本发明的实施例提供增加另一个对角矩阵S，即，在空间域上的缩放因子的方法。在这样的情况下，用于重建信号的过程可以如在以下的公式53中变化。

[公式53]

x＝p+ST^-1Q^-1c

有关优化的变换系数使用如在公式3中的简化取整计算的正交条件可以变化。因此，在本发明的实施例中，优化的变换系数可以基于以下的公式54计算。

[公式54]

这里D_W(v)＝v^TW²v

在公式54中，W表示用于在空间域中区分误差重要性的另一个对角矩阵。

此外，在本发明的实施例中，为了找到优化对角矩阵S、W和Q的集合，客观失真测量，诸如均方误差(MSE)，和包括主观因素的另一个失真测量，诸如块伪影的可见性，可以被使用。

此外，在编译图像或者图像帧之前，对角矩阵S、W和Q的值，即侧信息，可以被编码。在这种情况下，可以使用可以由解码器识别的适当的协议。

去量化单元1530可以通过对最佳地量化的变换系数执行去量化获得变换系数。

反变换单元1540可以通过对变换系数执行反变换获得预测误差矢量。在这种情况下，反变换可以包括缩放正交矩阵S。通过在如上所述的空间域上增加缩放矩阵，量化误差可以甚至在空间域上被控制。

使用缩放正交矩阵S的缩放可以由反变换单元1540的空间缩放单元1545执行。此外，空间缩放单元1545可以放置在反变换单元1540的反变换过程之后。

重建的信号可以通过将获得的预测的误差矢量加到由预测单元1560输出的预测信号而产生。

缓存器1550存储重建的信号用于预测单元1560的将来参考。预测单元1560使用存储在缓存器1550中预先重建的信号产生预测信号。

由优化器1520获得的最佳地量化的变换系数可以发送给熵编码单元1570。熵编码单元1570可以对最佳地量化的变换系数执行熵编码，并且输出该结果变换系数。

参考图16，本发明可以适用于其的解码器1600可以包括熵解码单元1610、去量化单元1620、反变换单元1630、缓存器1640和预测单元1650。在这种情况下，反变换单元1630可以包括空间缩放单元1635。

图16的解码器1600接收由图15的编码器1500输出的信号。接收的信号经由熵解码单元1610经历熵解码。

去量化单元1620使用量化步长信息从熵解码的信号中获得变换系数。反变换单元1630通过对变换系数执行反变换获得预测的误差。在这种情况下，反变换可以包括缩放正交矩阵S。

使用缩放正交矩阵S的缩放可以由反变换单元1630的空间缩放单元1635执行。空间缩放单元1635可以放置在反变换单元1630的反变换过程之后。此外，可以适用参考图15描述的实施例。

重建的信号通过将获得的预测的误差加到由预测单元1650输出的预测信号而产生。

缓存器1640存储重建的信号用于预测单元1650的将来参考。预测单元1650可以使用存储在缓存器1640中预先重建的信号产生预测信号。

图17图示本发明可以适用于其的实施例，并且是图示经由速率失真(RD)优化过程获得缩放对角矩阵过程的流程图。

以由公式46限定的编译的形式，可以获得像素值的近似再现，因为c∈Z^N，即，要编译的数据的矢量可以仅仅具有整数值。

本发明可以通过限定附加误差矢量e使用统计方法模拟近似值。

[公式55]

T^-1Q^-1c＝x-p+e

在c的每个分量中的舍入误差可以经由乘以正交矩阵T合并。对于高速率近似值，我们可以假设e的分量是具有零均值和相同的变化的单独的随机高斯变量。因此，从公式46中获得的值得到公式56。

[公式56]

$>\tilde{X}=p+T^{-1}{Q}^{-1}c=x+e$>

公式56指的是对于在块中的所有像素误差具有大致相同的分布。

借助于由公式57限定的新的方法，由S-1预先缩放的残留值x–p以获得适当的再现。

[公式57]

ST^-1Q^-1c＝S[S^-1(x-p)+e]

e的元素是具有零均值和相同的变化的单独的随机高斯变量。

但是，在这种情况下，我们具有由公式58给出的再现的像素。

[公式58]

$>\tilde{X}=p+{\mathrm{ST}}^{-1}{Q}^{-1}c=x+Se$>

公式52指的是与在对角矩阵S中的缩放因子成正比，现在在每个像素中的误差具有不同的变化。较大的S_i,i的值因此生成相对更大的误差方差，并且反之亦然。

在下文中，我们给出本发明稍微更加详细的描述。本发明可以适用于每个预先限定的视频分割，例如，编译单元、帧、贴片、片等等。

在编码器处，本发明可以按照以下的步骤执行。

首先，编码器可以选择用于编译在分割内的像素块的矩阵S、W和Q。

接下来，在编译在每个分割中的像素之前，编码器可以将有关矩阵S和Q的信息加到压缩的比特流。例如，T假设是恒定的，并且W仅仅由编码器使用。

然后，对于每个像素块，编码器可以发现最佳矢量c∈Z^N，熵编译其值，并且将其加到压缩的比特流。

在解码器，本发明可以按照以下的步骤执行。

首先，在解码在每个分割中的像素之前，解码器可以从压缩的比特流中读取有关矩阵S和Q的信息。

然后，对于每个像素块，解码器可以熵解码矢量c∈Z^N，并且使用公式59计算重建的像素值。

[公式59]

$>\tilde{X}=p+{\mathrm{ST}}^{-1}{Q}^{-1}c$>

本发明的实施例提供经由速率失真(RD)优化过程获得缩放对角矩阵的过程。

首先，编码器可以在步骤S1710经由训练执行RD优化过程。例如，这样的RD优化过程可以由优化器1520执行。

优化对角矩阵S、W和Q的集合可以在步骤S1720经由RD优化过程计算。

对角矩阵S、W和Q的值可以在步骤S1730被编码为侧信息。

此后，视频信号可以在步骤S1740上按照参考图15和16描述的过程编译或者解码。

例如，对角矩阵的缩放对角矩阵S可以在编码器1500的反变换单元1540，或者解码器1600的反变换单元1630中使用，使得甚至在空间域上控制量化误差。

图18图示本发明可以适用于其的实施例，并且是图示在使用优化的缩放矩阵执行编译的情形下，和在使用现有的方法执行编译的情形下，在相应的图像的编译增益之间的比较的图形。

图18图示在误差转移的控制和编译增益之间的关系。

在该图形中的虚线表示通用的编解码器的编译增益，并且实线表示当使用优化对角矩阵时的编译增益。

当前的实施例对应于使用平面预测和4×4DCT的情形。可以看到，当在三个测试图像，“妇女”、“自行车”和“咖啡馆”中使用所有优化对角矩阵时，获得更好的编译效率。

这仅仅是本发明的实施例，并且本发明不局限于前面提到的条件，并且可以适用于具有其它条件的实施例。

图19和20是本发明可以适用于其的实施例，并且是图示先进的编译方法可以适用于其的编码器和解码器的简略框图。

图19的编码器1900包括优化器1910、量化单元1920和熵编码单元1930。图20的解码器2000包括熵解码单元2010、去量化单元2020、反变换单元2030和重建单元2040。

参考图19的编码器1900，优化器1910获得优化的变换编译的校正信号。优化器1910可以使用以下的实施例以便获得优化的变换编译的校正信号。

为了图示本发明可以适用于其的实施例，首先，用于重建信号的重建函数可以限定如下。

[公式60]

$>\tilde{x}=R(c,y)$>

在公式60中，表示重建的信号，c表示解码的变换编译的校正信号，以及y表示上下文信号。R(c,y)表示使用c和y以便产生重建的信号的重建函数。

在当前的实施例中，重建函数可以限定为在预先重建的值和变换编译的校正信号之间的关系。因此，解码的校正信号不仅影响重建值，而且影响整个重建过程和重建函数的选择。

例如，校正信号可以限定如下。

[公式61]

e＝Tc

在公式61中，e表示校正信号，c表示变换编译的校正信号，以及T表示变换矩阵。此外，在某些情况下，校正信号可以指的是误差信号或者预测误差信号。

在这种情况下，重建的信号可以限定如下。

[公式62]

$>\left(\begin{array}{c}{\tilde{x}}_1=R_1(e,y)\\ {\tilde{x}}_2=R_2(e,y,{\tilde{x}}_1)\\ ·\\ ·\\ ·\\ {\tilde{x}}_n=R_n(e,y,{\tilde{x}}_1,{\tilde{x}}_2...,{\tilde{x}}_{n-1})\end{array}\right)$>

在公式62中，表示重建的信号的第n个分量，e表示校正信号，以及y表示上下文信号。R_n表示使用e、y和以便产生重建的信号的重建函数。

在一个实施例中，重建函数R_n可以限定如下。

[公式63]

$>\left(\begin{array}{c}{R}_1(e_1,y)=P_1\left(y\right)+e_1\\ R_2(e_2,y,{\tilde{x}}_1)=P_2(y,{\tilde{x}}_1)+e_2\\ ·\\ ·\\ ·\\ R_n(e_n,y,{\tilde{x}}_1,...,{\tilde{x}}_{n-1})=P_n(y,{\tilde{x}}_1,{\tilde{x}}_2...,{\stackrel{·}{x}}_{n-1})+e_n\end{array}\right)$>

在公式63中，P_n表示由参数形成以便产生预测信号的预测函数的类型。

该预测函数例如可以是中值函数、级系滤波器和非线性的函数的组合，或者线性函数的组合。此外，非线性预测函数P_n()的每个可以是不同的非线性的函数。

在本发明的另一个实施例中，量化单元1920可以被包括在优化器1910中，或者优化器1910可以包括变换单元。

在本发明的另一个实施例中，编码器1900和解码器2000可以包括用于选择非线性预测函数的候选者函数的存储单元。

在这种情况下，优化的非线性预测函数可以是从存储在存储单元中的候选函数中选择出来的。

当优化的非线性预测函数如上所述选择时，优化器1910可以使用优化的非线性预测函数产生优化预测信号。并且，优化器1910可以基于优化预测信号产生优化的预测误差信号，并且可以对优化的预测误差信号执行变换编译。优化器1910可以经由变换编译输出变换编译的系数。在这种情况下，变换编译的系数可以指的是优化的变换系数。

输出的变换系数被发送给量化单元1920。量化单元1920量化该变换系数，并且将量化的变换系数发送给熵编码单元1930。

熵编码单元1930可以对量化的变换系数执行熵编码，并且输出压缩的比特流。

图20的解码器2000可以从图19的编码器接收压缩的比特流，可以经由熵解码单元2010执行熵解码，并且可以经由去量化单元2020执行去量化。在这种情况下，由去量化单元2020输出的信号可以指的是优化的变换系数。

反变换单元2030接收优化的变换系数，执行反变换过程，并且可以经由反变换过程获得预测误差信号。

重建单元2040可以通过将预测误差信号和预测信号相加在一起获得重建的信号。在这种情况下，参考图19描述的各种实施例可以适用于该预测信号。

图21是本发明可以适用于其的实施例，并且是图示先进的视频编译方法的简略流程图。

首先，当在步骤S2110接收到原始视频信号时，编码器可以在步骤S2120将原始视频信号与可用重建信号比较。并且，编码器可以在步骤S2130基于该比较的结果确定校正信号。

在这种情况下，校正信号可以被确定为最小化失真分量和速率分量的总和。失真分量由在原始视频信号和校正信号之间的总的失真表示，并且速率分量由发送变换编译的校正信号需要的比特数表示。为了确定校正信号，编码器可以执行解码模拟。

本发明可以进一步包括确定用于信号重建的重建函数，并且重建函数包括线性分量和非线性分量的至少一个。

并且，重建函数可以基于所有预先重建的采样和校正信号确定。

然后，编码器可以在步骤S2140产生变换编译的校正信号以发送用于信号重建。在这里，变换编译的校正信号可以乘以去量化矩阵和反变换矩阵，并且其中去量化矩阵可以选择用于控制比特率和量化误差。

此外，变换编译的校正信号可以对应于用于一组图片的校正信号，并且空间与时间的变换编译可以适用于校正信号。

按照本发明的实施例，解码器可以接收包括按照本发明获得的变换编译的校正信号的比特流，可以经由熵解码单元执行熵解码，可以经由去量化单元执行去量化，并且可以经由反变换单元执行反变换。解码器可以通过对变换编译的校正信号执行反变换获得校正信号。

然后，解码器可以使用重建函数获得重建的信号，重建函数合并获得的校正信号和上下文信号。在这里，上下文信号可以基于所有预先重建的采样获得。

此外，解码器可以确定用于信号重建的重建函数，并且重建函数可以包括线性分量和非线性分量的至少一个。在这里，重建函数可以基于所有预先重建的采样和校正信号确定。

变换编译的校正信号可以乘以去量化矩阵和反变换矩阵。此外，变换编译的校正信号可以对应于用于一组图片的校正信号，并且空间与时间的变换编译已经适用于校正信号。

如上所述，本发明可以适用于其的解码器和编码器可以包括在多媒体广播传输/接收装置、移动通信终端、家庭影院视频装置、数字影院视频装置、监视照相机、视频聊天装置、诸如视频通信的实时通信装置、移动流装置、存储介质、摄录一体机、VoD服务提供装置、因特网流服务提供装置、三维(3D)视频装置、电话会议视频装置和医学视频装置中，并且可用于编译视频信号和数据信号。

此外，本发明可以适用于其的解码/编码方法可以以由计算机执行，并且可以存储在计算机可读的记录介质中的程序的形式生成。具有按照本发明的数据结构的多媒体数据也可以存储在计算机可读的记录介质中。计算机可读的记录介质包括由计算机系统可读的数据存储在其中的所有类型的存储设备。计算机可读的记录介质例如可以包括BD、USB、ROM、RAM、CD-ROM、磁带、软盘，和光数据存储设备。此外，计算机可读的记录介质包括以载波(例如，经由因特网传输)的形式实现的介质。此外，由编码方法产生的比特流可以存储在计算机可读的记录介质中，或者可以经有线/无线通信网络发送。

工业实用性

为了说明性的目的已经公开了本发明示范的实施例，并且本领域技术人员可以在附加的权利要求中公开的本发明的技术精神和范围内改进、变化、替换或者增加各种其它的实施例。