利用残差系数分布特征和贝叶斯定理优化HEVC残差编码的方法

技术领域

本发明涉及高分辨率视频编码技术领域，特别是利用残差系数分布特征和贝叶斯定理优化HEVC残差编码的方法，适用于高分辨率视频编码和实时视频采集。

背景技术

近些年由于多媒体技术的迅猛发展，高清电视（HDTV），3D立体视频，视频通信等新技术已逐渐为大家所熟知，人们被带入了一个崭新的视频时代。所有这些技术在提供给人们多式多样的高质量视频享受的同时，也对视频编码技术提出了更高的要求。其中，一个最重要的特征就是相比于之前的标清二维视频这些新技术要处理更为巨大的数据量，现有的视频编码标准如H.264已经力不从心，于是具有更高压缩效率的视频编码标准HEVC应用而生。为提高编码效率HEVC采用了许多新的技术，如更大的编码块，循环递归编码结构，更多的帧内预测模式等，这些改进在提高编码效率的同时，也使得整个算法变得相当复杂，很不利于其投入实际应用。为此，如何有效地降低HEVC编码复杂度成为现今一个研究热点。

帧内预测、帧间预测在整个视频编码过程中占用了大部分的时间，成为主要研究方向，并且方法已趋于成熟。而包括整数变换、量化以及反变换和反量化的残差编码也占用了不少编码时间，一些学者对其进行了研究。其中，文献[1]在分析了HEVC残差编码块TU（Transform Unit）的树形结构和循环递归编码基础上提出了一种简便的TU提前中止方案。通过统计残差块经过整数变换和量化后的量化系数中的非零系数个数，来决定是否要中止分块编码。该方法节省的编码时间很多，但编码质量损失也比较大。

文献[2]提出的HEVC残差编码优化算法比较完善。作者首先分析了最优编码模式判定标准：率失真代价函数，然后找出整块TU及其四个子块TU在编码比特率上的相互关系，并分析了全零块类型在整块TU和其子块之间的相互推导关系。通过对比TU四个子块的率失真代价和与预设阈值的大小，实现跳过大块残差编码和中止小块残差编码。

文献[3]针对HEVC帧内预测和帧间预测的残差编码不同点，分别提出了关于帧内预测的快速编码算法和关于帧间预测的快速残差编码算法。前者在参考代码HM2.0中原有方案的基础上进一步减少帧内预测中参与率失真计算的帧内预测模式个数，但对每种模式都进行穷尽的残差树搜索，从而在降少编码时间的基础上也保证了编码质量。后者首先找出四个子TU的参数系数中的最大值和最小值并让它们作差，然后该差值与设定阈值相比较从而判定是否要提前中止分块残差编码。

            文献[1]: Kiho Choi and Euee S.Jang, “Early TU decision method for fast video encoding in high efficiency video coding,”ELECTRONICS LETTERS, Vol. 48, No. 12, 7th June,2012. 

            文献[2]: Su-Wei Teng, Hsueh-Ming Hang and Yi-Fu Chen, “Fast Mode Decision Algorithm for Residual Quadtree Coding in HEVC,” IEEE Visual Communications and Image Processing.VCIP.2011.6116062, pp. 1-4, 2011.

            文献[3]: Yih Han Tan, Chuohao Yeo, Hui Li Tan and Zhengguo Li, “On Residual  Quad-tree Coding In HEVC,” IEEE Multimedia Signal Processing, 13th International Workshop. MMSP.2011.6093805, pp. 1–4, 2011.

发明内容              

本发明的目的是针对HEVC特有的残差编码结构和技术缺陷，提供一种利用残差系数分部特征和贝叶斯定理优化HEVC残差编码的方法，在保证主观质量不变的情况下，可有效地提高视频编码速度。为达到上述目的，本发明的构思是：第一，在保证视频编码质量变化不大的前提下，利用残差系数的高斯分布特征，对残差块TU上下两个子块和左右两个子块进行两次假设检验，从而判断出当前残差块TU的内部纹理特性，以减少不必要的子块残差编码。第二，利用贝叶斯判定模型，对TU进行提前中止子块编码使得编码速度得到提高。

根据上述发明构思，本发明采用如下的技术方案：

一种利用残差系数分布特征和贝叶斯定理优化HEVC残差编码的方法，其特征在于操作步骤如下：

（1） 输入视频序列：按照控制文件里设定的顺序读取视频序列的每一帧图像，

（2） 帧内/帧间预测：对每帧图像的亮度和色度值进行帧内预测和帧间预测，从而求得残差系数，

（3） TU提前中止判定：根据残差系数对残差块TU（最大为32×32）进行纹理判定或进行贝叶斯模型判定，从而决定是否提前中止分块编码，

（4） DCT变换和量化：对整块TU进行DCT变换和量化，从而求得量化参数，

（5） 熵编码：对量化系数进行熵编码，最后以比特流的形式输出。

本发明与已有技术相比较，具有如下显而易见的突出实质性特点和显著技术进步：

1）、本HEVC视频编码优化方法在保证视频编码质量不变的同时，使得编码过程在残差编码这个子过程就能提高编码速度，实验中可以节省的残差编码时间最多为60%；

2）、本HEVC视频编码优化方案中关于残差系数分布特性的优化算法是基于假设检测的，所以可以根据实际需求通过修改显著水平实现编码质量和编码速度之间的折中；

3）、本HEVC视频编码优化方案中基于贝叶斯判定模型的优化算法选取预测误差和残差系数的均方差MAD为特征向量因子进行模式判断，而这两个值在帧内和帧间预测中就已求出，所以该优化方法不会额外地增加编码时间。

附图说明

图1是本发明中的利用残差系数分布特征和贝叶斯定理优化HEVC残差编码的方法的原理框图。

图2是Skip、帧间和帧内预测的框图。

图3是基于残差系数分布特征算法框图。

图4是TU的结构框图。

图5是在不同CU、PU以及帧间和帧内预测时，可用于残差编码的TU类型。

图6是熵编码示意框图。

图 7a是分辨率为832×480 的测试序列RaceHorses在基于残差系数分布特征的优化算法下的RD曲线图。

图7b是分辨率为1280×720的测试序列vidvo1在基于残差系数分布特征的优化算法下的RD曲线图。

图8是基于残差系数分布特征优化算法与HM5.0中原始方法相比较的实验结果，主要参数包括：亮度的PSNR,比特率以及残差编码时间。

图 9a是分辨率为832×480 的测试序列RaceHorses在基于贝叶斯判定模型的优化算法下的RD曲线图。

图9b是分辨率为1280×720的测试序列vidvo1在基于贝叶斯判定模型的优化算法下的RD曲线图。

图10是基于贝叶斯判定模型优化算法与HM5.0中原始方法相比较的实验结果，主要参数包括：亮度的PSNR,比特率以及残差编码时间。

具体实施方式

以下结合附图对本发明的优选实施例作进一步的详细说明：

实施例一：

利用残差块系数的分布特征和贝叶斯定理优化HEVC残差编码的方法(参见图1)包括以下步骤：

（1） 输入视频序列：按照控制文件里设定的顺序读取视频序列的每一帧图像，

（2） 帧内/帧间：对每帧图像的亮度和色度值进行帧内预测和帧间预测，从而求得残差

系数，

（3） TU提前中止判定：根据残差系数对残差块TU（最大为32×32）进行纹理判定或

进行贝叶斯模型判定，从而决定是否提前中止分块编码，

（4） DCT变换和量化：对整块TU进行DCT变换和量化，从而求得量化参数，

（5） 熵编码：对量化系数进行熵编码，最后以比特流的形式输出。

实施例二：本实施例与实施例一基本相同，特别之处如下：（见图2至图10）

上述步骤(2)是对输入视频序列进行帧内和帧间预测，参见图2，其具体步骤如下：

（2-1）帧内预测是利用编码块周围（左边和上边）已编码参考像素对当前块进行预测从而消除视频图像在空间上的冗余；帧间预测通过参考编码块所在帧的前后帧对其进行运动估计和运动补偿从而消除视频序列的时间冗余。HEVC按照率失真最优的判定标准从多个帧内和帧间候选模式中选出最优的帧内和帧间预测模式。率失真代价函数为：

                                                                              （1）

其中为率失真代价值，为预测失真值，为在不同预测模式下输出的比特数，为拉格朗日参数。

（2-2）与之前的视频编码标准H.264不同，为提高编码效率，HEVC采用更大的编码块（64×64），循环递归的编码方式，帧内预测模式增加到35种,这些改进在提高编码效率的同时也使得帧内和帧间预测变得更为复杂。

（2-3）若输入的是I帧，则只对其进行帧内预测并进行率失真优化；若为P帧或B帧，则先对其进行Skip模式预测和帧间预测，然后再进行帧内预测。最后按率失真优化标准从三种模式中选出最优的预测模式。

上述步骤(3)对残差块的系数进行判定的方法有两种，具体步骤如下：

（3-1）基于高斯分布的假设检验法

由相关文献研究可知，残差系数服从期望值为零的高斯分布，即满足以下表达式：

                                                                     （2）

其中为均值，为方差。

为判断整块TU是否适合划分成四个子TU可以把整块TU分为两种划分方式，如图3所示。如果两种划分方式都满足，则可认为TU适合分成四个子TU。如果采用图3中的划分方式编码效果较好，则残差系数应该服从高斯分布，由于服从同一分布则两个部分的期望值应该没有显著性差别。因此，我们可以通过假设检验判断该模式的预测效果，根据概率论的知识得到：

                        （3）

上式中分布为学生氏分布，是该分布的自由度，,是每种划分方式中两部分像素亮度的均值，、是两个部分各自的数学期望值，上式中如下：

                                                 （4）

很显然，把一个32×32宏块分成相等的两个部分，则两个部分的像素数目应该相等，即：。根据假设检验应满足，同时取显著性水平=0.05，查t分布表可以得到，则我们可以得到如下结论：

                                       （5）

上式等价于：

                      （6）

上式是针对32×32的TU计算的。在HEVC残差编码中TU采用和CU类似的四叉树编码结构，即除了32×32还要对其子块16×16、8×8以及4×4进行遍历式编码，然后从所有模式中选出最优模式，为此我们可以对16×16和8×8的TU进行与32×32类似的处理，从而得到

                   （7）

                   （8）

上述三个式子分别是计算32×32、16×16和8×8块的判断条件。如果满足式（6）可以认为32×32TU中的该种划分没有显著区别，如果满足式（7）、（8）则可以认为16×16、8×8TU中的该种划分没有显著区别。残差系数和编码模式有关，为了计算的简单，我们只。基于以上分析，本文提出的处理步骤如下：       

1）首先，采用对32×32的整块TU进行残差编码。 

2）当按照图3中所示的两种划分方式都没有显著区别时，跳转3）；否则，TU深度加1，并返回1）。

 3）对整块TU进行分块残差编码。

（3-2）基于贝叶斯理论的判定算法

某一尺寸的TU进行分块编码和不分块编码是两件完全对立的事件，将TU分块编码这一事件定义为,而TU不进行分块编码定义为。TU的向量特征用来帮助提高分类的准确性。是TU特征向量为F时被划分为类的后验概率。在残差编码过程中，如果做出错误的决定，即本来应该分块编码的实际上没分块编码，而本来不应该分块的却分块编码了，这将会造成率失真损失。我们把本应该分块而实际却没分块造成的损失标记为，而本来不应该分块实际上却分块了所造成的损失标记为。他们之间具有以下关系：

                                                      （9）

                                                         （10）

其中，和是当TU进行分块编码和不分块编码时所产生的率失真代价。由上述公式可知当TU做出正确选择时，即本应分块编码事实上也分块了或者本应该不分块实际上也确实没分块，将不会造成任何率失真损失，因此。基于以上分析可以得出情况时的贝叶斯风险代价：

                          （11）

                           （12）

    当<时，选择造成的代价较小，应中止对TU进行分块编码。而当>时，选择造成的代价较小，应按照原有算法对TU进行分块编码。上式中：

                                             （13）

其中表示TU进行Splite和None-Splite编码时，其特征向量F的概率密度分布函数，是情况Splite和None-Splite的先验概率密度函数。由式（11）、（12）和（13）可以求出对TU是否进行分块编码的判定公式如下：

                                            （14）

为有效地预测出的概率分布，本文中将残差块系数的均方差MAD和以及当前TU块的预测误差作为向量特征F的要素。按照D.Chai等人提出的非参数密度估计法求得条件概率密度函数并放在一个查询表中。为减小统计工作量，可将两个特征向量要素量化成10等分，这样整个特征向量F将被分成100个刻度。而（14）式中不等式左边判定阈值中的、、和与视频的分辨率、QP大小以及TU的深度均有关。因此，本文事先对一组不同分辨率的视频序列在不同的QP下进行统计，从而求出在不同分变率、不同QP和不同TU深度下的判定阈值，并将这些阈值放在另外一个查询表中。

综上所述，基于贝叶斯理论的TU类型判定方法包括以下几个步骤：

1）对（14）式中不等式右边的判定门限进行初始化，从而获得能够对视频分辨率和

QP自适应变化的判定阈值。

2）对一个TU块从其根节点（即32×32）开始，对整块TU进行残差编码。求出编码误差和残差系数的MAD.

3） 由整块编码误差和残差系数的MAD查表找出TU的向量特征F概率分布函数和。按（14）式进行判定，若不等式满足要求，跳到（4）。否则，TU分成四个相同子TU，深度Depth加1，转到（2）。

4）按逐行扫描顺序对下一TU进行同样处理。

上述步骤(4)对残差数据进行整数变换（DCT）和量化，其具体步骤如下：

(4-1)HEVC进行整数变换和量化时TU的编码结构如图4所示，TU的最大尺寸为32×32，最小尺寸为4×4，类似于CU的四叉树结构。

(4-2)针对不同的CU、PU、帧内以及帧间预测，TU有不同的可用类型，如图5所示。其中，红色斜体表示帧内预测时可用的TU，而表中所列所有模式都可在帧间预测时运用。 

上述步骤（5）对经过残差编码得到的量化系数进行熵编码，最终形成二进制比特流以

便于在网络中传输。参见图7，其具体步骤如下：

（5-1）对量化系数进行可变长熵编码（VLC）或算术编码(CABAC)，从而消除量化系数的符号冗余，实现对视频序列的进一步压缩。

（5-2）经熵编码的数据最终以比特流的形式输出。通过相关码率控制技术可实现比特率的自适应改变，这大大提高了HEVC编码器的网络友好性。

为验证本文提出的基于残差系数分布特性和基于贝叶斯理论的两种快速残差块类型判

定方法的有效性，下面对对大量测试序列进行了仿真实验。实验平台(PC机)配置为：Intel Core2 Duo CPU, 2.53 GHz，1G Internal Memory，Windows XP Operation System；标准校验模型为HEVC标准参考代码HM 5.0;采用亮度色度分开编码方式（本文只对亮度进行了优化）；仿真实验对分辨率为416×240、832×480、1280×720和1920×1080的测试序列的前20帧进行统计，其中BASIC QP设为22,27,32,37；编解码预测结构选用HHI-IPPP。

基于残差系数分布特性的方法（Proposed A）实验结果如图7a～7b、图8所示。图7a、7b分别是分辨率为832×480和1280×720的视频序列PartyScene和vidyo1在HM5.0原始残差编码方法和Proposed A两种方法下的RD曲线图。可以看出图7a和图7b中两条曲线几乎完全重合，这说明本发明中基于参数系数分布特性的方法的编码质量几乎与HM5.0中原始方法相同。图8是HEVC原始残差编码和Proposed A两种方法在不同QP的情况下对不同分辨率的视频序列进行测试的结果，主要指标有DPSNR、DBR和DTime，各自定义为：

                                 (15)

                                   (16)

                               (17)

其中，PSNR为峰值信噪比，BR为视频编码比特率，Time为残差编码时间。可以看出在保证编码质量不变的情况下（编码比特率平均降低0.15%，亮度的PSNR平均降低0.024dB）,本发明中的优化方法残差编码时间平均降低了约42%。

基于贝叶斯理论的快速残差编码方法（Proposed B）实验结果如图9a～9b、图10所示。图9a、9b分别是分辨率为832×480和1280×720的视频序列PartyScene和vidyo1在HM5.0原始残差编码方法和Proposed B两种方法下的RD曲线图。可以看出图9a和图9b中两条曲线几乎完全重合，这说明本发明中基于贝叶斯判定理论的方法的编码质量几乎与HM5.0中原始方法相同。图10是HEVC原始残差编码和Proposed B两种方法在不同QP的情况下对不同分辨率的视频序列进行测试的结果，主要指标与图8中的完全一样。可以看出保持编码质量不变的情况下（编码比特率平均增加0.3%，亮度的PSNR平均降低0.02dB）,本发明中的优化方法残差编码时间平均降低了约40%。

由上述各图表可以看出，本发明通过对残差块系数进行假设检验，以及利用贝叶斯理论对残参考块TU进行提前中止判断，从而减少DCT变换和量化过程的编码时间，在编码质量损失可以忽略不计的情况下，大幅降低了HEVC残差编码的时间。