首页> 中国专利> 面向3D-HEVC的编码单元尺寸快速选择算法

面向3D-HEVC的编码单元尺寸快速选择算法

页面导航

摘要
著录项
法律信息
说明书
相似文献

摘要

本发明涉及一种面向3D-HEVC的编码单元尺寸快速选择算法，包括划分复杂度的计算、时域与视点间相关程度的量化、预测当前编码块划分复杂度、相关划分复杂度的计算、根据相关划分复杂度和预测的划分复杂度来估计当前编码块的深度范围以及提前终止CU划分步骤。本发明针对3D-HEVC的编码结构，充分利用了视点间、时空域相关性，并挖掘它们之间的联系，并利用提前终止条件来跳过和提前终止不必要的CU划分，加速CU深度选择的过程，在不影响质量的情况下，大大降低了3D视频编码的复杂度。

著录项

公开/公告号CN105704497A

专利类型发明专利
公开/公告日2016-06-22

原文格式PDF
申请/专利权人上海大学;
展开▼

申请/专利号CN201610068485.7
发明设计人王永芳;王宇兵;石亚文;张兆杨;
展开▼

申请日2016-01-30
分类号H04N19/597(20140101);H04N19/154(20140101);
代理机构上海上大专利事务所(普通合伙);
代理人陆聪明
地址 200444 上海市宝山区上大路99号
入库时间 2023-12-18 15:37:03

法律信息

法律状态公告日

法律状态信息

法律状态
2018-08-17

授权

授权
2016-07-20

实质审查的生效 IPC(主分类):H04N19/597 申请日:20160130

实质审查的生效
2016-06-22

公开

公开

说明书

技术领域

本发明属于视频编码技术领域，具体地说是涉及一种面向3D-HEVC的编码单元尺寸快速选择算法。

背景技术

随着多媒体技术的迅猛发展，相比于文字、语音、图像等多媒体，视频信息的直观性、确切性、高效性使得数字视频的应用越来越广泛。然而，传统的二维视频已经不能满足人们的需求，3D视频越来越受到人们的欢迎。众所周知，视频信息的数据量巨大，对数字视频的传输、存储以及播放提出了更高的要求，而3D视频是用多个相机来拍摄同一场景，多视点视频的传输处理又使信息量增加了许多。为了提高高清视频的编码效率，JCT-VC(Joint CollaborativeTeamonVideoCoding)的第一次会议确定了新一代视频编码标准HEVC (HighEfficiencyVideoCoding)。为了更好的支持立体3D视频的应用，ISO/IEC和ITU-T 两组织又制定了基于HEVC的新3D视频压缩标准3D-HEVC，同时提供了3D-HEVC的参考软件 (HEVC-BasedTestModel，HTM)。

在HEVC中，编码时器会为对每个编码单元检测所有的编码模式(超过20种不同的模式)，并且计算每个模式的率失真代价值，以得到最佳的编码模式。3D-HEVC的编码结构是对HEVC的扩展，每个视点的纹理及深度图编码的主框架继承HEVC的编码框架，只是增加了一些新的编码技术，使其更有利于多视点视频的编码，其编码过程是：会首先对独立视点纹理图编码，紧跟着是该视点的深度图，其次编码的是其他视点视频图像和深度图。在编码非独立视点时，利用了已编码的独立视点的信息来预测当前编码视点的信息，从而降低视点间的冗余，提高编码效率。3D-HEVC仍然采用四叉树的形式对最大编码单元(LargeCoding Unit,LCU)进行划分，即每个LCU都会遍历0至3的深度并通过率失真优化来获取最优的编码单元(CodingUnit，CU)尺寸，这种全遍历的递归方式无疑大大增加了3D-HEVC的编码复杂度。另外在HEVC中存在的编码工具的基础上，3D-HEVC还需检测另外增加的编码工具的率失真性能，比如视差补偿预测、视点间运动预测、视点间残差预测等，这也使得编码器的计算复杂度大幅度增加，是阻碍其进一步发展的重要原因。为了减少视频的编码复杂度，快速算法一直是视频编码研究的热点。之前针对3D视频的快速算法，都仅仅利用了3D视频的深度图信息、独立视点编码单元划分的深度信息或者时空域相关性，因此它们都是单纯地利用某一种相关性来预测当前编码块的深度范围，这样就不能尽可能地降低3D视频的复杂度。

该发明针对3D视频编码的特点，综合利时空域以及视点间相关性提出一种自适应权值的CU深度选择算法，并结合提前终止CU划分算法来进一步降低复杂度。虽然对于纹理简单运动程度不高的视频会有较大可能选择深度0作为最优深度层，而对于纹理复杂运动剧烈的视频选择深度0作为最优深度层的概率相对小一点，但是总的来说，对于高分辨率的视频，选择深度0和深度1作为最优深度层的概率是较高的，所以选择合适的CU深度范围以及提前终止较大深度的划分对于降低视频编码的复杂度具有很大的作用。当前，国内外对固定权重快速算法的研究已经取得了不错的效果，但是其不能很好地适应具有不同特征的序列，因而本发明提出的自适应权值算法无疑具有重要意义。

发明内容

本发明的目的在于克服当前最优编码单元深度选择过程时间复杂度高的缺点，提供一种面向3D-HEVC的编码单元尺寸快速选择算法，该方法在保证视频质量的同时，极大地降低了3D视频的编码时间，使其更能够满足实时应用的需求。

为达到上述目的，本发明所采用的技术方案是：

一种面向3D-HEVC的编码单元尺寸快速选择算法，包括以下步骤：

步骤1：深度范围选择算法：根据相关预测条件有选择地跳过某些CU深度的划分，具体步骤为：

步骤11：划分复杂度，SC的计算：

$S C_i = (\begin{matrix} \frac{1}{256} \cdot Σ_{j = 0}^{255} d_{j} & {depth}_{\max} = 0, 1, 2 \\ \frac{1}{128} \cdot Σ_{j = 0}^{255} d_{j} & {depth}_{\max} = 3 \end{matrix}) - - - (1)$

(1)式中d_j表示LCU中4x4单元中相应的深度值，depth_max表示当中最大深度值，下标j表示一个LCU中256个4x4单元的序号，下标i表示的是相关LCU的类型，比如SC_Col即表示视点间相关LCU的划分复杂度，Cur,Left,Up为当前非独立视点的当前编码块及其左、上相邻块，t,l,u为时域相关块及其左、上相关块，Col,U,D,L,R为视点间相关块及其上下左右相关块；

步骤12：时域与视点间相关程度的量化计算：时域划分复杂度差异TSCE和视点间空间划分复杂度差异ISCE：

$\begin{matrix} T S C E = 1 / 2 \cdot (| S C_L e f t - S C_l | + | S C_U p - S C_u |) \\ I S C E = 1 / 2 \cdot (| S C_C o l - S C_L | + | S C_C o l - S C_U |) \end{matrix} - - - (2)$

步骤13：当前编码块预测划分复杂度SC_pre的计算：

SC_pre＝w_col·SC_col+w_l·SC_Left+w_u·SC_Up+w_t·SC_t(3)

(3)式中SC_Left,SC_Up,SC_t为当前LCU左、上以及时域相关LCU的划分复杂度， w_col,w_l,w_u,w_t为加权系数，其计算方法为：

$w_{c o l} = \frac{W_{l} \cdot W_{u} \cdot W_{t}}{W_{c o l} \cdot W_{l} \cdot W_{u} + W_{l} \cdot W_{u} \cdot W_{t} + W_{c o l} \cdot W_{u} \cdot W_{t} + W_{c o l} \cdot W_{l} \cdot W_{t}}$

$w_{l} = \frac{W_{c o l} \cdot W_{u} \cdot W_{t}}{W_{c o l} \cdot W_{l} \cdot W_{u} + W_{l} \cdot W_{u} \cdot W_{t} + W_{c o l} \cdot W_{u} \cdot W_{t} + W_{c o l} \cdot W_{l} \cdot W_{t}} - - - (4)$

$w_{u} = \frac{W_{c o l} \cdot W_{l} \cdot W_{t}}{W_{c o l} \cdot W_{l} \cdot W_{u} + W_{l} \cdot W_{u} \cdot W_{t} + W_{c o l} \cdot W_{u} \cdot W_{t} + W_{c o l} \cdot W_{l} \cdot W_{t}}$

$w_{t} = \frac{W_{c o l} \cdot W_{l} \cdot W_{u}}{W_{c o l} \cdot W_{l} \cdot W_{u} + W_{l} \cdot W_{u} \cdot W_{t} + W_{c o l} \cdot W_{u} \cdot W_{t} + W_{c o l} \cdot W_{l} \cdot W_{t}}$

(4)式中W_col,W_l,W_u,和W_t的计算方法为：

W_col＝1.2

$\begin{matrix} W_{l} = 1 + 0.2 \cdot I S C E \\ W_{u} = 1 + 0.2 \cdot I S C E \end{matrix} - - - (5)$

W_t＝1+0.2·TSCE

步骤14：相关划分复杂度CSC的计算：

CSC＝max{SC_col,SC_L,SC_U,SC_R,SC_D}(6)

步骤15：根据CSC和SC_pre预测当前编码块的深度范围

如果CSC<Th,则预测DR为[0,1],否则执行以下操作

(1)当SC_pre≤th1,预测DR为[0,1]；

(2)当th1<SC_pre≤th2,预测DR为[0,2]；

(3)当th2<SC_pre≤th3,预测DR为[1,3]；

(4)当SC_pre>th3,预测DR为[2,3]；

上面的Th,th1,th2,th3为阈值；

步骤2：CU提前终止算法：在预测范围内进行CU提前终止的检测，如果满足提前终止条件，则终止CU的划分，否则进行下一深度的划分：

如果当同时满足下面两个条件(a)(b)时，提前终止CU的划分，否则进行下一深度的划分

$(a) - - - \begin{matrix} D e p t h_\max = \max {D e p t h_n e i g h b o u r, D e p t h_c o l, D e p t h_t_{0}, D e p t h_t_{1}} \\ D e p t h_\max \leq u i d e p t h \end{matrix}$

(b)当前编码块的最优编码模式为SKIP模式

Cur为当前编码CU，对于空间相邻区域，参考黑色区域的划分深度，记其中最大的深度为Depth_neighbour，Depth_col为视点间相关视点的深度，Depth_t₀和Depth_t1分别为前后参考帧相关块的划分深度，Depth_max取所有深度值的最大值，uidepth为当前CU的编码深度层。

本发明的有益效果：

采用本发明提出的面向3D-HEVC的编码单元尺寸快速选择算法，在不影响视频质量的情况下，大大节省了深度划分的复杂度，从而减少了整个3D视频编码的复杂度。当前， 3D视频正处于起步应用阶段，较高的复杂度是制约3D视频普及以及实际应用的主要原因之一。因此，本发明提出的方法对3D视频的发展和普及无疑具有重大意义。

附图说明

图1是视点间、时域、空域相关CU。

图2是空间相邻小尺寸参考CU。

图3是该发明中面向3D-HEVC的编码单元尺寸快速选择算法流程图。

图4是PoznanHall2序列主观质量对比：(a)原图；(b)该发明算法解码图像。

具体实施方式

以下结合附图例对本发明的实施例作进一步的详细说明。

本实施例以本发明的技术方案为前提下进行实施，给出了详细的实施方式，如图3 所示，面向3D-HEVC的编码单元尺寸快速选择算法的操作步骤为：

1)深度范围选择算法：根据相关预测条件有选择地跳过某些CU深度的划分。具体步骤为：

(1)划分复杂度(SC，SplitComplexity)的计算。

$S C_i = (\begin{matrix} \frac{1}{256} \cdot Σ_{j = 0}^{255} d_{j} & {depth}_{\max} = 0, 1, 2 \\ \frac{1}{128} \cdot Σ_{j = 0}^{255} d_{j} & {depth}_{\max} = 3 \end{matrix}) - - - (7)$

(1)式中d_j表示LCU中4x4单元中相应的深度值，depth_max表示当中最大深度值，下标j表示一个LCU中256个4x4单元的序号，下标i表示的是相关LCU的类型，比如SC_Col即表示视点间相关LCU的划分复杂度，其中相关LCU的类型如图1所示，Cur,Left,Up为当前非独立视点的当前编码块及其左、上相邻块，t,l,u为时域相关块及其左、上相关块，Col,U,D,L, R为视点间相关块及其上下左右相关块。

(2)时域与视点间相关程度的量化计算：时域划分复杂度差异(TemporalSplit ComplexityError，TSCE)和视点间空间划分复杂度差异(Inter-viewSpatialSplit ComplexityError，ISCE)。

$\begin{matrix} T S C E = 1 / 2 \cdot (| S C_L e f t - S C_l | + | S C_U p - S C_u |) \\ I S C E = 1 / 2 \cdot (| S C_C o l - S C_L | + | S C_C o l - S C_U |) \end{matrix} - - - (8)$

(3)当前编码块预测划分复杂度(PredictedSCofCurrentCodingBlock，SC_ pre)的计算。

SC_pre＝w_col·SC_col+w_l·SC_Left+w_u·SC_Up+w_t·SC_t(9)

(3)式中SC_Left,SC_Up,SC_t为当前LCU左、上以及时域相关LCU的划分复杂度， w_col,w_l,w_u,w_t为加权系数，其计算方法为：

$w_{c o l} = \frac{W_{l} \cdot W_{u} \cdot W_{t}}{W_{c o l} \cdot W_{l} \cdot W_{u} + W_{l} \cdot W_{u} \cdot W_{t} + W_{c o l} \cdot W_{u} \cdot W_{t} + W_{c o l} \cdot W_{l} \cdot W_{t}}$

$w_{l} = \frac{W_{c o l} \cdot W_{u} \cdot W_{t}}{W_{c o l} \cdot W_{l} \cdot W_{u} + W_{l} \cdot W_{u} \cdot W_{t} + W_{c o l} \cdot W_{u} \cdot W_{t} + W_{c o l} \cdot W_{l} \cdot W_{t}} - - - (10)$

$w_{u} = \frac{W_{c o l} \cdot W_{l} \cdot W_{t}}{W_{c o l} \cdot W_{l} \cdot W_{u} + W_{l} \cdot W_{u} \cdot W_{t} + W_{c o l} \cdot W_{u} \cdot W_{t} + W_{c o l} \cdot W_{l} \cdot W_{t}}$

$w_{t} = \frac{W_{c o l} \cdot W_{l} \cdot W_{u}}{W_{c o l} \cdot W_{l} \cdot W_{u} + W_{l} \cdot W_{u} \cdot W_{t} + W_{c o l} \cdot W_{u} \cdot W_{t} + W_{c o l} \cdot W_{l} \cdot W_{t}}$

(4)式中W_col,W_l,W_u,和W_t的计算方法为：

W_col＝1.2

$\begin{matrix} W_{l} = 1 + 0.2 \cdot I S C E \\ W_{u} = 1 + 0.2 \cdot I S C E \end{matrix} - - - (11)$

W_t＝1+0.2·TSCE

(4)相关划分复杂度(CorrelatedSplitComplexity，CSC)的计算。

CSC＝max{SC_col,SC_L,SC_U,SC_R,SC_D}(12)

(5)根据CSC和SC_pre预测当前编码块的深度范围

如果CSC<Th,则预测DR为[0,1],否则执行以下操作

(1)当SC_pre≤th1,预测DR为[0,1]；

(2)当th1<SC_pre≤th2,预测DR为[0,2]；

(3)当th2<SC_pre≤th3,预测DR为[1,3]；

(4)当SC_pre>th3,预测DR为[2,3]；

上面的Th,th1,th2,th3为阈值，通过实验我们取经验值，分别为3.5,1.0,2.0, 5.5，可以取得较好的效果。

2)CU提前终止算法：在预测范围内进行CU提前终止的检测，如果满足提前终止条件，则终止CU的划分，否则进行下一深度的划分。

如果当同时满足下面两个条件(a)(b)时，我们就提前终止CU的划分，否则进行下一深度的划分

$(a) - - - \begin{matrix} D e p t h_\max = \max {D e p t h_n e i g h b o u r, D e p t h_c o l, D e p t h_t_{0}, D e p t h_t_{1}} \\ D e p t h_\max \leq u i d e p t h \end{matrix}$

(b)当前编码块的最优编码模式为SKIP模式

如图2所示，Cur为当前编码CU，对于空间相邻区域，我们参考黑色区域的划分深度，记其中最大的深度为Depth_neighbour，Depth_col为视点间相关视点的深度，Depth_t₀和Depth_t1分别为前后参考帧相关块的划分深度，Depth_max取所有深度值的最大值， uidepth为当前CU的编码深度层。

下面进行仿真实验来评估本文所提出的面向3D-HEVC的编码单元尺寸快速选择算法的性能。

为了测试本文提出算法的的有效性，以HTM15.0为测试平台，在CPU酷睿-3双核，主频3.3GHZ，内存8GB，操作系统Windows7环境下实现。测试序列为Balloons，Kendo， Newspaper，GhostTownFly，Poznan_Hall2，Poznan_Street和Undo_Dancer。其中前三个序列分辨率为1024x768，后四个序列分辨率为1920x1088。所有序列同时编码三个视点，每个视点都有相应的纹理图和深度图，依次编码视点0、视点1和视点2，在编码每个视点时会先编码纹理图再编码深度图。

采用BD-rate和ΔEncT来衡量算法性能。BD-rate表示同样的PSNR下码率的变化情况，即正负分布表示码率增加和减少，其值越小代表该算法的性能越好。ΔEncT表示两种不同算法的编码时间差值。

表1为该发明与HTM15.0的性能比较结果

从表中可以看出，我们提出的算法可以平均减少56％的时间，同时两个非独立纹理视点的BD-rate分别增加了0.52％and0.57％，因此跟原始HTM算法相比，本文算法在保证很小的RD性能减少的情况下，可以极大地降低编码时间。

图4给出了PoznanHall2序列主观质量对比图，从图中可以看出，在大幅度降低编码时间的情况下，本文算法仍然可以保持主观质量不改变，进一步验证了本文算法的有效性。

结合以上各图可以看出，实验结果符合预期，将本文算法应用到非独立纹理视点可以减少大部分编码时间，然而只有少量的BD-rate的增加，并且主观质量相比于原始图像几乎没有改变。

去获取专利，查看全文>

相似文献

专利
中文文献
外文文献

1. 面向3D-HEVC的编码单元尺寸快速选择算法 [P] . 中国专利： CN105704497B . 2018.08.17
2. 面向3D-HEVC的编码单元尺寸快速选择算法 [P] . 中国专利： CN105704497A . 2016-06-22
3. FAST BLOCK SELECTION ALGORITHM FOR VIDEO CODING USING SPATIALLY VARYING TRANSFORM [P] . 世界知识产权组织专利： WO2010051846A1 . 2010-05-14

机译：基于空间变化变换的视频编码快速块选择算法
4. Method for fast synchronization of the block coders and - decoders in the case of a block encoded, bidirectional data transmission via into a bit-oriented channel [P] . 德国专利： DE10030393A1 . 2002-01-03

机译：在经由块编码的双向数据传输到面向比特的信道中的情况下，用于块编码器和解码器的快速同步的方法
5. Method for fast synchronization of block encoders and decoders in block-coded bidirectional data transmission via a bit-oriented channel [P] . 美国专利： US2002001358A1 . 2002-01-03

机译：在经由面向比特的信道的块编码双向数据传输中用于块编码器和解码器的快速同步的方法