一种基于视频压缩码流中辅助增强信息的2D视频转3D视频方法

技术领域

本发明涉及2D视频转3D视频技术领域，具体是一种利用视频码流中的特定辅助增强信息进行2D视 频转3D视频方法。

技术背景

目前，3D视频技术正在迅速进入市场，各大厂家的显示器、电视机、投影仪等已经越来越多地支持 3D视频的播放。但是目前3D视频资源还不够丰富，3D视频拍摄、制作等难度大，成本高。另一方面， 数量众多的原有2D视频由于不具有深度信息，无法通过3D显示终端进行观赏，也是一大遗憾。因此将 2D视频转变为3D视频的技术成为一大热点。

2D视频转3D视频的技术是跟据2D视频生成每幅画面的深度图，并跟据深度图和2D画面生成另一 视点的2D画面，再进行3D视频显示。生成深度图的技术目前分为全自动、半自动和人工方法。自动方 法是利用视频中物体运动信息、画面结构等线索，估计出每幅画面的深度图；人工方法则是人为地给每幅 画面上每个像素赋予一个深度；半自动方法则由人工参与提供更加丰富的深度信息，再由计算机自动给每 幅画面上每个像素生成深度值。其中，人工方法生成深度图的代价太大，无法推广；全自动方法义由于现 实中的视频往往比较复杂，造成各种全自动算法适应能力很差，效果不好。因此半自动方法成为目前广为 接受的深度图生成方法。

对2D视频转3D视频之后数据的传输和显示，目前通常的做法是将生成的3D视频按照普通真实3D 视频的方法生成双拼或色分的3D视频序列进行压缩和传输，解码端直接解码图像进行显示。该方法造成 待压缩的视频数据量加倍，不利于传输和存储。因此，将2D视频转3D视频的一些关键信息存储在普通 2D视频码流中，再由解码端跟据这些关键信息进行全自动的2D视频到3D视频的转换并进行显示的方法， 是一个可行的方法。

发明内容

本发明的目的在于提供一种基于视频压缩码流中辅助增强信息的2D视频转3D视频方法，以便将2D 视频在编码之前，由人为参与的半自动或人工方式，以及高运算复杂度的全自动方式生成的深度图关键信 息传输给解码端，提高解码端进行全自动2D视频转3D视频的质量，同时节省传输带宽和存储空间，降低 解码端生成3D视频的计算复杂度。

为实现上述目的，本发明提出的基于视频压缩码流中辅助增强信息的2D视频转3D视频方法包括以下 步骤：

第一步：对序列中每一幅图像，首先使用自动，半自动或人工方式生成辅助增强信息。该辅助增强信 息不影响视频的解码过程，用于增强解码端2D转3D视频的质量，可以包含但不限于如下信息：用于构造 背景区域深度的模型和参数信息；用于构造前景对象深度的模型和参数信息等。

第二步：对2D视频序列进行普通的视频编码，并对每一幅图像的用于增强解码端2D转3D视频的质 量的辅助增强信息进行熵编码。将熵编码之后的用于增强解码端2D转3D视频的质量的辅助增强信息存储 于视频压缩码流中对应图像的补充增强信息(Supplemental enhancement information)层中。

第三步：在解码端，解码2D视频序列中的一帧图像F；

第四步：在解码端，解码所述图像F的用于增强解码端2D转3D视频的质量的辅助增强信息，并基于 该信息重建前景对象和背景的深度，以及与F对应3D图像。

第五步：解码端若还剩余图像未解码，则跳回第三步开始处理下一幅图像。

本发明具有以下优点：

1.用于增强解码端2D转3D视频的质量的辅助增强信息可以通过自动、半自动或人工手段在内容制 作或编码端生成，能有效地辅助解码端进行全自动的2D视频转3D视频，提升转换质量。

2.与编码传输3D视频相比，编码2D视频和用于增强解码端2D转3D视频的质量的辅助增强信息， 可以有效地节约传输和存储代价；

3.与传统的2D到3D视频的全自动转换方法相比，用于增强解码端2D转3D视频的质量的辅助增强 信息已经在码流中，无需在解码端重新估计，在解码端进行2D到3D视频转换的计算复杂度大 大降低。

附图说明

图1是本发明实施例中深度模版的三角网格描述示意图；

图2是本发明实施例的流程图；

图3是本发明实施例中三角网格划分及符号串表示方式的示意图；

图4是本发明实施例中跟据2D图像及深度模版生成深度图的示意图。

具体实施方式

下面结合附图和实施例，对本发明进行详细的描述。本实施例仅为本发明的一个实施例而不是全部实 施例。

对一个2D视频序列进行2D转3D处理，将处理结果存储并通过互联网分发，由客户端解码进行3D视 频的重建并显示。采用简单的深度模版对2D视频每一幅图像的深度进行描述。采用的深度模版的三角网 格描述为：使用矩形的2D视频每一幅图像中，两条对角线中的一条或两条，将矩形的画面分割为2个或4 个三角形区域，给每一个三角形区域的三个顶点赋予一个深度值；其余像素跟据像素所在三角形区域三个 顶点的深度值使用线性插值得到。图1所示的几个深度模版为该三角网格描述能描述的几种典型的深度模 版，其中，明亮区域深度值较高，暗色区域深度值较低。

该实施例中，本发明实现的步骤如图2所示：

第一步：对序列中每一幅图像，首先使用半自动方式，由人工地跟据图像深度结构选择图像三角网格 描述划分方式，并给每一个三角形区域三个顶点赋予一个深度值，生成三角网格描述的深度模版。对每个 顶点深度值使用一字节无符号整数存储，对划分方式使用一字节无符号整数存储。如果选择的三角网格描 述只包含两个三角形区域，如图3(a)(b)所示，三角网格描述串为“sign，d(a)，d(b)，d(c)，d(d)”。其中 d(m)表示m点的深度值；sign表示三角区域划分方式。sign值为1时，两个三角形区域分别为Δbac和Δ acd；sign值为2时，两个三角形区域分别为Δabd和Δbdc。如果选择的三角网格描述包含4个三角形区 域，如图3(c)所示，三角网格描述串为“sign，d(a)，d(b)，d(c)，d(d)，d(o)”，其中，sign值为3。4个 三角形区域为Δabo，Δbco，Δcdo和Δdao。

第二步：对2D视频序列进行普通的视频编码，并对每一幅图像深度模版的三角网格描述串进行熵编 码。将熵编码之后的三角网格描述的深度模版存储于视频序列对应图像的图像头中。并在视频图像头中定 义标志位，若标志位置1，则标识该图像头包含了深度模版的三角网格描述串；否则，该图像头未包含深 度模版的三角网格描述串。

第三步：存储并分发码流。

第四步：在解码端，解码2D视频序列中的一帧图像F。

第五步：在解码端，对所述图像F的深度模版三角网格描述串进行熵解码，还原三角网格描述串，并 重建深度模版M。重建深度模版M的方法为：跟据三角网格描述串的sign字段确定三角网格划分方式， 并解析每个三角形区域的顶点深度值；将每个三角形区域的三个顶点的深度值赋予深度模版M上对应像 素；深度模版M上其余像素的深度值由像索所在的三角形区域的三个顶点深度值进行线性插值得到。

第六步：在解码端，跟据所述图像F和所述深度模版M生成深度图D。对所述图像F进行简单的图 像分割，每一个分割区域的像素划为一组；每一组像素在深度模版M上对应像素深度值的平均值作为这 一组像素的深度值，赋予深度图D上同该组像素对应的像素。如图4所示，图4(a)为深度模版M，区域 K为图像分割后一个分割区域；图4(b)中的区域K’为深度图D上同区域K相同的区域。区域K’中每个 像素的深度值为深度模版M上K区域所有像素深度值的平均值。

第七步：在解码端，跟据所述图像F和所述深度图D生成另一视点的2D图像F’，进行显示。

第八步：解码端若还剩余图像未解码，则跳回第三步开始处理下一幅图像。

至此，该实施例的所有步骤完成。

该发明通过以上步骤，充分利用了编码之前通过自动、半自动等方式生成的深度模版关键信息，提升 解码端全自动2D转3D处理的质量，并节省了传输带宽和存储空间。