用于立体显示器和自动立体显示器的深度图传送格式

相关申请的交叉引用

本申请要求以下美国临时专利申请的优先权：于2012年6月14日提 交的美国临时专利申请No.61/659,588；于2012年10月10日提交的美国 临时专利申请No.61/712,131；于2012年12月20日提交的美国临时专利 申请No.61/739,886；于2013年2月21日提交的美国临时专利申请 No.61/767,416；于2013年4月1日提交的美国临时专利申请 No.61/807,013；于2013年4月2日提交的美国临时专利申请 No.61/807,668；以及于2013年5月10日提交的美国临时专利申请 No.61/822,060，其全部内容通过引用合并到本文中。

技术领域

本发明一般地涉及图像。更具体地，本发明的实施方式涉及用于立体 显示器和自动立体显示器的深度图的传送的格式。

背景技术

3D视频系统获得无论在电影院还是在家中增强消费者体验的极大兴 趣。这些系统使用立体或自动立体的呈现方法，包括：

(i)立体照片——通过经由二色滤光器(通常一只眼红色，另一只 眼青色)对光进行滤光来提供左/右眼分离；

(ii)线性偏振——通过经由(通常)竖直取向的线性偏振器对左眼 进行滤光并且经由水平取向的线性偏振器对右眼图像进行滤光，在投影仪 处提供分离；

(iii)圆偏振——通过经由(通常)左手圆偏振器对左眼图像进行滤 光并且经由右手圆偏振器对右眼图像进行滤光，在投影仪处提供分离；

(iv)快门眼镜——通过在时间上将左图像与右图像复用来提供分 离，以及

(v)光谱分离——通过在光谱上对左眼和右眼进行滤光在投影仪处 提供分离，其中，左眼和右眼各自接收红色、绿色和蓝色光谱的互补部分。

现今市场上可得到的大部分3D显示器是立体TV，其要求用户佩戴 专用的3D眼镜以便体验3D效果。3D内容到这些显示器的传送仅要求携 带两个分离的视图：左视图和右视图。出现了自动立体(无眼镜)显示器。 这些显示器提供一定量的运动视差；观看者可以来回移动他/她的头，当 他们来回移动时如同他们从不同的角度观看对象一样。

传统的立体显示器提供单个3D视图；然而，要求自动立体显示器基 于显示器的设计来提供多个视图如5个视图、9个视图、28个视图等。当 给自动立体显示器提供规则的立体内容时，显示器提取深度图，并且基于 该深度图来创建或呈现多个视图。如本文中所使用的，术语“深度图”表 示包括与场景对象的表面到视点的距离有关的信息的图像或其他比特流。 可以容易地将深度图转换成视差图，并且在该文档的上下文中，术语深度 图和视差图相同，并且可互换。

深度图也可以用于对具有不同分辨率的不同显示器类型(例如，1080p 显示器或2K显示器)的3D体验进行重定向。大量研究表示出：为3D 电影院设计的深度量不适于较小的移动装置，并且为较小的移动装置设计 的深度量不适于3D电影院。另外，存在对3D深度量的观看者偏好，该 观看者偏好可以取决于年龄(年轻人比老年人更喜欢较大的深度体验)， 取决于文化(亚洲文化比西方文化更喜欢较高的深度)，或简单地取决于 观看者。深度图信息可以用于重新呈现立体视图以增加或降低感知深度或 其他调节。如发明人在此理解的，期望用于将深度图信息与内容一起传送 的改进的技术提高使用自动立体显示器和立体显示器的用户体验。还应当 理解的是，这些改进的技术优选地与现有的单视图和3D系统后向兼容。

本部分中所描述的方法是可以实行的方法，但并不一定是先前已经构 思或实行的方法。因此，除非另外指出，否则不应当仅仅因为被包括在本 部分中就假设本部分中所描述的任何方法是现有技术。相似地，除非另外 指出，否则不应基于本部分而假设关于一种或更多种方法而确定的问题已 经在任何现有技术中被意识到。

附图说明

在附图的图中通过示例但并非限制性方式示出了本发明的实施方式， 在附图中相似的附图标记指代相似的元素，在附图中：

图1A和图1B描绘了3D视频的示例帧兼容全分辨率(FCFR)编码 器和解码器；

图1C描绘了不具有深度数据的3D FCFR格式的简化表示；图1D示 出了相应解码器的简化表示；

图2A描绘了根据本发明的实施方式的示例3层深度图传送格式，其 中基本层包括并排3D信号；图2B描绘了可以由适当的解码器提取的相 应比特流的示例；

图2C描绘了根据本发明的实施方式的示例3层深度图传送格式，其 中基本层包括上下3D信号；

图3A描绘了根据本发明的实施方式的示例3层深度图传送格式；图 3B描绘了可以由适当的解码器提取的相应比特流的示例；

图4A描绘了根据本发明的实施方式的示例3层深度图传送格式；图 4B描述了可以由适当的解码器提取的相应比特流的示例；

图5描绘了根据本发明的实施方式的示例单层深度图传送格式；

图6描绘了根据本发明的实施方式的示例双层深度图传送格式；

图7A描绘了根据本发明的实施方式的示例2层深度图传送格式；图 7B描绘了可以由适当的解码器提取的相应比特流的示例；

图8A描绘了根据本发明的实施方式的示例3层深度图传送格式；图 8B描绘了可以由适当的解码器提取的相应比特流的示例；

图9A描绘了根据本发明的实施方式的示例3层深度图传送格式；图 9B描绘了可以由适当的解码器提取的相应比特流的示例；

图10A描绘了根据本发明的实施方式的示例2层深度图传送格式； 图10B描绘了可以由适当的解码器提取的相应比特流的示例；

图11A描绘了根据本发明的实施方式的示例2层深度图传送格式； 图11B描绘了可以由适当的解码器提取的相应比特流的示例；

图12A和图12B描绘了根据本发明的实施方式的单层深度图传送格 式的示例；

图13A描绘了根据本发明的实施方式的示例2层深度图传送格式； 图13B描绘了可以由适当的解码器提取的相应比特流的示例；

图14描绘了根据本发明的实施方式的示例单层深度图传送格式；

图15A和图15B描绘了根据本发明的实施方式的示例单层深度图传 送格式；

图15C描绘了根据本发明的实施方式的分割的深度图的复用的示例；

图16A至图16E描绘了根据本发明的实施方式的示例3层深度图传 送格式。

图17A至图17B描绘了根据本发明的实施方式的示例2层深度图传 送格式。

具体实施方式

在本文中描述立体显示器和自动立体显示器的深度图的传送格式。格 式支持各种视频传送场景，包括传统的线缆、卫星或无线(over the air) 广播和云上(over-the-top)传送。在一些实施方式中，格式使得传统的 解码器能够提取后向兼容的2D或3D流，而较新的解码器能够呈现立体 显示器或自动立体显示器的多个视图和相关联的深度图数据。在下面的描 述中，出于说明的目的，阐述了大量具体的细节以便提供本发明的透彻理 解。然而，明显的是，可以在没有这些具体的细节的情况下实践本发明。 在其他实例中，为了避免不必要地模糊本发明，未彻底详细地描述公知的 结构和装置。

概述

本文中所描述的示例实施方式涉及立体显示器和自动立体显示器的 深度图信息的传送格式。给定3D输入图片和相应的输入深度图数据，基 于该输入图片生成并排图片和上下图片。使用编码器，对并排图片进行编 码以生成经编码的基本层。使用编码器和纹理参考处理单元(RPU)，对 上下图片进行编码以生成第一增强层，其中部分地基于基本层流对第一增 强层进行编码。使用编码器和深度图RPU(在下面表示为Z-RPU或 RPU_Z)，对并排图片的深度数据进行编码以生成第二增强层，其中部分地 基于基本层对第二增强层进行编码。

在一些实施方式中，代替将深度图直接编码成基本层和增强层，编码 器可以对残留深度图数据进行编码，残留深度数据包括输入深度图数据与 由Z-RPU生成的估计深度图数据之间的差异。

在一些实施方式中，将深度图数据和视频数据编码成单个层，该单个 层包括：第一视图的半分辨率数据，以及第二视图的半分辨率数据或第一 视图的半分辨率数据的深度图数据。

在一些实施方式中，将深度图数据和视频数据编码成两个基本层。第 一基本层包括第一视图的全分辨率数据，第二基本层包括第二视图的全分 辨率数据或第一视图的全分辨率深度数据。

在一些实施方式中，将深度图数据和视频数据编码成三个层。基本层 包括第一视图的半分辨率数据及其相应深度图数据。第一增强层包括上下 图片，并且第二增强层包括第二视图的半分辨率数据及其相应深度图数 据。

在一些实施方式中，将深度图数据和视频数据编码成两个层。基本层 包括并排图片的亮度分量和色度分量。增强层的亮度分量包括上下图片的 亮度分量，并且增强层的色度分量包括上下图片的深度图数据。

在一些实施方式中，填充并排图片和上下图片，使得它们的水平和竖 直空间尺寸是预定义的宏块大小(例如，16)的整数倍。因此，经填充的 数据包括原始的深度图数据的二次采样版本。

在一些实施方式中，也可以用深度图数据或残留深度图数据替换增强 层中的色度像素值。

3D的示例FCFR格式

图1A描绘了不具有任何深度信息的3D视频数据的帧兼容全分辨率 (FCFR)编码器的示例。该编码器根据于2011年9月29日提交的T.Chen 等人的美国临时专利申请61/541,005“Dual-layer frame-compatible  full-resolution stereoscopic 3D delivery(双层帧兼容全分辨率立体3D传 送)”(并且于2012年9月26日作为PCT申请No.PCT/US2012/057302 提交)中所描述的方法来操作，通过引用将其全部内容合并到本文中。

如图1A中所描绘的，对输入3D信号(105)的全分辨率(例如， 1920×1080)左视图(105-1)和右视图(105-2)进行滤波，二次采样(水 平地或竖直地)和复用以生成并排视图112和上下视图117。并排图片和 上下图片包括输入的两个视图，但是每个视图具有较低的分辨率。例如， 对于1920×1080输入，并排子图片(L，R)每个可以为960×1080，并且 上下子图片(L’，R’)每个可以为1920×540。并排信号112被BL编码器 120编码以生成编码基本层(BL)比特流122。BL编码器120可以是已 知的视频编码器中的任何一种，如由ISO/IEC MPEG-2、MPEG-4部分2 或H.264(AVC)标准指定的那些编码器，或其他编码器如谷歌的VP8、 微软的VC-1、HEVC等。

上下信号117可以被第二编码器，增强层(EL)编码器130，编码以 生成编码增强层(EL)流132。EL编码器可以以与BL编码器120相同 的格式(例如，H.264)或以不同的格式进行编码。在一些实施方式中， EL编码器130可以使用来自上下信号117和并排信号112两者的参考帧 对信号117进行编码。例如，BL编码器120、EL编码器130以及相关联 的存储装置(未示出)可以包括由多视图编解码器(MVC)的ISO/IEC  H.264规范指定的多视图编解码器。

在一些实施方式中，图1A的编码器也可以包括参考处理单元(RPU) 125。如本文中关于RPU所使用的，术语“参考”不意在暗示或表达且不 应当被理解为表示该图片明确地用作完全编码处理中的参考(例如，从“参 考图片”的意义上说)。RPU可以遵照下面两个依照专利合作条约(PCT) 提交的专利申请公布中所阐述的描述，出于所有目的，通过引用将其合并 到本文中，如同在本文中充分阐述一样：(1)Tourapis.A等人的WO  2010/123909A1，“Directed Interpolation/Post-processing Methods for  Video Encoded Data(用于视频编码数据的定向内插/后处理方法)”；以及 (2)Tourapis.A等人的WO 2011/005624A1，“Encoding and Decoding  Architecture for Frame Compatible 3D Video Delivery(用于帧兼容3D视 频传送的编码和解码架构)”。除非另外相反指出，RPU的下面的描述应 用于编码器的RPU和解码器的RPU两者。涉及视频编码的领域中的普通 技术人员应当理解该差异，并且当阅读本公开内容时能够区分编码器专 用、解码器专用和通用RPU描述、功能和处理。在如图1A中所描绘的 3D视频编码系统的背景下，RPU(125)根据选择不同的RPU滤波器和 处理的一组规则对来自BL编码器120的解码图像进行访问和内插。

RPU 125使得内插处理能够以区域等级自适应，其中根据该区域的特 性内插图片/序列的每个区域。RPU 125可以使用水平、竖直或二维(2D) 滤波器、边缘自适应或基于频率的区域相关滤波器和/或像素复制滤波器 或用于内插和图像处理的其他方法或装置。

例如，一个像素复制滤波器可以简单地执行零阶保持，例如，内插图 像中的每个样本可以等于低分辨率图像中的相邻样本的值。另一像素复制 滤波器可以执行跨视图复制操作，例如，一个视图中的每个内插样本可以 等于来自相对视图的非内插同位样本。

另外地或替代地，也可以在RPU中使用视差补偿复制方案。例如， 滤波器可以复制其中可以使用视差矢量来指定要被复制的区域(其也可以 是来自不同视图的区域)的位置的样本的非同位区域。可以使用整数或亚 像素精度来指定视差矢量，并且可以包括简单的例如平移运动参数，或更 复杂的运动模型如仿射或透视运动信息和/或其他。

编码器可以选择RPU滤波器并且输出区域处理信号，区域处理信号 被作为输入数据提供至解码器RPU(例如，140)。信令(例如RPUL 127) 基于每个区域指定滤波方法。例如，可以在RPUL相关数据报头中指定 关于区域属性的参数如数量、大小、形状和其他特性。一些滤波器可以包 括固定的滤波器系数，在这种情况下，不需要明确地由RPU用信号通知 滤波器系数。其他滤波器模式可以包括显式模式，在显式模式下可以明确 地用信号通知滤波器参数如系数值以及水平/竖直抽头的数量。

也可以每颜色分量地指定滤波器。RPU可以指定线性滤波器。也可 以在RPU中指定非线性滤波器如边缘自适应滤波器、双边滤波器等。此 外，也可以用信号通知指定先进的运动补偿方法的预测模型如仿射或透视 运动模型。

RPU数据信令127可以被嵌入在编码比特流中或被分离地发送至解 码器。可以用信号通知RPU数据以及被执行RPU处理的层。另外地或替 代地，可以在一个RPU数据包内用信号通知所有层的RPU数据，该RPU 数据包在嵌入层2编码数据之前或之后被嵌入在比特流中。对于给定的 层，RPU数据的提供可以是可选的。在不可得到RPU数据的情况下，从 而可以使用默认方案用于该层的上转换。同样地，增强层编码比特流的提 供也是可选的。

实施方式允许最佳选择每个RPU中的滤波器和滤波区域的多个可能 的方法。可以单独地或结合确定最佳RPU选择来使用多种标准。最佳RPU 选择标准可以包括基本层比特流的解码质量、增强层比特流的解码质量、 编码每个层包括RPU数据所需要的比特率、和/或数据的解码和RPU处 理的复杂度。

可以与增强层中的后续处理无关地优化RPU。从而，可以确定RPU 的最佳滤波器选择，使得受到其他约束如比特率和滤波器复杂度使所内插 的基本层与原始的左眼和右眼图像之间的预测误差最小化。

RPU 125可以用作前处理级，该前处理级在将该信息用作EL编码器 130中的增强层的潜在预测符(predictor)之前对来自BL编码器120的 信息进行处理。如图1B中所描绘的，可以使用RPU层(RPUL)流127 将关于RPU处理的信息发送(例如，作为元数据)至解码器。RPU处理 可以包括多种图像处理操作，如：颜色空间变换、非线性量化、亮度和色 度上采样、以及滤波。在典型的实现中，EL 132、BL 122和RPUL 127 信号被复用成单个编码的比特流(未示出)。

图1B描绘了用于对由图1A中描绘的编码器编码的比特流进行解码 的示例解码器。解码器将所接收的比特流复用以创建BL流122、EL流 132和RPUL流127。具有单个BL解码器135的解码器可以自己对BL 流122进行解码以生成解码的并排比特流137。解码器可以使用信号137 来生成单个2D流(通过选择信号的左视图或右视图)或后向兼容的3D 流。支持另外的EL解码器145的解码器也可以对上下流147进行解码， 并且将其与BL流137组合以生成全分辨率3D流152。可以根据先前引 用的美国临时专利申请61/541,005中所描述的方法来执行上下流和并排 流的去复用和组合以创建全分辨率3D视频流。

BL解码器135(例如，MPEG-2或H.264解码器)对应于BL编码 器120。EL解码器145(例如，MPEG-2或H.264解码器)对应于EL编 码器130。解码器RPU 140对应于编码器RPU 125，并且在RPUL输入 127的指导下可以通过执行与由编码器RPU 125执行的操作对应的操作 来辅助EL层132的解码。

图1C描绘了由图1A中描绘的双层编码器编码的3D FCFR编码格式 的简化表示。根据图1C的符号，编码BL信号包括并排信号112，并排 信号112包括亮度(luminance)或亮度(luma)分量(112-Y)和相应的 色度分量(112-UV)。例如，在一些实施方式中，BL信号112可以以4:2:0 YUV格式编码。在一些其他实施方式中，其可以以4:2:0YCbCr格式编 码。如图1C中所描绘的，输入信号的色度分量可以具有比亮度分量低的 像素分辨率；然而，本文中所描述的所有方法应用于色度可以具有与亮度 分量相同的分辨率的颜色格式(例如，4:4:4YCbCr或4:4:4YUV)。BL 信号112可以使用图1A中描绘的编码器独立地被编码。可以部分地基于 来自BL流112的参考数据使用RPU_T 125对EL上下流117进行编码。 EL流117包括其自己的亮度(117-Y)分量和色度(117-UV)分量。

给定由图1C中描绘的编码器表示所生成的编码比特流，图1D描绘 了相应的接收器实施方式的简化表示。图1D也可以被视为图1B的简化 版本。所先前所说明的，具有单个BL解码器135的传统解码器可以从该 流提取传统的(例如，半分辨率)帧兼容(FC)3D流，而较新的解码器 (例如，H.264MVC解码器或具有EL解码器145和RPU140的解码器) 还可以提取增强层从而重建较高分辨率和质量的FCFR 3D流。出于符号 目的，两个解码器之间如BL解码器135与EL解码器145之间的连接(例 如，137)表示EL解码器可以例如通过解码器RPU 140(未示出)利用 从基本层提取和后处理的帧作为参考帧。换言之，部分地基于来自BL流 的数据来对编码EL流进行解码。

具有后向兼容层的3D的示例深度格式

图2A描绘了用于除了FCFR 3D数据之外还传送深度图数据的示例 三层传送格式。如图2A中所指出的，前两个层BL 212和EL-1217对应 于传统的3D FCFR层BL 112和EL 117。类似于3D FCFR编码，可以使 用RPU_T 225参照BL层212对EL-1层217编码。EL-2层219S表示被编 码为主通道219S-A和次通道219S-B的深度图信息。深度图数据通常被 编码为8位灰度数据；即，它们不包括任何色度信息。在EL-2219S中， Z_L表示左视图(例如，105-1)的水平二次采样的深度数据，Z_R表示右视 图(例如，105-2)的水平二次采样的深度数据。由于在该实施方式中深 度数据被二次采样，所以丢失的深度信息也可以合并到次深度通道 219S-B中。例如，在一种实施方式中，给定左视图的原始的w x h深度图， 在竖直二次采样之后，得到的w x h/2深度图可以被分成w/2x h/2深度图， 表示为Z_L’和Z_L”。

可以使用第二EL编码器对EL-2219S独立地编码，或如图2A中所 描绘的，可以通过参照从BL流212提取的深度数据使用RPU_Z 230对其 编码。

深度图RPU 230(也称作RPU_Z或Z-RPU，因为其操作深度或Z缓 存数据)与纹理RPU 225(或RPU 125)(也称作RPU_T，因为其操作纹 理数据)在操作和功能方面很类似，只是其具有从基线输入(例如，BL 212) 提取(或预测)估计深度图数据的附加功能。可以使用本领域中的已知技 术中的任何技术如以下技术从2D或3D数据提取深度图信息：Daniel  Scharstein和Richard Szeliski的“High-Accuracy Stereo Depth Maps  Using Structured Light(使用结构光的高精确度立体深度图)”，发表于 IEEE Computer Society Conference on Computer Vision and Pattern  Recognition，第1卷，第195至202页，2003年6月，通过引用将其全 部内容合并到本文中。

在一些实施方式中，EL-2层219S可以携带下面的数据：不具有任何 修改的原始深度图(例如，由相机拍摄的深度图)、或原始深度图与由RPU_Z预测的深度图之间的差、或来自原始深度图的特定区域。类似于RPU_T比 特流(例如，127)，相同的格式也可以用于携带定义RPU_Z处理所需的各 种参数作为深度图的一部分或分离的RPU_Z比特流的一部分。

给定图2A的深度图编码格式，依赖于接收器的能力，图2B描绘了 大量替选的解码比特流。例如，具有单个解码器BL解码器250的接收器 可以仅提取帧兼容(FC)3D流。具有BL解码器250和EL解码器1255 (例如，MVC解码器)两者的接收器也可以对FCFR 3D流进行解码。 具有第二EL解码器(265)和解码器RPU_Z(未示出)的接收器也可以对 深度图Z_L和Z_R进行解码。具有BL解码器250和仅EL解码器2(265) 的接收器可以对FC 3D流以及深度图Z_L和Z_R进行解码。

如图2A中描绘的，基本层212包括并排复用的L/R编码数据(例如， 112)，并且EL-1层包括上下L’/R’复用数据(例如，117)；然而，在本文 中所讨论的深度图的所有传送格式中，使用基本层中的并排3D数据可与 使用上下3D数据互换。因此，如图2C中所描绘的，在替选实施方式中， BL可以包括上下L’/R’信号217(例如，117)，EL-1可以包括并排L/R 信号212(例如，112)，并且EL-2可以包括上下深度图数据Z_L’/Z_R’(219T)。 可以针对说明书中描述的其他示例实施方式得出类似的实施方式。

图3A描绘了图2A中所描绘的深度图传送格式的变型。如图3A中 描绘的，使用第二基本层BL-2319对深度图数据进行编码。为了提高编 码效率，代替对原始深度数据Z_L和Z_R进行编码，编码器可以利用可选的 RPU_Z 330来创建估计深度图数据。

在一种实施方式中，RPU_Z 330可以利用来自基本层312的信息得出 预测深度数据ZE_L和ZE_R。然后，BL-2的编码器可以对深度残留RZ_L＝Z_L-ZE_L和RZ_R＝Z_R-ZE_R进行编码，而不是直接对Z_L和Z_R进行编码。类 似的深度图残留编码可应用于说明书中所描述的所有示例实施方式。

给定根据图3A编码的深度图数据，依赖于接收器的能力，图3B描 绘了替选解码场景。例如，具有单个解码器BL解码器1350的接收器可 以对FC 3D流进行解码。具有第二BL解码器(BL解码器2360)的接 收器可以对深度数据Z_L和Z_R或残留深度数据(RZ_L，RZ_R)进行解码。 具有第二BL解码器360和解码器RPU_Z的接收器可以使用BL流来重建 估计深度数据(ZE_L和ZE_R)，估计深度数据(ZE_L和ZE_R)可以(例如， 经由相加器365)被加到解码的残留深度数据(RZ_L，RZ_R)以生成输出 深度数据Z_L和Z_R。注意，可以由解码器的RPU_Z或由单独的处理电路实 现另外的功能365。最后，具有BL解码器1350和EL解码器355的接 收器可以使用来自BL比特流的比特流EL-1和参考数据来重建FCFR 3D 流。

图4A描绘了使用复用的半分辨率3D数据和两个增强层针对左视图 和右视图深度数据的深度图传送格式。在示例实施方式中，EL-1417携 带L’和R’上下信号(117)的“上”半(L’)和Z_L数据。EL-2419携带 L’和R’上下信号(117)的“下”半和Z_R数据。可以使用纹理和Z缓存 RPU(425和430)来提高增强层的编码效率。RPU_Z 425用于L’和R’数 据的编码，而RPU_Z 430用于Z_L和Z_R数据的编码。如以前，EL-1和EL-2 色度通道(417-UV和419-UV)可以用于携带相应的L’或R’数据的色度 数据(例如，L’u和L’v)或另外的深度数据(Z_L’和Z_L”)。

给定根据图4A编码的深度图数据，图4B描绘了替选解码场景。具 有单个BL解码器450的接收器可以对FC 3D流进行解码。具有另外的 EL解码器(455或460)以及RPU_T和RPU_Z(或类似的)功能的接收器 也可以对全分辨率(FR)左视图流、半分辨率(HR)右视图流和左视图 深度数据(Z_L)进行解码，或者它们可以对FR右视图、HR左视图和右 视图深度数据(Z_R)进行解码。具有两个另外的EL解码器(455和460) 的接收器也可以对来自两个视图的FCFR 3D流和深度数据进行解码。

图7A描绘了使用基本层712和增强层717传送深度图信息的双层方 法的示例实施方式。BL层712传送两个视图(例如，并排图片)的半分 辨率。EL层717传送它们相应深度图。编码器可以利用RPU_Z(730)， 使得从BL 712提取的深度图数据可以用作参考以对EL数据717进行编 码。

在一些实施方式中，RPU_Z 730可以全部一起被跳过，并且EL层717 可以不参照基本层而独立地被编码为第二基本层。

在一些实施方式中，RPU_Z 730可以利用来自基本层712的信息来提 取估计深度数据ZE_L和ZE_R。然后，增强层717可以代替地包括深度图 残留值如RZ_L＝Z_L-ZE_L和RZ_R＝Z_R-ZE_R，而不是包括原始的Z_L和Z_R 深度数据。

给定图7A中所描绘的编码器格式，图7B描绘了替选解码实施方式。 具有单个BL解码器735的接收器可以对FC 3D流进行解码。具有另外 的EL解码器(745)的接收器也可以对相应的Z_L和Z_R深度图数据进行 解码。

在另一实施方式中，可以使用上下L’/R’数据(例如，117)，而不是 使用并排L/R数据(例如，112)作为BL层712。在这样的实施方式中， EL流717也将携带相应的上下深度图数据。

具有非后向兼容层的3D的示例深度格式

到目前为止所描述的大部分深度图数据传送格式使得传统接收器能 够至少对后向兼容的半分辨率(FC)3D流进行解码。当不要求与单个解 码器的后向兼容时，那么可以得到替选实施方式。

图5描绘了用于传送深度图的单层方法的示例。信号BL 512包括半 分辨率左视图(L)及其相关联的深度图(Z_L)。与Z_L(512-UV)相关联 的色度通道可以用于发送Z_L的另外的分辨率数据。编码器也可以替换和 发送半分辨率右视图数据(R)而不是左视图深度数据Z_L。在解码器侧， 具有单个BL解码器的视频解码器可以提取半分辨率左视图及其深度图或 并排图片来生成FC 3D视频流。也可以发送包括关于每图片上的图片布 置的信息的辅助数据(或元数据)。

可以在如下替选实施方式中使用相同的传送格式：其中在BL 512中 可以由半分辨率右视图(R)或上下L’/R’信号(147)的上(L’)或上下 L’/R’信号(147)的下(R’)代替半分辨率左视图(L)并且由相应深度 图代替左视图深度图。

图6描绘了用于传送深度图信息的双层方法的示例实施方式。如图6 中描绘的，BL-1层(612)和BL-2层(617)两者彼此独立地被编码。 BL-1层612包括左视图(L)的全分辨率。BL-2617包括左视图深度图 的全分辨率或右视图(R)的全分辨率。当层BL-2携带深度图数据Z_L时， 相应色度数据(617-UV)可以保留为空或携带其他元数据。

对该格式进行解码要求至少两个BL解码器：一个用于对左视图数据 (L)进行解码，一个用于对左视图深度图数据或右视图数据进行解码。 也可以发送包括关于基于每个图片的图片布置的信息的辅助数据(或元数 据)。该格式使得具有一个解码器的接收器能够重建2D视频，并且使得 具有两个解码器的接收器能够重建FCFR 3D或FC 3D视频。

在一些实施方式中，BL-1(612)可以携带右视图数据(R)，并且 BL-2(617)可以携带右视图深度数据(Z_R)或左视图数据(L)。

图8A描绘了使用基本层(BL)和两个增强层(EL-1和EL-2)的深 度图传送格式。基本层812包括全分辨率左视图。EL-1层包括全分辨率 右视图。可以使用传统的MVC编码器对层BL和EL-1编码或者也可以 利用纹理RPU(未示出，例如RPU 125)。第二增强层EL-2819包括左 视图和右视图两者的半分辨率深度图数据。EL-2层的色度分量(819-B) 还可以包括另外的深度图数据以提高核心深度数据(819-A)的分辨率。 RPU_Z 830可以提供从输入全分辨率L和R图片提取的深度图预测数据， 深度图预测数据可以用于提高EL-2流的编码效率。

给定图8A中所描绘的传送格式，图8B描绘了使用传统且兼容的解 码器的替选解码场景。具有单个BL解码器850的接收器可以提取2D流。 具有MVC解码器或具有EL-解码器855的解码器可以提取FCFR 3D流。 具有另外的EL解码器860(或3-层MVC解码器)的接收器还可以提取 左视图和右视图深度图数据。具有单个BL解码器850和EL解码器2的 解码器可以提取2D流以及相应的深度数据。

图9A描绘了使用基本层912和两个增强层(917，919)的深度图传 送的实施方式。基本层912包括半分辨率左视图(L)及其相应的深度图 Z_L。层EL-1包括L’/R’上下图片(例如，147图像)。当对EL-1917的L’ 进行时编码，RPU_Z(925)可以用于通过基于BL 912的L分量生成适当 的参考帧来提高编码效率。EL-2层919也包括半分辨率右视图(R)及 其相应深度图数据Z_R。当对EL-2919的R分量进行编码时，RPU_T(925) 可以用于基于EL-1917的R’分量生成适当的参考帧。可以由相同的RPU 925或由不同的RPU执行RPU_T 925A和925B的操作。如早前的实施方 式中所讨论的，RPU_Z 930可以从BL 912和EL-1917流提取L、L’和R’ 分量以提高EL-2919中的Z_R数据的编码效率。在一种实施方式中，也可 以切换BL层和EL-2层。

给定图9A中所描绘的传送格式，图9B描绘了接收器中的解码场景 的示例。具有单个BL解码器950的接收器可以对半分辨率(HR)左视 图和半分辨率Z_L进行解码。具有另外的EL解码器1955的接收器也可以 对L’/R’上下信号进行解码，从而，其可以重建全分辨率左视图(或FR 右视图)以及半分辨率右视图(或HR左视图)；这两种信号可以用于重 新创建3D视图。具有第二EL解码器(例如，960)的接收器也可以对半 分辨率右视图R和半分辨率Z_R进行解码，从而能够生成FCFR 3D信号。 具有BL解码器950和仅第二EL解码器960的接收器可以对帧兼容3D 信号以及深度数据进行解码。

图10A描绘了其中基本层BL 1012携带半分辨率左视图和半分辨率 左视图深度图(Z_L)并且增强层(1017)携带半分辨率右视图和半分辨率 右视图深度图(Z_R)的深度图传送格式。编码器可以使用标准的MVC编 码器来对两个层进行编码，或者，其可以使用RPU_T(未示出)(例如， RPU 125)。

关于接收器，如图10B中所描绘的，具有单个BL解码器1035的接 收器可以对半分辨率左视图及其深度图进行解码。具有另外的EL解码器 1045(例如，可以包括或不包括接收器RPU 140的MVC解码器)的接 收器也可以对半分辨率右视图及其深度图进行解码。通过将这两个视图组 合，接收器可以呈现半分辨率(或帧速率兼容的)3D信号。

在替选实施方式中，在图10A中，在EL流1017中，可以发送竖直 半分辨率信号R’(例如，上下信号117的下)和竖直半分辨率Z_R’，而不 是发送水平半分辨率R信号和水平半分辨率Z_R。解码器操作保持相同。

图11A描绘了使用两个层BL 1112和EL 1117的深度图数据传送的实 施方式。基本层1112包括并排L/R图片(例如，112)的亮度和色度分量 两者。EL 1117层包括两个数据组：(a)使用纹理RPU 1125(1117-Y)参 照基本层并排信号编码的上下L’/R’信号(例如，117)的亮度的编码表示， 以及(b)深度图数据，其被携带在为上下信号(L’/R’)(1117-UV)的色 度分量保留的空间中。Z_L和Z_L’是原始左视图深度图的竖直四分之一分辨 率和水平半分辨率。组合的Z_L和Z_L’表示原始左视图深度图的四分之一 分辨率，例如水平和竖直方向上的半分辨率。关于解码器，可以使用来自 并排图片(例如，1112-UV)的色度数据内插与上下图片(1117-Y)相关 联的色度数据。

如图11B中描绘的，具有单个BL解码器1135的接收器可以对FC 3D 信号进行解码。具有双层解码器的接收器也可以对上下L’/R’信号和深度 图数据进行解码，从而能够重建两个视图的FCFR 3D信号和深度图数据。

图12A描绘了使用单个层的深度图传送格式的示例实施方式。层 1205A包括全分辨率左视图和右视图(L和R)两者以及它们的相应全分 辨率深度图数据(Z_L和Z_R)。在一些实施方式中，L和R视图可以被细 分成较低分辨率的子图片以适应传统的显示器。例如，4K分辨率图片可 以包括4个2K子图片，或者2K子图片可以携带4个四分之一分辨率图 片。如图12A中所描绘的，色度通道1205-UV可以携带色度数据和另外 的深度图数据(例如，Z’_L和Z’_R)。

如图12A中描绘的，可以将图像数据(例如，L或R)以及它们的 相应深度数据(例如，Z_L或Z_R)竖直对准。在另一实施方式中，如图12B 中描绘的，也可以将图像数据以及它们的相应深度数据水平对准。

图13A描绘了双层深度图传送格式的示例实施方式。该格式类似于 图7中所描绘的格式，然而，代替携带半分辨率左视图和右视图，该方法 在基本层(1305)和增强层(1325)两者中携带全分辨率数据。可以以二 倍帧速率发送L和R图片。RPU_Z 1330可以用于通过预测来自基本层的 深度图数据并且将它们用作用于编码增强层的替选的参考帧，来提高增强 层的编码效率。

一些实施方式可以跳过RPU_Z 1330并且将深度图数据1325独立地编 码为另一基本层。

在一些实施方式中，RPU_Z 1330可以利用来自基本层1305的信息来 提取估计深度数据ZE_L和ZE_R。然后，增强层1325可以替代地包括深度 图残留值如RZ_L＝Z_L-ZE_L和RZ_R＝Z_R-ZE_R，而不是包括原始的Z_L和 Z_R深度数据。

给定图13A中所描绘的传送格式，图13B描绘了替选接收器配置。 具有单个BL解码器1335的接收器可以对全分辨率3D流进行解码。具有 另外的EL解码器1345的接收器也可以对相应深度数据进行解码。

图14描绘了用于携带图片数据和深度图数据两者的单层传输格式的 示例实施方式。例如，在帧或场景等级以交织方式发送图片数据和深度数 据。可以以四倍于每个视图的帧速率的速度发送图片。基本层1305可以 包括下面的层分量：全分辨率左视图1305-L、全分辨率左深度图1305-ZL、 全分辨率右视图1305-R和全分辨率右深度图1305-ZR。一些实施方式可 以决定选择性地跳过1305层的分量。例如，编码器可以发送视频帧的集 合(例如，电影场景)的所有左视图和右视图(L+R)，但是仅在场景的 开始处发送深度图数据。或者，编码器可以仅发送L+Z_L或R+Z_R数据。 该格式下的另外的元数据可以向解码器指示层分量的次序。

不对称的空间复用

图15A描绘了根据实施方式的用于传送深度图的单层方法的示例。 该方法类似于早前所描绘的单层或双层方法(例如，图5、图9A和图10A)， 只是其使用不对称的空间复用；也就是说，在组合图片视图以及相关联的 深度图(例如，1512)的复用图片中，图片视图(例如，左视图(L)) 及其相关联的深度图(例如，Z_L)的分辨率具有不等的大小。

给定具有像素分辨率h x w(例如，h＝1080且w＝1920)的复用输入 帧(例如，1512)，在一种实施方式中，二次采样的左视图(L)可以相 比其相关联的深度图被分配更多的像素。从而，给定比例a，其中1＞a≥1/2， 原始左视图图片可以被缩放(例如，二次采样)成大小h x aw，而深度图 可以被缩放成大小h x(1-a)w。该方法可以产生比不对称的左视图和右视 图图片(例如，当a＝1/2时)更高锐度的3D图片。

如早前所讨论的，可选地，也可以将另外的深度数据(例如，Z_L’和 Z_L”)嵌入在编码的帧(例如，1512-UV)的相应色度分量中。

在一种实施方式中，可以通过使用编码比特流中的剪裁矩形和纵横比 语法参数定义图片的有效区域(例如，h x aw)来实现后向兼容性，类似 于在AVC/H.264或即将到来的HEVC视频编码标准中定义的。根据这样 的实现，传统的3D接收器可以仅提取、解码和显示由这些参数定义的图 片区域(例如，L)，并且忽略深度图信息(例如，Z_L)。具有3D能力的 接收器可以对整个图片进行解码，使用剪裁参数确定图片区域和深度图区 域，然后使用深度图信息来呈现多个视图。3D接收器可以使用所接收的 剪裁和纵横比参数根据需要对2D图片和深度进行缩放。也可以发送包括 关于基于每个图片的图片布置的信息的辅助数据(或元数据)。

也可以在如下替选实施方式中使用相同的传送格式：其中在BL 1512 中由亚分辨率右视图(R)或上下L’/R’信号(147)的上(L’)或上下L’/R’ 信号(147)的下(R’)的缩放的版本替换亚分辨率左视图(L)，并且由 相应深度图替换左视图深度图。在一些实施方式中(例如，如图4A和图 15B中所示)，不对称的空间复用也可以应用于竖直方向。在一些实施方 式(未示出)中，不对称的空间复用可以用于水平方向和竖直方向两者。

在一种实施方式中，图15C描绘了基于分割的深度图的替选深度传 送格式的示例。这种实施方式使得所发送的深度图的纵横比能够更密切地 匹配所发送的图像视图的纵横比。作为示例，考虑输入1080×1920图像和 如图15A中所描绘的不对称的复用格式，其中，非限制性地，a＝2/3。那 么，在一种实施方式中，亮度信号1512-Y(或1512C-Y)可以包括以 1080×1280分辨率缩放的一个视图(例如，左视图L)和以1080×640分 辨率缩放的相应的深度图(例如，Z_L)。在一些实施方式中，发送540×960 深度图可能更有利，这更好匹配原始纵横比。这样的深度图可以被水平分 割成两个连续的部分(例如，Z_LA和Z_LB)，如图15C中所描绘的，这可 以通过彼此堆叠它们来复用。在此，在示例实施方式中，亮度信号 1512C-YS可以包括两个复用的部分：以第一分辨率(例如，1080×1440) 缩放的图像部分(例如，左视图L)以及被一起复用以形成深度图部分的 两个或更多个深度图片段。在一个示例中，可以竖直地堆叠540×960输入 深度图的两个深度图片段(例如，540×480Z_LA和540×480Z_LB)。

在一些实施方式中，深度图可以被分割成多于两个片段。在一些实施 方式中，深度图可以跨竖直方向被分割。在一些实施方式中，深度图可以 跨竖直方向和水平方向两者被分割。在一些实施方式中，深度图可以被分 割成不等的片段。在一些实施方式中，可以水平地、竖直地或水平和竖直 两者地堆叠片段。

在一些实施方式中，所分割的深度图中的一个或更多个可以在被存储 为复用图像的一部分之前被水平或竖直地翻转。实验已示出这样的翻转减 少编码复用图像(例如，1512C-YS)的纹理部分与深度部分之间的边界 处的编码伪像。此外，在分割的深度图图像的中心处具有较少的编码伪像。

在示例实施方式中，使d[i，j]表示深度图的片段(例如，Z_LB)的像素 值。使D_w表示该片段的宽度。如果跨左竖直轴翻转该片段的像素值，那 么对于第i行，可以将水平翻转的片段(d_hf[i，j])的像素值确定为：

对于(j＝0；j＜Dw；j++)

d_hf[i，j]＝d[i，Dw-j]。

接收具有分割的深度图(例如，1512C-YS)的图像的解码器可以使 用元数据来正确地将所有解码深度图片段对准以重建原始深度图(例如， Z_L)，从而重新生成正确的3D输出图像。任何翻转的深度图片段将需要 在用于呈现最终输出之前被翻转回到它们原始取向。

在一些实施方式中，非对称空间复用和深度图分割也可以应用于包括 输入图像的两个图像视图的深度传送格式(例如，图12A和图12B)。

替选的三层传送格式

图16A描述了根据基于三层传送格式的实施方式的发送3D视频和深 度数据的另一示例。图16A可以被认为是图2A和图2C中所描绘的实施 方式的变型。如图16A中所描绘的，前两个层BL 212和EL-1217对应 于传统的3D FCFR层BL 112和EL 117。使用可以对应于RPU_T 225和 RPU_Z 230的RPU_T和可选的RPU_Z(1620)基于来自BL 212的预测数据 独立于EL-1217地对层EL-21610进行编码。在该示例中，相同的L’视 频数据(或者R’数据)被编码在EL-1和EL-2层中。如图16B中所描绘 的，在仅具有两个解码器(例如，BL解码器250和EL解码器1255)的 接收器中，用户可以选择性地对BL和EL-1流进行解码以生成FCFR 3D 流，或者对BL和EL-2流进行解码以生成适合于自动立体显示的FR流 和深度数据(例如，FR L+Z_L)。具有全部三个解码器的接收器可以生成 FCFR 3D数据和Z_L数据两者。

在一种实施方式中，可以消除1620的RPU_Z处理。在EL-21610层 的编码处理期间，编码器可以简单地使用恒定的平灰度值来预测Z_L深度 数据(例如，可以对于8位图片将预测符的所有像素值设置成等于128)。

图16C描绘了根据实施方式的用于传送3D视频和深度数据的另一示 例。该实施方式类似于图16A中描绘的实施方式；然而，EL流均不携带 任何色度数据。在一种实施方式中，EL-1(1630)和EL-2(1635)的所 有色度信息被设置成固定值(例如，8位图片的128)。实验示出这对于视 觉质量具有最小的影响，同时提供总的比特率的显著节省。仍可以基于 BL流(212-UV)的色度数据重建色度数据。为了正确解码，编码器RPU 可能需要通知解码器(例如，通过RPU信令或其他元数据)忽视EL-1 或EL-2流中的任何解码色度数据。

图16D描绘了图16A的另一示例变型，其中EL-2信号1640中携带 Z_L和Z_R数据两者，但每个具有降低的竖直和水平分辨率。如图16E中所 示，具有两个解码器的接收器现在可以使用自动立体3D应用的左深度数 据和右深度数据对FCFR 3D信号或FC 3D信号进行解码。

使用深度图数据的替选两层FCFR传送格式

图17A描绘了根据基于两层传送格式的实施方式的发送3D视频和深 度数据的另一示例。在很多压缩标准如H.264中，视频序列中的编码图片 的大小为预定义的宏块大小(例如，16×16)的整数倍。如果不是这种情 况，那么在图片的底部和/或侧部添加额外的像素以相应地修改图片大小。 作为示例，考虑具有大小1920×1080的HD信号的编码。1920是16的倍 数；而1080不是16的倍数。在示例实施方式中，这样的流的每个图片可 以由8个额外的行填充来形成1920×1088图片。在一种实施方式中，如图 17A中所示，该填充(例如，1710和1715)可以用于发送深度数据。

在一种实施方式中，如图17A中所描绘的，基本层(BL)包括两部 分：并排(例如，1920×1080)复用的图片(112)和左视图或右视图的深 度数据的二次采样版本(例如，1920×8ZL’1710)。由于深度数据不具有 色度信息，在一种实施方式中，BL信号(1735)的额外的填充行的色度 相关数据可以简单地被设置成恒定值(例如，128)。

在一种实施方式中，可以如下被创建信号ZL’1710。使Z_L表示高分 辨率左视图深度数据信号(例如，960×540)。该信号可以被水平和竖直两 者地滤波和二次采样以生成可以适合于填充数据的分辨率(例如，1920×8) 的二次采样的版本。例如，给定960×540信号，可以生成240×60信号ZL’。 然后，可以使用任何适当的打包方案将240*60＝14,400ZL’字节打包成 1920*8＝15,360字节的可用空间。

在一种实施方式中，如图17A中描绘的，增强层(EL)包括上下数 据亮度数据(117-Y)、较低分辨率左视图或右视图深度数据(例如，ZR’ 1715)和高分辨率左视图和右视图深度数据(1745-U和1745-V)。例如， 在亮度信号中，ZR’1715可以包括被打包成1920×8填充区域的原始Z_R深度数据的240×60二次采样版本。对于色度(1745)，可以发送高分辨率 Z_R和Z_L深度数据而不是发送上下信号(117)的色度。在一种实施方式 中，可以发送Z_R和Z_L(Z_R-e、Z_L-e 1745-U)的偶数列而不是发送U(或 Cb)色度数据，可以发送Z_R和Z_L(Z_R-o、Z_L-o 1745-V)的奇数列而不 是发送117的V(或Cr)数据。如在BL中，ZR’数据1715不具有色度 信息，因此它们的相应色度数据(1740)可以被设置成固定值(例如，128)。

因为中间层预测要求和对宏块进行编码和解码的顺序属性，实际上， 在时间t编码的帧的至少深度数据ZR’(1715)可以实际上表示先前，假 设时间t-1或更早处，编码的帧的深度数据。为了RPU_Z 1730能够完全重 建对增强层(1765)中的Z_L和Z_R进行编码(或解码)所需要的所有深度 数据(例如，ZR’)，该延迟可能是必要的。例如，在编码期间，在时间 T₀处，EL(T₀)帧可以包括虚拟(dummy)ZR’数据(例如，设置所有 值等于128)。那么，EL(T₁)帧可以包括T₀帧的深度数据，EL(T₂) 帧可以包括T₁帧的深度数据，等等。在解码期间，将忽略第一解码帧的 虚拟深度数据，并且将使用至少一帧延迟来恢复深度数据。

如图17A中所描绘的，可以使用第二EL编码器独立地对EL的亮度 进行编码，或者可以参照基本层使用纹理RPU_T 1725对其进行编码。还可 以使用深度图RPU_Z(1730)，使得可以通过考虑二次采样ZL’(1710)和 ZR’数据(1715)对EL的“色度”空间中的高分辨率深度数据进行编码。 例如，在一种实施方式中，RPU_Z(1730)可以包括简单的上采样器。

给定图17A中所描绘的比特流，单个解码器可以对BL流进行解码， 并且提取视图之一的帧兼容(FC)3D流以及二次采样的深度数据。双层 (例如，MVC)解码器可以对FCFR 3D流以及Z_L和Z_R深度数据进行解 码。

图17B描绘了图17A中所描绘的深度图传送格式的变型。为了提高 编码效率，代替对原始深度数据Z_R和Z_L(1745-U和1745-V)进行编码， 编码器可以使用深度RPU_Z 1730来生成和编码深度残留RZ_L＝Z_L-ZP_L和RZ_R＝Z_R-ZP_R，其中ZP_L和ZP_R表示基于ZL’(1710)和ZR’(1715) 信号预测的Z_R和Z_L数据。然后，这些深度残留被编码为EL流中的“色 度”信息(1765-U和1765-V)的部分。在一种实施方式中，在编码处理 和解码处理期间，残留深度数据RZ_L和RZ_R数据(1765)可以参照先前 编码的残留深度图数据或固定值如128被编码(或解码)；因此，它们不 依赖于编码ZR’(1715)和ZL’(1710)数据，并且如早前所讨论的，不 要求使用来自先前编码帧的ZR’深度数据。

在另一实施方式中，如图17A或图17B中所描绘的EL流可以包括 EL-U(1745-U或1765-U)或EL-V(1745-V或1765-V)区域的仅部分 中的深度数据。例如，Z_R-o、Z_L-o 1745-V流或PZ_R-o、PZ_L-o 1765-V流 可以被恒定值(例如，128)代替。该方法以较低深度图分辨率为代价降 低比特率要求。

降低比特率要求的另一方法包括仅发送一个视图(例如，Z_R)的深 度图数据。在这样的场景中，另一视图深度区域(例如，Z_L)的所有数据 可以被填充以恒定值(例如，128)。或者，可以以先前分辨率的两倍的分 辨率发送单个视图(例如，Z_R)的深度图数据。例如，在一种实施方式 中，Z_L-o和Z_L-e深度数据可以被另外的Z_R数据代替。

图17A和图17B两者描绘了其中基本层包括并排流并且增强层包括 上下流的实施方式。在其他实施方式中，相同的处理可以应用于BL包括 上下流并且EL包括并排流的系统。

示例计算机系统实现

可以使用计算机系统、被配置成电子电路系统和部件的系统、集成电 路(IC)装置如微控制器、现场可编码门阵列(FPGA)或另外的可配置 的或可编程的逻辑器件(PLD)、离散时间或数字信号处理器(DSP)、专 用IC(ASIC)和/或包括这样的系统、装置或部件中的一个或更多个的设 备来实现本发明的实施方式。计算机和/或IC可以进行、控制或执行与对 深度图传送格式进行编码和解码有关的指令如本文中所描述的那些。计算 机和/或IC可以计算与如本文中所描述的对深度图传送格式进行编码和 解码有关的各种参数或值中的任一个。可以以硬件、软件、固件或其各种 组合来实现图像和视频动态范围扩展实施方式。

本发明的某些实施方式包括执行使处理器执行本发明的方法的软件 指令的计算机处理器。例如，显示器、编码器、机顶盒、代码转换器等中 的一个或更多个处理器可以通过执行能够由处理器访问的程序存储器中 的软件指令来实现如上面所描述的对深度图传送格式进行编码和解码的 方法。还可以以程序产品的形式提供本发明。程序产品可以包括携带一组 包括指令的计算机可读信号的任何介质，当指令被数据处理器执行时，使 数据处理器执行本发明的方法。根据本发明的程序产品可以是各种形式中 的任一种。例如，程序产品可以包括物理介质如包括软磁盘、硬盘驱动器 的磁数据存储介质、包括CD ROM、DVD的光学数据存储介质、包括 ROM、闪存RAM的电子数据存储介质等。可选地，程序产品上的计算 机可读信号可以被压缩或加密。

在上面提到部件(例如，软件模块、处理器、组件、器件、电路等) 时，除非另外指出，是指该组件(包括提到“装置”)应当被解释为包括 该组件的等同，执行所描述的组件的功能的任何组件(例如，功能上等同 的)，包括结构上不等同于执行本发明的示例实施方式中的功能的所公开 的结构的部件。

等同物、扩展、替代和其他事项

如此描述了涉及对深度图传送格式进行编码和解码的示例实施方式。 在上述说明书中，已经参照因实现而异的大量具体细节来描述了本发明的 示例实施方式。因此，本发明是什么并且申请人意在本发明是什么的唯一 并且排他的指示是以其中包括任何后续修改的权利要求发布的具体形式 的根据本申请发布的一组权利要求。关于权利要求中包括的术语的本文明 确阐述的任何定义可以支配权利要求中所使用的这些术语的含义。因此， 在权利要求中没有明确阐述的限制、元素、特性、特征、优点或属性不应 当以任何方式限制权利要求的范围。因此，本说明书和附图被认为是说明 性的，而非限制性意义。