将高动态范围视频与低动态范围视频一起编码的方法和设备、重建一起编码的高和低动态范围视频之一的方法和设备及非临时性存储介质

技术领域

本发明在对高动态范围的视频进行编码的领域中做出。具体地，本发明在对高动态范围的视频和描绘与高动态范围的视频相同内容的低动态范围视频编码在一起的领域中做出。

背景技术

视频通常表示在有限数量的比特(例如，8、10、12或更多比特)上，对应于表示亮度信号的有限范围的值。以这种方式表示的视频被称为低动态范围的视频，或简而言之，LDR视频。然而，人类视觉系统能够感知更宽范围的亮度。有限的表示通常不允许正确地重建具体地在极其黑暗或明亮的视频图像区域(即高或低亮度区域)中较小的信号变化。HDR(高动态范围)格式在于将信号表示的比特深度显著扩展到具有更多比特(例如20到64比特)的整数表示或甚至浮点表示，以便保持信号在其整个亮度范围上的高精度。

HDR图像或视频可以以各种方式捕捉。例如，数字单反相机可以使用包围技术(bracketing technique)来以不同曝光捕捉相同场景的连续图像，其中曝光是在拍摄图像的过程期间允许落在成像介质(感光底片或图像传感器)上的总的光密度。那些不同曝光的图像被表示为LDR图像。如在图1中对于不同曝光值EV示例性描绘的，曝光不足的图像捕捉明亮区域中的细节，而过度曝光的图像捕捉黑暗区域中的细节。

通过融合这些不同曝光的LDR图像，可以以浮点表示产生HDR图像/视频，所产生的HDR图像/视频包含在黑暗区域中的细节以及明亮区域中的细节的全部细节。

在指定用于LDR图像的设备中，例如机顶盒、PVR和传统设备，HDR图像/视频不能以其源格式使用。无论如何，被称为色调映射的过程允许具体地在高和低强度范围中表示图像同时确保不同信号强度部分的良好恢复。色调映射从HDR图像创建LDR图像，其中全部元素被正确地曝光。LDR图像在黑暗区域和白光区域两者中都具有更多细节。这在图2中示例性描绘。

具体地，HDR在后期制作中使用。大多数(若非全部)特效工具处理以浮点表示的HDR图像。自然场景和特效的混合也在HDR表示中实现。在后期制作过程结束时，色调映射通常应用于在摄影导演的控制下创建标准的(例如8/10/12-比特)原版(master)。

在后期制作中应用的色调映射通常是已知的色调映射。

在美国专利申请2008/0175494中描述了用于预测高动态范围图像元素的方法，所述方法包括：接收低动态范围图像数据；接收包括预测数据和HDR残差图像元素的高动态范围图像数据；从所述LDR图像数据提取LDR图像值；基于所述预测数据修改所述LDR图像值；以及结合所述修改后的LDR图像值和所述HDR残差图像元素以形成HDR图像元素。

发明内容

本发明人意识到使用LDR内容和HDR残差表示HDR内容并非是没有问题的。因此，本发明提出代替地使用LDR内容、LDR残差和全局照度数据表示HDR内容。

也就是说，提出一种用于将高动态范围的HDR视频和LDR视频编码在一起的根据权利要求1的方法和根据权利要求2的设备，LDR视频提供HDR视频内容的更低动态范围描绘。所提出的方法包括使用处理装置用于对LDR视频的一个视频以及与LDR视频的其他视频和HDR视频独立的从HDR视频提取的另一LDR视频进行编码，并且使用一个视频作为参考对另一视频进行预测编码，并且对从HDR视频进一步提取的全局照度数据进行无损编码。编码设备包括所述处理装置。

这具有各种优点。例如，由于参考和预测内容的比特深度相同，因此预测更稳定并且更容易找到全局最优预测值。此外，该方式允许对该HDR内容进行二次采样而不引入像例如高梯度上的光晕的伪影。此外，采用该方式以高效使用像例如AVC的经典8比特编码方案。

在从属权利要求中详细说明编码方法和编码设备的其他有利实施例的特征。

进一步提出一种用于重建高动态范围的HDR视频的根据权利要求10的方法和根据权利要求11的设备。所述重建方法包括使用处理装置用于解码LDR视频，LDR视频提供HDR视频内容的更低的动态范围描绘，使用LDR视频和残差用于解码另一LDR视频，另一LDR视频提供HDR视频内容的另一更低的动态范围描绘，解码全局照度数据并使用全局照度数据以及LDR视频和另一LDR视频中的一个用于重建HDR视频。重建设备包括所述处理装置。

在从属权利要求中详细说明重建方法和重建设备的其他有利实施例的特征。

本发明还提出一种携带与LDR视频编码在一起的HDR视频的数据流和/或非临时性存储介质，LDR视频提供HDR视频内容的更低的动态范围描绘，根据所提出的编码方法或其实施例将HDR视频与LDR视频编码在一起。

附图说明

本发明的示例性实施例在附图中示出并且在下列描述中更详细地解释。对示例性实施例进行解释仅用于说明本发明，而非用于限制本发明的公开或在权利要求中限定的范围。

在附图中：

图1描绘以不同曝光捕捉的相同内容的示例性图像；

图2在左侧描绘具有过度曝光区域的示例性低动态范围图像，在右侧描绘全部区域良好曝光的从对应的高动态范围图像的色调映射得到的另一示例性低动态范围图像；

图3描绘本发明的第一示例性框架；

图4描绘本发明的第一示例性框架；

图5描绘全局照度数据提取器的第一示例性实施例；

图6描绘与图5中描绘的全局照度数据提取器的示例性实施例对应的HDR视频重建器的第一示例性实施例；

图7描绘全局照度数据提取器的第二示例性实施例；以及

图8描绘与图7中描绘的全局照度数据提取器的示例性实施例对应的HDR视频重建器的第二示例性实施例。

具体实施方式

本发明可以在包括对应地适配的处理设备的任何电子设备上实现。例如，本发明可以在电视、视频电话、机顶盒、网关、个人计算机或数字视频相机中实现。

本发明的一些示例性实施例基于多视图(MVC)编码方案，其中例如根据H.264/AVC对主视图进行视图内预测编码。主视图可以独立于解码器是否可以进一步解码MVC方案的辅助视图地由任何AVC解码器解码。在这些实施例中，LDR视频在主视图中编码。辅助视图包含全局照度数据GID或LDR视频残差。如果全局照度数据GID未包含在辅助视图中，则其作为MVC码的无损编码元数据不同地传递。

在其中辅助视图包含全局照度数据GID的示例性实施例中，主视图的LDR视频图像可以基于所述全局照度数据GID来修改用于形成HDR视频图像。

在其中辅助视图包含LDR视频残差的第一示例性实施例中，主视图的LDR视频图像可以基于全局照度数据GID来修改用于形成HDR视频图像。主视图的LDR视频图像可以进一步与辅助视图中的LDR残差视频图像结合用于形成另一LDR视频图像。

在其中辅助视图包含LDR视频残差的第二示例性实施例中，主视图的LDR视频图像可以与辅助视图中的LDR残差视频图像结合用于形成另一LDR视频图像，其中另一LDR视频图像可以基于全局照度数据GID来修改用于形成HDR视频图像。

在所述第二示例性实施例中，LDR视频图像可以是HDR视频图像的色调映射版本，其中使用的色调映射UTM是无关的(例如未知的)。存在可以在后期制作中或在实时直播产品中使用的多种不同的色调映射技术。

然后，如在图3中示例性描绘的，在编码器侧ENC，使用适当色调映射技术的另一色调映射KTM可以应用于HDR视频以创建另一LDR视频，其是HDR视频的第二LDR色调映射版本。优选地但不一定地，HDR视频的第二LDR色调映射版本接近原始色调映射版本以便使相对于原始色调映射版本的残差最小化。

在所述第二示例性实施例中，MVC编码装置MVCENC用于将HDR视频的原始LDR色调映射版本编码为主视图，即AVC视频，并且将HDR视频的另一LDR色调映射版本视图间预测编码为辅助视图。因为两个版本相对类似，所以MVC应非常高效地对第二视图进行编码，导致较小的开销比特流。

在编码器侧ENC，从第二LDR色调映射版本和原始HDR视频进一步提取场景的全局照度GID。该信息不需要非常精确，因为人眼不具有区分大的照度区别的能力。在编码装置LLE中也将对该信息进行优选地无损地编码。例如，因为用于两个LDR版本的视图间预测不需要运动向量，所以对全局照度数据GID而非运动向量进行编码。另一示例是被编码为元数据的全局照度数据GID。

得到的数据流的主视图可以由已经部署的AVC解码器读取和解码以产生原始LDR色调映射视频。

根据本发明修改的解码器DEC可以通过在全局照度结合器GIC中结合原始LDR色调映射视频和第二视图中的残差并根据全局照度数据GID处理结合结果，来再现原始LDR色调映射视频和HDR视频两者。

这种解码器DEC包括MVC解码装置MVCDEC，其解码进入的流以重新获得主视图和可以与主视图一起用于重建第二视图的第二视图的残差。主视图或第二视图可以输出到LDR显示器。在全局照度结合器GIC中主视图或第二视图可以进一步与使用解码装置LLD解码的全局照度数据GID一起使用以重新获得HDR视频。使用哪一个视图取决于用于提取全局照度数据GID的LDR视频是否被编码为主视图或第二视图。

存在用于提取全局照度数据GID和/或色调映射KTM HDR视频的许多可能实现方式以创建第二LDR色调映射版本。下面将详细描述一些示例性情况。

例如，可以使用原始LDR色调映射版本和原始HDR视频提取全局照度GID。这在图4中示例性描绘。

在图5中描绘的另一示例性情况中，HDR视频的标准化亮度相对于原始LDR色调映射版本的标准化亮度之比可以用于提取全局照度数据GID。在该情况下，第二LDR色调映射版本与原始LDR色调映射版本相同，因此不存在残差并且全局照度数据可以被编码在第二视图中。

可选地，对原始LDR色调映射版本和HDR视频在提取之前进行二次采样SSP。

在图3中描绘的第二示例性情况下，HDR视频的标准化亮度相对于第二LDR色调映射版本的标准化亮度之比可以用于提取全局照度数据，其中第二LDR色调映射版本由原始HDR视频的已知色调映射KTM获得。

再次，存在对第二LDR色调映射版本和HDR视频在提取之前进行下采样SSP的选择。

在第一和第二示例性情况下，相对于从HDR视频提取的最小和最大值执行标准化NRM。亮度比被二进制化BIN。全局照度数据GID从二进制化数据和元数据得出。元数据通知在亮度比二进制化BIN之前的最小-最大值以及HDR亮度在标准化NRM之前的最小-最大值。如果应用二次采样，则元数据还通知二次采样的参数数据。

在第二示例性情况下，第二LDR色调映射版本可以通过任何色调映射技术确定。

在第三示例性情况下，应用粗糙(coarse)照明提取器。这在图7中示例性描绘。原理在于将原始HDR视频分解为两个成分：第一成分粗糙地通知每一个图像的照明，并且第二成分是从原始HDR视频移除粗糙照明的结果，即原始HDR视频的第二色调映射版本。

首先，应用原始HDR视频的分解计算DEC。用于该分解的示例是平方根，但其他分解是可能的。然后，对得到的视频进行二次采样SSP，使得每一个数据表示区域(像素组)的亮度。该视频表示作为向解码器发送的全局照度数据GID的一部分的全局照度视频。然后，该全局照度视频使用对每一个点的照度进行建模的点扩散函数PSF进行卷积。例如，对于LED，这表示其空间照度。结果是格式与原始格式相同的视频，因为卷积用作过采样过滤器。得到的视频使用原始HDR视频和全局照度视频进行计算以形成第二LDR色调映射视频。例如，计算HDR亮度与全局照度比。

全局照度数据GID由全局照度视频和某些元数据组成。组成元数据使得解码器能够单独根据元数据或与编码标准相结合地确定原始HDR视频的分解模型、每一个照度点的点扩散函数PSF和二次采样结构。在其中用于计算第二LDR视频的方法可以改变的实施例中，进一步用信号通知(signal)最终计算(例如除法)。

在解码器侧，如图8中示例性描绘的，全局照度结合器GIC用于使用点扩散函数PSF对全局照度数据进行卷积。然后，结果与解码的第二LDR色调映射视频一起使用以通过倒转(invert)在编码器侧进行的计算而形成重建的HDR视频。因此，如果在编码器侧执行了除法运算，则在解码器侧执行乘法运算。

这对为使用在显示器中实现的双调制技术的显示器提供源(source)尤其有用，即如果用于编码的二次采样和PSF与显示器的二次采样和LED PSF对应，则第二LDR色调映射视频可以直接为LCD面板提供源并且全局照度数据GID可以直接为LED面板提供源。

在本发明的多个优点中，能够对具有与标准HDTV系统的向后兼容性(retro-compatibility)的HDR数据进行高效编码。此外，本发明具有灵活性并且可以容易地适配用于具体显示器技术。

因此，本发明可应用于许多不同工业领域。

在本发明的示例性实施例中，在编码器侧使用像素亮度比确定全局照度数据GID。这在图5中示例性描绘。全局照度提取装置GIE接收HDR视频和所述HDR视频的LDR色调映射版本作为输入，并且从所述HDR视频及其色调映射版本提取亮度视频Y。可选地，得到的亮度视频被二次采样SUB并标准化NOR为值范围(n_min；n_max)，其中例如n_min＝0并且n_max＝1。可替换地，得到的亮度视频未被二次采样而仅被标准化。然后，发生对标准化的亮度视频进行逐个像素的除法运算，它是在不进行二次采样的情况下逐个元素的除法运算。然后，使用b_min和b_max将得到的亮度比二进制化BIN。然后，二进制化的亮度比以及n_min、n_max、b_min和b_max一起表示全局照度数据GID。

在解码器侧，如图6中示例性描绘的，全局照度数据GID可以与HDR视频的LDR色调映射版本一起用于重建所述HDR视频。

也就是说，在解码器侧，b_min、b_max、n_min和n_max用于对全局照度数据GID进行去二进制化DBN和去标准化DNM。如果全局照度数据GID的分辨率小于要重建的HDR视频的LDR色调映射版本的分辨率，则去标准化的数据被上采样为所述LDR色调映射版本的分辨率。使用n_min和n_max对要重建的HDR视频的LDR色调映射版本进行标准化。然后，标准化的LDR视频与相同分辨率的去标准化的数据逐个像素相乘，其导致重建HDR。

在该示例性实施例中使用的HDR视频的LDR色调映射版本可以是其中色调映射未知的LDR色调映射版本。在该情况下，不执行二次采样可能是有利的，因为这可能导致重建的HDR图像中的伪影。

在HDR视频的LDR色调映射版本的色调映射已知并传递到解码侧的情况下，可以移除在重建的HDR中可能出现的伪影。

在本发明的另一示例性实施例中，也使用像素亮度比在编码器侧确定全局照度数据GID。但在该另一示例性实施例中，点扩散函数用于从HDR视频生成全局照度数据。也就是说，应用分解。

这在图7中示例性描绘。全局照度提取装置GIE接收HDR视频，并且使用HDR视频的分解DEC、分解的HDR视频的二次采样SSP和使用点扩散函数PSF的二次采样的分解的HDR视频的卷积，从该HDR视频生成全局照度数据GID。然后，使用点扩散函数PSF对全局照度数据GID进行卷积，并且HDR视频逐个像素除以卷积结果，以便生成所述HDR视频的LDR色调映射版本。然后，全局照度数据GID和LDR色调映射版本被编码和传送到编码器或存储。

在图8中示例性描绘对应的HDR视频的重建。接收全局照度数据GID和要重建的HDR视频的LDR色调映射版本。然后，使用与在编码器侧相同的点扩散函数PSF对全局照度数据GID进行卷积，并且LDR色调映射版本逐个像素乘以卷积结果，以便重建所述HDR视频。

在本发明的示例性实施例中，存在携带使用LDR视频作为参考预测编码的高动态范围的HDR视频的非临时性存储介质，LDR视频提供HDR视频内容的更低的动态范围描绘。LDR视频被进一步编码。非临时性存储介质携带关于作为参考的LDR视频和无损编码的全局照度数据的另一LDR视频的编码的残差，其中另一LDR视频提供HDR视频内容的另一更低的动态范围描绘，并且全局照度数据允许使用另一LDR视频重建HDR视频。

在示例性实施例中，还存在用于预测高动态范围图像元素的方法。所述方法包括接收低动态范围图像数据和接收包括全局照度数据和LDR残差图像元素的高动态范围图像数据。所述方法还包括从所述LDR图像数据提取LDR图像值；以及将所述LDR图像值与所述LDR残差图像元素结合以形成LDR图像元素。最后，基于所述全局照度数据修改所述LDR图像元素以形成HDR图像元素。

在示例性实施例中，还存在用于预测高动态范围图像元素的另一方法。所述方法包括接收低动态范围图像数据；接收包括预测数据和HDR残差图像元素的高动态范围图像数据；从所述LDR图像数据提取LDR图像值；基于所述预测数据修改所述LDR图像值；以及将所述修改后的LDR图像值与所述HDR残差图像元素结合以形成HDR图像元素。

并且存在通过使用处理装置从HDR视频提取另一LDR视频和对应的全局照度数据，独立地对第一LDR视频进行编码并且使用第一LDR视频作为参考对第二LDR视频进行预测编码，以及对全局照度数据进行编码来实现高动态范围的HDR视频以及LDR视频的编码的示例性实施例，其中LDR视频提供HDR视频内容的更低的动态范围描绘，其中第一LDR视频是LDR视频且第二LDR视频是另一LDR，或者第一LDR视频是另一LDR视频且第二LDR视频是LDR视频。