首页> 中国专利> 用于在为亮度和色度使用单独的译码树时确定色度量化参数的方法及装置

用于在为亮度和色度使用单独的译码树时确定色度量化参数的方法及装置

摘要

公开了一种解码方法。至少一个亮度块的量化参数被获得。所述至少一个亮度块包括与在当前色度块中选择的至少一个色度样本位于同一位置的亮度样本。所述亮度块和色度块被以双树模式译码。接着,响应于所述至少一个亮度块的所述量化参数,所述当前色度块的量化参数被确定。最后,通过使用所述当前色度块的所述量化参数,所述当前色度块被解码。

著录项

  • 公开/公告号CN112740683A

    专利类型发明专利

  • 公开/公告日2021-04-30

    原文格式PDF

  • 申请/专利权人 交互数字VC控股公司;

    申请/专利号CN201980061953.X

  • 申请日2019-09-19

  • 分类号H04N19/124(20060101);H04N19/186(20060101);H04N19/119(20060101);H04N19/176(20060101);H04N19/70(20060101);H04N19/463(20060101);

  • 代理机构11283 北京润平知识产权代理有限公司;

  • 代理人肖冰滨;王晓晓

  • 地址 美国特拉华州

  • 入库时间 2023-06-19 10:46:31

说明书

1.技术领域

本发明总体上涉及一种用于视频编码或解码的方法和装置,更具体地讲,涉及一种使用量化进行视频编码或解码的方法和装置。

2.背景技术

为了实现高压缩效率,图像和视频译码方案通常采用预测和变换以利用视频内容中的空间和时间冗余。通常,帧内或帧间预测用于利用帧内或帧间相关性,然后对原始图像块与所预测的图像块之间的差异(通常被表示为预测误差或预测残差的)进行变换、量化和熵译码。在编码期间,通常可能使用四叉树分区而将所述原始图像块分区/分割成子块。为了重构所述视频,通过与所述预测、变换、量化和熵译码对应的逆处理来解码所压缩的数据。

3.发明内容

本发明的一个或多个实施例提供了一种解码方法,包括:

-获得至少一个亮度块的量化参数,所述至少一个亮度块包括与在当前色度块中选择的至少一个色度样本位于同一位置的亮度样本,其中所述亮度块和所述色度块以双树模式被译码;

-响应于所述至少一个亮度块的所述量化参数,确定所述当前色度块的量化参数;

-使用所述当前色度块的所述量化参数,对所述当前色度块进行解码。

本发明的一个或多个实施例提供了一种编码方法,包括:

-获得至少一个亮度块的量化参数,所述至少一个亮度块包括与在当前色度块中选择的至少一个色度样本位于同一位置的亮度样本,其中所述亮度块和所述色度块以双树模式被译码;

-响应于所述至少一个亮度块的所述量化参数,确定所述当前色度块的量化参数;

-使用所述当前色度块的所述量化参数,编码所述当前色度块。

本发明的一个或多个实施例提供了一种解码装置,包括一个或多个处理器,所述一个或多个处理器被配置为执行:

-获得至少一个亮度块的量化参数,所述至少一个亮度块包括与在当前色度块中选择的至少一个色度样本处于同一位置的亮度样本,其中所述亮度块和色度块以双树模式被译码;

-响应于所述至少一个亮度块的所述量化参数,确定所述当前色度块的量化参数;

-使用所述当前色度块的所述量化参数,解码所述当前色度块。

本发明的一个或多个实施方式提供了一种编码装置,包括一个或多个处理器,所述一个或多个处理器被配置为执行:

-获得至少一个亮度块的量化参数,所述至少一个亮度块包括与在当前色度块中选择的至少一个色度样本位于同一位置的亮度样本,其中所述亮度块和所述色度块以双树模式被译码;

-响应于所述至少一个亮度块的所述量化参数,确定所述当前色度块的量化参数;

-使用所述当前色度块的所述量化参数,编码所述当前色度块。

本发明实施例中的一者或多者还提供一种计算机可读存储介质,其上存储有用于根据上述方法中的任意者的至少部分来编码或解码视频数据的指令。一个或多个实施例还提供了根据上述编码方法生成的比特流。一个或多个实施例还提供了一种计算机可读存储介质,其上存储有根据上述编码方法生成的比特流。一个或多个实施例还提供了一种用于发送或接收根据上述编码方法产生的比特流的方法和装置。一个或多个实施例还提供了一种计算机程序产品,其包括用于执行上述任何方法的至少一部分的指令。

4.附图的简要说明

图1描绘了如HEVC中用于亮度QP导出的译码树单元和量化组;

图2示出了双译码树的原理;

图3描绘了根据实施例的解码方法的流程图;

图4描绘了根据实施例的编码方法的流程图;

图5描绘了根据各种实施例的色度块中的参考色度样本;

图6描绘了根据实施例的编码器;

图7描绘了根据实施例的解码器;以及

图8示出了其中实现了各个方面和实施例的系统的示例的框图。

5.具体实施方式

在HEVC译码中,图片被分区成正方形形状的CTU,其具有可配置的大小,通常为64×64、128×128或256×256。CTU是被分区为4个相等大小(即,宽度和高度上为父块大小的一半)的正方形译码单元(CU)的四叉树的根。四叉树是其中父节点可以被分成四个子节点的树,每个子节点可以变为另一被分成四个子节点的父节点。在HEVC中,译码块(CB)被分区成一个或多个预测块(PB),并且形成一四叉树分区成变换块(TB)的根。对应于所述译码块、预测块和变换块,译码单元(CU)包括预测单元(PU)和变换单元(TU)的树结构集合,PU包括所有颜色分量的预测信息,并且TU包括每个颜色分量的残差译码语法结构。亮度分量的CB、PB和TB的大小适用于相应的CU、PU和TU。

在更近的编码系统中,CTU是分区成译码单元(CU)的译码树的根。译码树是其中父节点可以被分割成多个子节点(例如,分割成2、3或4个子节点)的树,其中的每一个子节点可以变成另一分割成子节点的父节点。除了四叉树分割模式之外,还定义了新的分割模式(二叉树对称分割模式、二叉树非对称分割模式和三叉树分割模式),其增加了可能的分割模式的总数。所述译码树具有唯一的根节点,例如CTU。所述译码树的叶子是该树的终止节点。所述译码树的每个节点表示一可以被进一步分割成也称为子块的较小块的块。一旦确定CTU到CU的分区,则编码对应于所述译码树的叶子的CU。将CTU分区成CU以及用于编码每个CU(对应于所述译码树的叶子)的译码参数可以在编码器侧通过速率失真优化过程而被确定。

如上所述,分割可以是递归的。因此,当前块的分割深度是指用于获得当前块的递归分割的数目。

在本申请中,术语“块”或“图片块”可以用于指代CTU、CU、PU、TU、CB、PB和TB中的任意者。另外,术语“块”或“图片块”可用于指代如H.264/AVC或其它视频译码标准中指定的宏块、分区和子块,且更一般来说指代具有许多大小的样本阵列。

在本申请中,术语“重构”和“解码”可以互换使用,术语“像素”和“样本”可以互换使用,术语“图像”、“图片”和“帧”可以互换使用。通常,但不是必须的,术语“重构”在编码器侧被使用,而“解码”在解码器侧被使用。

然后,可以预测这些块,并且变换所述残差(原始和预测之间的差)以计算频率系数。在编码器侧,量化通常包括将所得的变换系数除以特定量化比例(也称为量化步长(Qstep))。然后,解码器将结果乘以相同的Qstep以恢复关于原始系数的近似。通常,量化参数(QP)用于确定量化步长Qstep。作为示例,在HEVC中,QP可以取从0到51的52个值(QP范围)。QP中1的增加意味着量化步长Qstep增加了大约12%(即,2

Qstep(QP)=(2

除了上面在(方程式1)中定义的函数和QP范围之外的其它函数和QP范围可以用在下面描述的实施例中。

局部QP偏移可以用于量化步长(针对亮度和色度)的局部调整。量化步长的局部调整通常包括指定要添加到当前图片(或其一部分,例如切片)的量化参数(QP)的偏移。可针对每一块(如在H264中)或具有给定最大分割深度的块的群组(如在HEVC中)指定此局部QP偏移。

图1示出了HEVC中的QP推导。共享共同局部QP偏移的最小单元被称为量化组(QG),并且由最大分割深度或等效地由最小大小来定义,因为所有分割都是四分割。类似地,开发中的编解码器使用最大分割深度来适应其它分割类型。由进一步分割产生的所有块属于同一量化组且共享同一QP偏移。

通常使用为左侧和顶部相邻译码单元(图1上的A和B)导出的QP来预测亮度QP。然而,当A或B从CTU中掉出时,它们的QP被先前译码块(按译码顺序)的QP替换。接着将QP偏移添加到此预测以给出当前块的QP。

色度QP推导从亮度QP(QPy)开始,并且可以进一步利用局部偏移来调节,该局部偏移由与亮度量化组(QG)类似的组来定义。更准确地说,在HEVC中,色度(即,Cb和Cr)的QP调整包括将偏移添加到空间上对应的亮度块的亮度QP。作为示例,可添加PPS中所界定的偏移、切片头部中所界定的偏移以及还有局部QP偏移。该局部偏移为零,或者由蓝色(Cb)和红色(Cr)色度表的索引来定义。该索引给出了应用于QPy的实际偏移。可以在PPS范围扩展中发送这些表。然后使用标准中定义的映射表(例如,表1),将所得到的QP转换为色度QP。在HEVC中,可以利用不同粒度(即,利用最大分割深度的不同值),针对亮度和色度,单独指定局部QP调整。

图2示出了在左边具有亮度块(L1到L7)并且在中间具有相应色度块(C1到C5)的双译码树的原理。双译码树是指将图片分割成译码块,这些译码块对于亮度和色度可以是不同的。在此情况下,色度块可具有若干空间上对应的亮度块而非单个亮度块。在亮度CTU和色度CTU具有相同大小的情况下,一相应的亮度块(例如,CU组)或多个相应的亮度块是空间上对应于图片的相同部分的块,即,位于同一位置的块。否则,当亮度CTU被叠加到色度CTU时,与色度块相交的亮度块(一个或多个)是所述多个相应的亮度块。在格式为4:2:0的情况下,色度信号相对于亮度信号被缩小。亮度块和色度块之间的空间对应性考虑了这种缩小。

在双译码树的情况下,被称为色度基本QP或更简单地被称为基本QP的量化参数例如利用色度被显式地编码在比特流中。使用此基本QP代替亮度QP(QPy)来导出色度QP。因此,对色度的基本QP的译码是成本很高的。

为此,可以用切片QP来替换基本QP。因此,由于在比特流中不再显式地对基本QP进行译码,所以节省了比特。然而,切片QP可能远离附近的亮度QP。因此,使用QP切片可降低译码质量。

对于亮度QP预测,CTU的第一块使用先前译码块的QP,因为其相邻者A和B在当前CTU之外。在双树的情况下,亮度和色度译码树被交织(如在联合探索模型或通用视频译码中)。因此,当开始新的亮度CTU时,先前的译码块是色度CU。这引入了亮度对色度的依赖性,这可能是个问题,因为它阻止了亮度的独立解码。

解决亮度解码对色度的依赖性的一种方式是以额外的QP预测上下文为代价来使用单独的亮度/色度QP预测上下文。

因此,至少一个实施例提出了在双译码树的情况下色度基本QP的隐式推导,以与显式译码相比,节省比特。有利地,至少一个实施例解决了亮度解码对色度的依赖性的问题,同时避免了使用额外的QP预测上下文。

因此,至少一个实施例提出了从同一图片中的共位的亮度块隐式导出色度基本QP。当前色度块的色度基本QP可以基于以下项之一导出:

a)与当前色度块共位的亮度区域的QP(一个或多个)的函数(例如,平均值、中值、…),

b)与当前色度块的左上样本共位的亮度块的QP,或与当前色度的中心样本共位的亮度块的QP,

c)与当前色度块中的选定样本共位的亮度块(一个或多个)的QP(一个或多个)的函数(例如,平均值、中值、…),

d)与当前色度块中的选定样本共位的亮度块(一个或多个)的QP(一个或多个)的函数(例如,平均值、中值、…),其中所述样本是基于色度块形状而被选择的。

图3公开了根据一个实施例的解码方法的流程图。该方法开始于S200。获得包括与当前色度块的至少一个色度样本处于同一位置的至少一个亮度样本的至少一个亮度块的QP(S202)。该亮度QP可以用作色度基本QP,或者可以用于导出该色度基本QP。所述色度样本可基于色度块的形状来选择(方法d))。可选择单个色度样本(例如,如方法b中的色度块的中心样本的左上方)。可以选择多于一个色度样本(方法c))。

响应于所获得的亮度QP,确定用于所述色度块的QP(S204)。所述色度QP QP

可以使用各种函数。在实施例中,QP

在HEVC中,变量qPi

qPi

qPiCr=Clip3(-QpBdOffsetC,57,QpY+pps_cr_qp_offset+slice_cr_qp_offset+CuQpOffsetCr)

Clip3(x,y,z)是一函数,如果z<x,则返回x;如果z>y,则返回y;否则,返回z。

CuQpOffsetCb和CuQpOffsetCr是从语法元素cu_chroma_qp_offset_idx导出的变量。cu_chroma_qp_offset_idx,当存在时,指定到cb_qp_offset_list[]和cr_qp_offset_list[]中的索引,用于确定CuQpOffsetCb和CuQpOffsetCr的值。

QpBdOffsetC是色度量化参数范围偏移的值。QpBdOffsetC=6*bit_depth_chroma_minus8。bit_depth_chroma_minus8是一语法元素,其指定色度阵列的样本的比特深度BitDepthC和色度量化参数范围偏移QpBdOffsetC的值。变量qPCb及qPCr被设定以等于如下文在映射表1中基于索引qPi分别等于qPiCb及qPiCr而指定的值QpC。

Cb和Cr分量的色度量化参数Qp′Cb和Qp′Cr被导出如下:

Qp′Cb=qPCb+QpBdOffsetC

Qp′Cr=qPCr+QpBdOffsetC

表1

然后使用所确定的色度QP来解码所述色度块(S206)。

该方法在步骤S108结束。

图4公开了根据一个实施例的编码方法的流程图。该方法开始于S100。获得包括与当前色度块的至少色度样本处于同一位置的至少一个亮度样本的至少一个亮度块的QP(S102)。该亮度QP可以用作色度基本QP,或者可以用于导出色度基本QP。所述色度样本可基于色度块的形状而被选择(方法d))。可选择单个色度样本(例如,如方法b)中的色度块的左上或中心样本)。可以选择多于一个色度样本(方法c))。

响应于所获得的亮度QP,确定用于所述色度块的QP(S104)。该色度QP是所获得的亮度QP的函数。可以使用各种函数。针对解码方法公开的实施例也适用于本编码方法。在示例中,QP

然后使用所确定的色度QP来编码所述色度块(S106)。

该方法在步骤S108结束。

以下实施例提出了用于从共位的亮度块(即,在相同图片中,并且匹配分割树)的QP获得(S102、S202)表示为QP

a)可能加权平均的相交区域

图2示出了双译码树的示例,其中亮度块(L1到L7)在左边,且对应色度块(C1到C5)在中间。右边的剥离区域示出了由色度块C3覆盖的亮度区域。

“相交区域加权平均”方法包括将与当前色度块共位的区域相交的亮度块的QP的平均值作为基本色度QP。在图2的示例中,对于块C3,QP

在一种变型中,通过亮度块和色度块的相交表面相对于当前色度块的表面来对每个亮度QP进行加权。

在图2的示例中,对于块C3,QP

在一个变型中,可以使用除平均之外的其他函数,例如中值、最小值、最大值等。

b)所选择的像素匹配

在另一实施例中,在所述色度块中选择参考样本。所述色度基本QP然后被定义为包含空间上对应于(即,共位)此参考样本的亮度样本的亮度块的QP(在色度相对于亮度被子样本的情况下,可能考虑重新缩放)。

参考色度样本可为例如所述色度块的左上角(0,0)、中心样本(W/2,H/2)、中心-左侧样本(0,H/2)、中心顶部样本(W/2,0),在图5中分别被表示为P1、P2、P3、P4,其中W为所述块的宽度,且H为所述块的高度。

推荐的选项是P2。在图2的示例中,对于C3块,这将给出QP

c)关于几个选定像素匹配的平均值

在另一实施例中,在所述色度块中选择多个参考样本。然后将所述色度基本QP定义为包含空间上对应于所述多个参考样本的亮度样本的亮度块的QP的函数(例如,平均值、中值、最小值或最大值、加权平均值,其中权重是从如b)中的相对表面得出的)。例如,可以取包含与P1和P2、或P3和P4、或所有P1到P4匹配(即,共位)的亮度样本的亮度块的QP的平均值。

在图2的示例中,对于块C3,如果取包含空间上对应于P3和P4的亮度样本的亮度块的平均值,则QP

d)取决于块形状的像素选择

在一个实施例中,根据块形状来选择参考色度样本。所述色度基本QP然后被定义为包含空间上对应于(即,共位)此参考样本的亮度样本的亮度块的QP(在色度相对于亮度被子采样的情况下,可能考虑重新缩放)。

例如,可以选择P2用于正方形块,P3用于垂直矩形块,以及P4用于水平矩形块。

在另一实施例中,依据块形状,选择一个或多个参考色度样本。例如,所述色度基本QP可以被定义为包含与以下匹配(即,共位)的亮度样本的亮度块的平均QP:用于正方形块的P3和P4、用于垂直块的仅P3和用于水平块的仅P4。

可以使用其他函数来组合QP而不是平均:中值、最小值、最大值等。

在一个实施例中,传输一标志,所述标志指导所述解码器采用可能的QP的最小值或最大值。作为示例,在所述标志等于0的情况下,取QP值的最小值。否则(标志=1),取最大值。在一变型中,编码(解码)一语法元素以指示用于组合所述QP的方法(平均值、最小值、最大值、中值等)。

本申请描述了多个方面,这其中包括工具、特征、实施例、模型、方法等。这些方面中的许多方面被描述为具有特异性,并且至少为了示出个体特性,通常以可能听起来受限的方式来描述。然而,这是为了描述清楚的目的,并且不限制那些方面的应用或范围。实际上,所有不同的方面可以组合和互换以提供另外的方面。此外,这些方面也可以与在较早的文档中描述的方面组合和互换。

本申请中描述和预期的方面可以以许多不同的形式实现。以下图6、7和8提供了一些实施例,但是可以设想其他实施例,并且对图6、7和8的讨论不限制实现的广度。所述方面中的至少一个方面主要涉及视频编码和解码,并且至少一个其它方面主要涉及传送所生成或编码的比特流。这些和其它方面可以被实现为方法、装置、其上存储有用于根据所描述的任何方法来编码或解码视频数据的指令的计算机可读存储介质、和/或其上存储有根据所描述的任何方法生成的比特流的计算机可读存储介质。

本文描述了各种方法,并且每种方法包括用于实现所描述的方法的一个或多个步骤或动作。除非所述方法的正确操作需要特定顺序的步骤或动作,否则可修改或组合特定步骤和/或动作的顺序和/或使用。

本申请中描述的各种方法和其它方面可用于修改模块,例如,图10和图11所示的视频编码器100和解码器200的量化和/或逆量化模块(130,140,240)。此外,本发明不限于VVC或HEVC,并且可应用于例如其它标准和提案(无论是预先存在的还是将来开发的)以及任何此类标准和提案(包括VVC和HEVC)的扩展。除非另外指出或在技术上排除,本申请中描述的方面可以单独或组合使用。

在本申请中使用各种数值,例如所选色度样本的数量。具体值是出于示例目的,并且所描述的方面不限于这些具体值。

图6示出了编码器100。可以设想该编码器100的变型,但是为了清楚起见,下面描述编码器100,而没有描述所有预期的变型。

在被编码之前,视频序列可以经历预编码处理(101),例如,对输入颜色图片应用颜色变换(例如,从RGB 4:4:4到YCbCr 4:2:0的转换),或者执行输入图片分量的重新映射,以便获得对压缩更有弹性的信号分布(例如,使用所述颜色分量之一的直方图均衡)。元数据可以与所述预处理相关联,并且被附加到比特流。

在编码器100中,如下所述,由编码器元件对图片进行编码。以例如CU为单位分区(102)并处理要编码的图片。使用例如帧内或帧间模式来编码每个单元。当以帧内模式对单元进行编码时,其执行帧内预测(160)。在帧间模式中,执行运动估计(175)和补偿(170)。所述编码器决定(105)使用帧内模式或帧间模式中的哪一者来对所述单元进行编码,并且通过例如预测模式标志来指示所述帧内/帧间决定。例如,通过从原始图像块中减去(110)预测块来计算预测残差。

然后,对所述预测残差进行变换(125)和量化(130)。对所量化的变换系数以及运动向量和其它语法元素进行熵译码(145)以输出比特流。所述编码器可以跳过所述变换,并直接对未变换的残差信号应用量化。所述编码器可以绕过变换和量化这两者,即,直接对所述残差进行译码而不应用所述变换或量化处理。

所述编码器对编码块进行解码,以提供用于进一步预测的参考。对所量化的变换系数进行解量化(140)和逆变换(150)以对预测残差进行解码。组合(155)所解码的预测残差和预测块,重构图像块。环内滤波器(165)被应用于所重构的图片,以执行例如解块/SAO(样本自适应偏移)滤波,从而减少编码伪像。将所滤波的图像存储在参考图片缓冲器(180)中。

图7示出了视频解码器200的框图。在解码器200中,如下所述,由解码器元件解码比特流。视频解码器200通常执行与如图12中所描述的编码过程互逆的解码过程。所述编码器100通常还执行视频解码作为编码视频数据的一部分。

特别地,所述解码器的输入包括视频比特流,其可以由视频编码器100生成。所述比特流首先被熵解码(230)以获得变换系数、运动向量和其它译码信息。图片分区信息指示所述图片如何被分区。所述解码器因此可以根据所解码的图片分区信息来划分(235)所述图片。所述变换系数被解量化(240)和逆变换(250)以解码所述预测残差。将所解码的预测残差与预测块进行组合(255),重构图像块。所述预测块可以从帧内预测(260)或运动补偿预测(即,帧间预测)(275)获得(270)。环内滤波器(265)被应用于所重构的图像。将所滤波的图像存储在参考图片缓冲器(280)中。

解码后的图片可以进一步经历解码后处理(285),例如,逆颜色变换(例如,从YCbCr 4:2:0到RGB 4:4:4的转换)或执行在预编码处理(101)中执行的所述重新映射过程的逆重新映射。所述解码后处理可以使用在所述预编码处理中导出并且在所述比特流中用信号发送的元数据。

图8示出了其中实现了各个方面和实施例的系统的示例的框图。系统1000可以被实现为包括以下描述的各种组件的设备,并且被配置为执行本文中描述的一个或多个方面。此类设备的示例包括但不限于各种电子设备,诸如个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收机、个人视频记录系统、连接的家用电器和服务器。系统1000的元件可以单独地或组合地被实现在单个集成电路(IC)、多个IC和/或分立组件中。例如,在至少一个实施例中,系统1000的处理和编码器/解码器元件分布在多个IC和/或分立组件上。在各种实施例中,所述系统1000经由例如通信总线或通过专用输入和/或输出端口而被通信地耦合到一个或多个其他系统或其他电子设备。在各种实施例中,所述系统1000被配置为实现本文中描述的一个或多个方面。

所述系统1000包括至少一个处理器1010,其被配置为执行加载在其中的指令,以用于实现例如本文中描述的各个方面。处理器1010可以包括嵌入式存储器、输入输出接口和本领域已知的各种其它电路。所述系统1000包括至少一个存储器1020(例如,易失性存储器设备和/或非易失性存储器设备)。系统1000包括存储设备1040,其可以包括非易失性存储器和/或易失性存储器,这其中包括但不限于电可擦除可编程只读存储器(EEPROM)、只读存储器(ROM)、可编程只读存储器(PROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例,所述存储设备1040可以包括内部存储设备、附接的存储设备(包括可拆卸的存储设备和不可拆卸的存储设备)和/或网络可访问的存储设备。

系统1000包括编码器/解码器模块1030,其被配置为例如处理数据以提供所编码的视频或所解码的视频,并且所述编码器/解码器模块1030可以包括其自己的处理器和存储器。所述编码器/解码器模块1030表示可包括在设备中以执行编码和/或解码功能的模块(一个或多个)。如已知的,设备可以包括所述编码模块和解码模块中的一个或两个。另外,编码器/解码器模块1030可实施为系统1000的单独元件或可并入处理器1010内作为如所属领域的技术人员已知的硬件与软件的组合。

要加载到处理器1010或编码器/解码器1030上以执行本文档中描述的各个方面的程序代码可以存储在存储设备1040中,并且随后加载到存储器1020上以供处理器1010执行。根据各种实施例,处理器1010、存储器1020、存储设备1040和编码器/解码器模块1030中的一者或多者可以在执行本文中描述的过程期间存储各种项中的一者或多者。这些存储的项可以包括但不限于输入视频、所解码的视频或该解码的视频的部分、比特流、矩阵、变量以及来自方程式、公式、运算和运算逻辑的处理的中间或最终结果。

在一些实施例中,所述处理器1010和/或所述编码器/解码器模块1030内的存储器用于存储指令,并且提供用于在编码或解码期间需要的处理的工作存储器。然而,在其它实施例中,所述处理设备(例如,所述处理设备可为所述处理器1010或所述编码器/解码器模块1030)外部的存储器用于这些功能中的一者或多者。外部存储器可以是存储器1020和/或存储设备1040,例如,动态易失性存储器和/或非易失性闪存。在几个实施例中,外部非易失性闪存用于存储例如电视的操作系统。在至少一个实施例中,诸如RAM的快速外部动态易失性存储器被用作视频译码和解码操作的工作存储器,诸如用于MPEG-2(MPEG是指运动图像专家组,MPEG-2也被称为ISO/IEC 13818,并且13818-1也被称为H.222,并且13818-2也被称为H.262)、HEVC(HEVC是指高效视频译码,也被称为H.265和MPEG-H部分2)、或VVC(通用视频译码,由联合视频团队专家JVET开发的新标准)的工作存储器。

如框1130中所示,可以通过各种输入设备来提供对系统1000的元件的输入。这样的输入设备包括但不限于:(i)接收例如由广播者通过空中传输的射频(RF)信号的RF部分,(ii)分量(COMP)输入端子(或一组分量输入端子),(iii)通用串行总线(USB)输入端子,和/或(iv)高清晰度多媒体接口(HDMI)输入端子。图10中未示出的其它示例包括合成视频。

在各种实施例中,框1130的输入设备具有本领域已知的相关联的相应输入处理元件。例如,所述RF部分可以与适合于以下的元件相关联:(i)选择期望频率(也称为选择信号,或将信号频带限制到一频带),(ii)将所选择的信号下变频,(iii)再次将频带限制到较窄频带,以选择(例如,)在某些实施例中可以称为信道的信号频带,(iv)解调所述下变频且频带限制的信号,(v)执行纠错,和(vi)解复用以选择期望的数据分组流。各种实施例的RF部分包括一个或多个元件以执行这些功能,例如,频率选择器、信号选择器、限带器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。所述RF部分可以包括执行各种这些功能的调谐器,这些功能包括例如将所接收的信号下变频到较低频率(例如,中频或近基带频率)或基带。在一个机顶盒实施例中,所述RF部分及其相关的输入处理元件接收通过有线(例如,电缆)介质发送的RF信号,并通过滤波、下变频和再次滤波来执行到期望频带的频率选择。各种实施例重新安排上述(和其它)元件的顺序,移除这些元件中的一些,和/或添加执行类似或不同功能的其它元件。添加元件可以包括在现有元件之间插入元件,例如插入放大器和模数转换器。在各种实施例中,所述RF部分包括天线。

另外,USB和/或HDMI终端可以包括用于通过USB和/或HDMI连接将系统1000连接到其它电子设备的相应接口处理器。应当理解,输入处理的各个方面(例如,,,所罗门纠错)可以根据需要在例如单独的输入处理IC或处理器1010内实现。类似地,USB或HDMI接口处理的各方面可以根据需要在单独的接口IC内或在处理器1010内实现。解调、纠错和解复用的流被提供给各种处理元件,这其中包括例如处理器1010和编码器/解码器1030,其与存储器和存储元件结合操作以根据需要来处理所述数据流以便在输出设备上呈现。

系统1000的各种元件可以设置在集成壳体内。在该集成壳体内,各种元件可以使用合适的连接布置(例如,本领域已知的内部总线,包括IC间(I2C)总线、布线和印刷电路板)互连并在其间传输数据。

所述系统1000包括通信接口1050,其使得能够经由通信信道1060与其他设备通信。所述通信接口1050可以包括但不限于被配置为通过通信信道1060发送和接收数据的收发器。所述通信接口1050可以包括但不限于调制解调器或网卡,并且所述通信信道1060可以例如在有线和/或无线介质内实现。

在各种实施例中,使用无线网络(例如,Wi-Fi网络,例如IEEE 802.11(IEEE是指电气和电子工程师协会)),将数据流式传输或以其他方式提供给所述系统1000。这些实施例的Wi-Fi信号通过适用于Wi-Fi通信的通信信道1060和通信接口1050来接收。这些实施例的通信信道1060通常连接到接入点或路由器,所述接入点或路由器提供对包括因特网的外部网络的接入以允许流式传输应用和其它云上通信。其它实施例使用通过输入框1130的HDMI连接来传递数据的机顶盒而向系统1000提供流式传输的数据。还有一些实施例使用输入框1130的RF连接而向所述系统1000提供流式传输的数据。如上所述,各种实施例以非流式传输方式提供数据。另外,各种实施例使用除Wi-Fi之外的无线网络,例如,蜂窝网络或蓝牙网络。

所述系统1000可以向各种输出设备(包括显示器1100、扬声器1110和其他外围设备1120)提供输出信号。各种实施例的显示器1100包含以下中的一者或多者:例如触摸屏显示器、有机发光二极管(OLED)显示器、弯曲显示器和/或可折叠显示器。所述显示器1100可以用于电视、平板电脑、膝上型计算机、蜂窝电话(移动电话)或其他设备。所述显示器1100还可与其它组件集成(例如,如在智能电话中),或是单独的(例如,用于膝上型计算机的外部监视器)。在各实施例的各示例中,所述其它外围设备1120包括以下中的一者或多者:独立数字视频盘(或数字多功能盘)(DVR,针对这两项)、盘播放器、立体声系统和/或照明系统。各种实施例使用一个或多个外围设备1120,其基于系统1000的输出来提供功能。例如,盘播放器执行播放所述系统1000的输出的功能。

在各种实施例中,使用信令(诸如,AV.Link(AV.链路)、消费电子控制(CEC)、或在有或没有用户干预的情况下实现设备到设备控制的其他通信协议)在系统1000和显示器1100、扬声器1110或其它外围设备1120之间传送控制信号。所述输出设备可以经由通过相应接口1070、1080和1090的专用连接而通信地耦合到系统1000。作为替代,所述输出设备可以使用通信信道1060经由通信接口1050连接到系统1000。所述显示器1100和扬声器1110可以与系统1000的其它组件一起集成在电子设备(例如,电视机)中的单个单元中。在各种实施例中,显示接口1070包括显示驱动器,例如定时控制器((T Con)芯片。

例如,如果输入1130的RF部分是单独机顶盒的一部分,则所述显示器1100和扬声器1110可以备选地与其它组件中的一个或多个分离。在所述显示器1100和扬声器1110是外部组件的各种实施例中,所述输出信号可以经由专用输出连接来提供,所述专用输出连接例如包括HDMI端口、USB端口或COMP输出。

这些实施例可以由处理器1010或由硬件实现的计算机软件或由硬件和软件的组合来实现。作为非限制性示例,所述实施例可以由一个或多个集成电路实现。所述存储器1020可以是适合于技术环境的任何类型,并且可以使用任何适当的数据存储技术来实现,作为非限制性示例,诸如光学存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器。所述处理器1010可以是适合于技术环境的任何类型,并且作为非限制性示例,可以包含以下中的一者或多者:微处理器、通用计算机、专用计算机和基于多核架构的处理器。

各种实现方式涉及解码。如本申请中所使用的,“解码”可以包括例如对接收到的编码序列执行的全部或部分处理,以便产生适合于显示的最终输出。在各种实施例中,此类过程包括通常由解码器执行的过程中的一个或多个,例如熵解码、逆量化、逆变换和差分解码。

作为进一步的示例,在一个实施例中,“解码”仅指熵解码,在另一实施例中,“解码”仅指差分解码,并且在另一实施例中,“解码”指熵解码和差分解码的组合。短语“解码过程”是旨在具体地指代操作的子集还是一般地指代更广泛的解码过程,这基于具体描述的上下文将是清楚的,并且相信是本领域技术人员所充分理解的。

各种实现涉及编码。以与以上关于“解码”的讨论类似的方式,如在本申请中使用的“编码”可以包括例如对输入视频序列执行的以便产生编码比特流的过程的全部或部分。在各种实施例中,此类过程包括通常由编码器执行的一个或多个过程,例如,分区、差分编码、变换、量化和熵译码。

作为进一步的示例,在一个实施例中,“编码”仅指熵译码,在另一实施例中,“编码”仅指差分编码,而在另一实施例中,“编码”指差分编码和熵译码的组合。短语“编码过程”的旨在具体地指代操作的子集还是一般地指代更广泛的编码过程,这将基于具体描述的上下文而变得清楚,并且相信是本领域技术人员所充分理解的。

注意,如本文所使用的语法元素是描述性术语。因此,它们不排除使用其它语法元素名称。

当附图被呈现为流程图时,应当理解,它还提供了对应装置的框图。类似地,当附图被呈现为框图时,应当理解,它还提供了对应的方法/过程的流程图。

各种实施例涉及速率失真优化。特别地,在编码过程期间,通常考虑速率和失真之间的平衡或折衷,通常给出计算复杂度的约束。所述速率失真优化通常被公式化为最小化速率失真函数,该速率失真函数是速率和失真的加权和。存在不同的方法来解决速率失真优化问题。例如,这些方法可以基于对所有编码选项的广泛测试,这其中包括所有考虑的模式或译码参数值,且对它们的译码成本和在译码和解码之后的重构信号的相关失真进行完整评估。还可以使用更快的方法来节省编码复杂度,特别是基于预测或预测残差信号而不是重构信号来计算近似失真。还可以使用这两种方法的混合,例如通过仅对一些可能的编码选项使用近似失真,而对其他编码选项使用完全失真。其它方法仅评估可能的编码选项的子集。更一般地,许多方法采用各种技术中的任何一种来执行所述优化,但是该优化不一定是对译码成本和相关失真这两者的完整评估。

本文描述的实现方式和方面可以在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单一形式的实现的上下文中被讨论(例如,仅作为方法而被讨论),所讨论的特征的实现也可以以其他形式(例如,装置或程序)来实现。例如,可以以适当的硬件、软件和固件来实现装置。所述方法可以在例如处理器中实现,所述处理器通常指处理设备,这其中包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备,例如计算机、蜂窝电话、便携式/个人数字助理(“PDA”)和便于终端用户之间的信息通信的其他设备。

对“一个实施例”或“一实施例”或“一个实现方式”或“一实现方式”以及其它变化形式的提及意味着结合该实施例描述的特定特征、结构、特性等包含于至少一个实施例中。因此,在本申请中的各个地方出现的短语“在一个实施例中”或“在一实施例中”或“在一个实现方式中”或“在一实现方式中”以及任何其他变型的出现不一定都指同一实施例。

另外,本申请可以涉及“确定”各种信息。确定该信息可以包括例如以下一者或多者:估计该信息、计算该信息、预测该信息或从存储器检索该信息。

此外,本申请可以涉及“访问”各种信息。访问该信息可以包括例如以下一者或多者:接收该信息、检索该信息(例如,从存储器检索该信息)、存储该信息、移动该信息、复制该信息、计算该信息、确定该信息、预测该信息或估计该信息。

另外,本申请可以指“接收”各种信息。如同“访问”一样,接收旨在是广义的术语。接收所述信息可以包括例如以下一者或多者:访问该信息或(例如,从存储器)检索该信息。此外,在诸如存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间,通常以一种方式或另一种方式涉及“接收”。

应当理解,例如在“A/B”、“A和/或B”以及“A和B中的至少一者”的情况下,使用以下“/”、“和/或”以及“中的至少一者”中的任意者旨在涵盖仅对第一列出的选项(A)的选择、或仅对第二列出的选项(B)的选择、或对两个选项(A和B)的选择。作为进一步的示例,在“A、B和/或C”和“A、B和C中的至少一者”的情况下,这样的措词旨在包括仅选择第一个列出的选项(A)、或者仅选择第二个列出的选项(B)、或者仅选择第三个列出的选项(C)、或者仅选择第一个和第二个列出的选项(A和B)、或者仅选择第一个和第三个列出的选项(A和C)、或者仅选择第二个和第三个列出的选项(B和C)、或者选择所有三个选项(A和B和C)。如本领域和相关领域的普通技术人员所清楚的,这可以扩展到所列的多个项目。

此外,如本文所使用的,词语“信号”尤其是指向对应的解码器指示某物。这样,在一实施例中,在编码器侧和解码器侧使用相同的参数。因此,例如,编码器可以向解码器发送(显式地用信号发送)特定参数,使得解码器可以使用该相同的特定参数。相反,如果解码器已经具有所述特定参数以及其它参数,则可以使用信令而不进行发送(隐式地用信号发送),以简单地允许解码器知道并选择所述特定参数。通过避免任何实际功能的传输,在各种实施例中实现了比特节省。应当理解,可以以各种方式来实现信令。例如,在各种实施例中,一个或多个语法元素、标志等被用于将信息用信号发送给对应的解码器。虽然前述内容涉及词语“信号”的动词形式,但是词语“信号”在本文中也可以用作名词。

如对于本领域普通技术人员将显而易见的,实现方式可以产生被格式化以携带例如可以被存储或发送的信息的各种信号。该信息可以包括例如用于执行方法的指令,或者由所描述的实现方式之一产生的数据。例如,信号可以被格式化以携带所描述的实施例的比特流。这种信号可以被格式化为例如电磁波(例如,使用频谱的射频部分)或基带信号。所述格式化可以包括例如对数据流进行编码并且利用所编码的数据流对载波进行调制。所述信号携带的信息可以是例如模拟或数字信息。如已知的,所述信号可以通过各种不同的有线或无线链路来传输。所述信号可以存储在处理器可读介质上。

我们描述了多个实施例。这些实施例的特征可以单独提供或以任何组合提供。此外,跨越各种权利要求类别和类型,实施例可以单独或以任意组合包括以下特征、设备或方面中的一者或多者:

·获得包括与当前色度块的色度样本处于同一位置的一个亮度样本的亮度块的QP。

·获得包括与当前色度块的色度样本位于同一位置的亮度样本的亮度块的QP,并将这些亮度QP组合成单个亮度QP。

·所述色度样本是当前色度块的左上样本、中心左侧样本、中心顶部样本、或中心样本。

·获得与所述当前色度块位于同一位置的亮度块的QP。

·将这些亮度QP组合成单个亮度QP包括:对所述亮度QP求平均值。

·所述平均是加权平均。

·将这些亮度QP组合成单个亮度QP包括:选择中值亮度QP。

·将这些亮度QP组合成单个亮度QP包括:选择最小或最大亮度QP。

·包括所描述的语法元素中的一者或多者或其变型的比特流或信号。

·在所述信令中插入使得所述解码器能够以对应于编码器所使用的方式的方式采用用于将多个亮度QP组合成一亮度QP的功能的语法元素。

·创建和/或发送和/或接收和/或解码包括一个或多个所描述的语法元素或其变型的比特流或信号。

·TV、机顶盒、蜂窝电话、平板电脑或其他电子设备,其根据所描述的任何实施例执行量化或解量化。

·TV、机顶盒、蜂窝电话、平板电脑或其他电子设备,其根据所描述的任何实施例执行量化或解量化,并且显示(例如,使用监视器、屏幕或其他类型的显示器)所得到的图像。

·TV、机顶盒、蜂窝电话、平板电脑或其他电子设备,其调谐(例如,使用调谐器)信道以接收包括所编码的图像的信号,并且根据所描述的任何实施例执行解量化。

·TV、机顶盒、蜂窝电话、平板电脑或其他电子设备,其通过空中接收(例如,使用天线)包括所编码的图像的信号,并且根据所描述的任何实施例在帧间参数中执行解量化。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号