滤波方法、运动图像解码方法、运动图像编码方法、运动图像解码装置、运动图像编码装置及运动图像编码解码装置

技术领域

本发明涉及滤波方法、运动图像解码方法、运动图像编码方法、运动 图像解码装置、运动图像编码装置及运动图像编码解码装置。

背景技术

IPCM（Intra Pulse Code Modulation）块是具有将编码流中包含的信号 用原来的图像的亮度及色度的样本表示的、未压缩的运动图像或图像样本 的块。它们在熵编码部将图像样本的块编码时、生成比减少的位数更多的 位数的情况下使用。即，在IPCM块中，不将像素值压缩而原样使用原来 的图像的像素值。将该IPCM块在H.264/AVC的运动图像压缩规格中导入。

在H.264运动图像规格中，在IPCM块被编码到编码流中的情况下， 将该IPCM块作为未压缩数据编码。并且，将这些块的解码处理省略。但 是，依然将后处理（包括解块/滤波处理等的滤波处理）对容易成为使这些 块的画质下降的原因的块边界进行（例如，参照非专利文献1）。

现有技术

非专利文献

非专利文献1：ISO/IEC14496－10“MPEG－4Part10Advanced Video  Coding”

发明内容

发明的概要

发明要解决的问题

希望能对这样的IPCM块与非IPCM块的边界进行更适当的滤波处理。

所以，本发明的目的是提供一种能够对IPCM块与非IPCM块的边界 进行适当的滤波处理的滤波方法。

解决问题的手段

为了达到上述目的，有关本发明的一技术方案的滤波方法，对图像中 包含的、相互相邻的IPCM（Intra Pulse Code Modulation）块与不是IPCM 块的非IPCM块的边界，进行解块/滤波处理，包括：第1量化参数决定步 骤，决定用于上述非IPCM块的第1量化参数；第2量化参数决定步骤， 使用上述第1量化参数，对应于上述IPCM块，决定用来决定滤波强度的 第2量化参数；滤波强度决定步骤，使用上述第1量化参数及上述第2量 化参数决定上述滤波强度；滤波步骤，以所决定的上述滤波强度，对上述 边界进行解块/滤波处理。

发明的效果

根据以上，本发明能够提供一种能够对IPCM块与非IPCM块的边界 进行适当的滤波处理的滤波方法。

附图说明

图1是表示H.264方式的、IPCM块与非IPCM块的块边界处的滤波强 度的决定方法的图。

图2是H.264方式的块边界滤波处理的流程图。

图3是H.264方式的滤波强度的决定处理的流程图。

图4是表示有关本发明的实施方式1的滤波方法的滤波强度的图。

图5是有关本发明的实施方式1的滤波方法的流程图。

图6是有关本发明的实施方式1的运动图像编码装置的块图。

图7A是表示有关本发明的实施方式1的块边界的一例的图。

图7B是表示有关本发明的实施方式1的块边界的一例的图。

图8A是表示有关本发明的实施方式1的滤波处理部的动作的图。

图8B是表示有关本发明的实施方式1的滤波处理部的动作的图。

图9是有关本发明的实施方式1的运动图像解码装置的块图。

图10A是表示有关本发明的实施方式1的滤波处理部的结构例的图。

图10B是表示有关本发明的实施方式1的滤波处理部的结构例的图。

图10C是表示有关本发明的实施方式1的滤波处理部的结构例的图。

图10D是表示有关本发明的实施方式1的滤波处理部的结构例的图。

图10E是表示有关本发明的实施方式1的滤波处理部的结构例的图。

图10F是表示有关本发明的实施方式1的滤波处理部的结构例的图。

图10G是表示有关本发明的实施方式1的滤波处理部的结构例的图。

图10H是表示有关本发明的实施方式1的滤波处理部的结构例的图。

图11是有关本发明的实施方式1的滤波方法的变形例的流程图。

图12是有关本发明的实施方式1的滤波强度的决定处理的流程图。

图13是表示有关本发明的实施方式1的滤波强度和块单位的图。

图14A是表示有关本发明的比较例的滤波ON的标志的应用范围的图。

图14B是表示有关本发明的实施方式1的滤波ON的标志的应用范围 的图。

图15是有关本发明的实施方式1的变形例的运动图像编码法的流程 图。

图16是有关本发明的实施方式1的变形例的运动图像解码方法的流程 图。

图17是有关本发明的实施方式2的运动图像编码装置的块图。

图18是有关本发明的实施方式2的运动图像解码装置的块图。

图19是有关本发明的实施方式2的滤波方法的流程图。

图20是表示有关本发明的实施方式2的滤波方法的具体例的流程图。

图21是有关本发明的实施方式2的变形例的运动图像编码法的流程 图。

图22是有关本发明的实施方式2的变形例的运动图像解码方法的流程 图。

图23是实现内容分发服务的内容供给系统的整体结构图。

图24是数字广播用系统的整体结构图。

图25是表示电视机的结构例的模块图。

图26是表示对作为光盘的记录介质进行信息的读写的信息再现/记录 部的结构例的模块图。

图27是表示作为光盘的记录介质的构造例的图。

图28A是表示便携电话的一例的图。

图28B是表示便携电话的结构例的模块图。

图29是表示复用数据的结构的图。

图30是示意地表示各流在复用数据中怎样被复用的图。

图31是更详细地表示在PES包序列中视频流怎样被保存的图。

图32是表示复用数据的TS包和源包的构造的图。

图33是表示PMT的数据结构的图。

图34是表示复用数据信息的内部结构的图。

图35是表示流属性信息的内部结构的图。

图36是表示识别影像数据的步骤的图。

图37是表示实现各实施方式的运动图像编码方法及运动图像解码方法 的集成电路的结构例的模块图。

图38是表示切换驱动频率的结构的图。

图39是表示识别影像数据、切换驱动频率的步骤的图。

图40是表示将影像数据的标准与驱动频率建立了对应的查找表的一例 的图。

图41A是表示将信号处理部的模块共用的结构的一例的图。

图41B是表示将信号处理部的模块共用的结构的另一例的图。

具体实施方式

（作为本发明的基础的认识）

本发明者发现，会发生以下的问题。

首先，在说明本发明的实施方式之前，对H.264的编码及解码方式中 的、IPCM块与非IPCM块的边界处的像素间滤波（解块/滤波）处理进行 说明。

图1是说明H.264的编码及解码方式中的、IPCM块（宏块）与非IPCM 块（宏块）的边界处的像素间滤波的滤波强度的决定方法的概念的图。

图1示意地表示一方是非IPCM宏块（图左侧）、另一方是IPCM宏块 （图右侧）的两个宏块的间的边界。位于图1的左侧的3个圆表示3个像 素（典型地，从边界起依次称作p0、p1、p2）。该左侧3个像素属于第1 单位（编码单位块，以下称作CU块）中的第1块（p块）。同时，该3个 像素在作为比第1单位大的单位的宏块单位的块（以下，称作MB块）中 属于非IPCM型的第1宏块。

同样，位于图1的右侧的3个圆表示3个像素（典型地，从边界起依 次称作q0、q1、q2）。该左侧3个像素属于第1单位中的第2块（q块）。 同时，该3个像素在MB块中属于IPCM型的第2宏块。

另外，以下将属于IPCM型的宏块的CU块称作IPCM块，将属于非 IPCM型的宏块的CU块称作非IPCM块。即，所谓非IPCM块，是指不是 IPCM块的块。

以下，说明对该块边界（或者比编码单位大的块单位的边界）处的像 素q0、q1、p0及p1应用的滤波强度的决定方法。

在H.264的滤波方法（规格书8.7节记载的滤波方法）中，规定了通常 将对于两个块的边界的滤波强度根据从第1宏块的量化参数QPp导出的值 qPp、和第2宏块的量化参数QPq的平均值决定。具体而言，使用由规格 书8－461式表示的以下的（式1）。

QPav=（QPp+QPq+1）>>1=>（QPp+1）>>1  （式1）

该（式1）表示以下的运算。滤波强度以量化误差的吸收等为目的设计 为，量化参数的值越大，则施加越强（平滑度越强）的滤波。

在图中，左侧的量化参数QPp是为了第1宏块（p侧的块）而编码的 量化参数。另外，为了方便，这里将QP在与为了滤波的目的而利用的值 qP相同的意义下使用。此外，右侧的量化参数QPq是对第2宏块（q侧的 块）本来应应用的量化参数。

这里，如在H.264的规格书8.7.2节中记载那样的，将IPCM块的量化 参数qPq（图中QPq）的值设置为0。即为“Both sides filtered with weak  strength”。这意味着，关于作为两个块的边界的1个边界，对两者的块应用 相同的滤波强度的滤波。这也意味着使两个块的滤波强度不同。即，在IPCM 块与非IPCM块的边界中，对两者的块执行相同的滤波强度的滤波处理。

图2是说明在H.264的规格书8.7节“Deblocking filter process”中记载 的块边界滤波处理的概念的流程图。

该流程图关于H.264的滤波大体说明以下的3个。

（1）8.7.2.1节的滤波强度（bS）决定顺序

步骤S101是与在8.7.2.1节中记载的“Deviation process for the luma  content dependent boundary filtering strength”过程对应的步骤。该过程根据 块型等决定对于1个块边界的滤波处理的滤波强度。这里，将滤波强度从 滤波强度较强（bS=4）到不滤波（bS=0）而进行分类。关于这一点在图3 中说明。

（2）关于IPCM块的量化参数qPz=0的设定过程

步骤S102～S107是在图1中说明的滤波强度决定用的量化参数qP的 值的设定处理。相对于通常的非IPCM块（步骤S102或S105中“否”）， 将该块属于的宏块的量化参数QP［i］（i是0或1的某个）设定为滤波强 度决定用的量化参数qP［i］（步骤S103及S106）。另一方面，在对象块是 IPCM块的情况下（S102或S105中“是”），将IPCM块的量化参数qP设 置为0（步骤S104及S107）。

接着，在步骤S108中，通过上述（式1）计算qPav。

（3）将1个bS（或filter Sample Flag）在两者的块中共用。

以下，说明将所决定的滤波强度（或不滤波的判断标志）共通地（将 相同的值）应用到夹着边界的两个块中。

首先，在上述步骤S108后，进行使用上述规格书中的式8－462～式8 －467的运算。具体而言，进行（1）用来将在步骤S101中设定的滤波强 度微调的指标的导出、和（2）用于边缘判断的阈值的导出。

并且，对两者的块设定通过这些处理决定的滤波强度（S109）。具体而 言，在滤波强度bS是1～4的某个的情况下，也对两个块应用由相同的bS 的导出方法导出的值。例如，在滤波强度bS=4的情况下，将第1块的像素 p的值通过上述规格书的式（8－486～487）导出。此外，将第2块中包含 的像素q的值使用与在像素p的值的导出中使用的滤波强度相同的滤波强 度导出。进而，为了对应于最终块边界实际是边缘的情况等，做出进行/不 进行滤波的判断（fileter Samples Flag（也称作滤波执行标志）的值的导出）。 具体而言，该判断通过在步骤S109中导出的两个阈值（two_threths（α， β））与p及q的实际的像素值的比较来进行（参照上述规格书，式（8－ 468））。但是，如上述那样，关于滤波强度bS及滤波执行标志，在两个块 间都不能变更其值（或者执行的有无）。

即，在H.264中，在封闭于滤波过程来看的情况下，不能实现适合于 IPCM的处理。

图3是表示在上述规格书的8.7.2.1节中记载的、对位于两个宏块的边 界的像素应用的滤波强度（bS）的决定顺序（判断顺序）的流程图。该流 程图是说明图2所示的步骤S101的判断顺序的，是遵循规格书8.7.2.1节 的判断流程的。

首先，判断第1块的像素p0和第2块的像素q0形成的边界是否也对 应于宏块的边界（S121）。换言之，判断p0和q0是否位于宏块边界。

在处理对象的块边界不是宏块边界的情况下（S121中“否”），将滤波 强度（bS）决定为作为比N（=4）小的值的3、2、1、0的某个（S124）。

另一方面，在处理对象的块边界是宏块边界的情况下（S121中“是”）， 判断是否p0和q0的一方（或两者）属于帧内预测模式的宏块（S122）。

在两者的块不属于帧内预测模式的宏块的情况下（S122中“否”），执 行其他判断条件的判断（S125）。

另一方面，在至少一方的块属于帧内预测模式的宏块的情况下（S122 中“是”），没有其他判断条件（而必定）将滤波强度设定为意味着最强的 强度的bS=4（S123）。

这样，在以往的滤波方法中，在滤波过程的内部处理中，不能对夹着1 个边界的两个块执行不同的处理（滤波强度及滤波应用有无）。此外，在着 眼于IPCM的滤波强度的决定中虽然在规格中考虑到了，但在一方的块是 IPCM块、另一方的块是非IPCM块的情况下，不能进行将IPCM块的像素 值以原样的值输出的控制。

IPCM块是包含没有编码损失的忠实地表示“原图像”的像素值的块。 因而，希望在滤波过程内能够控制以IPCM块为一方的边界处的滤波处理、 或向IPCM块的滤波的应用。

此外，如上述那样，通常对于两个块的边界的滤波强度基于从第1宏 块的量化参数QPp导出的值qPp和第2宏块的量化参数QPq的平均值qPav 决定。进而，将IPCM块的量化参数qPq的值设置为0。由此，用来决定 IPCM块与非IPCM块的边界处的滤波强度的平均值qPav成为非IPCM块 的量化参数QPq的值的一半的值。即，在IPCM块与非IPCM块的边界， 与通常的情况（非IPCM块彼此的边界）相比，平均值qPav变小。这样， 本发明者发现，在IPCM块与非IPCM块的边界中，不能适当地设定滤波 强度。

对此，有关本发明的一形态的滤波方法，对图像中包含的、相互相邻 的IPCM（Intra Pulse Code Modulation）块与不是IPCM块的非IPCM块的 边界，进行解块/滤波处理，包括：第1量化参数决定步骤，决定用于上述 非IPCM块的第1量化参数；第2量化参数决定步骤，使用上述第1量化 参数，对应于上述IPCM块，决定用来决定滤波强度的第2量化参数；滤 波强度决定步骤，使用上述第1量化参数及上述第2量化参数决定上述滤 波强度；滤波步骤，以所决定的上述滤波强度，对上述边界进行解块/滤波 处理。

据此，有关本发明的一技术方案的滤波方法使用非IPCM块的量化参 数决定IPCM块的量化参数。由此，该滤波方法与作为IPCM块的量化参 数而使用零的情况相比，能够对IPCM块与非IPCM块的边界进行适当的 滤波处理。

此外，也可以是，在上述第2量化参数决定步骤中，将上述第2量化 参数的值决定为与上述第1量化参数相同的值。

此外，也可以是，在上述滤波强度决定步骤中，计算上述第1量化参 数和上述第2量化参数的平均值；使用计算出的上述平均值决定上述滤波 强度。

此外，有关本发明的一技术方案的运动图像解码方法，将编码比特流 解码，包括：差分信息取得步骤，通过将上述编码比特流解析，取得表示 在处理顺序上紧接着之前的块的量化参数与处理对象的块的量化参数的差 分是否是零的差分信息；滤波处理步骤，执行所述的滤波方法；在上述第2 量化参数决定步骤中，按照上述差分信息，将上述第2量化参数的值决定 为与上述第1量化参数相同的值。

据此，有关本发明的一技术方案的运动图像解码方法能够按照以其他 目的使用的差分信息决定IPCM块的量化参数。由此，该运动图像解码方 法能够不对运动图像解码装置追加对IPCM块进行特别的处理的功能而适 当地决定IPCM块的量化参数。

此外，也可以是，在上述第2量化参数决定步骤中，在上述非IPCM 块在处理顺序上位于上述IPCM块的紧接着之前的情况下，按照上述差分 信息，将上述第2量化参数的值决定为与上述第1量化参数相同的值。

此外，也可以是，上述运动图像解码方法还包括：解码步骤，通过将 上述编码比特流解码，生成量化系数；逆量化及逆变换步骤，通过将上述 量化系数逆量化及逆变换，生成解码残差信号；加法步骤，通过对上述解 码残差信号加上预测图像信号，生成解码图像信号；上述IPCM块及上述 非IPCM块包含在上述解码图像信号中；上述运动图像解码方法还包括通 过使用在上述滤波步骤中进行上述解块/滤波处理后的图像信号进行预测 处理、生成上述预测图像信号的预测步骤。

此外，也可以是，上述运动图像解码方法根据上述编码比特流中包含 的、表示第1规格或第2规格的识别码，切换依据上述第1规格的解码处 理、和依据上述第2规格的解码处理；在上述ID表示第1规格的情况下， 作为依据上述第1规格的解码处理，进行上述差分信息取得步骤和上述滤 波处理步骤。

此外，有关本发明的一技术方案的运动图像编码方法，通过将输入图 像信号编码，生成编码比特流，包括：滤波处理步骤，执行上述滤波方法； 比特流生成步骤，作为表示上述第2量化参数是与上述第1量化参数相同 的值的信息，生成包含表示在处理顺序上紧接着之前的块的量化参数与处 理对象的块的量化参数的差分是零的差分信息的上述编码比特流。

据此，有关本发明的一技术方案的动画编码方法能够使用以其他目的 使用的差分信息，将运动图像解码装置用来决定IPCM块的量化参数的信 息向该运动图像解码装置传递。由此，即使不对运动图像解码装置追加对 IPCM块进行特别的处理的功能，该运动图像解码装置也能够适当地决定 IPCM块的量化参数。

此外，也可以是，在上述比特流生成步骤中，在上述非IPCM块在处 理顺序上位于上述IPCM块的紧接着之前的情况下生成上述差分信息。

此外，也可以是，上述运动图像编码方法还包括：减法步骤，通过从 上述输入图像信号减去预测图像信号，生成残差信号；变换及量化步骤， 通过将上述残差信号变换及量化，生成量化系数；编码步骤，通过将上述 量化系数编码，生成上述编码比特流；逆量化及逆变换步骤，通过将上述 量化系数逆量化及逆变换，生成解码残差信号；加法步骤，通过对上述解 码残差信号加上上述预测图像信号，生成解码图像信号；上述IPCM块及 上述非IPCM块包含在上述解码图像信号中；上述运动图像编码方法还包 括通过使用在上述滤波步骤中进行上述解块/滤波处理后的图像信号进行 预测处理、生成上述预测图像信号的预测步骤。

此外，有关本发明的一技术方案的运动图像解码装置，对图像中包含 的、相互相邻的IPCM（Intra Pulse Code Modulation）块与不是IPCM块的 非IPCM块的边界，进行解块/滤波处理，具备：第1量化参数决定部，决 定用于上述非IPCM块的第1量化参数；第2量化参数决定部，使用上述 第1量化参数，对应于上述IPCM块，决定用来决定滤波强度的第2量化 参数；滤波强度决定部，使用上述第1量化参数及上述第2量化参数决定 滤波强度；滤波部，以所决定的上述滤波强度，对上述边界进行解块/滤波 处理。

根据该结构，有关本发明的一技术方案的运动图像解码装置使用非 IPCM块的量化参数决定IPCM块的量化参数。由此，该运动图像解码装置 与作为IPCM块的量化参数而使用零的情况相比，能够对IPCM块与非 IPCM块的边界进行适当的滤波处理。

此外，有关本发明的一技术方案的运动图像编码装置，对图像中包含 的、相互相邻的IPCM（Intra Pulse Code Modulation）块与不是IPCM块的 非IPCM块的边界，进行解块/滤波处理，具备：第1量化参数决定部，决 定用于上述非IPCM块的第1量化参数；第2量化参数决定部，使用上述 第1量化参数，对应于上述IPCM块，决定用来决定滤波强度的第2量化 参数；滤波强度决定部，使用上述第1量化参数及上述第2量化参数决定 滤波强度；滤波部，以所决定的上述滤波强度，对上述边界进行解块/滤波 处理。

根据该结构，有关本发明的一技术方案的运动图像编码装置使用非 IPCM块的量化参数决定IPCM块的量化参数。由此，该运动图像编码装置 与作为IPCM块的量化参数而使用零的情况相比，能够对IPCM块与非 IPCM块的边界进行适当的滤波处理。

此外，有关本发明的一技术方案的运动图像编码解码装置具备上述运 动图像编码装置和上述运动图像解码装置。

另外，这些全局性或具体的技术方案既可以通过系统、方法、集成电 路、计算机程序或记录介质实现，也可以通过系统、方法、集成电路、计 算机程序及记录介质的任意的组合实现。

以下，参照附图对有关本发明的一技术方案的运动图像解码化装置及 运动图像编码装置具体地说明。

另外，以下说明的实施方式都是表示本发明的一具体例的。在以下的 实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及 连接形态、步骤、步骤的顺序等是一例，并不是限定本发明的意思。此外， 关于以下的实施方式的构成要素中的、在表示最上位概念的独立权利要求 中没有记载的构成要素，设为任意的构成要素而进行说明。

（实施方式1）

以下，对有关本发明的实施方式1的滤波方法进行说明。

图4是表示应用有关本实施方式的滤波方法的条件及像素间滤波的滤 波强度的决定方法的概念的图。图中的左3个圆与图1同样，表示第1块 中包含的像素。另外，关于其他部分，也对于与图1同样的要素省略说明。

有关本实施方式的滤波方法对图像中包含的多个块进行滤波处理。典 型地，将该滤波方法应用到对相邻的块的边界进行的解块/滤波处理中。另 外，以下叙述将本发明应用到解块/滤波处理中的例子，但本发明对于解块 /滤波处理以外的循环内滤波处理（Adaptive Loop Filter）也能够应用。

有关本实施方式的滤波方法与图1中说明的滤波方法相比，以下的点 不同。

首先，作为图中右侧的IPCM块侧的3个像素的像素值而输出未滤波 处理的像素值。

此外，在第1块和第2块中，使关于滤波的处置不同而进行控制。例 如，对图中的夹着1个边界的一方（左侧）的块应用滤波，对另一方（右 侧）的块不应用滤波。这样，进行在块间在滤波处理中设置差异的控制。

接着，将被应用滤波的左侧的块的滤波强度仅使用该左侧的块的量化 参数QPp导出。即，将左侧的非IPCM块的滤波强度不使用右侧的宏块的 量化参数QPq或其他作为代替的固定值（以往例中的0）而导出。

另外，图2所示的H.264中的关于IPCM的判断是是否为IPCM宏块， 但将该判断用尺寸为可变的预测单位（Prediction Unit单位：PU单位）进 行。即，以下所谓IPCM块，是属于IPCM型的PU块的块，所谓非IPCM 块，是属于不为IPCM型的PU块的块。

以下，使用附图对这些动作进行说明。

图5是表示有关本实施方式的滤波方法的处理顺序的流程图。

有关本实施方式的滤波方法被作为编码过程或解码过程的一环执行。 因而，该滤波方法通过后述的图6所示的运动图像编码装置、或图9所示 的运动图像解码装置内的编码循环或解码循环内的滤波处理部、和控制该 滤波的控制部（Control Unit）执行。

控制部首先判断是否构成边界的两个块中的某一方的PU块的型是 IPCM（S201）。例如，在图4所示的例子的情况下，由于右侧的PU块是 IPCM块，所以判断为一方是IPCM型。具体而言，控制部使用宏块型或运 动保障块尺寸等的图像数据的属性参数执行该判断。

控制部在两个块的至少一方是IPCM块的情况下（S201中“是”），判 断两个块中的另一方的块是否是IPCM块（S202）。例如，在图4所示的图 的情况下，右侧的块是IPCM块。因而，控制部判断作为另一方的块的左 侧的块是否是IPCM块。

即，在步骤S201及S202中，控制部判断多个块分别是IPCM块还是 非IPCM块。具体而言，控制部判断（1）是否两个块都是非IPCM块（S201 中“否”），（2）是否两个块都是IPCM块（S202中“是”），（3）是否一方 是IPCM块且另一方是非IPCM块（S202中“否”）。

在另一方的块是IPCM块的情况下（S202中“是”），即在两者的块是 IPCM块的情况下，不对两者的块（第1块及第2块的两者）的像素p及q 进行滤波处理（S203）。

另一方面，在另一方的块不是IPCM块的情况下（S202中“否”），即， 在仅一方的块是IPCM块、另一方的块是非IPCM块的情况下，控制部通 过控制滤波处理部，执行步骤S204及S205的滤波处理。

首先，滤波处理部对非IPCM块中包含的像素（例如，图4的左侧的3 个像素）以规定的强度执行滤波处理，将滤波处理后的像素值作为非IPCM 块的像素值输出（S204）。此外，在该滤波处理中，不仅是非IPCM块的像 素值，还使用IPCM块的像素值。具体而言，滤波处理部通过使非IPCM 块的像素值和IPCM块的像素值平滑化，计算滤波后的非IPCM块的像素 值。

此外，滤波处理部对IPCM块中包含的像素（q侧的像素q0、q1…） 输出未滤波处理的像素值（S205）。这里，所谓输出未滤波处理的像素值， 设想以下的两个情况。

第1方法，是进行对非IPCM块的滤波处理、对IPCM块不进行滤波 处理而输出原来的像素值的方法。

第2方法，是对非IPCM块和IPCM块的两者进行滤波处理、将滤波 处理后的像素值中的IPCM块的像素值置换为滤波处理前的原来的像素值、 将置换后的像素值输出的方法。在哪种情况下，输出的IPCM块的像素值 都是进行滤波处理之前的原来的像素值。

另外，上述的滤波方法也可以采取在一方的块和另一方的块的滤波方 式（滤波强度、滤波有无或適用像素数）中设置差异而控制的方法。

另外，关于该步骤S204及S205的滤波处理（特别是控制部和滤波处 理部的动作），使用图6～图8B在后面说明。

此外，在步骤S201中两者的块是非IPCM块的情况下（S201中“否”）， 控制部进行通常的滤波动作（S206）。即，控制部对两者的块以规定的滤波 强度执行滤波处理。

以下，对使用上述滤波方法的运动图像编码装置进行说明。

图6是有关本实施方式的运动图像编码装置100的功能块图。图6所 示的运动图像编码装置100通过将输入图像信号120编码而生成编码比特 流132。该运动图像编码装置100具备减法器101、正交变换部102、量化 部103、逆量化部104、逆正交变换部105、加法器106、滤波处理部115、 存储器109、预测部110、可变长编码部111、选择部112和控制部113。

减法器101通过计算输入图像信号120与预测图像信号130的差而生 成残差信号121。正交变换部102通过将残差信号121正交变换，生成变换 系数122。量化部103通过将变换系数122量化，生成量化系数123。

逆量化部104通过将量化系数123逆量化，生成变换系数124。逆正交 变换部105通过将变换系数124逆正交变换，生成解码残差信号125。加法 器106通过将解码残差信号125与预测图像信号130相加，生成解码图像 信号126。

滤波处理部115通过对解码图像信号126实施滤波处理而生成图像信 号128，将所生成的图像信号128向存储器109保存。

预测部110通过使用保存在存储器109中的图像信号128有选择地进 行帧内预测处理及帧间预测处理，生成预测图像信号130。

可变长编码部111通过将量化系数123可变长编码（熵编码）而生成 编码信号131。

选择部112在对象块是IPCM块的情况下选择输入图像信号120，在对 象块是非IPCM块的情况下选择编码信号131，将所选择的信号作为编码比 特流132输出。

控制部113控制滤波处理部115及选择部112。

另外，正交变换部102及量化部103是通过对残差信号实施变换处理 及量化处理而生成量化系数的变换及量化部的一例。此外，可变长编码部 111是通过将量化系数编码而生成编码信号的编码部的一例。此外，逆量化 部104及逆正交变换部105是通过对量化系数实施逆量化处理及逆变换处 理而生成解码残差信号的逆量化及逆变换部的一例。

这里，在有关本实施方式的运动图像编码装置100中，特别主要的结 构是控制部113及滤波处理部115。

如上述那样，有关本实施方式的滤波方法被作为编码及解码过程的一 部分执行。因而，滤波处理部115配置在保持参照图像等的存储器109的 前段。并且，滤波处理部115将执行滤波处理的结果（或不执行滤波的结 果）向循环内的存储器109存储。关于这一点，该滤波处理部115与称作 Loop滤波的H.264中的滤波是相同的。

此外，滤波处理部115具有两个输入系统。第1个输入信号是表示非 IPCM块的像素值的解码图像信号126，第2个输入信号是表示IPCM块的 像素值的输入图像信号120。这里，解码图像信号126是被实施变换处理、 量化处理、逆量化处理及逆变换处理后的复原的编码图像信号。此外，输 入图像信号120是不经由编码处理及解码处理的原来的图像信号。

按照控制部113的控制，滤波处理部115关于IPCM块的像素输出不 进行滤波处理的原来的像素值，关于非IPCM块的像素进行滤波处理，将 滤波处理后的值输出。

该滤波处理部115具备滤波部107和选择部108。滤波部107通过对解 码图像信号126实施滤波处理而生成图像信号127。选择部108在对象块是 IPCM块的情况下选择图像信号127，在对象块是非IPCM块的情况下选择 输入图像信号120，将所选择的信号作为图像信号128输出。

图7A及图7B是例示两个块的边界的像素的图。在图7A所示的例子 中，两个块在水平方向上相邻。这里，将左侧的包含从p0到pn的像素的 块称作第1块。该第1块是非IPCM块。此外，将另一方的块称作第2块。 该第2块是IPCM块。另外，本实施方式的滤波处理如图7B所示，当然对 于IPCM块和非IPCM块在垂直方向上相邻的情况也能够应用。

以下，说明滤波处理部115的动作的具体例。

图8A及图8B是表示对在图7A所例示的两个块中包含的像素p［i］ 及q［j］实施滤波处理的情况下的滤波处理部115的动作的图。即，第1 块属于非IPCM块，第2块属于IPCM块。

滤波处理部115根据来自控制部113的控制信号，进行图8A及图8B 所示的动作。

图8A是表示对于非IPCM块的滤波处理部115的动作的图。另外，该 动作相当于图5所示的步骤S204。即，滤波处理部115使用第1块的像素 值（p0、p1…）和第2块的像素值（q0、q1…）的两者的像素值，计算与 第1块对应的像素的输出结果pf0、pf1…。

图8B是表示对于IPCM块的滤波处理部115的动作的图。另外，该动 作相当于图5所示的步骤S205。即，滤波处理部115关于第2块的像素， 输出与所输入的q0、q1、q2的值相同的值（未滤波处理的像素值）。

以下，对使用上述滤波方法的运动图像解码装置进行说明。

图9是有关本实施方式的运动图像解码装置的功能块图。

图9所示的运动图像解码装置200通过将编码比特流232解码而生成 输出图像信号220。这里，编码比特流232例如是由上述运动图像编码装置 100生成的编码比特流132。

该运动图像解码装置200具备逆量化部204、逆正交变换部205、加法 器206、滤波处理部215、存储器209、预测部210、可变长解码部211、分 配部212和控制部213。

分配部212在对象块是IPCM块的情况下将编码比特流232向滤波处 理部215供给，在对象块是非IPCM块的情况下将编码比特流232向可变 长解码部211供给。

可变长解码部211通过将编码比特流232可变长解码（熵解码）而生 成量化系数223。

逆量化部204通过将量化系数223逆量化，生成变换系数224。逆正交 变换部205通过将变换系数224逆正交变换，生成解码残差信号225。加法 器206通过将解码残差信号225与预测图像信号230相加，生成解码图像 信号226。

滤波处理部215通过对解码图像信号226实施滤波处理而生成图像信 号228，将所生成的图像信号228向存储器209保存。

该滤波处理部215具备滤波部207及选择部208。滤波部207通过对解 码图像信号226实施滤波处理而生成图像信号227。选择部208在对象块是 IPCM块的情况下选择图像信号227，在对象块是非IPCM块的情况下选择 编码比特流232，将所选择的信号作为图像信号228输出。

此外，将保存在存储器209中的图像信号228作为输出图像信号220 输出。

预测部210通过使用保存在存储器209中的图像信号228有选择地进 行帧内预测处理及帧间预测处理，生成预测图像信号230。

控制部213控制滤波处理部215及分配部212。

另外，可变长解码部211是通过将编码比特流解码而生成量化系数的 解码部的一例。逆量化部204及逆正交变换部205是通过对量化系数实施 逆量化处理及逆变换处理而生成解码残差信号的逆量化及逆变换部的一 例。

这里，滤波处理部215的动作与运动图像编码装置100的滤波处理部 115的动作是同样的。另外，控制部213在根据作为输入的代码列的编码比 特流232判断第1块或第2块的PU单位的型是否是IPCM这一点上与运动 图像编码装置100具备的控制部113不同，而其他功能是同样的。

以下，对上述滤波处理部115及215的变形例的结构进行说明。

图10A～图10H是表示关于有关本实施方式的滤波处理部115及215 的滤波的输入输出关系能采取的形态的图。

如图10A所示，滤波部107及207也可以包括串联连续的多个滤波部 301及302。例如第1个滤波部301和第2个滤波部302也可以进行相互不 同的处理。在此情况下，例如关于IPCM块将全部的滤波处理旁通。

如图10B所示，滤波部311也可以使用两者的输入信号进行滤波处理。 在此情况下，选择部312对IPCM块输出未滤波处理的值，对非IPCM块 输出由滤波部311滤波处理后的值。

如图10C所示，也可以对IPCM块和非IPCM块进行不同的滤波处理。 例如，所谓不同的滤波处理，是滤波强度不同的滤波处理。此外，例如也 可以使对于IPCM块的滤波强度比对于非IPCM块的滤波强度弱。

具体而言，分配部321在对象块是非IPCM块的情况下，将输入信号 向滤波部322输出，在对象块是IPCM块的情况下，将输入信号向滤波部 323输出。这里，输入信号同时包括上述解码图像信号126及输入图像信号 120。滤波部322通过使用输入信号进行第1滤波强度的滤波处理而生成对 象块的像素值。滤波部323通过进行比第1滤波强度弱的第2滤波强度的 滤波处理而生成对象块的像素值。选择部324在对象块是非IPCM块的情 况下，将由滤波部322滤波处理后的对象块的像素值输出，在对象块是 IPCM块的情况下，将由滤波部323滤波处理后的对象块的像素值输出。

如图10D所示，也可以原本不进行对IPCM块的处理。具体而言，分 配部331在对象块是非IPCM块的情况下，将输入信号向滤波部332输出， 在对象块是IPCM块的情况下，将输入信号向选择部333输出。选择部333 在对象块是非IPCM块的情况下，将由滤波部332滤波处理后的对象块的 像素值输出，在对象块是IPCM块的情况下，将来自分配部331的信号中 的对象块的像素值输出。

如图10E所示，也可以不是切换滤波部的输出侧、而是切换输入侧。 进而，对于IPCM块和非IPCM块的滤波部的级数也可以不同。具体而言， 分配部341在对象块是非IPCM块的情况下，将输入信号向滤波部342输 出，在对象块是IPCM块的情况下，将输入信号向滤波部344输出。滤波 部342使用输入信号进行滤波处理。滤波部343使用由滤波部342滤波处 理后的信号进行滤波处理，将滤波处理后的对象块的像素值输出。滤波部 344使用输入信号进行滤波处理，将滤波处理后的对象块的像素值输出。另 外，由滤波部344进行的滤波处理既可以与由滤波部342进行的滤波处理 或由滤波部343进行的滤波处理相同，也可以不同。

如图10F所示，也可以切换滤波部的输出侧。具体而言，滤波部351 使用第1输入信号进行滤波处理。滤波部352使用由滤波部351滤波处理 后的信号进行滤波处理，将滤波处理后的对象块的像素值输出。滤波部353 使用第2输入信号进行滤波处理，将滤波处理后的对象块的像素值输出。 选择部354在对象块是非IPCM块的情况下，将由滤波部352滤波处理后 的对象块的像素值输出，在对象块是IPCM块的情况下，将由滤波部353 滤波处理后的对象块的像素值输出。

另外，所谓将未滤波的值输出，包括将进行了滤波的结果的像素值pf 替换为原来的输入值p而输出。

如图10G所示，也可以使用在两系统中的一方进行滤波处理后的信号 进行另一方的滤波处理。具体而言，滤波部361使用第2输入信号进行滤 波处理。滤波部362使用第1输入信号、和由滤波部361进行滤波处理后 的信号进行滤波处理。选择部363在对象块是非IPCM块的情况下，将由 滤波部362滤波处理后的对象块的像素值输出，在对象块是IPCM块的情 况下，将由滤波部361滤波处理后的对象块的像素值输出。另外，选择部 363也可以在对象块是IPCM块的情况下将由滤波部362滤波处理后的对象 块的像素值输出，在对象块是非IPCM块的情况下将由滤波部361滤波处 理后的对象块的像素值输出。

如图10H所示，也可以使用暂且保存在存储器373中的值作为输入。 具体而言，选择部371选择输入信号和保持在存储器373中的信号的一方。 滤波部372使用由选择部371选择的信号进行滤波处理。

另外，这些是例示，有关本实施方式的滤波处理部115只要作为结果 能够实现“输出对于IPCM块的像素没有进行滤波处理的值”的功能就可 以。

以下，说明有关本实施方式的滤波方法的变形例。图11是表示有关本 实施方式的滤波方法的变形例的动作的流程图。

在上述说明中，在图5所示的步骤S204及S205中，假设对非IPCM 块应用滤波，对IPCM块输出未滤波处理的像素值，但这也可以通过以下 所示的步骤实现。即，也可以代替图5所示的步骤S204及S205而进行图 11所示的处理。

首先，取得相互相邻的第1块（块［0］）及第2块（块y［1］）的像素 值（S221）。这里，例如第1块是非IPCM块，第2块是IPCM块。

接着，导出对第1块应用的滤波强度bS［0］和对第2块应用的滤波 强度bS［1］（S222及S223）。这里，滤波强度bS［0］和滤波强度bS［1］ 表示不同的强度。另外，在以往的技术中，对于1个块边界仅设定了1个 滤波强度。例如，在本实施方式中，将对于IPCM块的滤波强度设定得比 对于非IPCM块的滤波强度弱。

接着，以滤波强度bS［0］对两者的块进行滤波处理，将滤波处理后 的第1块的像素值输出（S224）。接着，以滤波强度bS［1］对两者的块进 行滤波处理，将滤波处理后的第2块的像素值输出（S225）。

这里，通过将滤波强度的值设为0，能够控制进行/不进行滤波处理。 换言之，也可以为了各个块而导出用来控制进行/不进行滤波处理的标志 （filter Samples Flag）。

根据以上，有关本实施方式的滤波方法能够在对一方的块以第1滤波 强度执行滤波处理的同时，对另一方的块以与第1滤波强度不同的第2滤 波强度执行滤波处理。此外，该滤波方法能够在滤波过程内实现这样的处 理。

图12是有关本实施方式的滤波方法的另一变形例的流程图。图12所 示的处理相对于图3所示的处理追加了步骤S401。

该步骤S401为了对被判断为帧内预测的块的IPCM块赋予适当的滤波 强度而追加。在步骤S401中，判断是否第1块及第2块的至少一方是IPCM 块。在第1块及第2块的至少一方是IPCM块的情况下（S401中“是”）， 将滤波强度（bS）决定为作为比N（=4）小的值的3、2、1、0的某个（S124）。 此外，在第1块及第2块的两者是非IPCM块的情况下（S401中“否”）， 将滤波强度设定为意味着最强的强度的bS=N（=4）（S123）。

在图3所示的滤波方法的情况下，在一方的块或两者的块是帧内预测 模式的宏块的情况下（S122中“是”），没有其他判断条件，必定将滤波强 度自身设定为意味着最强的强度的bS=4。

另一方面，在图12所示的本实施方式的变形例中，即使是一方的块或 两者的块是帧内预测模式的宏块的情况下（S122中“是”），在一方的块是 IPCM块的情况下（S401中“是”），也设定为比在步骤S123中设定的滤波 强度（bS=4）弱的滤波强度（bS=0～3）。

图13是表示通过有关本实施方式的滤波方法决定的滤波强度、和决定 边界的块单位的图。

如图13所示，在宏块MB［0］是帧间预测模式的宏块、宏块MB［1］ 是帧内预测模式的宏块的情况下（S122中“是”），在第1及第2块都是非 IPCM块的情况下（S401中“否”），对两者的块设定bS=4（S123）。

另一方面，在PU块［0］是非IPCM模式、PU块［1］是IPCM模式 的情况下，即由于CU块［0］是非IPCM块，CU块［1］是IPCM块（S401 中“是”），所以对CU块［0］及CU块［1］设定bS=0～3的某个。在该 例中，对作为IPCM块的CU块［1］设定bS=0，对作为非IPCM块的CU 块［0］设定bS=1～3的某个。

图14A及图14B是用来说明通过有关本实施方式的IPCM块的处置而 滤波ON的标志的应用范围扩展的状况的图。图14A作为比较例而表示没 有应用本实施方式的方法的情况。图14B表示应用了本实施方式的方法的 情况。

如图14B所示，通过使用有关本实施方式的滤波方法，能够将滤波ON 的标志的应用范围扩展。

如以上这样，有关本实施方式的滤波方法中，滤波处理部或控制部在 循环内滤波的处理中将“IPCM块不进行滤波”作为判断的暗示性的代码解 释的规则。由此，如图14A及图14B所示，对于代码列，能够以更大的范 围指定是将滤波使能（enable）还是禁止（disbale）。由此，有关本实施方 式的滤波方法能够削减比特量。

此外，在上述说明中，说明了在解块/滤波处理中应用本实施方式的例 子，但在其他处理中也能够应用同样的方法。例如，也可以代替解块/滤波 处理而对适应循环滤波（ALF）处理或适应偏移处理应用上述处理。

解块/滤波处理是对位于块边界的附近的再构建像素样本使用的滤波 处理。通过进行该解块/滤波处理，能够降低通过块单位的量化产生的块边 界的噪声。

适应的循环滤波处理是使用对象像素的周围的像素值降低对象像素的 噪声的滤波处理。

是在适应的偏移处理中，按照块对该块中包含的多个像素值加上或减 去1个偏移值的处理。

以下，说明该情况下的运动图像编码装置100及运动图像解码装置200 的处理的流程。

图15是有关本实施方式的变形例的运动图像编码方法的流程图。

首先，运动图像编码装置100进行对于处理对象块的预测模式的决定 （S301）。该预测模式是IPCM模式及非IPCM模式的某种。

接着，运动图像编码装置100将所决定的预测模式向编码比特流132 写入（S302）。换言之，可变长编码部111生成包含所决定的预测模式的编 码比特流132（编码信号131）。

接着，运动图像编码装置100判断预测模式是否是IPCM模式（S303）。 在预测模式是IPCM模式的情况下（S303中“是”），运动图像编码装置100 将输入图像信号120作为在帧间预测或帧内预测中使用的参照图像向存储 器109保存（S306）。

另一方面，在预测模式是非IPCM模式的情况下（S303中“否”），运 动图像编码装置100通过基于预测模式将图像样本的块再构建，生成解码 图像信号126（S304）。并且，运动图像编码装置100通过对解码图像信号 126进行处理而生成图像信号128（S305）。该处理包括解块/滤波处理、适 应循环滤波处理及适应偏移处理的至少一个。并且，运动图像编码装置100 将所生成的图像信号128作为参照图像向存储器109保存（S306）。

图16是有关本实施方式的变形例的运动图像解码方法的流程图。

首先，运动图像解码装置200通过将编码比特流232解析，取得对于 编码比特流232中包含的处理对象块的预测模式（S311）。该预测模式是 IPCM模式及非IPCM模式的某种。

接着，运动图像解码装置200判断预测模式是否是IPCM模式（S312）。 在预测模式是IPCM模式的情况下（S312中“是”），运动图像解码装置200 将编码比特流232中包含的对象块的图像信号作为在帧间预测或帧内预测 中使用的参照图像向存储器209保存（S315）。

另一方面，在预测模式是非IPCM模式的情况下（S312中“否”），运 动图像解码装置200通过基于预测模式将图像样本的块再构建，生成解码 图像信号226（S313）。并且，运动图像解码装置200通过对解码图像信号 226进行处理而生成图像信号228（S314）。该处理包括解块/滤波处理、适 应循环滤波处理及适应偏移处理的至少一个。并且，运动图像解码装置200 将所生成的图像信号228作为参照图像向存储器109保存（S315）。

（实施方式2）

有关本实施方式的滤波方法在对于IPCM块与非IPCM块的边界的解 块/滤波处理中，使用非IPCM块的量化参数决定IPCM块的量化参数。例 如，该滤波方法将IPCM块的量化参数的值设为与非IPCM块的量化参数 相同的值。由此，该滤波方法能够对IPCM块与非IPCM块的边界以适当 的滤波强度进行滤波处理。

另外，以下主要说明与实施方式1的差异点，重复的说明省略。

图17是有关本实施方式的运动图像编码装置400的块图。图17所示 的运动图像编码装置400对图像中包含的相互相邻的IPCM块与不是IPCM 块的非IPCM块的边界进行解块/滤波处理。该运动图像编码装置400具备 第1量化参数决定部401、第2量化参数决定部402、滤波强度决定部403 和滤波部404。另外，第1量化参数决定部401、第2量化参数决定部402、 滤波强度决定部403及滤波部404例如包含在图6所示的滤波处理部115 或滤波部107中。此外，运动图像编码装置400也可以还具备图6所示的 运动图像编码装置100具备的多个处理部的全部或一部分。

图18是有关本实施方式的运动图像解码装置500的块图。图18所示 的运动图像解码装置500对图像中包含的相互相邻的IPCM块与非IPCM 块的边界进行解块/滤波处理。该运动图像解码装置500具备第1量化参数 决定部501、第2量化参数决定部502、滤波强度决定部503和滤波部504。 另外，第1量化参数决定部501、第2量化参数决定部502、滤波强度决定 部503及滤波部504例如包含在图9所示的滤波处理部215或滤波部207 中。此外，运动图像解码装置500也可以还具备图9所示的运动图像解码 装置200具备的多个处理部的全部或一部分。

另外，运动图像编码装置400和运动图像解码装置500进行的滤波处 理是同样的，所以以下作为代表而说明由运动图像编码装置400进行的滤 波处理。

图19是由有关本实施方式的运动图像编码装置400进行的滤波方法的 流程图。

首先，第1量化参数决定部401决定用于非IPCM块的第1量化参数 411（S301）。例如，第1量化参数决定部401取得在量化部103或逆量化 部104中使用过的非IPCM块的量化参数作为第1量化参数411。同样，第 1量化参数决定部401例如取得在逆量化部204中使用过的非IPCM块的量 化参数作为第1量化参数411。

接着，第2量化参数决定部402使用第1量化参数411，对应于IPCM 块而决定用来决定滤波强度的第2量化参数412（S302）。例如，第2量化 参数决定部402将第2量化参数412决定为与第1量化参数411相同的值。

接着，滤波强度决定部403使用第1量化参数411及第2量化参数412 决定滤波强度413（S303）。例如，滤波强度决定部403计算第1量化参数 411和第2量化参数412的平均值，使用计算出的平均值决定滤波强度413。

最后，滤波部404以所决定的滤波强度413对非IPCM块与IPCM块 的边界进行解块/滤波处理（S304）。

以下，说明该滤波处理的具体例。

图20是表示有关本实施方式的滤波处理的一例的流程图。

首先，运动图像编码装置400将参数i设定为初始值零（S411）。接着， 运动图像编码装置400判断参数i是否是1以上（S412）。

在参数i是1以下的情况下（S412中“是”），运动图像编码装置400 判断块［i］是否是IPCM块（S413）。另外，以下的处理对i=0及1、即对 块［0］及块［1］进行。这里，块［0］及块［1］是相邻的两个块，对这 两个块的边界进行解块/滤波处理。

在块［i］是非IPCM块的情况下（S413中“否”），第1量化参数决定 部401使用以下的（式2）计算量化参数qP［i］（S414）。

qP［i］=QPy［i］  （式2）

另外，量化参数QPy是在量化处理中使用的亮度成分的量化参数，量 化参数qP是滤波强度计算用的参数。即，第1量化参数决定部401将在对 于非IPCM块的亮度成分的量化处理中使用过的量化参数设定为该非 IPCM块的量化参数qP［i］。

另一方面，在块［i］是IPCM块的情况下（S413中“是”），第2量化 参数决定部402使用以下的（式3）计算量化参数qP［i］（S415）。

qP［i］=QPy［（i+1）%2］  （式3）

该（式3）在i=0的情况下是qP［0］=QPy［1］，在i=1的情况下是 qP［1］=QPy［0］。即，第2量化参数决定部402将在对于非IPCM块的 亮度成分的量化处理中使用过的量化参数设定为IPCM块的量化参数qP ［i］。

接着，运动图像编码装置400对参数i加“1”，进行步骤S412以后的 处理。即，将步骤S413～S415对块［0］及块［1］分别执行。由此，计算 块［0］的量化参数qP［0］及块［1］的量化参数qP［1］。

如果上述一系列的处理结束，则在步骤S416中将参数i设定为“2”。 在此情况下（S412中“否”），接着，滤波强度决定部403使用以下的（式 4）计算用来决定滤波强度的参数qPav（S417）。

qPav=（qP［0］+qP［1］+1）>>1  （式4）

即，滤波强度决定部403将参数qPav设定为qP［0］和qP［1］的平 均值。

最后，滤波强度决定部403使用参数qPav决定滤波强度413。另外， 滤波强度413的决定方法例如可以使用在实施方式1中叙述的方法。

这里，设想块［0］是非IPCM块、块［1］是IPCM块的情况。在此 情况下，qPav=qPy［0］+qPy［1］+1>>1=QP［0］+QPy［0］+1>>1=QPy ［0］。即，仅使用对于非IPCM块（块［0］）的亮度成分的量化参数，决 定参数qPav，即滤波强度413。

通过以上，有关本实施方式的运动图像编码装置400能够避免在IPCM 块与非IPCM块的边界设定较弱的滤波强度。这样，运动图像编码装置400 能够对IPCM块和非IPCM块的边界以适当的滤波强度进行滤波处理。

另外，由运动图像解码装置500进行的滤波处理也与运动图像编码装 置400是同样的。即，只要将上述说明中的运动图像编码装置400、第1 量化参数决定部401、第2量化参数决定部402、滤波强度决定部403、滤 波部404、第1量化参数411、第2量化参数412、滤波强度413分别置换 为运动图像解码装置500、第1量化参数决定部501、第2量化参数决定部 502、滤波强度决定部503、滤波部504、第1量化参数511、第2量化参数 512、滤波强度513就可以。

此外，在运动图像解码装置500中，第2量化参数决定部502也可以 按照ΔQP，使用第1量化参数511决定第2量化参数512。这里，所谓Δ QP，是表示在处理顺序（编码顺序或解码顺序）上紧接着之前的块的量化 参数与处理对象的块的量化参数的差分的差分信息。即，在ΔQP是零的情 况下，将IPCM块的第2量化参数412设定为与非IPCM块的第1量化参 数411相同的值。

以下，说明使用该ΔQP的情况下的运动图像编码方法及运动图像解码 方法的流程。

图21是有关本实施方式的变形例的运动图像编码方法的流程图。图21 所示的处理相对于图19所示的处理追加了步骤S421及S422。

在步骤S421中，运动图像编码装置400将对于IPCM块的ΔQP设定 为“0”。接着，运动图像编码装置400生成包括ΔQP的编码比特流（S422）。

此外，图22是有关本实施方式的变形例的运动图像解码方法的流程图。 图22所示的处理相对于图19所示的处理追加了步骤S431，将步骤S402 变更为步骤S402A。

在步骤S431中，运动图像解码装置500通过将编码比特流解析，取得 该编码比特流中包含的ΔQP。

在步骤S402A中，第2量化参数决定部502按照ΔQP，使用第1量化 参数511决定第2量化参数512。这里，在处理对象的块是IPCM块的情况 下，将ΔQP设定为“0”。由此，第2量化参数决定部502按照该ΔQP， 将第2量化参数512设定为与在处理顺序上紧接着之前的块的量化参数相 同的值。

即，在处理顺序上紧接着之前的块是非IPCM块的情况下，与上述处 理同样，将IPCM块的第2量化参数设定为与非IPCM块的第1量化参数 相同的值。换言之，在IPCM块和在其左侧相邻的非IPCM块的边界，将 IPCM块的量化参数设定为与非IPCM块的量化参数相同的值。另一方面， 在IPCM块的上、右及下侧的边界，IPCM块的量化参数和非IPCM块的量 化参数必定不被设定为相同的值。但是，由于IPCM块的量化参数通常被 设定为不是零的与右块的量化参数相同的值，所以与将IPCM块的量化参 数固定地设定为零的情况相比，滤波强度变强。即，通过这样将非IPCM 块的ΔQP设定为“0”，能够对IPCM块与非IPCM块的边界设定适当的滤 波强度。

另外，包含在编码比特流中的、表示ΔQP是“0”的差分信息，只要 是在运动图像解码装置500中能够判断为ΔQP是“0”的信息就可以。即， 差分信息既可以是明示地表示“ΔQP=0”的参数，也可以是其以外。例如 也可以规定为“在编码比特流中不包含参数ΔQP的情况下看作ΔQP=0”。 在此情况下，运动图像编码装置400生成不包含对于IPCM块的参数ΔQP 的编码比特流。此外，运动图像解码装置500在编码比特流中不包含参数 ΔQP的情况下，看作ΔQP是零。

以上，对有关本发明的实施方式的滤波方法、运动图像编码方法、运 动图像解码方法、运动图像编码装置及运动图像解码装置进行了说明，但 本发明并不限定于该实施方式。

例如，也可以将有关上述实施方式的滤波方法、运动图像编码方法、 运动图像解码方法、运动图像编码装置及运动图像解码装置、以及它们的 变形例的功能中的至少一部分组合。

此外，块图中的功能块的分割是一例，也可以将多个功能块作为一个 功能块实现、或将一个功能块分割为多个、将一部分的功能转移到其他功 能块中。此外，也可以是单一的硬件或软件将具有类似的功能的多个功能 块的功能并行地或时间划分处理。

此外，执行上述滤波方法中包含的多个步骤的顺序是为了具体地说明 本发明而用来例示的，也可以是上述以外的顺序。此外，也可以将上述步 骤的一部分与其他步骤同时（并行地）执行。

例如，图5所示的步骤S201及S202的顺序并不限定于该顺序。即， 只要在作为结果而“夹着边界的两个块中的一方的块包含在IPCM块中、 另一方的块不包含在IPCM块中”的情况下执行步骤S204及S205的处理 就可以。此外，步骤SS204及S205的顺序也可以是任意的。

同样，图11所示的步骤S222～S225的顺序也并不限定于该顺序。具 体而言，只要步骤S224是步骤S222之后、步骤S225是步骤S223之后， 步骤S222～S225的顺序可以是任意的。

（实施方式3）

通过将用来实现上述各实施方式所示的运动图像编码方法（图像编码 方法）或运动图像解码方法（图像解码方法）的结构的程序记录到存储介 质中，能够将上述各实施方式所示的处理在独立的计算机系统中简单地实 施。存储介质是磁盘、光盘、光磁盘、IC卡、半导体存储器等，只要是能 够记录程序的介质就可以。

进而，这里说明在上述各实施方式中示出的运动图像编码方法（图像 编码方法）及运动图像解码方法（图像解码方法）的应用例和使用它的系 统。该系统的特征在于，具有由使用图像编码方法的图像编码装置及使用 图像解码方法的图像解码装置构成的图像编码解码装置。关于系统的其他 结构，可以根据情况而适当变更。

图23是表示实现内容分发服务的内容供给系统ex100的整体结构的 图。将通信服务的提供区划分为希望的大小，在各小区内分别设置有作为 固定无线站的基站ex106、ex107、ex108、ex109、ex110。

该内容供给系统ex100在因特网ex101上经由因特网服务提供商ex102 及电话网ex104、及基站ex107～ex110连接着计算机ex111、PDA（Personal  Digital Assistant）ex112、照相机ex113、便携电话ex114、游戏机ex115等 的各设备。

但是，内容供给系统ex100并不限定于图23那样的结构，也可以将某 些要素组合连接。此外，也可以不经由作为固定无线站的基站ex107～ex110 将各设备直接连接在电话网ex104上。此外，也可以将各设备经由近距离 无线等直接相互连接。

照相机ex113是能够进行数字摄像机等的运动图像摄影的设备，照相 机ex116是能够进行数字照相机等的静止图像摄影、运动图像摄影的设备。 此外，便携电话ex114是GSM（Global System for Mobile Communications） 方式、CDMA（Code Division Multiple Access）方式、W－CDMA（Wideband －Code Division Multiple Access）方式、或LTE（Long Term Evolution）方 式、HSPA（High Speed Packet Access）的便携电话机、或PHS（Personal  Handyphone System）等，是哪种都可以。

在内容供给系统ex100中，通过将照相机ex113等经由基站ex109、电 话网ex104连接在流媒体服务器ex103上，能够进行现场转播等。在现场 转播中，对用户使用照相机ex113摄影的内容（例如音乐会现场的影像等） 如在上述各实施方式中说明那样进行编码处理（即，作为本发明的一个方 式的图像编码装置发挥作用），向流媒体服务器ex103发送。另一方面，流 媒体服务器ex103将发送来的内容数据对有请求的客户端进行流分发。作 为客户端，有能够将上述编码处理后的数据解码的计算机ex111、 PDAex112、照相机ex113、便携电话ex114、游戏机ex115等。在接收到分 发的数据的各设备中，将接收到的数据解码处理而再现（即，作为本发明 的一个方式的图像解码装置发挥作用）。

另外，摄影的数据的编码处理既可以由照相机ex113进行，也可以由 进行数据的发送处理的流媒体服务器ex103进行，也可以相互分担进行。 同样，分发的数据的解码处理既可以由客户端进行，也可以由流媒体服务 器ex103进行，也可以相互分担进行。此外，并不限于照相机ex113，也可 以将由照相机ex116摄影的静止图像及/或运动图像数据经由计算机ex111 向流媒体服务器ex103发送。此情况下的编码处理由照相机ex116、计算机 ex111、流媒体服务器ex103的哪个进行都可以，也可以相互分担进行。

此外，这些编码解码处理一般在计算机ex111或各设备具有的LSIex500 中处理。LSIex500既可以是单芯片，也可以是由多个芯片构成的结构。另 外，也可以将运动图像编码解码用的软件装入到能够由计算机ex111等读 取的某些记录介质（CD－ROM、软盘、硬盘等）中、使用该软件进行编码 解码处理。进而，在便携电话ex114是带有照相机的情况下，也可以将由 该照相机取得的运动图像数据发送。此时的运动图像数据是由便携电话 ex114具有的LSIex500编码处理的数据。

此外，也可以是，流媒体服务器ex103是多个服务器或多个计算机， 是将数据分散处理、记录、及分发的。

如以上这样，在内容供给系统ex100中，客户端能够接收编码的数据 而再现。这样，在内容供给系统ex100中，客户端能够将用户发送的信息 实时地接收、解码、再现，即使是没有特别的权利或设备的用户也能够实 现个人广播。

另外，并不限定于内容供给系统ex100的例子，如图24所示，在数字 广播用系统ex200中也能够装入上述实施方式的至少运动图像编码装置（图 像编码装置）或运动图像解码装置（图像解码装置）的某个。具体而言， 在广播站ex201中，将对影像数据复用了音乐数据等而得到的复用数据经 由电波向通信或广播卫星ex202传送。该影像数据是通过上述各实施方式 中说明的运动图像编码方法编码后的数据（即，通过本发明的一个方式的 图像编码装置编码后的数据）。接受到该数据的广播卫星ex202发出广播用 的电波，能够对该电波进行卫星广播接收的家庭的天线ex204接收该电波， 通过电视机（接收机）ex300或机顶盒（STB）ex217等的装置将接收到的 复用数据解码并将其再现（即，作为本发明的一个方式的图像解码装置发 挥作用）。

此外，也可以是，在将记录在DVD、BD等的记录介质ex215中的复 用数据读取并解码、或将影像数据编码再根据情况与音乐信号复用而写入 记录介质ex215中的读取器/记录器ex218中也能够安装上述各实施方式所 示的运动图像解码装置或运动图像编码装置。在此情况下，可以将再现的 影像信号显示在监视器ex219上，通过记录有复用数据的记录介质ex215 在其他装置或系统中能够再现影像信号。此外，也可以是，在连接在有线 电视用的线缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内 安装运动图像解码装置，将其用电视机的监视器ex219显示。此时，也可 以不是在机顶盒、而在电视机内装入运动图像解码装置。

图25是表示使用在上述各实施方式中说明的运动图像解码方法及运动 图像编码方法的电视机（接收机）ex300的图。电视机ex300具备经由接收 上述广播的天线ex204或线缆ex203等取得或者输出对影像数据复用了声 音数据的复用数据的调谐器ex301、将接收到的复用数据解调或调制为向外 部发送的编码数据的调制/解调部ex302、和将解调后的复用数据分离为影 像数据、声音数据或将在信号处理部ex306中编码的影像数据、声音数据 复用的复用/分离部ex303。

此外，电视机ex300具备：具有将声音数据、影像数据分别解码、或 将各自的信息编码的声音信号处理部ex304和影像信号处理部ex305（即， 作为本发明的一个方式的图像编码装置或图像解码装置发挥作用）的信号 处理部ex306；具有将解码后的声音信号输出的扬声器ex307及显示解码后 的影像信号的显示器等的显示部ex308的输出部ex309。进而，电视机ex300 具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进 而，电视机ex300具有合并控制各部的控制部ex310、对各部供给电力的电 源电路部ex311。接口部ex317也可以除了操作输入部ex312以外，还具有 与读取器/记录器ex218等的外部设备连接的桥接部ex313、用来能够安装 SD卡等的记录介质ex216的插槽部ex314、用来与硬盘等的外部记录介质 连接的驱动器ex315、与电话网连接的调制解调器ex316等。另外，记录介 质ex216是能够通过收存的非易失性/易失性的半导体存储元件电气地进行 信息的记录的结构。电视机ex300的各部经由同步总线相互连接。

首先，对电视机ex300将通过天线ex204等从外部取得的复用数据解 码、再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户 操作，基于具有CPU等的控制部ex310的控制，将由调制/解调部ex302解 调的复用数据用复用/分离部ex303分离。进而，电视机ex300将分离的声 音数据用声音信号处理部ex304解码，将分离的影像数据用影像信号处理 部ex305使用在上述各实施方式中说明的解码方法解码。将解码后的声音 信号、影像信号分别从输出部ex309朝向外部输出。在输出时，可以暂时 将这些信号储存到缓冲器ex318、ex319等中，以使声音信号和影像信号同 步再现。此外，电视机ex300也可以不是从广播等、而从磁/光盘、SD卡等 的记录介质ex215、ex216读出编码的复用数据。接着，对电视机ex300将 声音信号或影像信号编码、向外部发送或写入到记录介质等中的结构进行 说明。电视机ex300接受来自遥控器ex220等的用户操作，基于控制部ex310 的控制，由声音信号处理部ex304将声音信号编码，由影像信号处理部 ex305将影像信号使用在上述各实施方式中说明的编码方法编码。将编码后 的声音信号、影像信号用复用/分离部ex303复用，向外部输出。在复用时， 可以暂时将这些信号储存到缓冲器ex320、ex321等中，以使声音信号和影 像信号同步再现。另外，缓冲器ex318、ex319、ex320、ex321既可以如图 示那样具备多个，也可以是共用一个以上的缓冲器的结构。进而，在图示 以外，也可以是，在例如调制/解调部ex302或复用/分离部ex303之间等也 作为避免系统的上溢、下溢的缓冲部而在缓冲器中储存数据。

此外，电视机ex300除了从广播等或记录介质等取得声音数据、影像 数据以外，也可以具备受理麦克风或照相机的AV输入的结构，对从它们 中取得的数据进行编码处理。另外，这里，将电视机ex300作为能够进行 上述编码处理、复用、及外部输出的结构进行了说明，但也可以是，不能 进行这些处理，而是仅能够进行上述接收、解码处理、外部输出的结构。

此外，在由读取器/记录器ex218从记录介质将复用数据读出、或写入 的情况下，上述解码处理或编码处理由电视机ex300、读取器/记录器ex218 的哪个进行都可以，也可以是电视机ex300和读取器/记录器ex218相互分 担进行。

作为一例，将从光盘进行数据的读入或写入的情况下的信息再现/记录 部ex400的结构表示在图26中。信息再现/记录部ex400具备以下说明的单 元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光头ex401对作 为光盘的记录介质ex215的记录面照射激光斑而写入信息，检测来自记录 介质ex215的记录面的反射光而读入信息。调制记录部ex402电气地驱动 内置在光头ex401中的半导体激光器，根据记录数据进行激光的调制。再 现解调部ex403将由内置在光头ex401中的光检测器电气地检测到来自记 录面的反射光而得到的再现信号放大，将记录在记录介质ex215中的信号 成分分离并解调，再现所需要的信息。缓冲器ex404将用来记录到记录介 质ex215中的信息及从记录介质ex215再现的信息暂时保持。盘马达ex405 使记录介质ex215旋转。伺服控制部ex406一边控制盘马达ex405的旋转 驱动一边使光头ex401移动到规定的信息轨道，进行激光斑的追踪处理。 系统控制部ex407进行信息再现/记录部ex400整体的控制。上述的读出及 写入的处理由系统控制部ex407利用保持在缓冲器ex404中的各种信息、 此外根据需要而进行新的信息的生成、追加、并且一边使调制记录部ex402、 再现解调部ex403、伺服控制部ex406协调动作、一边通过光头ex401进行 信息的记录再现来实现。系统控制部ex407例如由微处理器构成，通过执 行读出写入的程序来执行它们的处理。

以上，假设光头ex401照射激光斑而进行了说明，但也可以是使用近 场光进行高密度的记录的结构。

在图27中表示作为光盘的记录介质ex215的示意图。在记录介质ex215 的记录面上，以螺旋状形成有导引槽（沟），在信息轨道ex230中，预先通 过沟的形状的变化而记录有表示盘上的绝对位置的地址信息。该地址信息 包括用来确定作为记录数据的单位的记录块ex231的位置的信息，通过在 进行记录及再现的装置中将信息轨道ex230再现而读取地址信息，能够确 定记录块。此外，记录介质ex215包括数据记录区域ex233、内周区域ex232、 外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233， 配置在比数据记录区域ex233靠内周或外周的内周区域ex232和外周区域 ex234用于用户数据的记录以外的特定用途。信息再现/记录部ex400对这 样的记录介质ex215的数据记录区域ex233进行编码的声音数据、影像数 据或复用了这些数据的编码数据的读写。

以上，举1层的DVD、BD等的光盘为例进行了说明，但并不限定于 这些，也可以是多层构造、在表面以外也能够记录的光盘。此外，也可以 是在盘的相同的地方使用不同波长的颜色的光记录信息、或从各种角度记 录不同的信息的层等、进行多维的记录/再现的构造的光盘。

此外，在数字广播用系统ex200中，也可以由具有天线ex205的车ex210 从卫星ex202等接收数据、在车ex210具有的车载导航仪ex211等的显示 装置上再现运动图像。另外，车载导航仪ex211的结构可以考虑例如在图 25所示的结构中添加GPS接收部的结构，在计算机ex111及便携电话ex114 等中也可以考虑同样的结构。

图28A是表示使用在上述实施方式中说明的运动图像解码方法和运动 图像编码方法的便携电话ex114的图。便携电话ex114具有由用来在与基 站ex110之间收发电波的天线ex350、能够拍摄影像、静止图像的照相机部 ex365、显示将由照相机部ex365摄影的影像、由天线ex350接收到的影像 等解码后的数据的液晶显示器等的显示部ex358。便携电话ex114还具有包 含操作键部ex366的主体部、用来进行声音输出的扬声器等的声音输出部 ex357、用来进行声音输入的麦克风等的声音输入部ex356、保存拍摄到的 影像、静止图像、录音的声音、或者接收到的影像、静止图像、邮件等的 编码后的数据或者解码后的数据的存储器部ex367、或者作为与同样保存数 据的记录介质之间的接口部的插槽部ex364。

进而，使用图28B对便携电话ex114的结构例进行说明。便携电话ex114 对于合并控制具备显示部ex358及操作键部ex366的主体部的各部的主控 制部ex360，将电源电路部ex361、操作输入控制部ex362、影像信号处理 部ex355、照相机接口部ex363、LCD（Liquid Crystal Display：液晶显示器） 控制部ex359、调制/解调部ex352、复用/分离部ex353、声音信号处理部 ex354、插槽部ex364、存储器部ex367经由总线ex370相互连接。

电源电路部ex361如果通过用户的操作使通话结束及电源键成为开启 状态，则通过从电池组对各部供给电力，便携电话ex114起动为能够动作 的状态。

便携电话ex114基于具有CPU、ROM及RAM等的主控制部ex360的 控制，在语音通话模式时，将由声音输入部ex356集音的声音信号通过声 音信号处理部ex354变换为数字声音信号，将其用调制/解调部ex352进行 波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处 理后经由天线ex350发送。此外，便携电话ex114在语音通话模式时，将 由天线ex350接收到的接收数据放大并实施频率变换处理及模拟数字变换 处理，用调制/解调部ex352进行波谱逆扩散处理，通过声音信号处理部 ex354变换为模拟声音数据后，将其经由声音输出部ex357输出。

进而，在数据通信模式时发送电子邮件的情况下，将通过主体部的操 作键部ex366等的操作输入的电子邮件的文本数据经由操作输入控制部 ex362向主控制部ex360送出。主控制部ex360将文本数据用调制/解调部 ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及 频率变换处理后，经由天线ex350向基站ex110发送。在接收电子邮件的 情况下，对接收到的数据执行上述处理的大致逆处理，并输出到显示部 ex350。

在数据通信模式时，在发送影像、静止图像、或者影像和声音的情况 下，影像信号处理部ex355将从照相机部ex365供给的影像信号通过上述 各实施方式所示的运动图像编码方法进行压缩编码（即，作为本发明的一 个方式的图像编码装置发挥作用），将编码后的影像数据送出至复用/分离 部ex353。另外，声音信号处理部ex354对通过照相机部ex365拍摄影像、 静止图像等的过程中用声音输入部ex356集音的声音信号进行编码，将编 码后的声音数据送出至复用/分离部ex353。

复用/分离部ex353通过规定的方式，对从影像信号处理部ex355供给 的编码后的影像数据和从声音信号处理部ex354供给的编码后的声音数据 进行复用，将其结果得到的复用数据用调制/解调部（调制/解调电路部） ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及 频率变换处理后，经由天线ex350发送。

在数据通信模式时接收到链接到主页等的运动图像文件的数据的情况 下，或者接收到附加了影像或者声音的电子邮件的情况下，为了对经由天 线ex350接收到的复用数据进行解码，复用/分离部ex353通过将复用数据 分离，分为影像数据的比特流和声音数据的比特流，经由同步总线ex370 将编码后的影像数据向影像信号处理部ex355供给，并将编码后的声音数 据向声音信号处理部ex354供给。影像信号处理部ex355通过与上述各实 施方式所示的运动图像编码方法相对应的运动图像解码方法进行解码，由 此对影像信号进行解码（即，作为本发明的一个方式的图像解码装置发挥 作用），经由LCD控制部ex359从显示部ex358显示例如链接到主页的运 动图像文件中包含的影像、静止图像。另外，声音信号处理部ex354对声 音信号进行解码，从声音输出部ex357输出声音。

此外，上述便携电话ex114等的终端与电视机ex300同样，除了具有 编码器、解码器两者的收发型终端以外，还可以考虑只有编码器的发送终 端、只有解码器的接收终端的3种安装形式。另外，在数字广播用系统ex200 中，设为发送、接收在影像数据中复用了音乐数据等得到的复用数据而进 行了说明，但除声音数据之外复用了与影像关联的字符数据等的数据也可 以，不是复用数据而是影像数据本身也可以。

这样，将在上述各实施方式中表示的运动图像编码方法或运动图像解 码方法用在上述哪种设备、系统中都可以，通过这样，能够得到在上述各 实施方式中说明的效果。

此外，本发明并不限定于这样的上述实施方式，能够不脱离本发明的 范围而进行各种变形或修正。

（实施方式4）

也可以通过将在上述各实施方式中示出的运动图像编码方法或装置、 与依据MPEG－2、MPEG4－AVC、VC－1等不同的标准的运动图像编码 方法或装置根据需要而适当切换，来生成影像数据。

这里，在生成分别依据不同的标准的多个影像数据的情况下，在解码 时，需要选择对应于各个标准的解码方法。但是，由于不能识别要解码的 影像数据依据哪个标准，所以产生不能选择适当的解码方法的问题。

为了解决该问题，在影像数据中复用了声音数据等的复用数据采用包 含表示影像数据依据哪个标准的识别信息的结构。以下，说明包括通过在 上述各实施方式中示出的运动图像编码方法或装置生成的影像数据在内的 复用数据的具体的结构。复用数据是MPEG－2传输流形式的数字流。

图29是表示复用数据的结构的图。如图29所示，复用数据通过将视 频流、音频流、演示图形流（PG）、交互图形流中的1个以上进行复用而 得到。视频流表示电影的主影像及副影像，音频流（IG）表示电影的主声 音部分和与该主声音混合的副声音，演示图形流表示电影的字幕。这里， 所谓主影像，表示显示在画面上的通常的影像，所谓副影像，是在主影像 中用较小的画面显示的影像。此外，交互图形流表示通过在画面上配置GUI 部件而制作的对话画面。视频流通过在上述各实施方式中示出的运动图像 编码方法或装置、依据以往的MPEG－2、MPEG4－AVC、VC－1等标准 的运动图像编码方法或装置编码。音频流由杜比AC－3、Dolby Digital Plus、 MLP、DTS、DTS－HD、或线性PCM等的方式编码。

包含在复用数据中的各流通过PID被识别。例如，对在电影的影像中 使用的视频流分配0x1011，对音频流分配0x1100到0x111F，对演示图形 分配0x1200到0x121F，对交互图形流分配0x1400到0x141F，对在电影的 副影像中使用的视频流分配0x1B00到0x1B1F，对与主声音混合的副声音 中使用的音频流分配0x1A00到0x1A1F。

图30是示意地表示复用数据怎样被复用的图。首先，将由多个视频帧 构成的视频流ex235、由多个音频帧构成的音频流ex238分别变换为PES 包序列ex236及ex239，并变换为TS包ex237及ex240。同样，将演示图 形流ex241及交互图形ex244的数据分别变换为PES包序列ex242及ex245， 再变换为TS包ex243及ex246。复用数据ex247通过将这些TS包复用到1 条流中而构成。

图31更详细地表示在PES包序列中怎样保存视频流。图31的第1段 表示视频流的视频帧序列。第2段表示PES包序列。如图31的箭头yy1、 yy2、yy3、yy4所示，视频流中的多个作为Video Presentation Unit的I图片、 B图片、P图片按每个图片被分割并保存到PES包的有效载荷中。各PES 包具有PES头，在PES头中，保存有作为图片的显示时刻的PTS（Presentation  Time-Stamp）及作为图片的解码时刻的DTS（Decoding Time-Stamp）。

图32表示最终写入在复用数据中的TS包的形式。TS包是由具有识别 流的PID等信息的4字节的TS头和保存数据的184字节的TS有效载荷构 成的188字节固定长度的包，上述PES包被分割并保存到TS有效载荷中。 在BD－ROM的情况下，对于TS包赋予4字节的TP_Extra_Header，构成 192字节的源包，写入到复用数据中。在TP_Extra_Header中记载有ATS （Arrival_Time_Stamp）等信息。ATS表示该TS包向解码器的PID滤波器 的转送开始时刻。在复用数据中，源包如图32下段所示排列，从复用数据 的开头起递增的号码被称作SPN（源包号）。

此外，在复用数据所包含的TS包中，除了影像、声音、字幕等的各流 以外，还有PAT（Program Association Table）、PMT（Program Map Table）、 PCR（Program Clock Reference）等。PAT表示在复用数据中使用的PMT 的PID是什么，PAT自身的PID被登记为0。PMT具有复用数据所包含的 影像、声音、字幕等的各流的PID、以及与各PID对应的流的属性信息， 还具有关于复用数据的各种描述符。在描述符中，有指示许可/不许可复用 数据的拷贝的拷贝控制信息等。PCR为了取得作为ATS的时间轴的ATC （Arrival Time Clock）与作为PTS及DTS的时间轴的STC（System Time  Clock）的同步，拥有与该PCR包被转送至解码器的ATS对应的STC时间 的信息。

图33是详细地说明PMT的数据构造的图。在PMT的开头，配置有记 述了包含在该PMT中的数据的长度等的PMT头。在其后面，配置有多个 关于复用数据的描述符。上述拷贝控制信息等被记载为描述符。在描述符 之后，配置有多个关于包含在复用数据中的各流的流信息。流信息由记载 有用来识别流的压缩编解码器的流类型、流的PID、流的属性信息（帧速 率、纵横比等）的流描述符构成。流描述符存在复用数据中存在的流的数 量。

在记录到记录介质等中的情况下，将上述复用数据与复用数据信息文 件一起记录。

复用数据信息文件如图34所示，是复用数据的管理信息，与复用数据 一对一地对应，由复用数据信息、流属性信息以及入口映射构成。

复用数据信息如图34所示，由系统速率、再现开始时刻、再现结束时 刻构成。系统速率表示复用数据的向后述的系统目标解码器的PID滤波器 的最大转送速率。包含在复用数据中的ATS的间隔设定为成为系统速率以 下。再现开始时刻是复用数据的开头的视频帧的PTS，再现结束时刻设定 为对复用数据的末端的视频帧的PTS加上1帧量的再现间隔的值。

流属性信息如图35所示，按每个PID登记有关于包含在复用数据中的 各流的属性信息。属性信息具有按视频流、音频流、演示图形流、交互图 形流而不同的信息。视频流属性信息具有该视频流由怎样的压缩编解码器 压缩、构成视频流的各个图片数据的分辨率是多少、纵横比是多少、帧速 率是多少等的信息。音频流属性信息具有该音频流由怎样的压缩编解码器 压缩、包含在该音频流中的声道数是多少、对应于哪种语言、采样频率是 多少等的信息。这些信息用于在播放器再现之前的解码器的初始化等中。

在本实施方式中，使用上述复用数据中的、包含在PMT中的流类型。 此外，在记录介质中记录有复用数据的情况下，使用包含在复用数据信息 中的视频流属性信息。具体而言，在上述各实施方式示出的运动图像编码 方法或装置中，设置如下步骤或单元，该步骤或单元对包含在PMT中的流 类型、或视频流属性信息，设定表示是通过在上述各实施方式中示出的运 动图像编码方法或装置生成的影像数据的固有信息。通过该结构，能够识 别通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数 据、和依据其他标准的影像数据。

此外，在图36中表示本实施方式的运动图像解码方法的步骤。在步骤 exS100中，从复用数据中取得包含在PMT中的流类型、或包含在复用数 据信息中的视频流属性信息。接着，在步骤exS101中，判断流类型、或视 频流属性信息是否表示是通过在上述各实施方式中示出的运动图像编码方 法或装置生成的复用数据。并且，在判断为流类型、或视频流属性信息是 通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据 情况下，在步骤exS102中，通过在上述各实施方式中示出的运动图像解码 方法进行解码。此外，在流类型、或视频流属性信息表示是依据以往的 MPEG－2、MPEG4－AVC、VC－1等的标准的复用数据的情况下，在步骤 exS103中，通过依据以往的标准的运动图像解码方法进行解码。

这样，通过在流类型、或视频流属性信息中设定新的固有值，在解码 时能够判断是否能够通过在上述各实施方式中示出的运动图像解码方法或 装置解码。因而，在被输入了依据不同的标准的复用数据的情况下，也能 够选择适当的解码方法或装置，所以能够不发生错误地进行解码。此外， 将在本实施方式中示出的运动图像编码方法或装置、或者运动图像解码方 法或装置用在上述任何设备、系统中。

（实施方式5）

在上述各实施方式中示出的运动图像编码方法及装置、运动图像解码 方法及装置典型地可以由作为集成电路的LSI实现。作为一例，在图37中 表示1芯片化的LSIex500的结构。LSIex500具备以下说明的单元ex501、 ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各单元经由 总线ex510连接。电源电路部ex505通过在电源是开启状态的情况下对各 部供给电力，起动为能够动作的状态。

例如在进行编码处理的情况下，LSIex500基于具有CPUex502、存储 器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501 的控制，通过AV I/Oex509从麦克风ex117及照相机ex113等输入AV信号。 被输入的AV信号暂时储存在SDRAM等的外部的存储器ex511中。基于 控制部ex501的控制，将储存的数据根据处理量及处理速度适当地分为多 次等，向信号处理部ex507发送，在信号处理部ex507中进行声音信号的 编码及/或影像信号的编码。这里，影像信号的编码处理是在上述各实施方 式中说明的编码处理。在信号处理部ex507中，还根据情况而进行将编码 的声音数据和编码的影像数据复用等的处理，从流I/Oex506向外部输出。 将该输出的比特流向基站ex107发送、或写入到记录介质ex215中。另外， 在复用时，可以暂时将数据储存到缓冲器ex508中以使其同步。

另外，在上述中，设存储器ex511为LSIex500的外部的结构进行了说 明，但也可以是包含在LSIex500的内部中的结构。缓冲器ex508也并不限 定于一个，也可以具备多个缓冲器。此外，LSIex500既可以形成1个芯片， 也可以形成多个芯片。

此外，在上述中，假设控制部ex510具有CPUex502、存储器控制器 ex503、流控制器ex504、驱动频率控制部ex512等，但控制部ex510的结 构并不限定于该结构。例如，也可以是信号处理部ex507还具备CPU的结 构。通过在信号处理部ex507的内部中也设置CPU，能够进一步提高处理 速度。此外，作为其他例，也可以是CPUex502具备信号处理部ex507、或 作为信号处理部ex507的一部分的例如声音信号处理部的结构。在这样的 情况下，控制部ex501为具备具有信号处理部ex507或其一部分的 CPUex502的结构。

另外，这里设为LSI，但根据集成度的差异，也有称作IC、系统LSI、 超级(super)LSI、特级(ultra)LSI的情况。

此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处 理器实现。也可以利用在LSI制造后能够编程的FPGA（Field Programmable  Gate Array）、或能够重构LSI内部的电路单元的连接及设定的可重构处理 器。

进而，如果因半导体技术的进步或派生的其他技术而出现代替LSI的 集成电路化的技术，则当然也可以使用该技术进行功能模块的集成化。有 可能是生物技术的应用等。

（实施方式6）

在将通过在上述各实施方式中示出的运动图像编码方法或装置生成的 影像数据解码的情况下，考虑到与将依据以往的MPEG－2、MPEG4－AVC、 VC－1等标准的影像数据的情况相比处理量会增加。因此，在LSIex500中， 需要设定为比将依据以往的标准的影像数据解码时的CPUex502的驱动频 率更高的驱动频率。但是，如果将驱动频率设得高，则发生消耗电力变高 的问题。

为了解决该问题，电视机ex300、LSIex500等的运动图像解码装置采 用识别影像数据依据哪个标准、并根据标准切换驱动频率的结构。图38表 示本实施方式的结构ex800。驱动频率切换部ex803在影像数据是通过在上 述各实施方式中示出的运动图像编码方法或装置生成的情况下，将驱动频 率设定得高。并且，对执行在上述各实施方式中示出的运动图像解码方法 的解码处理部ex801指示将影像数据解码。另一方面，在影像数据是依据 以往的标准的影像数据的情况下，与影像数据是通过在上述各实施方式中 示出的运动图像编码方法或装置生成的数据的情况相比，将驱动频率设定 得低。并且，对依据以往的标准的解码处理部ex802指示将影像数据解码。

更具体地讲，驱动频率切换部ex803由图37的CPUex502和驱动频率 控制部ex512构成。此外，执行在上述各实施方式中示出的运动图像解码 方法的解码处理部ex801、以及依据以往的标准的解码处理部ex802对应于 图37的信号处理部ex507。CPUex502识别影像数据依据哪个标准。并且， 基于来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。此外， 基于来自CPUex502的信号，信号处理部ex507进行影像数据的解码。这 里，可以考虑在影像数据的识别中使用例如在实施方式8中记载的识别信 息。关于识别信息，并不限定于在实施方式8中记载的信息，只要是能够 识别影像数据依据哪个标准的信息就可以。例如，在基于识别影像数据利 用于电视机还是利用于盘等的外部信号，来能够识别影像数据依据哪个标 准的情况下，也可以基于这样的外部信号进行识别。此外，CPUex502的驱 动频率的选择例如可以考虑如图40所示的将影像数据的标准与驱动频率建 立对应的查找表进行。将查找表预先保存到缓冲器ex508、或LSI的内部存 储器中，CPUex502通过参照该查找表，能够选择驱动频率。

图39表示实施本实施方式的方法的步骤。首先，在步骤exS200中， 在信号处理部ex507中，从复用数据中取得识别信息。接着，在步骤exS201 中，在CPUex502中，基于识别信息识别影像数据是否是通过在上述各实 施方式中示出的编码方法或装置生成的数据。在影像数据是通过在上述各 实施方式中示出的编码方法或装置生成的数据的情况下，在步骤exS202中， CPUex502向驱动频率控制部ex512发送将驱动频率设定得高的信号。并且， 在驱动频率控制部ex512中设定为高的驱动频率。另一方面，在表示是依 据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况 下，在步骤exS203中，CPUex502向驱动频率控制部ex512发送将驱动频 率设定得低的信号。并且，在驱动频率控制部ex512中，设定为与影像数 据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况相 比更低的驱动频率。

进而，通过与驱动频率的切换连动而变更对LSIex500或包括LSIex500 的装置施加的电压，由此能够进一步提高节电效果。例如，在将驱动频率 设定得低的情况下，随之，可以考虑与将驱动频率设定得高的情况相比， 将对LSIex500或包括LSIex500的装置施加的电压设定得低。

此外，驱动频率的设定方法只要是在解码时的处理量大的情况下将驱 动频率设定得高、在解码时的处理量小的情况下将驱动频率设定得低就可 以，并不限定于上述的设定方法。例如，可以考虑在将依据MPEG4－AVC 标准的影像数据解码的处理量大于将通过在上述各实施方式中示出的运动 图像编码方法或装置生成的影像数据解码的处理量的情况下，与上述的情 况相反地进行驱动频率的设定。

进而，驱动频率的设定方法并不限定于使驱动频率低的结构。例如， 也可以考虑在识别信息是通过在上述各实施方式中示出的运动图像编码方 法或装置生成的影像数据的情况下，将对LSIex500或包括LSIex500的装 置施加的电压设定得高，在表示是依据以往的MPEG－2、MPEG4－AVC、 VC－1等的标准的影像数据的情况下，将对LSIex500或包括LSIex500的 装置施加的电压设定得低。此外，作为另一例，也可以考虑在识别信息表 示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像 数据的情况下，不使CPUex502的驱动停止，在表示是依据以往的MPEG －2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，由于在处理 中有富余，所以使CPUex502的驱动暂停。也可以考虑在识别信息表示是 通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据 的情况下，也只要在处理中有富余则使CPUex502的驱动暂停。在此情况 下，可以考虑与表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等 的标准的影像数据的情况相比，将停止时间设定得短。

这样，根据影像数据所依据的标准来切换驱动频率，由此能够实现节 电化。此外，在使用电池来驱动LSIex500或包括LSIex500的装置的情况 下，能够随着节电而延长电池的寿命。

（实施方式7）

在电视机、便携电话等上述的设备、系统中，有时被输入依据不同的 标准的多个影像数据。这样，为了使得在被输入了依据不同的标准的多个 影像数据的情况下也能够解码，LSIex500的信号处理部ex507需要对应于 多个标准。但是，如果单独使用对应于各个标准的信号处理部ex507，则发 生LSIex500的电路规模变大、此外成本增加的问题。

为了解决该问题，采用将用来执行在上述各实施方式中示出的运动图 像解码方法的解码处理部、和依据以往的MPEG－2、MPEG4－AVC、VC －1等的标准的解码处理部一部分共用的结构。图41A的ex900表示该结 构例。例如，在上述各实施方式中示出的运动图像解码方法和依据MPEG4 －AVC标准的运动图像解码方法在熵编码、逆量化、解块滤波器、运动补 偿等的处理中有一部分处理内容共通。可以考虑如下结构：关于共通的处 理内容，共用对应于MPEG4－AVC标准的解码处理部ex902，关于不对应 于MPEG4－AVC标准的本发明的一个方式所特有的其他的处理内容，使 用专用的解码处理部ex901。特别是，本发明在滤波处理（解块/滤波）方 面具有特征，因此可以考虑例如对于滤波处理（解块/滤波）使用专用的解 码处理部ex901，对于除此之外的熵解码、逆量化、运动补偿中的某一个或 者全部的处理，共用解码处理部。关于解码处理部的共用，也可以是如下 结构：关于共通的处理内容，共用用来执行在上述各实施方式中示出的运 动图像解码方法的解码处理部，关于MPEG4－AVC标准所特有的处理内 容，使用专用的解码处理部。

此外，用图41B的ex1000表示将处理一部分共用的另一例。在该例中， 采用使用与本发明的一个方式所特有的处理内容对应的专用的解码处理部 ex1001、和与其他的以往标准所特有的处理内容对应的专用的解码处理部 ex1002、和与在本发明的一个方式的运动图像解码方法和其他的以往标准 的运动图像解码方法中共通的处理内容对应的共用的解码处理部ex1003的 结构。这里，专用的解码处理部ex1001、ex1002并不一定是为本发明的一 个方式、或者其他的以往标准所特有的处理内容而特殊化的，可以是能够 执行其他的通用处理的结构。此外，也能够由LSIex500安装本实施方式的 结构。

这样，对于在本发明的一个方式的运动图像解码方法和以往的标准的 运动图像解码方法中共通的处理内容，共用解码处理部，由此能够减小LSI 的电路规模并且降低成本。

产业上的可利用性

本发明能够应用到滤波方法、运动图像编码装置及运动图像解码装置 中。例如，本发明能够在电视机、数字录像机、汽车导航仪、便携电话、 数字照相机及数字摄像机等的高分辨率的信息显示设备或摄像设备中使 用。

标号说明

100、400运动图像编码装置

101 减法器

102 正交变换部

103 量化部

104、204逆量化部

105、205逆正交变换部

106、206加法器

107、207、301、302、311、322、323、332、342、343、344、351、 352、353、361、362、372、404、504 滤波部

108、112、208、312、324、333、354、363、371 选择部

109、209、373 存储器

110、210 预测部

111 可变长编码部

113、213 控制部

115、215 滤波处理部

120 输入图像信号

121 残差信号

122、124、224 变换系数

123、223 量化系数

125、225 解码残差信号

126、226 解码图像信号

127、128、227、228 图像信号

130、230 预测图像信号

131 编码信号

132、232 编码比特流

200、500 运动图像解码装置

211 可变长解码部

212、321、331、341 分配部

220 输出图像信号

401、501 第1量化参数决定部

402、502 第2量化参数决定部

403、503 滤波强度决定部

411、511 第1量化参数

412、512 第2量化参数

413、513 滤波强度