运动图像编码方法、运动图像编码装置、运动图像解码方法、运动图像解码装置、及运动图像编解码装置

技术领域

本发明涉及运动图像编码方法及运动图像解码方法等。

背景技术

在运动图像编码处理中，一般利用运动图像所具有的空间方向及时间 方向的冗余性来进行信息量的压缩。在此，一般来说，作为利用空间方向 的冗余性的方法，使用向频域的变换。此外，作为利用时间方向的冗余性 的方法，使用图片间预测（以后称为“帧间预测”）编码处理。在帧间预测编 码处理中，在对某图片进行编码时，将相对于编码对象图片在显示时间顺 序上处于前方或后方的已编码的图片作为参照图片使用。然后，通过检测 编码对象图片相对于该参照图片的运动，导出运动矢量。然后，基于导出 的运动矢量来进行运动补偿，并计算由此得到的预测图像数据和编码对象 图片的图像数据的差分，从而除去时间方向的冗余性（例如参照非专利文 献1）。在此，在运动检测中，计算编码图片内的编码对象块和参照图片内 的块的差分值，将差分值最小的参照图片内的块决定为参照块。然后，使 用编码对象块和参照块来检测运动矢量。

在先技术文献

非专利文献

非专利文献1：ITU-T Recommendation H.264“Advanced video coding for  generic audiovisual services”，2010年3月

非专利文献2：JCT-VC，“WD3：Working Draft3of High-Efficiency Video  Coding”，JCTVC-E603，March2011.

发明的概要

发明所要解决的课题

但是，在上述以往的技术中，希望提高使用帧间预测的运动图像编码 及解码的容错性。

发明内容

在此，本发明的目的在于，提供一种运动图像编码方法及运动图像解 码方法，能够提高使用帧间预测的运动图像编码及解码的容错性。

解决课题所采用的技术手段

本发明的一个方式的运动图像编码方法计算在将编码对象块的运动矢 量编码时使用的预测运动矢量并对所述编码对象块进行编码，从而生成比 特流，该运动图像编码方法包括以下步骤：预测运动矢量候选取得步骤， 取得成为所述预测运动矢量的候选的预测运动矢量候选、即2个以上的固 定数的所述预测运动矢量候选；选择步骤，从所述2个以上的固定数的所 述预测运动矢量候选中，选择在所述编码对象块的所述运动矢量的编码中 使用的所述预测运动矢量；以及编码步骤，根据所述2个以上的固定数对 用于确定所选择的所述预测运动矢量的索引进行编码，并将编码后的所述 索引附加到所述比特流中，所述2个以上的固定数的所述预测运动矢量候 选包含具有预定的固定值的候选。

发明效果

根据本发明的一个方式，能够提高使用帧间预测的运动图像编码及解 码的容错性。

附图说明

图1A是用于说明B图片中的参照图片列表的一例的图。

图1B是表示B图片中的预测方向0的参照图片列表的一例的图。

图1C是表示B图片中的预测方向1的参照图片列表的一例的图。

图2是用于说明时间预测运动矢量模式下的运动矢量的图。

图3是表示在预测运动矢量指定模式下使用的相邻块的运动矢量的一 例的图。

图4是用于说明预测方向0的预测运动矢量候选列表的一例的图。

图5是用于说明预测方向1的预测运动矢量候选列表的一例的图。

图6是表示比特串向预测运动矢量索引的分配的一例的图。

图7是表示使用预测运动矢量指定模式时的编码处理的一例的流程图。

图8A是表示预测运动矢量的计算例的图。

图8B是表示预测运动矢量的计算例的图。

图9是表示使用预测运动矢量指定模式对运动图像进行编码的运动图 像编码装置的构成的一例的框图。

图10是表示使用预测运动矢量指定模式时的解码处理的一例的流程 图。

图11是表示对使用预测运动矢量指定模式编码的运动图像进行解码的 运动图像解码装置的构成的一例的框图。

图12是表示将预测运动矢量索引附加到比特流时的语法的图。

图13是表示实施方式1的运动图像编码装置的构成的框图。

图14是表示实施方式1的运动图像编码装置的处理动作的流程图。

图15A是表示实施方式1中的预测方向0的预测运动矢量候选列表的 一例的图。

图15B是表示实施方式的变形例中的预测方向0的预测运动矢量候选 列表的一例的图。

图15C是表示实施方式的变形例中的预测方向0的预测运动矢量候选 列表的一例的图。

图16A是表示实施方式1中的预测方向1的预测运动矢量候选列表的 一例的图。

图16B是表示实施方式的变形例中的预测方向1的预测运动矢量候选 列表的一例的图。

图16C是表示实施方式的变形例中的预测方向1的预测运动矢量候选 列表的一例的图。

图17A是表示实施方式1中的预测运动矢量候选及预测运动矢量候选 列表尺寸的计算处理的流程图。

图17B是表示实施方式的变形例中的预测运动矢量候选的计算处理的 流程图。

图17C是表示实施方式的变形例中的预测运动矢量候选的计算处理的 流程图。

图18是表示实施方式1中的可预测候选数的更新处理的流程图。

图19A是表示实施方式1中的新候选的追加处理的流程图。

图19B是表示实施方式的变形例中的新候选的追加处理的流程图。

图20是表示与实施方式1中的预测运动矢量候选的选择有关的处理的 流程图。

图21是表示实施方式2的运动图像编码装置的构成的框图。

图22是表示实施方式2的运动图像编码装置的处理动作的流程图。

图23是表示实施方式2中的可预测候选数的计算处理的流程图。

图24是表示实施方式2中的预测运动矢量候选的计算处理的流程图。

图25是表示将预测运动矢量索引附加到比特流时的语法的一例的图。

图26是表示将预测运动矢量候选列表尺寸固定为预测运动矢量候选数 的最大值时的语法的一例的图。

图27是表示实施方式的变形例中的第二候选的追加处理的流程图。

图28是实现内容分发服务的内容供给系统的整体结构图。

图29是数字广播用系统的整体结构图。

图30是表示电视机的结构例的模框图。

图31是表示对作为光盘的记录介质进行信息的读写的信息再现/记录 部的结构例的模框图。

图32是表示作为光盘的记录介质的构造例的图。

图33A是表示便携电话的一例的图。

图33B是表示便携电话的结构例的模框图。

图34是表示复用数据的结构的图。

图35是示意地表示各流在复用数据中怎样被复用的图。

图36是更详细地表示在PES包序列中视频流怎样被保存的图。

图37是表示复用数据的TS包和源包的构造的图。

图38是表示PMT的数据结构的图。

图39是表示复用数据信息的内部结构的图。

图40是表示流属性信息的内部结构的图。

图41是表示识别影像数据的步骤的图。

图42是表示实现各实施方式的运动图像编码方法及运动图像解码方法 的集成电路的结构例的模框图。

图43是表示切换驱动频率的结构的图。

图44是表示识别影像数据、切换驱动频率的步骤的图。

图45是表示将影像数据的标准与驱动频率建立了对应的查找表的一例 的图。

图46A是表示将信号处理部的模块共用的结构的一例的图。

图46B是表示将信号处理部的模块共用的结构的另一例的图。

具体实施方式

（本发明的基础知识）

（本发明的基础知识）

在已经标准化的被称为H.264的运动图像编码方式中，为了进行信息 量的压缩，使用I图片、P图片、B图片这3种图片类型。

I图片在帧间预测编码处理中不被编码。即，I图片在图片内预测（以 后称为“帧内预测”）编码处理中被编码。P图片参照在显示时间顺序上位于 编码对象图片的前方或后方的已编码的1个图片而进行帧间预测编码。B 图片参照在显示时间顺序上位于编码对象图片的前方或后方的已编码的2 个图片而进行帧间预测编码。

在帧间预测编码中，生成用于确定参照图片的参照图片列表。参照图 片列表是对在帧间预测中参照的已编码的参照图片分配了参照图片索引的 列表。例如，在B图片中，能够参照2个图片来进行编码，所以生成2个 参照图片列表（L0、L1）。

图1A是用于说明B图片中的参照图片列表的一例的图。图1B表示双 向预测中的预测方向0的参照图片列表0（L0）的一例。在此，在参照图片 列表0中，参照图片索引0的值0被分配给显示顺序2的参照图片0。此外， 参照图片索引0的值1被分配给显示顺序1的参照图片1。此外，参照图片 索引0的值2被分配给显示顺序0的参照图片2。即，按照显示顺序，相对 于编码对象图片在时间上越接近的参照图片，被分配具有越小的值的参照 图片索引。

另一方面，图1C表示双向预测中的预测方向1的参照图片列表1（L1） 的一例。在此，在参照图片列表1中，参照图片索引1的值0被分配给显 示顺序1的参照图片1。此外，参照图片索引1的值1被分配给显示顺序2 的参照图片0。此外，参照图片索引2的值2被分配给显示顺序0的参照图 片2。

这样，对于各参照图片，能够按照每个预测方向分配不同的参照图片 索引的值（图1A的参照图片0、1）或分配相同的参照图片索引的值（图 1A的参照图片2）。

此外，在被称为H.264的运动图像编码方式（非专利文献1）中，作为 B图片中的各编码对象块的帧间预测的编码模式，使用运动矢量检测模式。 在运动矢量检测模式中，对预测图像数据及编码对象块的图像数据的差分 值和在预测图像数据生成中使用的运动矢量进行编码。此外，在运动矢量 检测模式中，作为预测方向，能够选择双向预测和单向预测。在双向预测 中，参照位于编码对象图片的前方或后方的已编码的2个图片来生成预测 图像。在单向预测中，参照位于前方或后方的已编码的1个图片来生成预 测图像。

此外，在被称为H.264的运动图像编码方式中，在B图片的编码中， 在导出运动矢量时，能够选择被称为时间预测运动矢量模式的编码模式。 使用图2说明时间预测运动矢量模式中的帧间预测编码方法。

图2是用于说明时间预测运动矢量模式下的运动矢量的图。具体地说， 图2表示通过时间预测运动矢量模式来对图片B2的块a进行编码的情况。

在此，利用位于图片B2的后方的参照图片即图片P3内的、位于与块 a相同位置的块b（以下称为co-located块）的编码中使用的运动矢量vb。 运动矢量vb是在参照图片P1对块b进行编码时使用的运动矢量。

使用与运动矢量vb平行的运动矢量，根据作为前方向参照图片的图片 P1和作为后方参照图片的图片P3，取得用于块a的2个参照块。然后，基 于取得的2个参照块来进行2方向预测，从而将块a编码。即，对块a进行 编码时使用的运动矢量，对于图片P1来说是运动矢量va1，对于图片P3 来说是运动矢量va2。

此外，作为对B图片或P图片中的各编码对象块的运动矢量进行编码 的方法，考虑预测运动矢量指定模式（非专利文献2）。在预测运动矢量指 定模式下，根据对编码对象块的相邻块进行编码时使用的运动矢量来生成 预测运动矢量候选。然后，从预测运动矢量候选中选择预测运动矢量，进 行编码对象块的运动矢量的编码。这时，在比特流中附加所选择的预测运 动矢量的索引等。由此，在解码时，也能够选择与在编码时使用的预测运 动矢量相同的预测运动矢量。参照图3说明具体例。

图3是表示在预测运动矢量指定模式中使用的相邻块的运动矢量的一 例的图。在图3中，相邻块A是编码对象块的左相邻的已编码块。相邻块 B是编码对象块的上相邻的已编码块。相邻块C是编码对象块的右上相邻 的已编码块。相邻块D是编码对象块的左下相邻的已编码块。

此外，在图3中，进行运动检测等的结果，编码对象块作为针对预测 方向0的参照图片索引RefL0所示的参照图片的运动矢量而具有预测方向0 的运动矢量MvL0，作为针对预测方向1的参照图片索引RefL1所示的参照 图片的运动矢量而具有预测方向1的运动矢量MvL1，是通过双向预测而编 码的块。在此，MvL0指的是参照由参照图片列表0（L0）确定的参照图片 的运动矢量。此外，MvL1指的是参照由参照图片列表1（L1）确定的参照 图片的运动矢量。

此外，相邻块A是通过预测方向0的单向预测而编码的块。相邻块A 作为针对预测方向0的参照图片索引RefL0_A所示的参照图片的运动矢量 而具有预测方向0的运动矢量MvL0_A。此外，相邻块B是通过预测方向1 的单向预测而编码的块。相邻块B作为针对预测方向1的参照图片索引 RefL1_B所示的参照图片的运动矢量而具有预测方向1的运动矢量 MvL1_B。此外，相邻块C是通过帧内预测而编码的块。此外，相邻块D 是通过预测方向0的单向预测而编码的块。相邻块D作为针对预测方向0 的参照图片索引RefL0_D所示的参照图片的运动矢量而具有预测方向0的 运动矢量MvL0_D。

这种情况下，作为编码对象块的预测运动矢量，例如在根据相邻块A、 B、C、D的运动矢量及使用co-located块求出的时间预测运动矢量模式的 运动矢量而生成的预测运动矢量候选中，选择能够最有效地对编码对象块 的运动矢量进行编码的预测运动矢量。然后，在比特流中附加表示所选择 的预测运动矢量的预测运动矢量索引。例如，在对编码对象块的预测方向0 的运动矢量MvL0进行编码时，作为预测运动矢量而选择了相邻块A的预 测方向0的运动矢量MvL0_A时，如图4所示，在比特流中仅附加表示使 用了从相邻块A生成的预测运动矢量候选的预测运动矢量索引的值“0”。由 此，能够减少编码对象块的预测方向0的运动矢量MvL0的信息量。

在此，图4是表示预测方向0的预测运动矢量候选列表的一例的图。 此外，如图4所示，在预测运动矢量指定模式下，将无法生成预测运动矢 量的候选（以下称为“不可预测候选”）或与其他预测运动矢量候选的值一致 的候选（以下称为“重复候选”）从预测运动矢量候选删除。这样，通过削减 预测运动矢量候选数，削减对预测运动矢量索引分配的符号量。在此，无 法生成预测运动矢量指的是，（1）相邻块是通过帧内预测而编码的块；（2） 相邻块是包含编码对象块的切片（slice）或图片边界外的块；或者（3）相 邻块是未编码的块等。

在图4的例子中，相邻块C通过帧内预测而编码。因此，预测运动矢 量索引的值为“3”的预测候选是不可预测候选，从预测运动矢量候选列表删 除。此外，从相邻块D生成的预测方向0的预测运动矢量与从相邻块A生 成的预测方向0的预测运动矢量的值一致，所以预测运动矢量索引的值为 “4”的预测候选从预测运动矢量候选列表删除。其结果，最终预测方向0的 预测运动矢量候选数成为3，预测方向0的预测运动矢量候选列表的列表尺 寸被设定为3。

此外，图5是表示预测方向1的预测运动矢量候选列表的一例的图。 在图5所示的例子中，通过删除不可预测候选及重复候选，最终预测方向1 的预测运动矢量候选数成为2，预测方向1的预测运动矢量候选列表的列表 尺寸被设定为2。

如图6所示，预测运动矢量索引根据预测运动矢量候选列表尺寸的大 小而被分配比特串并进行可变长度编码。此外，预测运动矢量候选列表尺 寸为1的情况下，在比特流中不附加预测运动矢量索引，在解码侧推测为 值0。这样，在预测运动矢量指定模式中，使对预测运动矢量索引分配的比 特串根据预测运动矢量候选列表尺寸的大小而变化，从而削减符号量。

图7是表示使用预测运动矢量指定模式时的编码处理的一例的流程图。

在步骤S1001中，根据相邻块及co-located块（以下称为“预测块候选”） 计算预测方向X的预测运动矢量候选。在此，X取“0”或“1”的值，分别表 示预测方向0或预测方向1。预测方向X的预测运动矢量候选sMvLX使用 预测块候选的运动矢量MvLX_N和参照图片索引RefLX_N及编码对象块 的参照图片索引RefLX而通过下式来计算。

sMvLX＝

MvLX_N×(POC(RefLX)－curPOC)／(POC(RefLX_N)－curPOC)…（式 1）

在此，POC（RefLX）表示参照图片索引RefLX所示的参照图片的显 示顺序，POC（RefLX_N）表示参照图片索引RefLX_N所示的参照图片的 显示顺序，curPOC表示编码对象图片的显示顺序。另外，在预测块候选不 具有预测方向X的运动矢量MvLX_N的情况下，使用预测方向（1-X）的 运动矢量MvL（1-X）_N和参照图片索引RefL（1-X）_N，通过式2来计 算预测运动矢量sMvLX。

sMvLX＝

MvL(1-X)_N×(POC(RefLX)－curPOC)／(POC(RefL(1-X)_N)－curPOC) …（式2）

图8A、图8B是表示式1、式2的预测运动矢量的计算例的图。另外， 如式1、式2所示，POC（RefLX）与POC（RefLX_N）的值相同的情况下， 即参照同一图片的情况下，可以将调度省略。

在步骤S1002中，将重复候选及不可预测候选从预测方向X的预测运 动矢量候选删除。

在步骤S1003中，将删除处理后的预测运动矢量候选数设定为预测运 动矢量候选列表尺寸。

在步骤S1004中，决定在编码对象块的预测方向X的运动矢量编码中 使用的预测运动矢量索引。

在步骤S1005中，使用由预测运动矢量候选列表尺寸决定的比特串， 对所决定的预测运动矢量索引进行可变长度编码。

图9是表示使用预测运动矢量指定模式对运动图像进行编码的运动图 像编码装置1000的构成的一例的框图。

如图9所示，运动图像编码装置1000具备：减法部1001、正交变换部 1002、量化部1003、逆量化部1004、逆正交变换部1005、加法部1006、 块存储器1007、帧存储器1008、帧内预测部1009、帧间预测部1010、帧 间预测控制部1011、图片类型决定部1012、开关1013、预测运动矢量候选 计算部1014、colPic存储器1015、可变长度编码部1016。

在图9中，预测运动矢量候选计算部1014计算预测运动矢量候选。然 后，预测运动矢量候选计算部1014将计算的预测运动矢量候选数发送给可 变长度编码部1016。可变长度编码部1016将预测运动矢量候选数设定为作 为编码参数的预测运动矢量候选列表尺寸。然后，可变长度编码部1016对 编码中使用的预测运动矢量索引分配与预测运动矢量候选列表尺寸相应的 比特串，并进行可变长度编码。

图10是表示使用预测运动矢量指定模式时的解码处理的一例的流程 图。

在步骤S2001中，根据相邻块及co-located块（预测块候选）计算预测 方向X的预测运动矢量候选。在步骤S2002中，将重复候选及不可预测候 选从预测运动矢量候选删除。在步骤S2003中，将删除处理后的预测运动 矢量候选数设定为预测运动矢量候选列表尺寸。在步骤S2004中，使用预 测运动矢量候选列表尺寸，从比特流解码在解码对象块的解码中使用的预 测运动矢量索引。在步骤S2005中，在解码后的预测运动矢量索引所示的 预测运动矢量候选中加上差分运动矢量而计算运动矢量，使用计算出的运 动矢量，生成预测图像并进行解码处理。

图11是表示对使用预测运动矢量指定模式而编码的运动图像进行解码 的运动图像解码装置的构成的一例的框图。

如图11所示，运动图像解码装置2000具备：可变长度解码部2001、 逆量化部2002、逆正交变换部2003、加法部2004、块存储器2005、帧存 储器2006、帧内预测部2007、帧间预测部2008、帧间预测控制部2009、 开关2010、预测运动矢量候选计算部2011、colPic存储器2012。

在图11中，预测运动矢量候选计算部2011计算预测运动矢量候选。 然后，预测运动矢量候选计算部2011将计算出的预测运动矢量候选数发送 给可变长度解码部2001。可变长度解码部2001将预测运动矢量候选数设定 为作为解码参数的预测运动矢量候选列表尺寸。然后，可变长度解码部2001 使用预测运动矢量候选列表尺寸，将比特流中包含的预测运动矢量索引解 码。

图12是表示在比特流中附加预测运动矢量索引时的语法的图。在图12 中，inter_pred_flag表示帧间预测的预测方向标志。mvp_idx表示预测运动 矢量索引。NumMVPCand表示预测运动矢量候选列表尺寸。该 NumMVPCand被设定为从预测运动矢量候选删除了不可预测候选及重复 候选之后的预测运动矢量候选数。

如以上那样，使用预测运动矢量指定模式对运动图像进行编码或解码。 但是，在上述预测运动矢量指定模式中，将预测运动矢量候选数设定为在 对预测运动矢量索引进行编码或解码时使用的预测运动矢量候选列表尺 寸。该预测运动矢量候选数是使用包含co-located块等的参照图片信息而将 不可预测候选或重复候选删除之后得到的。因此，在运动图像编码装置和 运动图像解码装置之间发生预测运动矢量候选数不一致的情况下等，在运 动图像编码装置和运动图像解码装置之间，对预测运动矢量索引分配的比 特串发生不一致。其结果，运动图像解码装置有时无法将比特流正确地解 码。

例如，由于在传送路等上发生的丢包等，作为co-located块而参照的参 照图片的信息丢失的情况下，co-located块的运动矢量或参照图片索引不明。 因此，从co-located块生成的预测运动矢量候选的信息不明。这种情况下， 在解码时无法将不可预测候选及重复候选正确地从预测运动矢量候选删 除。其结果，运动图像解码装置无法正确地求出预测运动矢量候选列表尺 寸，无法将预测运动矢量索引正常地解码。

另外，针对上述问题，考虑固定预测运动矢量候选列表尺寸的大小。 如果固定预测运动矢量候选列表尺寸的大小，则不需要求出预测运动矢量 候选列表尺寸。

但是，当固定预测运动矢量候选列表尺寸的大小时，在从空间上相邻 的块导出的候选（除去重复候选和不可预测候选以外的预测运动矢量候选） 和从时间上相邻的块（co-located块）导出的候选（第一候选）的总数为预 测运动矢量候选列表尺寸以下的情况下，在预测运动矢量候选列表中产生 空白要素。该情况下，在图像解码装置中存在如下问题：由于产生错误等， 在参照了空白要素的情况下，可能执行非预期的动作。

因此，本发明的一个方式的运动图像编码方法计算在将编码对象块的 运动矢量编码时使用的预测运动矢量并对所述编码对象块进行编码，从而 生成比特流，该运动图像编码方法包括以下步骤：预测运动矢量候选取得 步骤，取得成为所述预测运动矢量的候选的预测运动矢量候选、即2个以 上的固定数的所述预测运动矢量候选；选择步骤，从所述2个以上的固定 数的所述预测运动矢量候选中，选择在所述编码对象块的所述运动矢量的 编码中使用的所述预测运动矢量；以及编码步骤，根据所述2个以上的固 定数对用于确定所选择的所述预测运动矢量的索引进行编码，并将编码后 的所述索引附加到所述比特流中，所述2个以上的固定数的所述预测运动 矢量候选包含具有预定的固定值的候选。

并且，例如，也可以是，所述2个以上的固定数的所述预测运动矢量 候选还包含第一候选和新候选中的至少一方，所述第一候选是根据空间上 或时间上相邻于所述编码对象块的相邻块的编码中使用的所述运动矢量而 导出的候选，所述新候选是根据与所述相邻块不同的块的编码中使用的所 述运动矢量而导出的候选、或具有预定的固定矢量作为运动矢量的候选。

并且，例如，也可以是，所述预测运动矢量候选取得步骤具有以下步 骤：第一导出步骤，进行导出所述第一候选的第一导出处理，在导出所述 第一候选的情况下，设定为所述2个以上的固定数的所述预测运动矢量候 选的一部分；第二导出步骤，在所述第一候选的数量小于所述2个以上的 固定数的情况下，进行导出所述新候选的第二导出处理，在导出所述新候 选的情况下，设定为所述2个以上的固定数的所述预测运动矢量候选的一 部分；以及第三导出步骤，在所述第一候选的数量和所述新候选的数量的 合计小于所述2个以上的固定数的情况下，设定至少一个具有所述预定的 固定值的候选作为所述2个以上的固定数的所述预测运动矢量候选的一部 分，以使得所述第一候选的数量、具有所述预定的固定值的候选的数量和 所述新候选的数的合计与所述2个以上的固定数相等。

并且，例如，也可以是，在所述第二导出步骤中，从预先准备的多个 不同的候选中，根据规定的优先顺位来选择至少一个候选，从而导出至少 一个所述新候选。

并且，例如，也可以是，所述预测运动矢量候选取得步骤具有以下步 骤：初始化步骤，通过在全部所述2个以上的固定数的所述预测运动矢量 候选中设定具有所述预定的固定值的候选，对所述2个以上的固定数的所 述预测运动矢量候选进行初始化；第一导出步骤，进行导出所述第一候选 的第一导出处理，在导出所述第一候选的情况下，更新为所述2个以上的 固定数的所述预测运动矢量候选的一部分；以及第二导出步骤，在所述第 一候选的数量小于所述2个以上的固定数的情况下，进行导出所述新候选 的第二导出处理，在导出所述新候选的情况下，更新为所述2个以上的固 定数的所述预测运动矢量候选的一部分。

因此，本发明的一个方式的运动图像解码方法计算在对比特流中包含 的解码对象块的运动矢量进行解码时使用的预测运动矢量，并对所述解码 对象块进行解码，该运动图像解码方法包括以下步骤：预测运动矢量候选 取得步骤，取得成为所述预测运动矢量的候选的预测运动矢量候选、即2 个以上的固定数的所述预测运动矢量候选；解码步骤，根据所述2个以上 的固定数，对附加于所述比特流的编码后的索引、即用于从所述2个以上 的固定数的所述预测运动矢量候选中确定所述预测运动矢量候选的索引进 行解码；以及选择步骤，根据解码后的所述索引，从所述2个以上的固定 数的所述预测运动矢量候选中选择在所述解码对象块的解码中使用的所述 预测运动矢量，所述2个以上的固定数的所述预测运动矢量候选包含具有 预定的固定值的候选。

并且，例如，也可以是，所述2个以上的固定数的所述预测运动矢量 候选还包含第一候选和新候选中的至少一方，所述第一候选是根据空间上 或时间上相邻于所述编码对象块的相邻块的编码中使用的所述运动矢量而 导出的候选，所述新候选是根据与所述相邻块不同的块的编码中使用的所 述运动矢量而导出的候选、或具有预定的固定矢量作为运动矢量的候选。

并且，例如，也可以是，所述预测运动矢量候选取得步骤具有以下步 骤：第一导出步骤，进行导出所述第一候选的第一导出处理，在导出所述 第一候选的情况下，设定为所述2个以上的固定数的所述预测运动矢量候 选的一部分；第二导出步骤，在所述第一候选的数量小于所述2个以上的 固定数的情况下，进行导出所述新候选的第二导出处理，在导出所述新候 选的情况下，设定为所述2个以上的固定数的所述预测运动矢量候选的一 部分；以及第三导出步骤，在所述第一候选的数量和所述新候选的数量的 合计小于所述2个以上的固定数的情况下，设定至少一个具有所述预定的 固定值的候选作为所述2个以上的固定数的所述预测运动矢量候选的一部 分，以使得所述第一候选的数量、具有所述预定的固定值的候选的数量和 所述新候选的数的合计与所述2个以上的固定数相等。

并且，例如，也可以是，在所述第二导出步骤中，从预先准备的多个 不同的候选中，根据规定的优先顺位来选择至少一个候选，从而导出至少 一个所述新候选。

并且，例如，也可以是，所述预测运动矢量候选取得步骤具有以下步 骤：初始化步骤，通过在全部所述2个以上的固定数的所述预测运动矢量 候选中设定具有所述预定的固定值的候选，对所述2个以上的固定数的所 述预测运动矢量候选进行初始化；第一导出步骤，进行导出所述第一候选 的第一导出处理，在导出所述第一候选的情况下，更新为所述2个以上的 固定数的所述预测运动矢量候选的一部分；以及第二导出步骤，在所述第 一候选的数量小于所述2个以上的固定数的情况下，进行导出所述新候选 的第二导出处理，在导出所述新候选的情况下，更新为所述2个以上的固 定数的所述预测运动矢量候选的一部分。

因此，本发明的一个方式的运动图像编码装置计算在将编码对象块的 运动矢量编码时使用的预测运动矢量并对所述编码对象块进行编码，从而 生成比特流，该运动图像编码装置包括：预测运动矢量候选取得部，取得 成为所述预测运动矢量的候选的预测运动矢量候选、即2个以上的固定数 的所述预测运动矢量候选；选择部，从所述2个以上的固定数的所述预测 运动矢量候选中，选择在所述编码对象块的所述运动矢量的编码中使用的 所述预测运动矢量；以及编码部，根据所述2个以上的固定数对用于确定 所选择的所述预测运动矢量的索引进行编码，并将编码后的所述索引附加 到所述比特流中，所述2个以上的固定数的所述预测运动矢量候选包含具 有预定的固定值的候选。

因此，本发明的一个方式的运动图像解码装置计算在对比特流中包含 的解码对象块的运动矢量进行解码时使用的预测运动矢量，并对所述解码 对象块进行解码，该运动图像解码装置包括：预测运动矢量候选取得部， 取得成为所述预测运动矢量的候选的预测运动矢量候选、即2个以上的固 定数的所述预测运动矢量候选；解码部，根据所述2个以上的固定数，对 附加于所述比特流的编码后的索引、即用于从所述2个以上的固定数的所 述预测运动矢量候选中确定所述预测运动矢量候选的索引进行解码；以及 选择部，根据解码后的所述索引，从所述2个以上的固定数的所述预测运 动矢量候选中选择在所述解码对象块的解码中使用的所述预测运动矢量， 所述2个以上的固定数的所述预测运动矢量候选包含具有预定的固定值的 候选。

因此，本发明的一个方式的运动图像编解码装置具备上述运动图像编 码装置以及上述运动图像解码装置。

另外，这些全部或具体的方式可以通过系统、方法、集成电路、计算 机程序或计算机可读取的CD-ROM等记录介质来实现，也可以通过系统、 方法、集成电路、计算机程序及记录介质的任意组合来实现。

以下，参照附图具体说明本发明的一个方式的运动图像编码装置及运 动图像解码装置。

另外，以下说明的实施方式都只是本发明的一具体例。以下的实施方 式中示出的数值、形状、材料、构成要素、构成要素的配置位置及连接方 式、步骤、步骤的顺序等只是一例，不意图限定本发明。此外，对于以下 的实施方式的构成要素中的、未记载于表示最上位概念的独立权利要求的 构成要素，作为任意的构成要素来说明。

（实施方式1）

根据图13～图22对使用本实施方式的运动图像编码方法的运动图像编 码装置进行说明。

[1-1.运动图像编码装置的构成]

首先，根据图13对运动图像编码装置的构成进行说明。图13是表示 实施方式1的运动图像编码装置100的构成的框图。

如图13所示，运动图像编码装置100具备：减法部101、正交变换部 102、量化部103、逆量化部104、逆正交变换部105、加法部106、块存储 器107、帧存储器108、帧内预测部109、帧间预测部110、帧间预测控制 部111、图片类型决定部112、开关113、预测运动矢量候选计算部114、colPic 存储器115、及可变长度编码部116。

减法部101按照每个块从输入图像列中包含的输入图像数据减去预测 图像数据，从而预测误差数据。正交变换部102对生成的预测误差数据进 行从图像区域向频域的变换。量化部103对变换为频域的预测误差数据进 行量化处理。

逆量化部104对由量化部103进行量化处理后的预测误差数据进行逆 量化处理。逆正交变换部105对逆量化处理后的预测误差数据进行从频域 向图像区域的变换。

加法部106按照每个编码对象块将预测图像数据和由逆正交变换部105 逆量化处理后的预测误差数据相加，从而生成重构图像数据。在块存储器 107中以块为单位保存有重构图像数据。在帧存储器108中以块为单位保存 有重构图像数据。

图片类型决定部112决定以I图片、B图片及P图片的哪个图片类型对 输入图像数据进行编码。然后，图片类型决定部112生成图片类型信息。 帧内预测部109使用保存在块存储器107中的块单位的重构图像数据来进 行帧内预测，从而生成编码对象块的帧内预测图像数据。帧间预测部110 使用保存在帧存储器108中的帧单位的重构图像数据和通过运动检测等导 出的运动矢量来进行帧间预测，从而生成编码对象块的帧间预测图像数据。

开关113在编码对象块被进行帧内预测编码的情况下，将由帧内预测 部109生成的帧内预测图像数据作为编码对象块的预测图像数据输出至减 法部101及加法部106。另一方面，开关113在编码对象块被进行帧间预测 编码的情况下，将由帧间预测部110生成的帧间预测图像数据作为编码对 象块的预测图像数据输出至减法部101及加法部106。

预测运动矢量候选计算部114使用编码对象块的相邻块的运动矢量等、 以及存放在colPic存储器115中的co-located块的运动矢量等colPic信息， 导出预测运动矢量指定模式的预测运动矢量候选。然后，预测运动矢量候 选计算部114通过后述的方法，计算可预测候选数。此外，预测运动矢量 候选计算部114对导出的预测运动矢量候选分配预测运动矢量索引的值。 然后，预测运动矢量候选计算部114将预测运动矢量候选和预测运动矢量 索引发送给帧间预测控制部111。此外，预测运动矢量候选计算部114将计 算出的可预测候选数发送给可变长度编码部116。

帧间预测控制部111对帧间预测部110进行控制，以使用利用由运动检 测导出的运动矢量而生成的帧间预测图像来进行帧间预测编码。此外，帧 间预测控制部111通过后述的方法选择对在帧间预测编码中使用的运动矢 量的编码来说最合适的预测运动矢量候选。然后，帧间预测控制部111将 与选择的预测运动矢量候选对应的预测运动矢量索引和预测的误差信息 （差分运动矢量）发送给可变长度编码部116。进而，帧间预测控制部111 将包含编码对象块的运动矢量等的colPic信息传送给colPic存储器115。

可变长度编码部116对量化处理后的预测误差数据、预测方向标志、 图片类型信息及差分运动矢量进行可变长度编码处理，从而生成比特流。 此外，可变长度编码部116将可预测候选数设定为预测运动矢量候选列表 尺寸。然后，可变长度编码部116对在运动矢量编码中使用的预测运动矢 量索引分配与预测运动矢量候选列表尺寸对应的比特串，进行可变长度编 码。

[1-2.运动图像编码方法的处理顺序]

接着，根据图14对由运动图像编码装置执行的运动图像编码方法的处 理顺序进行说明。图14是表示实施方式1的运动图像编码装置100的处理 动作的流程图。

在步骤S101中，帧间预测控制部111通过运动检测，决定编码对象块 的预测方向、参照图片索引及运动矢量。在此，在运动检测中，例如计算 编码图片内的编码对象块与参照图片内的块的差分值，将差分值最小的参 照图片内的块决定为参照块。然后，使用求出运动矢量的方法等，根据编 码对象块位置和参照块位置求出运动矢量。此外，帧间预测控制部111对 预测方向0和预测方向1的参照图片分别进行运动检测，例如通过R-D最 优化模型的下式等来计算是否选择预测方向0或预测方向1或双向预测。

Cost＝D＋λ×R…（式3）

在式3中，D表示编码失真。编码失真D使用利用以某运动矢量生成 的预测图像对编码对象块进行编码及解码而得到的像素值与编码对象块的 原来的像素值的差分绝对值和等。此外，R表示发生符号量。作为发生符 号量R，使用对预测图像生成中使用的运动矢量进行编码时所需的符号量 等。此外，λ是拉格朗日不定乘数。

在步骤S102中，预测运动矢量候选计算部114从编码对象块的相邻块 及co-located块导出预测运动矢量候选。此外，预测运动矢量候选计算部114 通过后述的方法，计算预测运动矢量候选列表尺寸。

例如在图3的情况下，预测运动矢量候选计算部114作为编码对象块 的预测运动矢量候选，例如选择相邻块A、B、C及D所具备的运动矢量。 进而，预测运动矢量候选计算部114计算从co-located块的运动矢量通过时 间预测模式计算的运动矢量等，作为预测运动矢量候选。

预测运动矢量候选计算部114如图15A（a）及图16A（a）所示，对预 测方向0及预测方向1的预测运动矢量候选分配预测运动矢量索引。然后， 预测运动矢量候选计算部114通过后述的方法进行不可预测候选及重复候 选的删除及新候选追加，从而计算图15A（b）及图16A（b）那样的预测 运动矢量候选列表及预测运动矢量候选列表尺寸。

预测运动矢量索引的值越小，则被分配越短的符号。即，预测运动矢 量索引的值较小的情况下，预测运动矢量索引所需的信息量变少。另一方 面，若预测运动矢量索引的值变大，则预测运动矢量索引所需的信息量变 大。因此，如果对于成为精度更高的预测运动矢量的可能性较高的预测运 动矢量候选分配值较小的预测运动矢量索引，则提高了编码效率。

在此，可以是，预测运动矢量候选计算部114例如按照每个预测运动 矢量候选，计测被选为预测运动矢量的次数，对于该次数较多的预测运动 矢量候选，分配值较小的预测运动矢量索引。具体地说，预先确定在相邻 块中被选择的预测运动矢量，在对象块的编码时，减小针对所确定的预测 运动矢量候选的预测运动矢量索引的值。

另外，相邻块不具有运动矢量等信息的情况下（是通过帧内预测而编 码的块的情况、是位于图片或切片的边界外等的块的情况、以及是未编码 的块的情况等），无法作为预测运动矢量候选来利用。

在本实施方式中，将无法作为预测运动矢量候选来利用称为不可预测 候选。此外，将能够作为预测运动矢量候选来利用称为可预测候选。此外， 在多个预测运动矢量候选中，将与其他任一预测运动矢量的值一致的候选 称为重复候选。

在图3的情况下，相邻块C是通过帧内预测而编码的块，所以作为不 可预测候选。此外，从相邻块D生成的预测方向0的预测运动矢量sMvL0_D 与从相邻块A生成的预测方向0的预测运动矢量MvL0_A的值一致，所以 作为重复候选。

在步骤S103中，帧间预测控制部111通过后述的方法决定在预测方向 X的运动矢量编码中使用的预测运动矢量索引的值。

在步骤S104中，可变长度编码部116对于在预测方向X的运动矢量编 码中使用的预测运动矢量候选的预测运动矢量索引分配与图6所示那样的 预测运动矢量候选列表尺寸相对应的比特串，并进行可变长度编码。

在本实施方式中，如图15A（a）及图16A（a）所示，作为与相邻块A 对应的预测运动矢量索引的值而分配“0”。此外，作为与相邻块B对应的预 测运动矢量索引的值而分配“1”。此外，作为与co-located块对应的预测运 动矢量索引的值而分配“2”。此外，作为与相邻块C对应的预测运动矢量索 引的值而分配“3”。此外，作为与相邻块D对应的预测运动矢量索引的值而 分配“4”。

另外，预测运动矢量索引的值的分配方法并不限于该例。例如也可以 是，可变长度编码部116使用后述的方法来追加新候选的情况下等，对原 来的预测运动矢量候选（相当于第一候选）分配较小的值，对新候选分配 较大的值。即，可变长度编码部116可以对原来的预测运动矢量候选优先 分配较小的值的预测运动矢量索引。但是，在使用后述的方法使用第二候 选的情况下，对第一候选和新候选的预测运动矢量索引的值分配比第二候 选小的值。这是因为，第二候选是在预测运动矢量候选列表尺寸固定的情 况下、在第一候选和新候选数小于预测运动矢量候选列表尺寸时、对预测 运动矢量候选列表的空白要素分配的候选。

此外，预测运动矢量候选并不限于相邻块A、B、C、D的位置。例如 也可以将位于左下相邻块D之上的相邻块等作为预测运动矢量候选来使 用。此外，并不是必须将全部相邻块作为预测运动矢量候选来使用。例如， 也可以仅将相邻块A、B作为预测运动矢量候选来使用。或者也可以是，如 果相邻块D为不可预测候选，则使用相邻块A等，依次扫描相邻块。

此外，在本实施方式中，在图14的步骤S104中，可变长度编码部116 在比特流中附加预测运动矢量索引，但并不是必须在比特流中附加预测运 动矢量索引。例如也可以是，可变长度编码部116在预测运动矢量候选列 表尺寸为1的情况下，不在比特流中附加预测运动矢量索引。由此，能够 削减预测运动矢量索引的信息量。

图17A是表示图14的步骤S102的详细处理的流程图。具体地说，图 17A表示计算预测运动矢量候选及预测运动矢量候选列表尺寸的方法。以 下说明图17A。

在步骤S111中，预测运动矢量候选计算部114通过后述的方法判定预 测块候选［N］是否为可预测候选。然后，预测运动矢量候选计算部114按 照判定结果更新可预测候选数。

在此，N是用于表示各预测块候选的索引值。在本实施方式中，N取0～ 4的值。具体地说，对预测块候选［0］分配图3的相邻块A。此外，对预 测块候选［1］分配图3的相邻块B。此外，对预测块候选［2］分配co-located 块。此外，对预测块候选［3］分配图3的相邻块C。此外，对预测块候选 ［4］分配图3的相邻块D。

在步骤S112中，预测运动矢量候选计算部114根据预测块候选［N］， 使用上述的式1、式2计算预测方向X的预测运动矢量候选，并追加到预 测运动矢量候选列表中。

在步骤S113中，预测运动矢量候选计算部114如图15A及图16A所 示，从预测运动矢量候选列表检索不可预测候选及重复候选并删除。

在步骤S114中，预测运动矢量候选计算部114通过后述的方法在预测 运动矢量候选列表中追加新候选。在此可以是，在追加新候选时，预测运 动矢量候选计算部114像原来对某预测运动矢量候选优先分配较小的预测 运动矢量索引那样，进行预测运动矢量索引的值的再分配。即，预测运动 矢量候选计算部114可以像对新候选分配值较大的预测运动矢量索引那样， 进行预测运动矢量索引的值的再分配。由此，能够削减预测运动矢量索引 的符号量。

在步骤S115中，预测运动矢量候选计算部114将在步骤S111中计算 出的可预测候选数设定为预测运动矢量候选列表尺寸。在图15A及图16A 的例子，通过后述的方法，预测方向0的可预测候选数计算为“4”，对预测 方向0的预测运动矢量候选列表尺寸设定“4”。此外，预测方向1的可预测 候选数计算为“4”，对预测方向1的预测运动矢量候选列表尺寸设定“4”。

另外，步骤S114中的新候选指的是，通过后述的方法而预测运动矢量 候选数未达到可预测候选数的情况下，对预测运动矢量候选新追加的候选。 例如可以是，新候选是从位于图3的左下相邻块D之上的相邻块生成的预 测运动矢量。此外，新候选例如也可以是从与co-located块的相邻块A、B、 C、D对应的块生成的预测运动矢量。此外，新候选例如可以是根据参照图 片的画面整体或一定区域的运动矢量的统计等计算的预测运动矢量。这样， 在预测运动矢量候选数未达到可预测候选数的情况下，预测运动矢量候选 计算部114通过将新的预测运动矢量作为新候选而追加，能够提高编码效 率。

图18是表示图17A的步骤S111的详细处理的流程图。具体地说，图 18是表示判定预测块候选［N］是否为可预测候选并更新可预测候选数的 方法。以下说明图18。

在步骤S121中，预测运动矢量候选计算部114判定预测块候选［N］ 是否为（1）通过帧内预测而编码的块、或（2）位于包含编码对象块的切 片或图片边界外的块、或（3）尚未编码的块。

在此，如果步骤S121的判定结果为真（步骤S121：是），则在步骤S122 中，预测运动矢量候选计算部114将预测块候选［N］设定为不可预测候选。 另一方面，如果步骤S121的判定结果为伪（步骤S121：否），则在步骤S123 中，预测运动矢量候选计算部114将预测块候选［N］设定为可预测候选。

在步骤S124中，预测运动矢量候选计算部114判定预测块候选［N］ 是否为可预测候选或是否为co-located块候选。在此，如果步骤S124的判 定结果为真（步骤S124：是），则在步骤S5中，预测运动矢量候选计算部 114对可预测候选数加1，更新预测运动矢量候选数。另一方面，如果步骤 S124的判定结果为伪（步骤S124：否），则预测运动矢量候选计算部114 不更新可预测候选数。

这样，预测块候选为co-located块的情况下，预测运动矢量候选计算部 114不论co-located块是可预测候选还是不可预测候选，都对可预测候选数 加1。由此，即使在丢包等co-located块的信息丢失的情况下，在运动图像 编码装置和运动图像解码装置之间也不会发生可预测候选数不一致。

该可预测候选数在图17A的步骤S115中被设定为预测运动矢量候选列 表尺寸。此外，在图14的步骤S104中，预测运动矢量候选列表尺寸用于 预测运动矢量索引的可变长度编码。由此，即使在丢失了包含co-located块 等的参照图片信息的情况下，运动图像编码装置100也能够生成能够正确 解码预测运动矢量索引的比特流。

图19A是表示图17A的步骤S114的详细处理的流程图。具体地说， 图19A表示追加新候选的方法。以下说明图19A。

在步骤S131中，预测运动矢量候选计算部114判定预测运动矢量候选 数是否小于可预测候选数。即，预测运动矢量候选计算部114判定预测运 动矢量候选数是否未达到可预测候选数。

在此，如果步骤S131的判定结果为真（步骤S131：是），则在步骤S132 中，预测运动矢量候选计算部114判定是否存在能够作为预测运动矢量候 选追加到预测运动矢量候选列表中的新候选。在此，如果步骤S132的判定 结果为真（步骤S132：是），则在步骤S133中，预测运动矢量候选计算部 114对新候选分配预测运动矢量索引的值，将新候选追加到预测运动矢量候 选列表中。此外，在步骤S134中，预测运动矢量候选计算部114对预测运 动矢量候选数加1。

另一方面，如果步骤S131或步骤S132的判定结果为伪（步骤S131或 步骤S132：否），则结束新候选追加处理。即，在预测运动矢量候选数达到 可预测候选数的情况下、或不存在新候选的情况下，结束新候选追加处理。

图20是表示图14的步骤S103的详细处理的流程图。具体地说，图20 表示与预测运动矢量候选的选择有关的处理。以下说明图20。

在步骤S141中，帧间预测控制部111作为初始化而对预测运动矢量候 选索引mvp_idx设定0，对最小差分运动矢量设定值的最大值。

在步骤S142中，帧间预测控制部111判定预测运动矢量候选索引 mvp_idx的值是否小于预测运动矢量候选数。即，帧间预测控制部111判定 是否已计算了全部预测运动矢量候选的差分运动矢量。

在此，如果仍残留有预测运动矢量候选（步骤S142：是），则在步骤 S143中，帧间预测控制部111从通过运动检测求出的运动矢量（运动检测 结果矢量）减去预测运动矢量候选，从而计算差分运动矢量。

在步骤S144中，帧间预测控制部111判定由步骤S143求出的差分运 动矢量的值是否小于最小差分运动矢量。

在此，如果步骤S144的判定结果为真（步骤S144：是），则在步骤S145 中，帧间预测控制部111更新最小差分运动矢量及预测运动矢量索引的值。 另一方面，如果步骤S144的判定结果为伪（步骤S144：否），则帧间预测 控制部111不更新最小差分运动矢量及预测运动矢量索引的值。

在步骤S146中，帧间预测控制部111通过＋1来更新预测运动矢量候 选索引，返回步骤S142并判定是否存在下一预测运动矢量候选。

另一方面，在步骤S142中，如果判定为已经对于全部预测运动矢量候 选计算了差分运动矢量（步骤S142：否），则在步骤S147中，帧间预测控 制部111确定最终设定的最小差分运动矢量及预测运动矢量索引。

这样，根据本实施方式的运动图像编码装置100，能够通过不依赖于包 含co-located块等的参照图片信息的方法，计算在对预测运动矢量索引进行 编码或解码时使用的预测运动矢量候选列表尺寸。由此，运动图像编码装 置100能够提高容错性。

更具体地说，本实施方式的运动图像编码装置100无论co-located块是 否为可预测候选，只要预测块候选是co-located块，总是对可预测候选数加 1。并且，运动图像编码装置100使用这样计算的可预测候选数，决定对预 测运动矢量索引分配的比特串。由此，运动图像编码装置100即使在丢失 了包含co-located块的参照图片信息的情况下，也能够生成能够正确解码预 测运动矢量索引的比特流。

此外，本实施方式的运动图像编码装置100在预测运动矢量候选数未 达到可预测候选数的情况下，作为预测运动矢量候选而追加具备新的预测 运动矢量的新候选，从而能够提高编码效率。

另外，在本实施方式中，运动图像编码装置100在预测运动矢量候选 数未达到可预测候选数的情况下，作为预测运动矢量候选而追加具备新的 预测运动矢量的新候选，但是不限于此。例如也可以是，运动图像编码装 置100在制作预测运动矢量候选列表时，作为预测运动矢量候选列表上的 全部预测运动矢量候选的初始值而预先设定具备新的预测运动矢量的新候 选。这种情况下，运动图像编码装置100计算预测运动矢量候选并追加到 预测运动矢量候选列表中时，将作为初始值的新候选覆盖。并且，运动图 像编码装置100在将计算出的预测运动矢量候选追加到预测运动矢量候选 列表之前，进行预测运动矢量候选是否为不可预测候选或重复候选的判定。 由此，在存在不可预测候选或重复候选的情况下，在预测运动矢量候选列 表中残留有作为初始值的新候选。通过这样的方法，也能够将新候选作为 预测运动矢量候选而追加。

另外，在本实施方式中，运动图像编码装置100与co-located块是否是 可预测候选无关地，只要预测块候选为co-located块则始终加上1，使用由 此计算出的可预测候选数决定分配给预测运动矢量索引的比特列，但是不 限于此。

例如，运动图像编码装置100也可以在图18的步骤S124中，针对 co-located块以外的预测块候选也始终加上1，使用由此计算出的可预测候 选数决定分配给预测运动矢量索引的比特列。即，运动图像编码装置100 可以使用固定为预测运动矢量候选数的最大值M的预测运动矢量候选列表 尺寸，决定分配给预测运动矢量索引的比特列。即，运动图像编码装置100 可以将全部预测块候选视为可预测候选，将预测运动矢量候选列表尺寸固 定为预测运动矢量候选数的最大值M，对预测运动矢量索引进行编码。

例如，在本实施方式中，由于预测运动矢量候选数的最大值M为5（相 邻块A、相邻块B、co-located块、相邻块C、相邻块D），所以，运动图像 编码装置100可以始终在预测运动矢量候选列表尺寸中设定5，对预测运动 矢量索引进行编码。并且，例如，在预测运动矢量候选数的最大值M为4 （相邻块A、相邻块B、相邻块C、相邻块D）的情况下，运动图像编码装 置100可以始终在预测运动矢量候选列表尺寸中设定4，对预测运动矢量索 引进行编码。

这样，运动图像编码装置100可以根据预测运动矢量候选数的最大值 M来决定预测运动矢量候选列表尺寸。由此，能够生成运动图像解码装置 的可变长度解码部不参照相邻块和co-located块的信息就能够对比特流中 的预测运动矢量索引进行解码的比特流，能够削减可变长度解码单元的处 理量。

并且，可以将预测运动矢量候选数的最大值M写入SPS（Sequence  Parameter Set）、PPS（Picture Parameter Set）或切片头等中。由此，能够根 据编码对象图片来切换预测运动矢量候选数的最大值M，能够实现处理量 的削减和编码效率的提高。

例如，考虑在不参照co-located块的图片（参照I图片的B图片和P图 片）的情况下，将预测运动矢量候选数的最大值设定为4（相邻块A、相邻 块B、相邻块C、相邻块D），在参照co-located块的图片的情况下，将预 测运动矢量候选数的最大值设定为5（相邻块A、相邻块B、co-located块、 相邻块C、相邻块D），写入SPS（Sequence Parameter Set）、PPS（Picture  Parameter Set）或切片头等中等。

（实施方式2）

根据图21～图24对使用本实施方式的运动图像解码方法的运动图像解 码装置进行说明。

[2-1.运动图像解码装置的构成]

首先，根据图21对运动图像解码装置的构成进行说明。图21是表示 实施方式3的运动图像解码装置300的构成的框图。

运动图像解码装置300如图21所示，具备：可变长度解码部301、逆 量化部302、逆正交变换部303、加法部304、块存储器305、帧存储器306、 帧内预测部307、帧间预测部308、帧间预测控制部309、开关310、预测 运动矢量候选计算部311、及colPic存储器312。

可变长度解码部301对输入的比特流进行可变长度解码处理，生成图 片类型信息、预测方向标志、量化系数及差分运动矢量。此外，可变长度 解码部301使用后述的可预测候选数，进行预测运动矢量索引的可变长度 解码处理。

逆量化部302对通过可变长度解码处理得到的量化系数进行逆量化处 理。逆正交变换部303将通过逆量化处理得到的正交变换系数从频域变换 为图像区域，从而生成预测误差数据。在块存储器305中，以块为单位保 存有通过将预测误差数据和预测图像数据相加而生成的解码图像数据。在 帧存储器306中以帧为单位保存有解码图像数据。

帧内预测部307使用保存在块存储器305中的块单位的解码图像数据 来进行帧内预测，从而生成解码对象块的预测图像数据。帧间预测部308 使用保存在帧存储器306中的帧单位的解码图像数据来进行帧间预测，从 而生成解码对象块的预测图像数据。

开关310在解码对象块被进行帧内预测解码的情况下，将由帧内预测 部307生成的帧内预测图像数据作为解码对象块的预测图像数据输出至加 法部304。另一方面，开关310在解码对象块被进行帧间预测解码的情况下， 将由帧间预测部308生成的帧间预测图像数据作为解码对象块的预测图像 数据输出至加法部304。

预测运动矢量候选计算部311使用解码对象块的相邻块的运动矢量等 及存放在colPic存储器312中的co-located块的运动矢量等colPic信息，通 过后述的方法导出预测运动矢量指定模式的预测运动矢量候选。此外，预 测运动矢量候选计算部311对导出的各预测运动矢量候选分配预测运动矢 量索引的值。然后，预测运动矢量候选计算部311将预测运动矢量候选和 预测运动矢量索引发送给帧间预测控制部309。

帧间预测控制部309基于解码后的预测运动矢量索引，从预测运动矢 量候选选择用于帧间预测的预测运动矢量。然后，帧间预测控制部309根 据预测运动矢量及差分运动矢量计算解码对象块的运动矢量。然后，帧间 预测控制部309使用计算出的运动矢量，使帧间预测部308生成帧间预测 图像。此外，帧间预测控制部309将包含解码对象块的运动矢量等的colPic 信息传送给colPic存储器312。

最后，加法部304通过将预测图像数据和预测误差数据相加，生成解 码图像数据。

[1-2.运动图像编码方法的处理顺序]

接着，根据图22对由运动图像编码装置执行的运动图像编码方法的处 理顺序进行说明。图22是表示实施方式3的运动图像解码装置300的处理 动作的流程图。

在步骤S301中，可变长度解码部301对预测方向标志及参照图片索引 进行解码。然后，根据解码后的预测方向标志来决定预测方向X的值，进 行以下的步骤S302至步骤S305的处理。

在步骤S302中，预测运动矢量候选计算部311通过后述的方法计算可 预测候选数。然后，预测运动矢量候选计算部311将计算出的可预测候选 数设定为预测运动矢量候选列表尺寸。

在步骤S303中，可变长度解码部301使用计算出的预测运动矢量候选 列表尺寸，对比特流中的预测运动矢量索引进行可变长度解码。

在步骤S304中，预测运动矢量候选计算部311通过后述的方法，从解 码对象块的相邻块及co-located块生成预测运动矢量候选。

在步骤S305中，帧间预测控制部309将解码后的预测运动矢量索引所 示的预测运动矢量候选与解码后的差分运动矢量相加，计算运动矢量。然 后，帧间预测控制部309使用计算出的运动矢量，使帧间预测部308生成 帧间预测图像。

另外，也可以是，由步骤S302计算的预测运动矢量候选列表尺寸为“1” 的情况下，预测运动矢量索引不解码而推定为0。

图23是表示图22的步骤S302的详细处理的流程图。具体地说，图23 表示判定预测块候选［N］是否为可预测候选并计算可预测候选数的方法。 以下说明图23。

在步骤S311中，预测运动矢量候选计算部311判定预测块候选［N］ 是否为（1）通过帧内预测而解码的块、或（2）位于包含解码对象块的切 片或图片边界外的块、或（3）尚未解码的块。

在此，如果步骤S311的判定结果为真（步骤S311：是），则在步骤S312 中，预测运动矢量候选计算部311将预测块候选［N］设定为不可预测候选。 另一方面，如果步骤S311的判定结果为伪（S311：否），则在步骤S313中， 预测运动矢量候选计算部311将预测块候选［N］设定为可预测候选。

在步骤S314中，预测运动矢量候选计算部311判定预测块候选［N］ 是否为可预测候选或co-located块候选。在此，如果步骤S314的判定结果 为真（步骤S314：是），则在步骤S5中，预测运动矢量候选计算部311将 可预测候选数加1而将值更新。另一方面，如果步骤S314为伪（步骤S314： 否），则预测运动矢量候选计算部311不更新可预测候选数。

这样，预测块候选为co-located块的情况下，预测运动矢量候选计算部 311无论co-located块是可预测候选还是不可预测候选，都将可预测候选数 加1。由此，即使在丢包等co-located块的信息丢失的情况下，在运动图像 编码装置与运动图像解码装置之间也不发生可预测候选数不一致。

在图22的步骤S302中，将可预测候选数设定为预测运动矢量候选列 表尺寸。此外，在图22的步骤S303中，预测运动矢量候选列表尺寸用于 预测运动矢量索引的可变长度解码。由此，即使在丢失了包含co-located块 等的参照图片信息的情况下，运动图像解码装置300也能够将预测运动矢 量索引正常地解码。

图24是表示图22的步骤S304的详细处理的流程图。具体地说，图24 表示计算预测运动矢量候选的方法。以下说明图24。

在步骤S321中，预测运动矢量候选计算部311使用上述的式1、式2。 根据预测块候选［N］计算预测方向X的预测运动矢量候选，并追加到预 测运动矢量候选列表中。

在步骤S322中，预测运动矢量候选计算部311如图15A及图16A所 示，从预测运动矢量候选列表检索不可预测候选及重复候选并删除。

在步骤S323中，预测运动矢量候选计算部311通过与图19A同样的方 法，在预测运动矢量候选列表中追加新候选。

图25是表示在比特流中附加预测运动矢量索引时的语法的一例的图。 在图25中，inter_pred_flag表示预测方向标志，mvp_idx表示预测运动矢量 索引。NumMVPCand表示预测运动矢量候选列表尺寸，在本实施方式中， 设定通过图23的处理流程计算的可预测候选数。

这样，根据本实施方式的运动图像解码装置300，能够通过不依赖于包 含co-located块等的参照图片信息的方法，来计算在对预测运动矢量索引进 行编码或解码时使用的预测运动矢量候选列表尺寸。由此，运动图像解码 装置300能够将提高了容错性的比特流适当地解码。

更具体地说，本实施方式的运动图像解码装置300无论co-located块是 否为可预测候选，只要预测块候选是co-located块，就总是将可预测候选数 加1。并且，运动图像解码装置300使用这样计算的可预测候选数来决定对 预测运动矢量索引分配的比特串。由此，运动图像解码装置300即使在丢 失了包含co-located块的参照图片信息的情况下，也能够将预测运动矢量索 引正常地解码。

此外，本实施方式的运动图像解码装置300，在预测运动矢量候选数为 达到可预测候选数的情况下，将具备新的预测运动矢量的新候选作为预测 运动矢量候选而追加，从而能够将提高了编码效率的比特流适当地解码。

另外，在本实施方式中，运动图像解码装置300在预测运动矢量候选 数未达到可预测候选数的情况下，将具备新的预测运动矢量的新候选作为 预测运动矢量候选而追加，但是不限于此。例如也可以是，与上述实施方 式1同样，运动图像解码装置300制作预测运动矢量候选列表时，作为预 测运动矢量候选列表上的全部预测运动矢量候选的初始值而设定具备新的 预测运动矢量的新候选。

另外，本实施方式的运动图像解码装置300与co-located块是否是可预 测候选无关地，只要预测块候选为co-located块则始终加上1，使用由此计 算出的可预测候选数决定分配给预测运动矢量索引的比特列，但是不限于 此。

例如，运动图像解码装置300也可以在图23的步骤S314中，针对 co-located块以外的预测块候选也始终加上1，使用由此计算出的可预测候 选数决定分配给预测运动矢量索引的比特列。即，运动图像解码装置300 可以使用固定为预测运动矢量候选数的最大值M的预测运动矢量候选列表 尺寸，决定分配给预测运动矢量索引的比特列。即，运动图像解码装置300 可以将全部预测块候选视为可预测候选，将预测运动矢量候选列表尺寸固 定为预测运动矢量候选数的最大值M，对预测运动矢量索引进行解码。

例如，在本实施方式中，由于预测运动矢量候选数的最大值M为5（相 邻块A、相邻块B、co-located块、相邻块C、相邻块D），所以，运动图像 解码装置300可以始终在预测运动矢量候选列表尺寸中设定5，对预测运动 矢量索引进行解码。并且，如不参照co-located块的图片（参照I图片的B 图片和P图片）那样，在预测运动矢量候选数的最大值M为4（相邻块A、 相邻块B、相邻块C、相邻块D）的情况下，运动图像解码装置300可以始 终在预测运动矢量候选列表尺寸中设定4，对预测运动矢量索引进行编码。

由此，运动图像解码装置300的可变长度解码部301不参照相邻块和 co-located块的信息就能够对比特流中的预测运动矢量索引进行解码。例如， 能够省略图23的步骤S314、步骤S315的处理等，能够削减可变长度解码 部301的处理量。

图26是表示将预测运动矢量候选列表尺寸固定为预测运动矢量候选数 的最大值M的情况下的语法的一例的图。如图26所示，在将预测运动矢量 候选列表尺寸固定为预测运动矢量候选数的最大值的情况下，与图25相比， 能够将NumMVPCand从语法删除。

并且，也可以从SPS、PPS或切片头等取得预测运动矢量候选数的最大 值M。由此，能够根据解码对象图片来切换预测运动矢量候选数的最大值 M，能够实现处理量的削减和编码效率的提高，能够正确地对比特流进行解 码。

（实施方式1和实施方式2的变形例）

在上述实施方式1和实施方式2中，在将预测运动矢量候选列表尺寸 固定为预测运动矢量候选数的最大值（相当于2个以上的固定数的一例） 的情况下，在预测运动矢量候选列表存在空白时，为了提高容错性，也可 以在预测运动矢量候选列表的空白部分插入规定的用于提高容错性的预测 运动矢量候选（第二候选）。

作为第二候选，例如，可以分配运动矢量的大小为（0,0）的预测运动 矢量候选。由于第二候选是用于提高容错性的候选，所以，在追加多个第 二候选的情况下，也可以设定为全部相同的值。另外，由于新候选是用于 提高编码效率的候选，所以，在追加多个新候选的情况下，追加不同的候 选。但是，其结果，新候选与第一候选和第二候选之间可以存在相同的候 选。

另外，作为分配第二候选的方法，考虑（1）在追加新候选后对空白候 选分配第二候选、或（2）在预测运动矢量候选列表的全部要素中插入第二 候选进行初始化。

首先，在运动图像编码装置100和运动图像解码装置300中，说明（1） 在追加新候选后对空白候选分配第二候选的情况。

这里，图15B是表示预测方向0的预测运动矢量候选列表的一例的表。 并且，图16B是表示预测方向1的预测运动矢量候选列表的一例的表。

在图15B和图16B中，示出在追加新候选后对空白候选分配第二候选 的情况下的预测运动矢量候选列表，例示了预测运动矢量候选数的最大值 M为5的情况（N=0～4）。

图17B是表示在追加新候选后对空白候选分配第二候选的情况下的预 测运动矢量候选的计算顺序的流程图。另外，对与图17A相同的处理使用 相同符号。该计算顺序是与由运动图像编码装置100执行的图14的步骤 S102对应的处理，还对应于由运动图像解码装置300执行的图22的步骤 S304的处理。并且，由于预测运动矢量候选列表尺寸固定为最大值M，所 以不需要进行计算。

在步骤S151中，运动图像编码装置100的预测运动矢量候选计算部114 通过上述的方法判定预测块候选［N］是否为可预测候选。

在步骤S112中，预测运动矢量候选计算部114根据预测块候选［N］， 使用上述的式1、式2计算预测方向X的预测运动矢量候选，并追加到预 测运动矢量候选列表中。

在步骤S113中，预测运动矢量候选计算部114从预测运动矢量候选列 表检索不可预测候选及重复候选并删除。

在步骤S114中，预测运动矢量候选计算部114在预测运动矢量候选列 表中追加新候选。这里，图19B是表示预测运动矢量候选列表尺寸被固定 的情况下的新候选的追加顺序的流程图。图19B与图19A的不同之处仅在 于步骤S131的判定方法，不是可预测候选数，而是在达到预测运动矢量候 选列表尺寸之前，能够追加新候选。

在步骤S155中，预测运动矢量候选计算部114如图15B的（b）和图 16B的（b）所示，在预测运动矢量候选列表的最后追加第二候选。作为第 二候选，例如存在运动矢量的大小为（0,0）的预测运动矢量候选。

这里，图27是表示对空白候选分配第二候选的处理顺序的流程图。

在步骤S171中，预测运动矢量候选计算部114判定预测运动矢量候选 列表尺寸（例如最大值M）-预测运动矢量候选是否为0以上。即，判定预 测运动矢量候选列表中是否存在空白要素。

如果步骤S171的判定结果为真（步骤S171：是），则在步骤S172中， 预测运动矢量候选计算部114在预测运动矢量候选列表的空白要素中追加 第二候选。进而，在步骤S173中，预测运动矢量候选计算部114对预测运 动矢量候选数加1。

如果步骤S171的判定结果为伪（步骤S171：否），则预测运动矢量候 选计算部114结束第二候选的追加。此时，预测运动矢量候选列表成为图 15B的（b）和图16B的（b）所示的状态。

另外，这里，对运动图像编码装置100的预测运动矢量候选计算部114 的处理进行了说明，但是，在通过运动图像解码装置300的预测运动矢量 候选计算部311计算预测运动矢量候选列表的情况下，通过进行相同处理， 也能够正常地对预测运动矢量索引进行解码。

接着，在运动图像编码装置100和运动图像解码装置300中，说明（2） 在预测运动矢量候选列表的全部要素中插入第二候选进行初始化的情况。

这里，图15C是表示预测方向0的预测运动矢量候选列表的一例的表。 并且，图16C是表示预测方向1的预测运动矢量候选列表的一例的表。

在图15C和图16C中，示出利用第二候选对预测运动矢量候选列表进 行初始化的情况下的各处理中的预测运动矢量候选列表。在图15C和图16C 中例示出预测运动矢量候选数的最大值M为5的情况（N=0～4）。

图17C是表示利用第二候选对预测运动矢量候选列表进行初始化的情 况下的预测运动矢量候选的计算顺序的流程图。该计算顺序是与由运动图 像编码装置100执行的图14的步骤S102对应的处理，还对应于由运动图 像解码装置300执行的图22的步骤S304的处理。并且，由于预测运动矢 量候选列表尺寸固定为最大值M，所以不需要进行计算。另外，在图17C 中，N1是表示相邻块的值。

在步骤S161中，运动图像编码装置100的预测运动矢量候选计算部114 在全部预测运动矢量候选[N1]（N1=0～4）中设定第二候选。作为第二候选， 例如存在运动矢量的大小为（0,0）的预测运动矢量候选。

在步骤S162中，预测运动矢量候选计算部114判定从相邻块N1得到 的预测矢量候选是否是不可预测候选或重复候选。

如果步骤S162的判定结果为真（步骤S162：是），则对下一个相邻块 N1进行步骤S162的判定。如果步骤S162的判定结果为伪（步骤S162：否）， 则在步骤S163中，预测运动矢量候选计算部114取得相邻块N1的预测运 动矢量候选，更新预测运动矢量候选列表。此时，预测运动矢量候选计算 部114对相邻块N1分配被分配第二候选的预测运动矢量索引中的值最小的 预测运动矢量索引。然后，预测运动矢量候选计算部114在所分配的预测 运动矢量索引的预测运动矢量候选中覆盖相邻块N1的预测运动矢量候选。

在步骤S164中，预测运动矢量候选计算部114在预测运动矢量候选列 表中追加新候选。这里，预测运动矢量候选计算部114通过图19B所示的 方法追加新候选。

此时，预测运动矢量候选列表成为图15C的（c）和图16C的（c）所 示的状态。

另外，这里，对运动图像编码装置100的预测运动矢量候选计算部114 的处理进行了说明，但是，在通过运动图像解码装置300的预测运动矢量 候选计算部311计算预测运动矢量候选列表的情况下，通过进行相同处理， 也能够正常地对预测运动矢量索引进行解码。

这里，图15B的（b）所示的预测运动矢量候选列表和图15C的（c） 所示的预测运动矢量候选列表相同，图16B的（b）所示的预测运动矢量候 选列表和图16C的（c）所示的预测运动矢量候选列表相同，所以，可知， 使用（1）在追加新候选后对空白候选分配第二候选的方法、和（2）在预 测运动矢量候选列表的全部要素中插入第二候选进行初始化的方法中的任 意一方，均能够得到相同的预测运动矢量候选列表。

另外，在本变形例中，示出分配运动矢量为（0,0）的预测运动矢量候 选作为第二候选的例子，但是不限于此。例如，也可以复制对其他预测运 动矢量索引分配的预测运动矢量候选。并且，也可以取对其他预测运动矢 量索引分配的预测运动矢量候选的运动矢量的大小的平均等，根据对其他 预测运动矢量索引分配的预测运动矢量候选而生成。

另外，在上述变形例中，作为分配第二候选的方法，说明了（1）在追 加新候选（第三候选）后对空白候选分配第二候选、或（2）在预测运动矢 量候选列表的全部要素中插入第二候选进行初始化的方法，但是不限于此。

例如，在图22的步骤S305中，运动图像解码装置300的预测运动矢 量候选计算部311也可以不生成没有空白要素的预测运动矢量候选列表， 仅在解码后的预测运动矢量索引所表示的要素为空白要素的情况下，仅对 该空白要素追加第二候选。该情况下，能够削减处理量。

并且，例如，在图22的步骤S305中，预测运动矢量候选计算部311 也可以判定解码后的预测运动矢量索引是否为预测运动矢量索引的最大值 以上，如果为真，则分配第二候选。并且，例如，在图22的步骤S305中， 预测运动矢量候选计算部311也可以判定解码后的预测运动矢量索引是否 为预测运动矢量索引的最大值以上，如果为真，则利用预测运动矢量索引 的最大值对预测运动矢量索引的值进行限幅处理，以使得预测运动矢量索 引成为比预测运动矢量索引的最大值小的值。

另外，例如，在运动图像解码装置300中，在预测运动矢量候选的重 复候选删除产生错误的情况下，对应于丢失co-located块的信息这样的丢 包，即使能够正常地对预测运动矢量索引进行解码，有时也会产生未对解 码后的预测运动矢量索引分配预测运动矢量候选的状况。并且，例如，在 运动图像编码装置100侧误将具有预测运动矢量候选数以上的值的预测运 动矢量索引附加到比特流的情况下，有时也会产生未对解码后的预测运动 矢量索引分配预测运动矢量候选的状况。

在上述变形例中，由于对预测运动矢量候选列表的空白要素分配第二 候选，所以，能够避免未对预测运动矢量索引分配预测运动矢量候选的状 况。

（实施方式3）

通过将用来实现上述各实施方式所示的运动图像编码方法（图像编码 方法）或运动图像解码方法（图像解码方法）的结构的程序记录到存储介 质中，能够将上述各实施方式所示的处理在独立的计算机系统中简单地实 施。存储介质是磁盘、光盘、光磁盘、IC卡、半导体存储器等，只要是能 够记录程序的介质就可以。

进而，这里说明在上述各实施方式中示出的运动图像编码方法（图像 编码方法）及运动图像解码方法（图像解码方法）的应用例和使用它的系 统。该系统的特征在于，具有由使用图像编码方法的图像编码装置及使用 图像解码方法的图像解码装置构成的图像编码解码装置。关于系统的其他 结构，可以根据情况而适当变更。

图28是表示实现内容分发服务的内容供给系统ex100的整体结构的 图。将通信服务的提供区划分为希望的大小，在各小区内分别设置有作为 固定无线站的基站ex106、ex107、ex108、ex109、ex110。

该内容供给系统ex100在因特网ex101上经由因特网服务提供商ex102 及电话网ex104、及基站ex107～ex110连接着计算机ex111、PDA（Personal  Digital Assistant）ex112、照相机ex113、便携电话ex114、游戏机ex115等 的各设备。

但是，内容供给系统ex100并不限定于图28那样的结构，也可以将某 些要素组合连接。此外，也可以不经由作为固定无线站的基站ex107～ex110 将各设备直接连接在电话网ex104上。此外，也可以将各设备经由近距离 无线等直接相互连接。

照相机ex113是能够进行数字摄像机等的运动图像摄影的设备，照相 机ex116是能够进行数字照相机等的静止图像摄影、运动图像摄影的设备。 此外，便携电话ex114是GSM（Global System for Mobile Communications） 方式、CDMA（Code Division Multiple Access）方式、W－CDMA（Wideband －Code Division Multiple Access）方式、或LTE（Long Term Evolution）方 式、HSPA（High Speed Packet Access）的便携电话机、或PHS（Personal  Handyphone System）等，是哪种都可以。

在内容供给系统ex100中，通过将照相机ex113等经由基站ex109、电 话网ex104连接在流媒体服务器ex103上，能够进行现场转播等。在现场转 播中，对用户使用照相机ex113摄影的内容（例如音乐会现场的影像等） 如在上述各实施方式中说明那样进行编码处理（即，作为本发明的一个方 式的图像编码装置发挥作用），向流媒体服务器ex103发送。另一方面，流 媒体服务器ex103将发送来的内容数据对有请求的客户端进行流分发。作 为客户端，有能够将上述编码处理后的数据解码的计算机ex111、 PDAex112、照相机ex113、便携电话ex114、游戏机ex115等。在接收到分 发的数据的各设备中，将接收到的数据解码处理而再现（即，作为本发明 的一个方式的图像解码装置发挥作用）。

另外，摄影的数据的编码处理既可以由照相机ex113进行，也可以由 进行数据的发送处理的流媒体服务器ex103进行，也可以相互分担进行。 同样，分发的数据的解码处理既可以由客户端进行，也可以由流媒体服务 器ex103进行，也可以相互分担进行。此外，并不限于照相机ex113，也可 以将由照相机ex116摄影的静止图像及/或运动图像数据经由计算机ex111 向流媒体服务器ex103发送。此情况下的编码处理由照相机ex116、计算机 ex111、流媒体服务器ex103的哪个进行都可以，也可以相互分担进行。

此外，这些编码解码处理一般在计算机ex111或各设备具有的LSIex500 中处理。LSIex500既可以是单芯片，也可以是由多个芯片构成的结构。另 外，也可以将运动图像编码解码用的软件装入到能够由计算机ex111等读取 的某些记录介质（CD－ROM、软盘、硬盘等）中、使用该软件进行编码解 码处理。进而，在便携电话ex114是带有照相机的情况下，也可以将由该 照相机取得的运动图像数据发送。此时的运动图像数据是由便携电话ex114 具有的LSIex500编码处理的数据。

此外，也可以是，流媒体服务器ex103是多个服务器或多个计算机， 是将数据分散处理、记录、及分发的。

如以上这样，在内容供给系统ex100中，客户端能够接收编码的数据 而再现。这样，在内容供给系统ex100中，客户端能够将用户发送的信息 实时地接收、解码、再现，即使是没有特别的权利或设备的用户也能够实 现个人广播。

另外，并不限定于内容供给系统ex100的例子，如图29所示，在数字 广播用系统ex200中也能够装入上述实施方式的至少运动图像编码装置（图 像编码装置）或运动图像解码装置（图像解码装置）的某个。具体而言， 在广播站ex201中，将对影像数据复用了音乐数据等而得到的复用数据经 由电波向通信或广播卫星ex202传送。该影像数据是通过上述各实施方式 中说明的运动图像编码方法编码后的数据（即，通过本发明的一个方式的 图像编码装置编码后的数据）。接受到该数据的广播卫星ex202发出广播用 的电波，能够对该电波进行卫星广播接收的家庭的天线ex204接收该电波， 通过电视机（接收机）ex300或机顶盒（STB）ex217等的装置将接收到的 复用数据解码并将其再现（即，作为本发明的一个方式的图像解码装置发 挥作用）。

此外，也可以是，在将记录在DVD、BD等的记录介质ex215中的复 用数据读取并解码、或将影像数据编码再根据情况与音乐信号复用而写入 记录介质ex215中的读取器/记录器ex218中也能够安装上述各实施方式所 示的运动图像解码装置或运动图像编码装置。在此情况下，可以将再现的 影像信号显示在监视器ex219上，通过记录有复用数据的记录介质ex215 在其他装置或系统中能够再现影像信号。此外，也可以是，在连接在有线 电视用的线缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内 安装运动图像解码装置，将其用电视机的监视器ex219显示。此时，也可 以不是在机顶盒、而在电视机内装入运动图像解码装置。

图30是表示使用在上述各实施方式中说明的运动图像解码方法及运动 图像编码方法的电视机（接收机）ex300的图。电视机ex300具备经由接收 上述广播的天线ex204或线缆ex203等取得或者输出对影像数据复用了声音 数据的复用数据的调谐器ex301、将接收到的复用数据解调或调制为向外部 发送的编码数据的调制/解调部ex302、和将解调后的复用数据分离为影像 数据、声音数据或将在信号处理部ex306中编码的影像数据、声音数据复 用的复用/分离部ex303。

此外，电视机ex300具备：具有将声音数据、影像数据分别解码、或 将各自的信息编码的声音信号处理部ex304和影像信号处理部ex305（即， 作为本发明的一个方式的图像编码装置或图像解码装置发挥作用）的信号 处理部ex306；具有将解码后的声音信号输出的扬声器ex307及显示解码后 的影像信号的显示器等的显示部ex308的输出部ex309。进而，电视机ex300 具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进而， 电视机ex300具有合并控制各部的控制部ex310、对各部供给电力的电源电 路部ex311。接口部ex317也可以除了操作输入部ex312以外，还具有与读 取器/记录器ex218等的外部设备连接的桥接部ex313、用来能够安装SD卡 等的记录介质ex216的插槽部ex314、用来与硬盘等的外部记录介质连接的 驱动器ex315、与电话网连接的调制解调器ex316等。另外，记录介质ex216 是能够通过收存的非易失性/易失性的半导体存储元件电气地进行信息的记 录的结构。电视机ex300的各部经由同步总线相互连接。

首先，对电视机ex300将通过天线ex204等从外部取得的复用数据解码、 再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作， 基于具有CPU等的控制部ex310的控制，将由调制/解调部ex302解调的复 用数据用复用/分离部ex303分离。进而，电视机ex300将分离的声音数据 用声音信号处理部ex304解码，将分离的影像数据用影像信号处理部ex305 使用在上述各实施方式中说明的解码方法解码。将解码后的声音信号、影 像信号分别从输出部ex309朝向外部输出。在输出时，可以暂时将这些信 号储存到缓冲器ex318、ex319等中，以使声音信号和影像信号同步再现。 此外，电视机ex300也可以不是从广播等、而从磁/光盘、SD卡等的记录介 质ex215、ex216读出编码的复用数据。接着，对电视机ex300将声音信号 或影像信号编码、向外部发送或写入到记录介质等中的结构进行说明。电 视机ex300接受来自遥控器ex220等的用户操作，基于控制部ex310的控制， 由声音信号处理部ex304将声音信号编码，由影像信号处理部ex305将影像 信号使用在上述各实施方式中说明的编码方法编码。将编码后的声音信号、 影像信号用复用/分离部ex303复用，向外部输出。在复用时，可以暂时将 这些信号储存到缓冲器ex320、ex321等中，以使声音信号和影像信号同步 再现。另外，缓冲器ex318、ex319、ex320、ex321既可以如图示那样具备 多个，也可以是共用一个以上的缓冲器的结构。进而，在图示以外，也可 以是，在例如调制/解调部ex302或复用/分离部ex303之间等也作为避免系 统的上溢、下溢的缓冲部而在缓冲器中储存数据。

此外，电视机ex300除了从广播等或记录介质等取得声音数据、影像 数据以外，也可以具备受理麦克风或照相机的AV输入的结构，对从它们中 取得的数据进行编码处理。另外，这里，将电视机ex300作为能够进行上 述编码处理、复用、及外部输出的结构进行了说明，但也可以是，不能进 行这些处理，而是仅能够进行上述接收、解码处理、外部输出的结构。

此外，在由读取器/记录器ex218从记录介质将复用数据读出、或写入 的情况下，上述解码处理或编码处理由电视机ex300、读取器/记录器ex218 的哪个进行都可以，也可以是电视机ex300和读取器/记录器ex218相互分 担进行。

作为一例，将从光盘进行数据的读入或写入的情况下的信息再现/记录 部ex400的结构表示在图31中。信息再现/记录部ex400具备以下说明的单 元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光头ex401对作 为光盘的记录介质ex215的记录面照射激光斑而写入信息，检测来自记录 介质ex215的记录面的反射光而读入信息。调制记录部ex402电气地驱动内 置在光头ex401中的半导体激光器，根据记录数据进行激光的调制。再现 解调部ex403将由内置在光头ex401中的光检测器电气地检测到来自记录面 的反射光而得到的再现信号放大，将记录在记录介质ex215中的信号成分 分离并解调，再现所需要的信息。缓冲器ex404将用来记录到记录介质ex215 中的信息及从记录介质ex215再现的信息暂时保持。盘马达ex405使记录介 质ex215旋转。伺服控制部ex406一边控制盘马达ex405的旋转驱动一边使 光头ex401移动到规定的信息轨道，进行激光斑的追踪处理。系统控制部 ex407进行信息再现/记录部ex400整体的控制。上述的读出及写入的处理 由系统控制部ex407利用保持在缓冲器ex404中的各种信息、此外根据需要 而进行新的信息的生成、追加、并且一边使调制记录部ex402、再现解调部 ex403、伺服控制部ex406协调动作、一边通过光头ex401进行信息的记录 再现来实现。系统控制部ex407例如由微处理器构成，通过执行读出写入 的程序来执行它们的处理。

以上，假设光头ex401照射激光斑而进行了说明，但也可以是使用近 场光进行高密度的记录的结构。

在图32中表示作为光盘的记录介质ex215的示意图。在记录介质ex215 的记录面上，以螺旋状形成有导引槽（沟），在信息轨道ex230中，预先通 过沟的形状的变化而记录有表示盘上的绝对位置的地址信息。该地址信息 包括用来确定作为记录数据的单位的记录块ex231的位置的信息，通过在 进行记录及再现的装置中将信息轨道ex230再现而读取地址信息，能够确 定记录块。此外，记录介质ex215包括数据记录区域ex233、内周区域ex232、 外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233， 配置在比数据记录区域ex233靠内周或外周的内周区域ex232和外周区域 ex234用于用户数据的记录以外的特定用途。信息再现/记录部ex400对这 样的记录介质ex215的数据记录区域ex233进行编码的声音数据、影像数据 或复用了这些数据的编码数据的读写。

以上，举1层的DVD、BD等的光盘为例进行了说明，但并不限定于 这些，也可以是多层构造、在表面以外也能够记录的光盘。此外，也可以 是在盘的相同的地方使用不同波长的颜色的光记录信息、或从各种角度记 录不同的信息的层等、进行多维的记录/再现的构造的光盘。

此外，在数字广播用系统ex200中，也可以由具有天线ex205的车ex210 从卫星ex202等接收数据、在车ex210具有的车载导航仪ex211等的显示装 置上再现运动图像。另外，车载导航仪ex211的结构可以考虑例如在图30 所示的结构中添加GPS接收部的结构，在计算机ex111及便携电话ex114 等中也可以考虑同样的结构。

图33A是表示使用在上述实施方式中说明的运动图像解码方法和运动 图像编码方法的便携电话ex114的图。便携电话ex114具有由用来在与基站 ex110之间收发电波的天线ex350、能够拍摄影像、静止图像的照相机部 ex365、显示将由照相机部ex365摄影的影像、由天线ex350接收到的影像 等解码后的数据的液晶显示器等的显示部ex358。便携电话ex114还具有包 含操作键部ex366的主体部、用来进行声音输出的扬声器等的声音输出部 ex357、用来进行声音输入的麦克风等的声音输入部ex356、保存拍摄到的 影像、静止图像、录音的声音、或者接收到的影像、静止图像、邮件等的 编码后的数据或者解码后的数据的存储器部ex367、或者作为与同样保存数 据的记录介质之间的接口部的插槽部ex364。

进而，使用图33B对便携电话ex114的结构例进行说明。便携电话ex114 对于合并控制具备显示部ex358及操作键部ex366的主体部的各部的主控制 部ex360，将电源电路部ex361、操作输入控制部ex362、影像信号处理部 ex355、照相机接口部ex363、LCD（Liquid Crystal Display：液晶显示器） 控制部ex359、调制/解调部ex352、复用/分离部ex353、声音信号处理部 ex354、插槽部ex364、存储器部ex367经由总线ex370相互连接。

电源电路部ex361如果通过用户的操作使通话结束及电源键成为开启 状态，则通过从电池组对各部供给电力，便携电话ex114起动为能够动作 的状态。

便携电话ex114基于具有CPU、ROM及RAM等的主控制部ex360的 控制，在语音通话模式时，将由声音输入部ex356集音的声音信号通过声 音信号处理部ex354变换为数字声音信号，将其用调制/解调部ex352进行 波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处 理后经由天线ex350发送。此外，便携电话ex114在语音通话模式时，将由 天线ex350接收到的接收数据放大并实施频率变换处理及模拟数字变换处 理，用调制/解调部ex352进行波谱逆扩散处理，通过声音信号处理部ex354 变换为模拟声音数据后，将其经由声音输出部ex357输出。

进而，在数据通信模式时发送电子邮件的情况下，将通过主体部的操 作键部ex366等的操作输入的电子邮件的文本数据经由操作输入控制部 ex362向主控制部ex360送出。主控制部ex360将文本数据用调制/解调部 ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及 频率变换处理后，经由天线ex350向基站ex110发送。在接收电子邮件的情 况下，对接收到的数据执行上述处理的大致逆处理，并输出到显示部ex350。

在数据通信模式时，在发送影像、静止图像、或者影像和声音的情况 下，影像信号处理部ex355将从照相机部ex365供给的影像信号通过上述各 实施方式所示的运动图像编码方法进行压缩编码（即，作为本发明的一个 方式的图像编码装置发挥作用），将编码后的影像数据送出至复用/分离部 ex353。另外，声音信号处理部ex354对通过照相机部ex365拍摄影像、静 止图像等的过程中用声音输入部ex356集音的声音信号进行编码，将编码 后的声音数据送出至复用/分离部ex353。

复用/分离部ex353通过规定的方式，对从影像信号处理部ex355供给 的编码后的影像数据和从声音信号处理部ex354供给的编码后的声音数据 进行复用，将其结果得到的复用数据用调制/解调部（调制/解调电路部） ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及 频率变换处理后，经由天线ex350发送。

在数据通信模式时接收到链接到主页等的运动图像文件的数据的情况 下，或者接收到附加了影像或者声音的电子邮件的情况下，为了对经由天 线ex350接收到的复用数据进行解码，复用/分离部ex353通过将复用数据 分离，分为影像数据的比特流和声音数据的比特流，经由同步总线ex370 将编码后的影像数据向影像信号处理部ex355供给，并将编码后的声音数 据向声音信号处理部ex354供给。影像信号处理部ex355通过与上述各实施 方式所示的运动图像编码方法相对应的运动图像解码方法进行解码，由此 对影像信号进行解码（即，作为本发明的一个方式的图像解码装置发挥作 用），经由LCD控制部ex359从显示部ex358显示例如链接到主页的运动图 像文件中包含的影像、静止图像。另外，声音信号处理部ex354对声音信 号进行解码，从声音输出部ex357输出声音。

此外，上述便携电话ex114等的终端与电视机ex300同样，除了具有编 码器、解码器两者的收发型终端以外，还可以考虑只有编码器的发送终端、 只有解码器的接收终端的3种安装形式。另外，在数字广播用系统ex200 中，设为发送、接收在影像数据中复用了音乐数据等得到的复用数据而进 行了说明，但除声音数据之外复用了与影像关联的字符数据等的数据也可 以，不是复用数据而是影像数据本身也可以。

这样，将在上述各实施方式中表示的运动图像编码方法或运动图像解 码方法用在上述哪种设备、系统中都可以，通过这样，能够得到在上述各 实施方式中说明的效果。

此外，本发明并不限定于这样的上述实施方式，能够不脱离本发明的 范围而进行各种变形或修正。

（实施方式4）

也可以通过将在上述各实施方式中示出的运动图像编码方法或装置、 与依据MPEG－2、MPEG4－AVC、VC－1等不同的标准的运动图像编码 方法或装置根据需要而适当切换，来生成影像数据。

这里，在生成分别依据不同的标准的多个影像数据的情况下，在解码 时，需要选择对应于各个标准的解码方法。但是，由于不能识别要解码的 影像数据依据哪个标准，所以产生不能选择适当的解码方法的问题。

为了解决该问题，在影像数据中复用了声音数据等的复用数据采用包 含表示影像数据依据哪个标准的识别信息的结构。以下，说明包括通过在 上述各实施方式中示出的运动图像编码方法或装置生成的影像数据在内的 复用数据的具体的结构。复用数据是MPEG－2传输流形式的数字流。

图34是表示复用数据的结构的图。如图34所示，复用数据通过将视 频流、音频流、演示图形流（PG）、交互图形流中的1个以上进行复用而得 到。视频流表示电影的主影像及副影像，音频流（IG）表示电影的主声音 部分和与该主声音混合的副声音，演示图形流表示电影的字幕。这里，所 谓主影像，表示显示在画面上的通常的影像，所谓副影像，是在主影像中 用较小的画面显示的影像。此外，交互图形流表示通过在画面上配置GUI 部件而制作的对话画面。视频流通过在上述各实施方式中示出的运动图像 编码方法或装置、依据以往的MPEG－2、MPEG4－AVC、VC－1等标准 的运动图像编码方法或装置编码。音频流由杜比AC－3、Dolby Digital Plus、 MLP、DTS、DTS－HD、或线性PCM等的方式编码。

包含在复用数据中的各流通过PID被识别。例如，对在电影的影像中 使用的视频流分配0x1011，对音频流分配0x1100到0x111F，对演示图形 分配0x1200到0x121F，对交互图形流分配0x1400到0x141F，对在电影的 副影像中使用的视频流分配0x1B00到0x1B1F，对与主声音混合的副声音 中使用的音频流分配0x1A00到0x1A1F。

图35是示意地表示复用数据怎样被复用的图。首先，将由多个视频帧 构成的视频流ex235、由多个音频帧构成的音频流ex238分别变换为PES 包序列ex236及ex239，并变换为TS包ex237及ex240。同样，将演示图 形流ex241及交互图形ex244的数据分别变换为PES包序列ex242及ex245， 再变换为TS包ex243及ex246。复用数据ex247通过将这些TS包复用到1 条流中而构成。

图36更详细地表示在PES包序列中怎样保存视频流。图36的第1段 表示视频流的视频帧序列。第2段表示PES包序列。如图36的箭头yy1、 yy2、yy3、yy4所示，视频流中的多个作为Video Presentation Unit的I图片、 B图片、P图片按每个图片被分割并保存到PES包的有效载荷中。各PES 包具有PES头，在PES头中，保存有作为图片的显示时刻的PTS（Presentation  Time-Stamp）及作为图片的解码时刻的DTS（Decoding Time-Stamp）。

图37表示最终写入在复用数据中的TS包的形式。TS包是由具有识别 流的PID等信息的4字节的TS头和保存数据的184字节的TS有效载荷构 成的188字节固定长度的包，上述PES包被分割并保存到TS有效载荷中。 在BD－ROM的情况下，对于TS包赋予4字节的TP_Extra_Header，构成 192字节的源包，写入到复用数据中。在TP_Extra_Header中记载有ATS （Arrival_Time_Stamp）等信息。ATS表示该TS包向解码器的PID滤波器 的转送开始时刻。在复用数据中，源包如图37下段所示排列，从复用数据 的开头起递增的号码被称作SPN（源包号）。

此外，在复用数据所包含的TS包中，除了影像、声音、字幕等的各流 以外，还有PAT（Program Association Table）、PMT（Program Map Table）、 PCR（Program Clock Reference）等。PAT表示在复用数据中使用的PMT的 PID是什么，PAT自身的PID被登记为0。PMT具有复用数据所包含的影 像、声音、字幕等的各流的PID、以及与各PID对应的流的属性信息，还 具有关于复用数据的各种描述符。在描述符中，有指示许可/不许可复用数 据的拷贝的拷贝控制信息等。PCR为了取得作为ATS的时间轴的ATC （Arrival Time Clock）与作为PTS及DTS的时间轴的STC（System Time  Clock）的同步，拥有与该PCR包被转送至解码器的ATS对应的STC时间 的信息。

图38是详细地说明PMT的数据构造的图。在PMT的开头，配置有记 述了包含在该PMT中的数据的长度等的PMT头。在其后面，配置有多个 关于复用数据的描述符。上述拷贝控制信息等被记载为描述符。在描述符 之后，配置有多个关于包含在复用数据中的各流的流信息。流信息由记载 有用来识别流的压缩编解码器的流类型、流的PID、流的属性信息（帧速率、 纵横比等）的流描述符构成。流描述符存在复用数据中存在的流的数量。

在记录到记录介质等中的情况下，将上述复用数据与复用数据信息文 件一起记录。

复用数据信息文件如图39所示，是复用数据的管理信息，与复用数据 一对一地对应，由复用数据信息、流属性信息以及入口映射构成。

复用数据信息如图39所示，由系统速率、再现开始时刻、再现结束时 刻构成。系统速率表示复用数据的向后述的系统目标解码器的PID滤波器 的最大转送速率。包含在复用数据中的ATS的间隔设定为成为系统速率以 下。再现开始时刻是复用数据的开头的视频帧的PTS，再现结束时刻设定 为对复用数据的末端的视频帧的PTS加上1帧量的再现间隔的值。

流属性信息如图40所示，按每个PID登记有关于包含在复用数据中的 各流的属性信息。属性信息具有按视频流、音频流、演示图形流、交互图 形流而不同的信息。视频流属性信息具有该视频流由怎样的压缩编解码器 压缩、构成视频流的各个图片数据的分辨率是多少、纵横比是多少、帧速 率是多少等的信息。音频流属性信息具有该音频流由怎样的压缩编解码器 压缩、包含在该音频流中的声道数是多少、对应于哪种语言、采样频率是 多少等的信息。这些信息用于在播放器再现之前的解码器的初始化等中。

在本实施方式中，使用上述复用数据中的、包含在PMT中的流类型。 此外，在记录介质中记录有复用数据的情况下，使用包含在复用数据信息 中的视频流属性信息。具体而言，在上述各实施方式示出的运动图像编码 方法或装置中，设置如下步骤或单元，该步骤或单元对包含在PMT中的流 类型、或视频流属性信息，设定表示是通过在上述各实施方式中示出的运 动图像编码方法或装置生成的影像数据的固有信息。通过该结构，能够识 别通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数 据、和依据其他标准的影像数据。

此外，在图41中表示本实施方式的运动图像解码方法的步骤。在步骤 exS100中，从复用数据中取得包含在PMT中的流类型、或包含在复用数据 信息中的视频流属性信息。接着，在步骤exS101中，判断流类型、或视频 流属性信息是否表示是通过在上述各实施方式中示出的运动图像编码方法 或装置生成的复用数据。并且，在判断为流类型、或视频流属性信息是通 过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据情 况下，在步骤exS102中，通过在上述各实施方式中示出的运动图像解码方 法进行解码。此外，在流类型、或视频流属性信息表示是依据以往的MPEG －2、MPEG4－AVC、VC－1等的标准的复用数据的情况下，在步骤exS103 中，通过依据以往的标准的运动图像解码方法进行解码。

这样，通过在流类型、或视频流属性信息中设定新的固有值，在解码 时能够判断是否能够通过在上述各实施方式中示出的运动图像解码方法或 装置解码。因而，在被输入了依据不同的标准的复用数据的情况下，也能 够选择适当的解码方法或装置，所以能够不发生错误地进行解码。此外， 将在本实施方式中示出的运动图像编码方法或装置、或者运动图像解码方 法或装置用在上述任何设备、系统中。

（实施方式5）

在上述各实施方式中示出的运动图像编码方法及装置、运动图像解码 方法及装置典型地可以由作为集成电路的LSI实现。作为一例，在图42中 表示1芯片化的LSIex500的结构。LSIex500具备以下说明的单元ex501、 ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各单元经由 总线ex510连接。电源电路部ex505通过在电源是开启状态的情况下对各部 供给电力，起动为能够动作的状态。

例如在进行编码处理的情况下，LSIex500基于具有CPUex502、存储器 控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501 的控制，通过AV I/Oex509从麦克风ex117及照相机ex113等输入AV信号。 被输入的AV信号暂时储存在SDRAM等的外部的存储器ex511中。基于控 制部ex501的控制，将储存的数据根据处理量及处理速度适当地分为多次 等，向信号处理部ex507发送，在信号处理部ex507中进行声音信号的编码 及/或影像信号的编码。这里，影像信号的编码处理是在上述各实施方式中 说明的编码处理。在信号处理部ex507中，还根据情况而进行将编码的声 音数据和编码的影像数据复用等的处理，从流I/Oex506向外部输出。将该 输出的比特流向基站ex107发送、或写入到记录介质ex215中。另外，在复 用时，可以暂时将数据储存到缓冲器ex508中以使其同步。

另外，在上述中，设存储器ex511为LSIex500的外部的结构进行了说 明，但也可以是包含在LSIex500的内部中的结构。缓冲器ex508也并不限 定于一个，也可以具备多个缓冲器。此外，LSIex500既可以形成1个芯片， 也可以形成多个芯片。

此外，在上述中，假设控制部ex510具有CPUex502、存储器控制器 ex503、流控制器ex504、驱动频率控制部ex512等，但控制部ex510的结 构并不限定于该结构。例如，也可以是信号处理部ex507还具备CPU的结 构。通过在信号处理部ex507的内部中也设置CPU，能够进一步提高处理 速度。此外，作为其他例，也可以是CPUex502具备信号处理部ex507、或 作为信号处理部ex507的一部分的例如声音信号处理部的结构。在这样的 情况下，控制部ex501为具备具有信号处理部ex507或其一部分的 CPUex502的结构。

另外，这里设为LSI，但根据集成度的差异，也有称作IC、系统LSI、 超级(super)LSI、特级(ultra)LSI的情况。

此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处 理器实现。也可以利用在LSI制造后能够编程的FPGA（Field Programmable  Gate Array）、或能够重构LSI内部的电路单元的连接及设定的可重构处理 器。

进而，如果因半导体技术的进步或派生的其他技术而出现代替LSI的 集成电路化的技术，则当然也可以使用该技术进行功能模块的集成化。有 可能是生物技术的应用等。

（实施方式6）

在将通过在上述各实施方式中示出的运动图像编码方法或装置生成的 影像数据解码的情况下，考虑到与将依据以往的MPEG－2、MPEG4－AVC、 VC－1等标准的影像数据的情况相比处理量会增加。因此，在LSIex500中， 需要设定为比将依据以往的标准的影像数据解码时的CPUex502的驱动频 率更高的驱动频率。但是，如果将驱动频率设得高，则发生消耗电力变高 的问题。

为了解决该问题，电视机ex300、LSIex500等的运动图像解码装置采用 识别影像数据依据哪个标准、并根据标准切换驱动频率的结构。图43表示 本实施方式的结构ex800。驱动频率切换部ex803在影像数据是通过在上述 各实施方式中示出的运动图像编码方法或装置生成的情况下，将驱动频率 设定得高。并且，对执行在上述各实施方式中示出的运动图像解码方法的 解码处理部ex801指示将影像数据解码。另一方面，在影像数据是依据以 往的标准的影像数据的情况下，与影像数据是通过在上述各实施方式中示 出的运动图像编码方法或装置生成的数据的情况相比，将驱动频率设定得 低。并且，对依据以往的标准的解码处理部ex802指示将影像数据解码。

更具体地讲，驱动频率切换部ex803由图42的CPUex502和驱动频率 控制部ex512构成。此外，执行在上述各实施方式中示出的运动图像解码 方法的解码处理部ex801、以及依据以往的标准的解码处理部ex802对应于 图42的信号处理部ex507。CPUex502识别影像数据依据哪个标准。并且， 基于来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。此外， 基于来自CPUex502的信号，信号处理部ex507进行影像数据的解码。这里， 可以考虑在影像数据的识别中使用例如在实施方式4中记载的识别信息。 关于识别信息，并不限定于在实施方式4中记载的信息，只要是能够识别 影像数据依据哪个标准的信息就可以。例如，在基于识别影像数据利用于 电视机还是利用于盘等的外部信号，来能够识别影像数据依据哪个标准的 情况下，也可以基于这样的外部信号进行识别。此外，CPUex502的驱动频 率的选择例如可以考虑如图45所示的将影像数据的标准与驱动频率建立对 应的查找表进行。将查找表预先保存到缓冲器ex508、或LSI的内部存储器 中，CPUex502通过参照该查找表，能够选择驱动频率。

图44表示实施本实施方式的方法的步骤。首先，在步骤exS200中， 在信号处理部ex507中，从复用数据中取得识别信息。接着，在步骤exS201 中，在CPUex502中，基于识别信息识别影像数据是否是通过在上述各实施 方式中示出的编码方法或装置生成的数据。在影像数据是通过在上述各实 施方式中示出的编码方法或装置生成的数据的情况下，在步骤exS202中， CPUex502向驱动频率控制部ex512发送将驱动频率设定得高的信号。并且， 在驱动频率控制部ex512中设定为高的驱动频率。另一方面，在表示是依 据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况 下，在步骤exS203中，CPUex502向驱动频率控制部ex512发送将驱动频 率设定得低的信号。并且，在驱动频率控制部ex512中，设定为与影像数 据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况相 比更低的驱动频率。

进而，通过与驱动频率的切换连动而变更对LSIex500或包括LSIex500 的装置施加的电压，由此能够进一步提高节电效果。例如，在将驱动频率 设定得低的情况下，随之，可以考虑与将驱动频率设定得高的情况相比， 将对LSIex500或包括LSIex500的装置施加的电压设定得低。

此外，驱动频率的设定方法只要是在解码时的处理量大的情况下将驱 动频率设定得高、在解码时的处理量小的情况下将驱动频率设定得低就可 以，并不限定于上述的设定方法。例如，可以考虑在将依据MPEG4－AVC 标准的影像数据解码的处理量大于将通过在上述各实施方式中示出的运动 图像编码方法或装置生成的影像数据解码的处理量的情况下，与上述的情 况相反地进行驱动频率的设定。

进而，驱动频率的设定方法并不限定于使驱动频率低的结构。例如， 也可以考虑在识别信息是通过在上述各实施方式中示出的运动图像编码方 法或装置生成的影像数据的情况下，将对LSIex500或包括LSIex500的装置 施加的电压设定得高，在表示是依据以往的MPEG－2、MPEG4－AVC、 VC－1等的标准的影像数据的情况下，将对LSIex500或包括LSIex500的 装置施加的电压设定得低。此外，作为另一例，也可以考虑在识别信息表 示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像 数据的情况下，不使CPUex502的驱动停止，在表示是依据以往的MPEG －2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，由于在处理中 有富余，所以使CPUex502的驱动暂停。也可以考虑在识别信息表示是通过 在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情 况下，也只要在处理中有富余则使CPUex502的驱动暂停。在此情况下，可 以考虑与表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准 的影像数据的情况相比，将停止时间设定得短。

这样，根据影像数据所依据的标准来切换驱动频率，由此能够实现节 电化。此外，在使用电池来驱动LSIex500或包括LSIex500的装置的情况下， 能够随着节电而延长电池的寿命。

（实施方式7）

在电视机、便携电话等上述的设备、系统中，有时被输入依据不同的 标准的多个影像数据。这样，为了使得在被输入了依据不同的标准的多个 影像数据的情况下也能够解码，LSIex500的信号处理部ex507需要对应于 多个标准。但是，如果单独使用对应于各个标准的信号处理部ex507，则发 生LSIex500的电路规模变大、此外成本增加的问题。

为了解决该问题，采用将用来执行在上述各实施方式中示出的运动图 像解码方法的解码处理部、和依据以往的MPEG－2、MPEG4－AVC、VC －1等的标准的解码处理部一部分共用的结构。图46A的ex900表示该结 构例。例如，在上述各实施方式中示出的运动图像解码方法和依据MPEG4 －AVC标准的运动图像解码方法在熵编码、逆量化、解块滤波器、运动补 偿等的处理中有一部分处理内容共通。可以考虑如下结构：关于共通的处 理内容，共用对应于MPEG4－AVC标准的解码处理部ex902，关于不对应 于MPEG4－AVC标准的本发明的一个方式所特有的其他的处理内容，使用 专用的解码处理部ex901。关于解码处理部的共用，也可以是如下结构：关 于共通的处理内容，共用用来执行在上述各实施方式中示出的运动图像解 码方法的解码处理部，关于MPEG4－AVC标准所特有的处理内容，使用专 用的解码处理部。

此外，用图46B的ex1000表示将处理一部分共用的另一例。在该例中， 采用使用与本发明的一个方式所特有的处理内容对应的专用的解码处理部 ex1001、和与其他的以往标准所特有的处理内容对应的专用的解码处理部 ex1002、和与在本发明的一个方式的运动图像解码方法和其他的以往标准 的运动图像解码方法中共通的处理内容对应的共用的解码处理部ex1003的 结构。这里，专用的解码处理部ex1001、ex1002并不一定是为本发明的一 个方式、或者其他的以往标准所特有的处理内容而特殊化的，可以是能够 执行其他的通用处理的结构。此外，也能够由LSIex500安装本实施方式的 结构。

这样，对于在本发明的一个方式的运动图像解码方法和以往的标准的 运动图像解码方法中共通的处理内容，共用解码处理部，由此能够减小LSI 的电路规模并且降低成本。

工业实用性

本发明的运动图像编码方法及运动图像解码方法能够应用于所谓多媒 体数据，能够提高运动图像编码及解码的容错性。本发明的运动图像编码 方法及运动图像解码方法例如作为使用便携电话、DVD装置、及个人计算 机等的储存、传送、通信等中的运动图像编码方法及运动图像解码方法是 有用的。

符号的说明：

100、1000运动图像编码装置

101、1001减法部

102、1002正交变换部

103、1003量化部

104、302、1004、2002逆量化部

105、303、1005、2003逆正交变换部

106、304、1006、2004加法部

107、305、1007、2005块存储器

108、306、1008、2006帧存储器

109、307、1009、2007帧内预测部

110、308、1010、2008帧间预测部

111、309、1011、2009帧间预测控制部

112、1012图片类型决定部

113、310、1013、2010开关

114、311、1014、2011预测运动矢量候选计算部

115、312、1015、2012colPic存储器

116、1016可变长度编码部

300、2000运动图像解码装置

301、2001可变长度解码部