适应性调整估计搜寻范围的运动估计方法及视差估计方法

技术领域

本发明涉及一种多视点视频编码(MVC)技术中，动态适应性调整运动估 计和/或视差估计的搜寻范围的方法(adaptive search range method for  motion/disparity estimation)。

背景技术

多视点(Multiview)视频是以多台摄像机对相同拍摄的目标物与背景进行 摄像而得的多个图像。多视点(Multiview)视频可提供使用者同时捕捉目标物 不同角度的图像，而能让其感受现场真实的场景。通过同时传送两个图帧到 使用者的双眼，也能让其产生三维(3-D)立体的效果。多视点视频已经被广泛 地运用在多种产品，例如3-D蓝光播放器(Blu-ray Disc Player)、3-D摄像机 (Camcorder)、网络协议电视(Internet Protocol Television，IPTV)等等。

由于多视点视频是以多台摄像机对相同拍摄的目标物与背景进行摄像， 因此，目标物在不同的移动状态下，从多台摄像机所产生的大量视频数据， 如何有效率的编码与传送，将是重要的课题。因此，多视点视频编码(Multiview  video coding，底下称为MVC)技术，已逐渐发展并且也被广泛的使用，并且 制定为业界的标转，例如国际编码标准的H.264/AVC(“Advanced Video Coding  for Generic Audiovisual Services，”Joint Video Team of ISO/IEC MPEG and  ITU-T VCEG，March 2010)，并且已经被广泛地运用在多种产品。

多视点视频与时间方向有着很大的相关性，而通过利用此相关性来提升 编码效率。另一方面，在多视点视频的动态图像中，当各摄像机为同步时， 由于对应于相同时间的各摄像机的图像为从不同位置对状态完全相同的目标 物与背影进行摄像而得的图像，所以在摄像机间有着很大的相关性。在多视 点视频的编码中，可通过此相关性而能够提升编码效率。

发明内容

本公开内容提出一种多视点视频编码(MVC)技术中，动态适应性调整运 动估计和/或视差估计的搜寻范围的方法。

在多个实施例其中之一，提出一种适应性调整估计搜寻范围的运动估计 方法，适用于多视点视频编码(MVC)。此运动估计方法包括以一初始搜寻范 围做为第一搜寻范围，对从第一视点取得的第一图帧(first frame)的多个第一 区块进行运动估计流程，取得一运动向量分布，根据运动向量分布取得第一 候选搜寻范围。选择第一候选搜寻范围或初始搜寻范围，作为第二图帧的第 二搜寻视窗内的多个第二区块进行运动估计流程的第二搜寻范围，得到这些 第二区块的运动向量，提供给第二图帧进行视频编码，其中第二图帧是来自 第二视点。

上述适应性调整估计搜寻范围的运动估计方法，在一实施例中，此第一 候选搜寻范围的取得的方法包括对初始搜寻范围区分为多个区域，每一该区 域对应的一计数值。对所述第一区块的每一第一区块的运动向量判断落在哪 一该区域，则增加此区域对应的计数值。完成所有第一区块的运动向量落入 区域判断后，根据运动向量分布中，以最大的计数值对应的区域取得一最佳 搜寻范围(SR_best)。依据最佳搜寻范围(SR_best)、初始搜寻范围与这些区域的数 量，计算该第一候选搜寻范围。例如，在实施例中是以最佳搜寻范围(SR_best) 加上初始搜寻范围除以这些区域的数量的和，作为第一候选搜寻范围。

上述适应性调整估计搜寻范围的运动估计方法，在一实施例中，第二搜 寻范围从第一候选搜寻范围与初始搜寻范围两者其中之一进行选择，其中选 择初始搜寻范围作为第二搜寻范围的方法，包括根据第二区块的多个邻近区 块取得一邻近区块信息。根据邻近区块信息判断第二区块是否符合一运动特 性判断方法，如果是，则第二搜寻范围选择初始搜寻范围作为第二搜寻范围， 如果不是，则第二搜寻范围选择第一候选搜寻范围。

在多个实施例其中之一，提出一种适应性调整估计搜寻范围的视差估计 方法，适用于多视点视频编码(MVC)。此视差估计方法包括以一初始搜寻范 围做为第一搜寻范围，对第一图帧的第一搜寻视窗内的多个第一区块进行视 差估计流程，取得一视差向量分布。根据此视差向量分布，取得第一候选搜 寻范围及第二候选搜寻范围，其中第一图帧是在一第一时间取得。从第一候 选搜寻范围或第二候选搜寻范围其中之一，作为对第二图帧的第二搜寻视窗 内的多个第二区块进行视差估计流程的第二搜寻范围，得到视差估计流程对 应的视差向量，提供做为视频编码，其中第二图帧是在第二时间取得，而第 一时间早于该第二时间。

上述的适应性调整估计搜寻范围的视差估计方法，在一实施例中，第二 搜寻范围从第一候选搜寻范围、第二候选搜寻范围与初始搜寻范围三者其中 之一进行选择，其中选择方法包括根据第二区块的多个邻近区块取得一邻近 区块信息。根据此邻近区块信息判断第二区块是否符合一视差特性判断方法， 如果是，则第二搜寻范围选择该初始搜寻范围作为该第二搜寻范围，如果不 是，则该第二搜寻范围选择第一候选搜寻范围或第二候选搜寻范围其中之一。

上述的适应性调整估计搜寻范围的视差估计方法，在一实施例中，邻近 区块信息判断第二区块是否符合视差特性判断方法包括判断所有邻近区块的 视差向量是否都没有被选择，如果是，则第二搜寻范围选择第二候选搜寻范 围。判断邻近区块的视差向量是否落在最佳搜寻范围(SR_best)之外，而且所有 邻近区块的视差向量是否都没有被选择，如果两者皆是，则第二搜寻范围选 择初始搜寻范围，如果两者任一条件为否，则第二搜寻范围选择第一候选搜 寻范围。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合 附图作详细说明如下。

附图说明

图1是说明符合H.264/AVC标准的多视点视频编码(MVC)技术的架构与 编码流程示意图。

图2是说明在连续的时间对于不同图帧进行运动估计(ME)，以及在连续 的视点之间连续的视点进行视差估计(DE)的示意图。

图3A是说明根据先前的参考图帧或是其它视点的图帧的检索视窗中， 以搜寻范围(SR)进行估计的示意图。

图3B是说明宏区块切割模式与子宏区块(Sub-Macroblock)的切割模式。

图4A～图4E是说明本公开内容多个实施例其中之一，动态适应性调整运 动估计(ME)的搜寻范围方法的详细说明示意图。

图5是说明本公开内容实施例所提出动态适应性调整运动估计(ME)的搜 寻范围方法的范例说明示意图。

图6A～图6D是说明本公开内容所提出多视点视频编码(MVC)技术中，在 一实施例中，动态适应性调整视差估计(DE)搜寻范围的方法。

图7是说明本公开内容实施例所提出动态适应性调整视差估计(DE)的搜 寻范围方法的范例说明示意图。

【主要元件符号说明】

100A：对第一视点取得的视频图像数据进行编码的流程

100B：对第二视点取得的视频图像数据进行编码的流程

102：图帧数据

104：转换(Transform)/量化(Quantization)程序

106：熵编码(Entropy Coding)程序

108：反转换(Inverse Transform)/反量化(Inverse Quantization)程序

110：Intra-Picture预测程序

112：Inter-Picture预测程序

114：多工器

116：去区块效应过滤器(Deblocking Filter)

118：图帧缓冲器

120：运动估计(Motion Estimation)程序

121：运动向量

130：运动估计程序

132：Inter-Picture预测程序

310、320：图帧

312：检索视窗(Search Window)

322：宏区块

MV_X：水平运动向量

MV_Y：垂直运动向量

502、504：图帧

512、522、524、526：宏区块

Cur：目前处理中的宏区块

A、B、C、D：邻近宏区块

702、704：图帧

712、722、724、726、728：宏区块

具体实施方式

本公开内容提出一种多视点视频编码(MVC)技术中，动态适应性调整运 动估计(Motion Estimation)和/或视差估计(Disparity Estimation)的搜寻范围 (Search Range)的方法。

首先，在此以H.264/AVC标准的架构说明多视点视频编码(MVC)技术的 编码流程。

H.264标准的编码流程，是针对输入的图像数据，利用所谓运动补偿 (Motion Compensation)、转换(Transform)、量化(Quantization)、熵编码(Entropy  Coding)的技术来进行高效率编码。

在H.264的运动补偿中，是将编码对象图帧分割成各种大小的宏区块 (Macroblock)，例如16×16(像素)、16×8、8×16、8×8、8×4、4×8、4×4 的7种，而能够以细小单位对应被摄像的目标物的动作的方向与程度的差异 来预测估计图像，以达成高编码效率。

上述的预测估计图像技术，Intra-Picture预测(Intra-Picture Estimation，在 同一画像内)与Inter-Picture预测(Inter-Picture，在多个画像之间)。Intra-Picture 预测是考虑到空间的因素，也就是与同一画像(Picture)内的邻近区块的关联性 来进行预测。Inter-Picture预测以时间轴为准，根据前后的画像作为参考画像。 以Inter-Picture预测为例，对每一宏区块挑选一称为参考图帧的已编码完成的 图帧，使用称为运动向量(Motion Vector)或是表示对应点的向量信息来预测图 像。

但对于多视点视频的编码而言，除了考虑摄像机间的相关性，还同时存 在有时间方向的相关性。因此可采用通过将运动补偿应用于相同时刻的相异 摄像机所摄得的画像的视差补偿(Disparity Compensation)而高效率地将多视 点动态图像进行编码的方式。此处，视差(Disparity)是指被摄体上的相同位置， 在配置于相异位置的摄像机的画像平面上所投影的位置的差。视差补偿根据 该对应关系，从参考图帧来预测编码对象图帧的各像素值，将该预测残值与 表示对应关系的视差信息进行编码。

请参照图1，是说明符合H.264/AVC标准的多视点视频编码(MVC)技术 的架构与编码流程示意图。在此示意图中，标号100A是指对第一视点(View) 取得的视频图像数据进行编码的流程，而标号100B是指对第二视点(View) 取得的视频图像数据进行编码的流程。

先以针对第一视点进行编码的流程100A进行说明。对于第一视点取得 的图像数据，将欲编码的图帧分割成各种大小的宏区块(Macroblock)的图帧数 据102输入。而后针对此图帧数据102利用运动补偿(Motion Compensation) 得到的残值进行转换(Transform)/量化(Quantization)程序104，得到量化转换 系数(Quantized Transform Coefficients)后，经由熵编码(Entropy Coding)程序 106进行高效率编码。

底下将说明上述运动补偿的计算流程。

上述量化转换系数同时也进行反转换(Inverse Transform)/反量化(Inverse  Quantization)程序108后，进行Intra-Picture预测程序110。另外，量化转换 系数进行反转换/反量化程序108后，得到的结果经由去区块效应过滤器 (Deblocking Filter)116的去区块效应程序后，以减缓区块效应的影响，并传送 到图帧缓冲器(Frame Buffer)118暂存。运动估计(Motion Estimation)程序120 是根据图帧缓冲器118所存储的之前经过编码的参考图帧，以及输入的图帧 数据102进行运动估计。而根据运动估计程序120估计得到的结果，进行 Inter-Picture预测程序112。从Intra-Picture预测程序110与Inter-Picture预测 程序112中，经由多工器114进行选择，而做为输入的图帧数据102中，后 续的宏区块进行运动补偿的依据。同时，运动估计程序120产生的运动向量 121，也提供给熵编码程序106进行编码。

对于第二视点进行编码的流程100B，与第一视点进行编码的流程类似， 差异点在于程序130是根据输入的图帧数据122以及图帧缓冲器128所存储 的前一个经过编码的参考图帧外，进一步从第一视点的图帧缓冲器118取得 所存储的参考图帧，从这些取得的数据进行运动估计。而Inter-Picture预测程 序132，进行采用同一视点取得的图帧之间，更进一步取得其他视点的图帧 信息进行预测。

上述符合H.264/AVC标准的多视点视频编码(MVC)基本技术，不仅能利 用单一的视点取得并降低图帧之间的累赘或多余(Temporal Redundancy)信 息以增加编码的效率，更能利用其他视点取得的图帧类似的特性(Similarities) 来改善编码。通过这样的技术，相较于各个视点之间独立进行编码的程序， 此架构可以大约降低20％～30％的比特率(Bit rate)，而没有牺牲重建时的视频 质量。

一般而言，运动估计(Motion Estimation，底下称为ME)是用以发现在连 续的图帧之间最符合条件的区块(Best Matching block)信息，以降低画面间累 赘或多余(Temporal Redundancy)信息。而视差估计(Disparity Estimation，底下 称为DE)可用以发现在连续的视点(View)之间最符合条件的宏区块，以降低视 点间的累赘或多余信息。请参照图2，是说明在连续的时间对于不同图帧进 行运动估计(ME)，以及在连续的视点之间连续的视点进行视差估计(DE)的示 意图。在时间t-1、t、t+1时，第n-1、n、n+1视点分别取得的图帧之间，可 以进行运动估计(ME)程序，以降低画面间累赘或多余信息。而在时间t时， 分别根据第n-1个视点、第n个视点、第n+1个视点同时取得的图帧之间， 进行视差估计(DE)程序，以降低画面间累赘或多余信息。

但相对于单一视点的编码程序，此引用的视差估计(DE)程序，将使多视 点视频编码(MVC)装置耗费更多的运算资源。底下将以图3A与3B进行说明。 首先，如图3A所示，分别根据先前的参考图帧或是其它视点的图帧310的 检索视窗(Search Window)312中，以搜寻范围(Search Range，以下称为SR) 进行估计的一实施例。而图帧320则是包括多个宏区块(Macroblock，底下称 为MB)，并且以宏区块，例如标号322，进行运动估计(ME)与视差估计(DE)。

此运动估计(ME)与视差估计(DE)是对每一个区块进行，以分别找出最佳 的运动向量(Best Motion Vector)与最佳的视差向量(Best Disparity Vector)。而 上述区块的大小，在一实施例中，如图3B所示的宏区块切割模式的16×16、 16×8、8×16、8×8，或是子宏区块(Sub-Macroblock)切割模式的8×8、8 ×4、4×8、4×4。

在对于每一个切割的区块执行完运动估计(ME)与视差估计(DE)程序后， 根据速率-失真(Rate-Distortion)成本法则选择运动向量(Motion Vector)或是视 差向量(Disparity Vector)两者其中之一。此速率-失真(Rate-Distortion)成本法则 为

λ×Rate(mvd)+SAD    (式1)或

λ×Rate(mvd)+SATD   (式2)

其中，λ为Lagrange参数，SAD代表绝对差值合(Sum of Absolute  Differences，SAD)，SATD代表绝对转换差值和(Sum of Absolute Transformed  Difference)，而Rate(mvd)代表运动向量差值(Motion Vector Difference，mvd) 的比特率(Bit rate)。

在进行运动估计(ME)与视差估计(DE)程序时，并非搜寻在参考画面的所 有点，而是仅搜寻在一限制的搜寻视窗(Search Window)内的搜寻点(Search  points)。而搜寻视窗的大小是决定于(2×SR+1)²，如图3A所示，在此SR代 表搜寻范围(Search Range)。从上述的内容可知，执行运动估计(ME)与视差估 计(DE)程序，如果采用全范围搜寻法则(Full-search algorithm)所需要的时间， 由搜寻范围(SR)所主宰，并且与搜寻范围(SR)的平方大小成正比。

但今日，高解析度视频(High-resolution Video，HD Video)已经越来越普遍， 也越来越受欢迎，例如HD1080p。此高解析度视频需要更大的搜寻范围(SR) 来执行运动估计(ME)与视差估计(DE)程序，以取得更好的编码质量。然而， 更大的搜寻范围(SR)也就代表需要更多的执行的时间。因此，例如若是将搜 寻范围(SR)设定为例如64，则执行运动估计(ME)与视差估计(DE)占据编码的 时间将近60％～80％。因此，本实施例提出一种有效降低运动估计(ME)与视差 估计(DE)时间的复杂因素，来达到多视点视频数据的即时(Real-time)编码需 求。

本公开内容提出一种多视点视频编码(MVC)技术中，动态适应性调整运 动估计(ME)和/或视差估计(DE)的搜寻范围的方法，以及使用该方法的视频编 码装置。

在多个实施例其中之一，提出一种适应性调整运动估计(ME)的搜寻范围 大小的方法，是采用在所选择的基础视点(Base View)得到的运动向量分布 (MV Distribution)，据以判断动态适应性调整的搜寻范围大小。此运动向量分 布在一实施例中，是采用多级距范围计算MV数量的方法。除此之外，在多 个实施例其中的又一实施例，提出一种适应性调整视差估计(DE)的搜寻范围 大小的方法，是采用之前的数个图帧(previous frames)的视差向量分布(DV Distribution)，据以判断动态适应性调整的搜寻范围大小。

上述动态适应性调整运动估计(ME)及视差估计(DE)的搜寻范围大小的方 法，可有效地节省运动估计(ME)与视差估计(DE)的时间。以符合H.264/AVC Multiview High Profile的多视点视频编码(MVC)为例，如果对两个视点的 HD1080p每秒30个图帧(Frames per second，fps)视频，在操作频率为250百 万赫兹(MHz)条件下进行无牺牲编码质量的编码操作，将可达到即时 (Real-time)编码的要求。

动态适应性调整运动估计(ME)的搜寻范围实施例

图4A～4D，为本公开内容多个实施例其中之一，动态适应性调整运动估 计(ME)的搜寻范围方法的详细说明。

请参照图4A，在此实施例中，先对基础视点(Base View)，例如选择第一 视点为基础视点，对每一个宏区块(Macroblock，底下简称MB)，以初始搜寻 范围(SR_initial)进行运动估计(ME)。当每完成一个宏区块的运动估计(ME)后， 就将得到的运动向量(MV)的绝对值落入做为运动向量分布的级距范围做一 记录，在此实施例中，采用四个区域做分布的记录，但并非以数量此为限制， 可根据例如速率-失真(Rate-Distortion)成本法则调整区域的数量。

在完成对基础视点所有宏区块(MB)的运动估计(ME)后，找出分布最多运 动向量(MV)的搜寻范围(SR)做为最佳搜寻范围(SR_best)。此最佳搜寻范围(SR_best) 将会被选择非基础视点(non-Base View)的开始进行运动估计(ME)的搜寻范 围，也就是候选的搜寻范围。

对于非基础视点(non-Base View)的图帧而言，例如图示的第二视点的图 帧P而言，将依据最佳搜寻范围SR_best、初始搜寻范围SR_intial与这些区域的数 量，计算候选搜寻范围SR。例如，采用最佳搜寻范围(SR_best)加上级距SR_intial/4 做为候选搜寻范围，也就是SR＝SR_best+SR_intial/4。但在特定条件下，非基础视 点(non-Base View)的图帧也会选择扩大搜寻范围到初始搜寻范围(SR_initial)。上 述条件是根据例如邻近的宏区块(Neighbor Macroblock，以下简称NMB)的信 息进行判断。当根据NMB的信息判断得知若处理中的宏区块(MB)是属于高 运动(High-Motion)特性，则此搜寻范围将扩大到初始搜寻范围(SR_initial)。

如图4B右上方显示，对运动向量分布的记录与统计，必须分为垂直运动 向量与水平运动向量的分布，也就是垂直方向与水平方向必须分开处理，而 且两者可以互相独立进行调整垂直运动向量或水平运动向量的搜寻范围。

在此实施例中，采用四个区域做分布的记录分为水平方向的水平运动向 量(MV_X)分布与垂直方向的垂直运动向量(MV_Y)分布，而四个区域分别 为区域(1)、区域(2)、区域(3)、区域(4)。而根据此四个区域，作为选择对应的 搜寻范围(SR)的值，例如每个级距为SR/4，并根据分布而调整SR/4。

如果以初始搜寻范围(SR_initial)为32为例进行说明。区域(1)、区域(2)、区 域(3)、区域(4)来统计运动向量分布，则对水平运动向量(MV_X)绝对值或是 对垂直运动向量(MV_Y)绝对值的落点分布级距，分别为0～7、8～15、16～23、 24～31。而对于分布的数量计算，则是分别为计数值1、计数值2、计数值3、 计数值4。

请参照图4C，为说明本实施例对基础视点的所有宏区块(MB)经过估计取 得的运动向量(MV)进行分布计算的流程示意图。首先，在步骤S410中，对 基础视点以初始搜寻范围(SR_initial)进行所有宏区块的运动向量估计，而得到所 有宏区块的运动向量。而后，根据步骤S412，如果是运动向量小于初始搜寻 范围(SR_initial)的四分之一，则如步骤S414，直接将此计数值1加一，并且结束 此分布计算流程。如果不是，则进行下一步骤。步骤S416，如果是运动向量 小于初始搜寻范围(SR_initial)的四分的二，则如步骤S418，直接将此计数值2 加一，并且结束此分布计算流程，如果不是，则进行下一步骤。步骤S420， 如果是运动向量小于初始搜寻范围(SR_initial)的四分的三，则直接将此计数值3 加一，并且结束此分布计算流程，如果不是，则直接将此计数值4加一，并 且结束此分布计算流程。

请参照图4D与4E，为说明在一实施例中，对非基础视点(non-Base View) 的宏区块(MB)进行运动估计(ME)时所采用的搜寻范围判断流程示意图。

对非基础视点的宏区块进行运动估计(ME)时，采用的搜寻范围例如可以 包括两个候选搜寻范围，包括根据前述实施例中提出的最佳搜寻范围(SR_best) 加上级距SR_initial/4做为搜寻范围，或是选择扩大搜寻范围到初始搜寻范围 (SR_initial)，其判断流程请参照图4D的实施例示意图说明。

基本上，一般采用的搜寻范围是以最佳搜寻范围(SR_best)加上级距SR_initial/4，也就是(SR＝SR_best+SR_initial/4)。但是，如果是根据NMB的信息判断得知 若处理中的宏区块(MB)是属于高运动(High-Motion)特性，则在高运动特性下， 为避免因为错过正确的运动向量而使比特率(bit rate)增加，则此搜寻范围的选 择必须加上根据邻近的宏区块(NMB)信息判断处理中的宏区块是否具有高运 动特性。

本公开内容多个实施例其中之一，提出底下三种规则下，对非基础视点 的宏区块进行运动估计(ME)时，选择扩大搜寻范围到初始搜寻范围(SR_initial)， 但并非以此为限制。

请参照图4D，步骤S430，先以分布区域中最多运动向量(MV)的对应的 搜寻范围做为最佳搜寻范围(SR_best)。

第一规则：步骤S432，判断在目前正在进行运动估计(ME)的宏区块(MB) 的任一邻近宏区块(NMB)的速率-失真成本值(底下以rd_cost_best表示)是否比基 础视点的每一宏区块(MB)的平均速率-失真成本值(底下以rd_cost_base-view表示) 高α倍，也就是如下式：

rd_cost_best＞α×rd_cost_base-view  (式3)

在一些实施例中，α建议值为1.75。

第二规则：步骤S434，判断任一邻近宏区块(NMB)的最大运动向量是否 落在SR_best与(SR_best+SR_initial/4)之间，且无任一邻近宏区块(NMB)选择视差向 量(Disparity Vector，DV)。

第三规则：步骤S436，判断任一邻近宏区块(NMB)的最大运动向量是否 超出(SR_best+SR_initial/4)。

在步骤S432～S436的任一条件符合，则如步骤S438，对非基础视点的宏 区块进行运动估计(ME)时，选择扩大搜寻范围到初始搜寻范围(SR_initial)。但若 步骤S432～S436的所有条件都不符合，则维持以最佳搜寻范围(SR_best)加上级 距SR_initial/4，也就是(SR＝SR_best+SR_initial/4)做搜寻范围。

而对于目前处理中的宏区块(MB)的邻近宏区块(NMB)，在一实施例中， 请参照图4E，标示“Cur”为目前处理中的宏区块，而标示“A”、“B”、“C”、 “D”的宏区块则可定义为邻近宏区块。

请参照图5，为本公开内容实施例所提出动态适应性调整运动估计(ME) 的搜寻范围方法的范例说明示意图。在此以初始搜寻范围(SR_initial)为32进行 说明。

根据基础视点(Base View)取得的图帧，例如选择第一视点为基础视点取 得的图帧P(502)，对在搜寻视窗内的宏区块(MB)，以初始搜寻范围(SR_initial) 进行运动估计(ME)。因此，所有的宏区块(MB)都采用SR＝32进行，而取得水 平运动向量(MV_X)分布与垂直方向的垂直运动向量(MV_Y)分布。

对每一个宏区块，以初始搜寻范围(SR_initial)进行运动估计。当每完成一个 宏区块的运动估计后，就将得到的运动向量(MV)的绝对值落入做为运动向量 分布的级距范围做一记录。例如对宏区块512完成运动估计后取得的(MV_X， MV_Y)＝(9，3)，则由于MV_X＝9是大于7但小于15，因此落在第二区域， 则将对应的计数值加一。从图示中可知，经由第一视点(基础视点)取得的图帧 P(502)以初始搜寻范围(SR＝32)进行运动估计后，取得SR_best(MV_X)在8～15 之间，而SR_best(MV_Y)在0～7之间。

对于非基础视点(non-Base View)的图帧而言，例如图示的第二视点的图 帧P(504)而言，将采用经由第一视点(基础视点)取得的图帧P(502)的最佳搜寻 范围(SR_best)加上级距SR_initial/4做为搜寻范围(SR)，也就是SR＝SR_best+SR_initial /4。

但在特定条件下，也会选择扩大搜寻范围到初始搜寻范围(SR_initial)，例如 标号522、524、526的宏区块，因为符合例如图4D的三个规则其中之一， 这些宏区块522、524、526属于高运动特性，则此搜寻范围将扩大到初始搜 寻范围(SR＝32)。

动态适应性调整视差估计(DE)搜寻范围的实施例

请参照图6A～6D，是说明本公开内容所提出多视点视频编码(MVC)技术 中，在一实施例中，动态适应性调整视差估计(DE)搜寻范围的方法。在此弹 性动态调整视差估计(DE)的搜寻范围大小的方法，是采用之前的数个图帧 (previous frames)的视差向量分布(DV Distribution)，据以判断动态适应性调整 的搜寻范围大小。

请参照图6A，在此实施例中，例如在时间轴上，先对第一个图帧P(例 如图6A中图帧602)在搜寻视窗内的每一个宏区块(MB)，以初始搜寻范围 (SR_initial)进行视差估计(DE)。当每完成一个宏区块的视差估计(DE)后，就将得 到的视差向量(DV)的绝对值落入做为视差向量分布的级距范围做一记录，在 此实施例中，采用四个区域做分布的记录，但并非以数量此为限制，可根据 例如速率-失真(Rate-Distortion)成本法则调整区域的数量。

在完成对第一个图帧P在搜寻视窗内的所有宏区块(MB)完成视差估计 (DE)后，找出分布最多的视差向量(DV)的搜寻范围(SR)做为最佳搜寻范围 (SR_best)。此最佳搜寻范围(SR_best)将会被选择做为下一个图帧的开始进行视差 估计(DE)的搜寻范围，例如图示中的第二个图帧P(例如图6A中图帧604)。

对于第二个图帧P(图6A中图帧604)而言，将采用最佳搜寻范围(SR_best) 加或减级距SR_initial/4做为搜寻范围(SR)，也就是SR＝SR_best+SR_initial/4或 SR＝SR_best-SR_initial/4。但在特定条件下，第二个图帧P(图6A中图帧604)也会 选择扩大搜寻范围到初始搜寻范围(SR_initial)。上述扩大搜寻范围的条件是根据 例如邻近的宏区块(NMB)的信息进行判断。

如图6B右上方显示，对视差向量分布的记录与统计，必须分为垂直视差 向量与水平视差向量的分布，也就是垂直方向与水平方向必须分开处理，而 且两者可以互相独立进行调整垂直视差向量或水平视差向量的搜寻范围。

在此实施例中，采用四个区域做分布的记录分为水平方向的水平视差向 量(DV_X)分布与垂直方向的视差向量向量(DV_Y)分布，而四个区域分别为 区域(1)、区域(2)、区域(3)、区域(4)。而根据此四个区域，作为选择对应的搜 寻范围(SR)的值，例如每个级距为SR/4，并根据分布而调整SR/4。

如果以初始搜寻范围(SR_initial)为32为例进行说明。区域(1)、区域(2)、区 域(3)、区域(4)来统计视差向量分布，则对水平视差向量(DV_X)绝对值或是对 垂直视差向量(DV_Y)绝对值的落点分布级距，分别为0～7、8～15、16～23、 24～31。而对于分布的数量计算，则是分别为计数值1、计数值2、计数值3、 计数值4。

请参照图6C，为说明本实施例对第一个图帧P(图6A中图帧602)在搜寻 视窗内的所有宏区块(MB)完成视差估计(DE)后进行分布计算的流程示意图。 首先，在步骤S610中，对基础视点以初始搜寻范围(SR_initial)进行所有宏区块 的视差估计程序，而得到所有宏区块的视差向量。而后，根据步骤S612，如 果是视差向量小于初始搜寻范围(SR_initial)的四分之一，则如步骤S614，直接将 此计数值1加一，并且结束此分布计算流程。如果不是，则进行下一步骤。 步骤S616，如果是视差向量小于初始搜寻范围(SR_initial)的四分的二，则如步骤 S618，直接将此计数值2加一，并且结束此分布计算流程，如果不是，则进 行下一步骤。步骤S620，如果是视差向量小于初始搜寻范围(SR_initial)的四分的 三，则直接将此计数值3加一，并且结束此分布计算流程，如果不是，则直 接将此计数值4加一，并且结束此分布计算流程。

请参照图6D，为说明在一实施例中，对非第一个图帧的宏区块(MB)进行 视差估计(DE)时所采用的搜寻范围判断流程示意图。底下对于目前处理中的 宏区块(MB)的邻近宏区块(NMB)，在一实施例中，请参照图6D右上方的一 实施例的示意图，标示“Cur”为目前处理中的宏区块，而标示“A”、“B”、“C”、 “D”的宏区块则可定义为邻近宏区块。

对非第一个图帧的宏区块进行视差估计(DE)时，采用的搜寻范围例如可 以包括三个候选搜寻范围，包括根据前述实施例中提出的最佳搜寻范围(SR_best) 加或减SR_initial/4做为搜寻范围，或是选择扩大搜寻范围到初始搜寻范围 (SR_initial)，其判断流程请参照图6D的实施例示意图说明。

基本上，一般采用的搜寻范围是以最佳搜寻范围(SR_best)加上级距SR_initial/4，也就是(SR＝SR_best+SR_initial/4)。

但是，如果是根据NMB的信息判断得知若处理中的宏区块(MB)是属于 高视差(High-Disparity)特性，则在高视差特性下，为避免因为错过正确的视 差向量而使比特率(bit rate)增加，则此搜寻范围的选择必须加上根据邻近的宏 区块(NMB)信息判断处理中的宏区块是否具有高视差特性。除此之外，一般 选择DV的宏区块数量，根据实验得知，占所有图帧的宏区块数量约小于10％， 因此，在选择搜寻范围时也列入考虑。

本公开内容多个实施例其中之一，提出底下两个判断式，用以选择 (SR＝SR_best+SR_initial/4)、(SR＝SR_best-SR_initial/4)或初始搜寻范围(SR_initial)对宏区块 进行视差估计(DE)的搜寻范围，但并非以此为限制。

请参照图6D，步骤S630，判断所有邻近的宏区块(NMB)的视差向量(DV) 是否都没有被选择，如果是，则如步骤S636，选择(SR＝SR_best-SR_initial/4)对宏 区块进行视差估计(DE)的搜寻范围，如果否，则进行步骤S632。

步骤S632，最大的视差向量(DV)落在(SR＝SR_best)之外，而且是否所有邻 近的宏区块(NMB)都未挑选运动向量(MV)，如果是，则如步骤S638，选择初 始搜寻范围(SR_initial)对宏区块进行视差估计(DE)的搜寻范围，如果否，则进行 步骤S634，选择(SR＝SR_best+SR_initial/4)对宏区块进行视差估计(DE)的搜寻范 围

请参照图7，为本公开内容实施例所提出动态适应性调整视差估计(DE) 的搜寻范围方法的范例说明示意图。在此以初始搜寻范围(SR_initial)为32进行 说明。

根据第一个图帧P(702)为参考，对在搜寻视窗内的宏区块(MB)，以初始 搜寻范围(SR_initial)进行视差估计(DE)。因此，所有的宏区块(MB)都采用SR＝32 进行，而取得水平视差向量(DV_X)分布与垂直方向的垂直视差向量(DV_Y) 分布。

对每一个宏区块，以初始搜寻范围(SR_initial)进行视差估计。当每完成一个 宏区块的视差估计后，就将得到的视差向量的绝对值落入做为视差向量分布 的级距范围做一记录。例如对宏区块712完成视差估计后取得的(DV_X， DV_Y)＝(9，3)，则由于DV_X＝9是大于7但小于15，因此落在第二区域， 则将对应的计数值加一。从图示中可知，经由第一个图帧以初始搜寻范围 (SR＝32)进行视差估计后，取得SR_best(DV_X)在8～15之间，而SR_best(DV_Y) 在0～7之间。

对于后续的图帧而言，例如图示的第二个图帧P(704)而言，将采用经由 第一个图帧P(702)的最佳搜寻范围(SR_best)加上级距SR_initial/4做为搜寻范围 (SR)，也就是SR＝SR_best+SR_initial/4。

但在特定条件下，也会选择SR＝SR_best-SR_initial/4，例如标号722、724的 宏区块，或选择扩大搜寻范围到初始搜寻范围(SR_initial)，例如标号726、728 的宏区块，这些宏区块726、728属于高视差，则此搜寻范围将扩大到初始搜 寻范围(SR＝32)。

虽然本发明已以实施例公开如上，然其并非用以限定本发明，本领域技 术人员，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本 发明的保护范围当视所附权利要求书所界定者为准。