用节目制作参数进行图象运动估计的装置及其方法

本发明涉及利用视频节目制作参数进行图象运动估计的装置及其方法，特别涉及将视频节目摄取和处理过程中，描述平移、缩放镜头，场景切换和特技动画等操作参数加以提取，并转换成一定的格式进行存储或传输的视频节目制作参数作为对平移或缩放镜头进行图象运动估计的装置及其方法。

由于在帧序列的相邻画面之间，运动的部分具有连续性，所以利用反映运动的位移信息(运动矢量)，在前一帧基础上可预测出当前图象。这种方法是当前国际上运动图象压缩标准MPEG-2的基本思想。在图象压缩编码中，寻找运动矢量的运动估计技术占有极为重要的地位，一般的处理方法是以帧序列为对象，进行前后帧间对应宏块(16×16象素点)的运动估计，找出各块的运动矢量V(为方便省去V上的矢量标志“箭头”，其它矢量也如此)，但是若将运动情况细分，可以分为图象中物体的运动和摄像机摇镜头的运动，在后一种情况下，随摄像机的动作，整幅图象呈一致有规律的运动，由此对于特定宏块，其运动矢量V可分为V_p和V_s的叠加：

    V＝V_p+V_s

其中V_p为摄像机镜头摇动或缩放产生的运动矢量，V_s为图象中物体自身运动产生的运动矢量，V_s可称之为局部运动矢量。因为V_p对于整幅画不同的宏块呈一致规律，它可以根据摄像机操作信息经简单运算求出。

在进行运动估计时，以各宏块的V_p为基础，可在较小的搜索范围内寻找匹配--因为这时只要找到局部运动的匹配，所以运算量大为减小。并且这种方法可利用现有的搜索算法，只需在搜索之前加入全局运动矢量V_p作为偏置出发点，搜索完成后将V_p与V_s合成V即可。

全局运动矢量V_p下文简称WMV(Wholesome-Motion-Vector)。

传统运动估计方法，如图1所示，前一帧中静立人物位于图象左侧，双手向下，当前帧中人物位于图象右侧，双手上举，这两帧中人物位置和双手位置的不同分别是摄像机镜头的平移运动与被摄对象的局部运动的反映。

如上所述，图象内容的变化有两种原因，一种是上述的人工介入引起，一种是被摄对象自身运动引起的，而目前并不对原因加以区别，仅用统一的预分析方法来提取上述两种图象内容变化信息，以便控制后面的进一步处理。这是一种运算量较大，并且难以找到一种普遍适用的最优算法进行精确分析的方法。日本专利号平2-305287，题为“图象编码方法”，则是为有移动镜头的运动图象建立一套通过运动补偿，从而进行压缩的方法，但并未对摄像机操作过程中的参数进行变换与利用。

在本申请人申请的CN96119867.2号专利，题为“视频节目制作参数的提取方法及其系统”，提供了一种将视频节目摄取和处理过程中，描述平移，缩放镜头、场景切换和特技动画等操作的参数加以提取，并转换成一定的格式进行存储或传输的视频节目制作参数的提取方法及其系统。若能对这些参数加以利用，将大大优化相应的图象处理过程。根据该发明的方法及其系统结构，摄象机通过转换开关与编辑设备连接而构成视频和参数信号获取部分，上述的视频和参数信号获取部分的摄像机输出的视频信号，经过编辑设备完成编辑，或直接送到合成部分的合成电路。同时，摄像机和编辑设备通过转换开关与缓冲器连接。在操作的过程中，按动操作摄像机和编辑设备的操作面板的按键，所产生的视频节目制作参数信号，输出送到合成部分的合成电路进行与视频信号的合成。合成后的视频信号，可以用记录媒体，如磁带，进行存储。

节目制作参数信号由提取电路产生，在各自应用场合译码成为有用信息。节目制作参数语法结构，例如可以为：

特征码字  子参数个数  子参数1  子参数2…校验码字例如，摄取某一帧图象时摄像机镜头相对于上一帧水平移动了5个单元(向右)，垂直移动了-3个单位(向上)，取平移操作(包括水平与垂直移动)特征码字为03，它含有水平量、垂直量两个子能数，则该节目制作参数为：

0 3 0 2 0 0 0 5 F F F D F C F C其中，-3以补码FFFD表示，FCFC为校验码字。合成部分将节目制作参数信号插入视频信号，例如，把节目制作参数信号加在视频信号的扫描消隐期中。利用节目制作参数时，就必须将视频信号与节目制作参数加以分离。并且还应将不同的节目制作参数进行分离，以便应用于不同场合。

由此，本发明的目的是提供一种利用节目参数对平移、缩放镜头进行图象运动估计的装置及其方法，以减小图象运动估计搜索范围，缩短搜索时间，减小计算量。

为实现上述目的，根据本发明的用节目制作参数进行图象运动估计的装置，包括：分离节目制作参数信号的分离部分；接收上述分离部分的节目制作参数信号，并经过信息处理而输出全局运动矢量的信息处理部；以及利用上述信息处理输出的全局运动矢量通过处理输出宏块运动矢量的宏块的运动矢量决定部。

根据本发明用节目参数进行图象运动估计的方法，包括：

使用分离部分，进行分离节目制作参数信号的分离步骤；

信息处理部接收上述分离部分的节目制作参数信号，进行信息处理而得到全局运动矢量的步骤；以及

上述信息处理部输出的全局运动矢量送入宏块的运动矢量决定部，通过上述宏块的运动矢量决定部处理，决定宏块运动矢量的步骤。

由于对视频信息产生影响的操作信息与视频信息一起送到运动估计系统，运动估计系统工作时，就得到了直接的指导，信息处理接收分离部分的节目制作参数信号，进行信息处理而得到全局运动矢量，以及该信息处理部输出的全局运动矢量送入宏块的运动矢量决定部，通过该宏块的运动矢量决定部处理，决定宏块运动矢量。因而，减小了运动估计搜索范围、缩短搜索时间、减小了计算量。

图1是传统运动估计方法示意图；

图2是利用节目制作参数进行图象运动估计的系统框图；

图3是说明图2的节目制作参数分离部分的工作原理图；

图4a-4d是缩放镜头参数信息处理说明图；

图5是信息处理部分的流程图；

图6a是标准MPEG-2编码器图；

图6b是改进算法的MPEG-2编码器图。

下面，参照各个附图，说明本发明的实施方案。

上面我们已经说明了，节目制作参数信号被插入视频信号，例如，把节目制作参数信号加在视频信号的扫描消隐期中。利用节目制作参数时，就必须将视频信号与节目制作参数加以分离，并且还应将不同的节目制作参数进行分离，以便应用于不同场合。图2是利用节目制作参数进行图象运动估计的系统框图。可以通过由同步电路1、定时电路2、视频·参数分离电路3和节目制作分离电路4构成的分离部分A来实现分离。由该分离部分A分离后的节目制作参数信号提供不同场合应用，其中，所分离的平移镜头、缩放镜头及场景切换等操作的参数信号，送往信号处理部5。信息处理部5输出的WMV或V_p，送入预测模块6与矢量加法器9。该预测模块6接收来自缓冲器7的前一帧视频信号，在前一帧的基础上利用从信息处理部5来的WMV，对当前帧作出预测，并把信号送往局部运动估计模块8。该局部运动估计模块8接收从视频·参数分离电路3的视频信号与预测模块6的预测信号，对这一帧进行小范围图象运动估计，即，输出局部运动矢量V_s，从信息处理部5来的WMV，即V_p，和从局部运动估计模块8来的V_s，在矢量加法器9进行合成，即叠加V_p和V_s：

   V＝V_p+V_s由此输出特定宏块的运动矢量V。

上述同步电路1从含节目制作参数的视频信号中提取行、场同步头，可以采用锁相环电路实现。上述的定时电路2在行、场同步时刻向视频·参数分离电路3提供脉冲，可由数字电路触发器构成。视频·参数分离电路3是在行、场同步时刻从含节目制作参数的视频信号中提取制作参数，该视频·参数分离电路3可由门电路、多路开关等构成。视频·参数分离部分A从含节目制作参数的视频信号中如何提取制作参数的工作原理，如图3所示。上述的信息处理部5用于识别分离不同操作参数，送到不同应用的电路，通常可以用CPU、DSP或多路开关组成。信息处理部5用于将操作参数转换成WMV，可用DSP、或FPGA(现场可偏程门阵列)组成。预测模块6在前一帧的基础上利用WMV，对当前帧作出预测，该预测模块6可利用已有编码器模块芯片或用DSP构成。

接着，通过图4a-4d缩放镜头参数信息处理说明图，说明平移镜头参数信息处理及缩放镜头参数信息处理方法。

由摄像机得到的操作参数，描述了摄像机的操作过程，但将参数转化成相应的WMV，还需要进行一定的信息处理。信息处理部5就是由平移/缩放镜头操作参数转化成相应的WMV的处理部分。对于平移镜头图象，所有宏块的WMV都相同，处理也比较简单。当已知一个序列的三帧连续图象，同时已知摄像机给出的第一、二帧间平移信号a₁₂和第二、三帧间平移信号a₂₃，则第一、二帧的WMV信号V_p12和第二、三帧间的WMV信号V_p23满足

V_p12/a₁₂＝V_p23/a₂₃

当用预处理方法得到的一、二帧间的WMV信号V_p12后，根据来自摄像机的a₁₂、a₂₃，就能求出V_p23，同理，由V_p23和a₂₃、a₃₄，得到后面的V_p34，以此类推……直至场景改变。这个过程既充分利用了摄像机的平移参数，又简单而有效地实现了平移镜头参数与WMV的对应与校准。但关键是寻找V_p12的预处理方法必须足够可靠。

与平移镜头参数信息处理算法类似，在某一坐标点a，对于一个序列的三帧连续图象，已知摄像机给出的第一、二帧间缩放信号a₁₂和第二、三帧间缩放信号a₂₃，则第一、二帧间的WMV信号V_ap12和第二、三帧间的WMV信号V_ap12满足

V_pa12/a₁₂＝V_pa23/a₂₃

当用预处理方法得到的第一、二帧间的WMV信号V_ap12后，根据来自摄像机的a₁₂和a₂₃，就能求出V_ap23，并推出以后的WMV。V_ap12的寻找方法在下面探讨。

当摄像机进行缩放操作时，整幅图象呈有规律的放射状运动，放射中心即图象中心，如图4a和4b所示，但对于不同的宏块，各自的WMV不同。

如图4c所示，相邻的两帧间镜头由M1拉至M2，引起图象摄取范围由A1A1′变为A2A2′，但图象本身大小不变，所以对于给定点，它在图象上的坐标也就发生变化。

设OP＝x，OA1＝y1，OA2＝y2则第一帧中P点坐标x/y1，第二帧中坐标为x/y2可得，

P点坐标变化/P点坐标＝Δy/y₁(Δy＝y₂-y₁)

可见，在同一帧中，各宏块相对于上一帧的WMV/宏块与图象的中心距＝常数；因此我们只需知道某一宏块WMV的值V_pa，根据图象中心至该宏块中心的几何矢量r_a，就可以估计出r_b处另一宏块WMV的值V_pb，如图4d所示。

r_pb＝|r_b/r_a|/|V_pa|…………                (2)

与平移镜头参数信息处理算法类似，缩放镜头参数信息处理也必须有寻找V_pa的可靠方法。

接着，说明寻找V_p12和V_pa的方法。WMV信号V_p12和V_pa作为平移镜头参数和缩放镜头参数信息处理的起始点，对整个处理系统起着关键性的作用，找到的V_p12和V_pa必须真实反映镜头运动产生的影响，这样后续的处理才是准确有效的。在整幅图象中取若干个平均分布点，找到各自的运动矢量。这些取样点(运动矢量)由于物体局部的运动，在真实值(WMV)附加扰动，假设正负扰动具有相同的概率，可运用概率统计方法，以统计近似值得到WMV。

接着，说明信息处理部5由平移/缩放镜头操作参数计算相应的WMV的流程，如图5所示。当该信息处理部5收到节目制作分离电路4来的视频·参数信号时，信息处理部5进行步骤S1，如有场景切换，即Y，则进行步骤S2，寻找V_p12/V_pa12；如没有场景切换，即N，则转到步骤S2，读取V_p12/V_pa12。然后进行步骤S3，对每一宏块，由平移或缩放操作参数，按上述的关系式(1)、(2)或(3)，算出WMV值。接着进行S4，更新V_p12/V_pa12，然后返回步骤S1。

图6a是标准MPEG-2编码器图。在标准MPEG-2编码中，当前帧与运动补偿得到的当前帧的估计值进行差分，差值再进行离散余弦变换(DCT)，将变换后得到的结果进行量化，然后一路径可变长编码(VLC)后进入缓冲器。根据缓冲器的充满度，对量化步长进行调整，量化后的另一路结果再经过反量化及逆离散余弦变换(IDCT)后，与前面的当前帧的估计值合成恢复当前帧，进入运动补偿部分，运动估计部分根据新进入的一帧与恢复后的当前帧得到下一帧的运动矢量，送入运动补偿部分，由此运动补偿部分以恢复后的当前帧为基础对下一帧作出运动估计。

改进算MEG-2编码器，如图6b所示，主体部分与标准编码器相似。不同的是在运动估计部分，由WMV获取部分得到下一帧WMV的信号，作出下一帧信号的WMV修正，消除了人为操作引起的图象运动。在局部运动估计部分，比较WMV修改的下一帧信号与恢复后的当前帧得到局部运动矢量，代表了被摄对象的局部运动，将全局运动矢量与局部运动矢量合成，获得完整的运动矢量送入运动补偿部分。其它各部分的操作与标准编码器相同。

根据本发明的用节目制作参数进行图象运动估计的方法，包括：

使用分离部分A，分离节目制作参数信号的分离步骤；

信息处理部5接收上述分离部分A的节目制作参数信号，进行信息处理而得到全局运动矢量的步骤；以及

上述信息处理部5输出的全局运动矢量送入宏块的运动矢量决定部B，通过上述宏块的运动矢量决定部B处理，决定宏块运动矢量的步骤。

根据本发明的上述进行图象运动估计的方法，上述的节目制作参数信号的分离步骤，进一步包括：上述同步电路1从含节目制作参数的视频信号，进行提取行场同步头的步骤；根据上述提取行、场同步头信号，使上述的定时电路2在行、场同步时刻向视频·参数分离电路3提供脉冲的步骤；及上述视频·参数分离电路3在行、场同步时刻从含节目制作参数的视频信号中提取节目制作参数的步骤。

根据上述图象运动估计的方法，所述决定宏块的运动矢量的步骤还包括：该预测模块6接收来自缓冲器7的前一帧视频信号，在前一帧的基础上利用从信息处理部5来的V_p(WMV)，对当前帧作出预测，并把信号送往局部运动估计模块8的步骤；该局部运动估计模块8接收从视频·参数分离电路3的视频信号与预测模块6的预测信号，对这一帧进行小范围运动估计，得到V_s的步骤；将从信息处理部5来的V_p(WMV)和从局部运动估计模块8来的V_s，在矢量加法器9进行合成，由此输出特定宏块的运动矢量的步骤。

本发明人对本发明的装置进行实验，取平移镜头HDTV图象序列“滑雪”进行图象压缩实验，源图象大小1440×1152，共十三帧，压缩码率为20Mbits。通过实验，其结果表明，改进方法与标准方法得到的图象质量大致相同，但搜索范围约减小为11％，编码速度却大为提高。

再取平移镜头SDTV图象序列“打乒乓”进行图象压缩实验，源图象大小720×576，共十三帧，压缩码率为6Mbits，通过实验，其结果表明，改进方法与标准方法得到的图象质量大致相同，但搜索范围大大减小。

上面，已通过实施例和附图，详细地说明了本发明，但是，本发明不仅仅限于上述实施例，本领域的技术人员不难从本发明所揭示的装置和方法中得到启示，而对本发明装置和方法，例如，分离节目制作参数信号的分离部分、信息处理部及宏块的运动矢量决定部的电路结构作出各种各样的改变或修改。很清楚，这种改变或修改不应认为已脱离了本发明的构思和权利要求书的范围。