基于运动特征的H.264压缩域实时视频对象分割方法

具体实施方式

本发明的一个实施例子结合附图详述如下：

本发明基于运动特征的H.264压缩域实时视频对象分割方法是按图1所示程序框图，在CPU为双核2.0GHz、内存900M的PC测试平台上编程实现，图4和图5给出了仿真测试结果。

参见图1，本发明基于运动特征的H.264压缩域实时视频对象分割方法，首先对运动矢量场进行空域归一化，再对归一化的运动矢量场进行加权中值滤波，然后基于运动矢量场的幅度、散度和旋度三个运动特征，采用改进的统计区域生长方法按照运动特征相似性将其分割成多个对象。本发明提出的方法具有算法简单，对象分割速度快，分割效果好的特点。

其步骤是：

(1)运动矢量场归一化：从H.264视频中提取出运动矢量场并进行空域上归一化；

(2)加权中值滤波：将滤波窗口内的所有运动矢量乘以加权系数，再对这些运动矢量进行中值滤波；

(3)基于运动矢量场幅度、散度和旋度的对象分割：基于幅度、散度和旋度三个运动特征，采用改进的统计区域生长方法将滤波后的运动矢量场分割成多个具有相似运动特征的对象。

上述步骤(1)的运动矢量场归一化的过程如下：

将凡尺寸大于4×4的各个宏块运动矢量直接赋给该宏块所覆盖的所有4×4块，实现空域归一化。

上述步骤(2)的加权中值滤波的过程如下：

①计算3×3窗口内所有运动矢量的平均运动矢量；

②计算3×3窗口内每个运动矢量与平均运动矢量的相关系数，并以此作为加权系数；

③将3×3窗口内的所有运动矢量乘以加权系数，再进行中值滤波。

上述步骤(3)的基于运动矢量场幅度、散度和旋度的对象分割的过程如下：

①计算运动矢量场的三个运动特征：幅度、散度和旋度，即{M，D，C}；

②将{M，D，C}映射到{R，G，B}颜色空间；

③计算以四邻域连接的相邻块组的运动特征差异性度量；

④按照运动特征差异性度量从小到大的次序排序；

⑤将运动特征差异性度量最小的相邻块组合并，以此处开始区域生长过程。在每次区域生长时，当前两个块组分别属于相邻的两个区域，是否将这两个区域进行合并的判断准则是这两个区域的平均运动特征之差是否小于两个区域的边界函数之和：$|\overline{R_a^p}-\overline{R_b^p}|<\delta \left(R_a\right)+\delta \left(R_b\right),$p∈{M，D，C}，其中δ(·)为区域边界函数。

若小于则合并，否则不合并；

⑥将面积小于整个运动矢量场0.5％的区域合并到其相邻的区域；

⑦以分割结果直方图中运动矢量最小的区域对应的灰度值作为阈值将分割结果二值化，得到运动对象的掩模。

下面对本实施例子结合总框图(图1)的三个步骤给予进一步详细说明：

(1)运动矢量场归一化：

将凡尺寸大于4×4的各个宏块运动矢量直接赋给该宏块所覆盖的所有4×4块，实现空域归一化。

(2)加权中值滤波：

如图2所示，对运动矢量场进行加权中值滤波首先要计算出加权系数，然后各个运动矢量乘以加权系数，再进行中值滤波。

①计算3×3窗口内的所有运动矢量的平均运动矢量：

$\overrightarrow{V_m}=\frac{1}{3\times 3}\underset{i=1}{\overset{3\times 3}{\Sigma }}{\overrightarrow{V}}_i$

②计算3×3窗口内每个运动矢量与平均运动矢量的相关系数，并以此作为加权系数：

$w_i=\frac{|{\overrightarrow{V}}_i·\overrightarrow{V_m}|}{\left|\right|{\overrightarrow{V}}_i\left|\right|\left|\right|\overrightarrow{V_m}\left|\right|}$

③将3×3窗口内的所有运动矢量乘以加权系数，再进行中值滤波：

${\overrightarrow{V}}_c=\underset{3\times 3}{\mathrm{med}}\left\{w_i{\overrightarrow{V}}_i\right\}$

(3)基于运动矢量场幅度、散度和旋度的对象分割：

如图3所示，基于幅度、散度和旋度三个运动特征，采用改进的统计区域生长方法实现对滤波后的运动矢量场的对象分割。步骤详述如下：

①计算运动矢量场的三个运动特征：幅度，散度和旋度，即{M，D，C}

M＝|V_x|+|V_y|

$D=\frac{\partial V_x}{\partial x}+\frac{{\partial V}_y}{\partial y}$

$C=\frac{{\partial V}_y}{\partial x}-\frac{{\partial V}_x}{\partial y}$

其中，$\{\frac{{\partial V}_x}{\partial x},\frac{{\partial V}_x}{\partial y},\frac{{\partial V}_y}{\partial x},\frac{{\partial V}_y}{\partial y}\}$由Sobel算子计算；

②将{M，D，C}映射到{R，G，B}颜色空间，就是将{M，D，C}的取值范围映射到以0～255为亮度阶的{R，G，B}颜色空间；

③计算以四邻域连接的相邻块组的运动特征差异性度量；

④按照运动特征差异性度量从小到大的次序进行排序；

⑤将运动特征差异性度量最小的相邻块组合并，以此处开始区域生长过程。在每次区域生长时，当前两个块组分别属于相邻的两个区域，是否将这两个区域进行合并的判断准则是这两个区域的平均运动特征之差是否小于两个区域的边界函数之和：$|\overline{R_a^p}-\overline{R_b^p}|<\delta \left(R_a\right)+\delta \left(R_b\right),$p∈{M，D，C}，其中边界函数δ(·)定义为：$\delta \left(R\right)=L\sqrt{\frac{1}{2Q\left|R\right|}(\min (L,|R\left|\right)\log (1+|R\left|\right)+2\log 6|I\left|\right)},$其中Q表示量化参数，用来控制运动矢量场的分割程度，L表示亮度阶，|R|表示区域包含的运动矢量数目，|I|表示图像帧运动矢量场的大小。若小于则合并，否则不合并；

⑥将面积小于整个运动矢量场0.5％的区域合并到其相邻的区域；

⑦以分割结果直方图中运动矢量最小的区域对应的灰度值作为阈值将分割结果二值化，得到运动对象的掩模。

以下给出输入视频格式为352×288的CIF时的实例，采用JM8.6版本的H.264编码器对MPEG-4标准测试序列进行编码，作为测试用的H.264压缩视频。H.264编码器的配置如下：Baseline Profile，IPPP，每30帧插入1个I帧，1个参考帧，运动估计的搜索范围为[-16，16]，量化参数为30。

采用典型的标准测试序列Erik和Children作为输入视频进行测试，实验结果分别如图4和图5所示。两图中第1列为当前帧的原始图象，第2列为当前帧由基于运动特征分割所得的对象分割结果，第3列为将对象分割结果作为掩模叠加到原始图像而得到的结果。从图4和图5的第三列可以直观的看出分割的效果，采用本发明提出的分割方法能够将运动物体从场景中分割出来，而且很好的描述了物体的基本形状特征。在分割实验中，平均每帧的处理时间为15ms，足以满足大多数实时应用30fps的要求。

实验1：序列Erik为典型的头肩序列，序列中人物的头部和身体均有明显的运动。图4第1行(序列第18帧)为人物自右向左移动，图4第2行(序列第31帧)为人物自左向右移动，图4第3行(序列第45帧)为人物的头部自右向左快速移动。由图4第3列图象可以看出，对运动矢量场的分割结果能够比较准确地分割出运动对象所在的区域，而且分割的物体边缘能够比较好的描述原始图像中人物的边缘，从而反映出原始图像中人物的主要形状特征。因此本发明采取的对运动矢量场的加权中值滤波以及基于运动特征的分割方法是有效的，能够利用运动矢量信息获得一个适度分割的结果。

实验2：序列Children具有更复杂的运动，除了两个儿童的各种平移运动和其它不规则运动外，还有皮球的抛物线运动。而且在该序列中，皮球时而停止，时而独自运动，时而被儿童抱住一起运动，因此运动对象分割的难度很大。图5第1行(序列第32帧)场景中两个儿童无显著的运动，但是皮球在作抛物线的运动，在分割结果中较好的将运动中的皮球分割出来。图5第2行(序列第42帧)场景中儿童蹲下来要捡皮球，但是还没有接触到皮球，在分割结果中很好的将儿童分割出来，未将皮球包括在分割结果中。由图5第3行(序列第62帧)还可以看出此时儿童已经抱住皮球准备拿起来，在分割结果中较好的将皮球与儿童都分割出来。图5的分割结果说明本发明的运动对象分割方法能够很好的处理运动对象的分离和结合，再次证明本发明提出的方法适用于具有复杂运动特征的视频序列的对象分割。