基于快速鲁棒特征匹配的仿射运动目标跟踪算法

技术领域

本发明属于计算机视觉领域，涉及一种基于快速鲁棒特征匹配的仿射运动目标跟踪算法， 可应用于智能安防领域。具体讲，涉及基于快速鲁棒特征匹配的仿射运动目标跟踪算法。

背景技术

运动目标跟踪是实现目标检测的核心技术之一，也是后续的高层次处理，如行为理解等 的基础。作为智能视频监控技术自动化的关键，目标跟踪广泛应用于交通监测、公共安防领 域。

在信息理论中，目标跟踪可以定义为在给定一组观测的条件下对系统的状态进行估计。 在视觉跟踪中，跟踪的目标是图像中提取的目标特征，如果在每一帧图像中特征的位置和形 状都能被准确确定，则物体能被很好地跟踪。目标的轨迹就是二维图像中或三维世界中被跟 踪特征的位置序列。根据跟踪方法的不同，大致可分为基于滤波理论的目标跟踪方法，基于 均值漂移的目标跟踪方法和基于偏微分方程的目标跟踪方法。

基于均值漂移的跟踪方法由于具有实时性、鲁棒性和易于实现的特点，近年来引起了广 泛关注。但经典的均值漂移算法采用固定的核函数带宽，无法自适应目标的仿射变化和尺度 变化，常常导致定位不够精确。连续自适应均值漂移方法是将均值漂移算法扩展到连续图像 序列的结果，能够自动调节搜索窗大小以适应被跟踪目标在图像中的大小。连续自适应均值 漂移算法的缺陷在于当存在与目标颜色相近的背景干扰，常常会导致跟踪失效。

至今，已有不少学者针对均值漂移及连续自适应均值漂移算法的缺陷做了改进，如结合 图像的矩信息确定目标区域，并采用全局更新策略对模型进行更新以提高跟踪的准确性。但 是当目标的外观发生较大变化时，往往会造成跟踪失败。如将尺度不变特征变换的特征匹配 和均值漂移算法结合，提高了均值漂移算法的准确性，但计算量较大，不适用于实时跟踪系 统。

发明内容

本发明旨在克服现有技术的不足，提供一种基于快速鲁棒特征匹配的仿射运动目标跟踪 算法，改善连续自适应均值漂移算法易受颜色相近背景干扰的现象，具备性能优越、运算时 间短的特点，以实现在复杂背景下对仿射运动目标的实时稳健跟踪。为达到上述目的，本发 明采取的技术方案是，一种基于快速鲁棒特征匹配的仿射运动目标跟踪算法，包括如下步骤：

1)在视频流中将确定的目标区域从RGB颜色空间转换为HSV颜色空间，并进行截断处 理；

2)检测当前帧目标区域H、S、V通道的快速鲁棒特征点，在下一帧的搜索区域同样检 测三通道的快速鲁棒特征点，使用近似最近邻搜索方法对两区域的特征点集进行匹配， 并通过匹配对提纯剔除错误的匹配对；

3)通过匹配提纯后的特征点位置获取最小外接兴趣区域，在当前帧的最小外接兴趣区域 统计H通道色度直方图，并计算目标的概率分布图；

4)在下一帧的兴趣区域采用均值漂移迭代算法确定目标概率分布图的质心即搜索窗口 位置，并通过概率分布图的零阶矩和二阶矩初步确定搜索窗的尺寸、方向；

5)通过快速鲁棒特征点尺度和主方向对搜索窗尺寸、方向进行更新和约束；

6)如果迭代收敛，单步跟踪完毕；否则，转步骤2继续运算。

步骤1)具体为：将确定的目标区域从RGB颜色空间转换为HSV颜色空间，并对各通 道像素值进行截断处理。其中H通道像素值限定在[h_min，h_max]之间，S通道像素值限定在 [s_min，s_max]之间，V通道像素值限定在[v_min，v_max]之间。超过范围的像素值一律被压 缩到与像素值最接近的值域边界。

步骤2)具体为：先构建图像尺度金字塔，使用积分图像对图像进行盒子滤波，并在各 尺度图像上求取海赛矩阵行列式的响应函数，再在响应函数上通过非最大值抑制求取不同尺 度的特征点并构建相应的特征描述子，以下是提取快速鲁棒特征的主要步骤：

积分图像：

借助积分图像，图像和高斯二阶微分模板的滤波可转化为对积分图像的加减运算：

积分图像中任意一点(i，j)的值I_l(x)，为原图像左上角到任意点(i，j)相应的对角线区域灰 度值的总和，即：

$I_l\left(x\right)=\underset{i^{\prime }\le i}{\Sigma }\underset{j^{\prime }\le i}{\Sigma }I(i^{\prime },j^{\prime })---\left(1\right)$

式(1)中，I(i′，j′)表示原图像中点(i′，j′)灰度值；

顶点分别为A、B、C、D的窗口S内像元的灰度和∑_s可通过式(2)算得：

∑_s＝I_A(x)-I_B(x)-I_C(x)+I_D(x)    (2)

海赛矩阵行列式近似：

给定图像I中点x(i，j)处尺度为σ的海赛矩阵H(x，σ)定义如下：

$H(x,\sigma )=\left(\begin{array}{cc}{L}_{\mathrm{xx}}(x,\sigma )& L_{\mathrm{xy}}(x,\sigma )\\ L_{\mathrm{xy}}(x,\sigma )& L_{\mathrm{yy}}(x,\sigma )\end{array}\right)---\left(3\right)$

式(3)中，L_xx(x，σ)是高斯二阶微分在点x处与图像I的卷积，L_xy(x，σ)是高斯二阶微 分在点x处与图像I的卷积、L_yy(x，σ)是高斯二阶微分在点x处与图像I 的卷积；

实际应用中，采用离散的简化模板替代高斯二阶微分模板；通过如式(2)的过程，卷积就 转化为对积分图像的加减运算；

尺度空间搜索特征点：

建立图像的尺度空间金字塔；不断增大盒子滤波的模板尺寸，通过积分图像求取海赛矩 阵行列式的响应函数，再在响应函数上通过非最大值抑制求取不同尺度的特征点；

构建快速鲁棒特征描述子：

特征描述子的构建过程可分为两步：第一步在检测得到特征点的半径为6s的圆形邻域中， s为特征点所在尺度，通过一个以特征点为中心，张角为π/3的扇形滑动窗口累积计算哈尔小 波在x，y方向的响应值，得到一个矢量(m_w，θ_w)：

$m_w=\underset{w}{\Sigma }\mathrm{dx}+\underset{w}{\Sigma }\mathrm{dy}---\left(6\right)$

其中w为统计的滑动窗口，dx、dy分别为滑动窗口内任一点在x、y方向的哈尔小波响 应值，m_w为响应累加值的幅值。

${\theta }_w=\arctan (\underset{w}{\Sigma }\mathrm{dy}/\underset{w}{\Sigma }\mathrm{dx})---\left(7\right)$

其中θ_w为响应累加值的幅角。

主方向θ为最大哈尔响应累加值对应的方向，即

θ＝θ_w|max{m_w}    (8)

第二步是在这个选定方向上构造一个边长为20s的正方形区域，沿主方向将图像划分为 4×4个子块，每个子块都利用哈尔模板计算响应值，并对响应值进行统计而形成特征矢量 V_子块，即：

V_子块＝[∑dx，∑|dx|，∑dy，∑|dy|]    (9)

由于共有4×4个子块，因此特征描述子共有4×4×4＝64维特征矢量组成；

使用以上方法在当前帧的目标区域和下一帧的搜索区域分别检测H、S、V通道的快速鲁 棒特征，并使用近似最近邻搜索方法对两区域的特征点集进行匹配，即计算特征点对距离并 进行排序，对每一个特征点确定其最近邻特征点和次近邻特征点，设定该特征点与其最近邻 特征点距离为最近邻距离，同理设定次近邻距离。若两距离满足式(10)，则认定匹配成功：

最近邻距离≤次近邻距离×Thr1    (10)

式(10)中，Thr1为设定的匹配阈值；

再通过匹配对提纯剔除错误的匹配对，剔除规则如式(11)：

某一匹配对距离≤最近邻距离×Thr2    (11)

式(11)中，Thr2为设定的提纯阈值。

步骤3)具体为：通过凸包算法确定一个包含所有提纯后特征点的最小边界框，即为最 小外接兴趣区域：

以式(12)的方式统计兴趣区域H通道色度直方图：

$\widehat{q_u}=\frac{1}{n}\underset{(x,y)\in R_q}{\Sigma }\delta [c\left(f_{R_q}(x,y)\right)-u]---\left(12\right)$

式(12)中，是图像R_q的图像函数，c(.)是颜色空间的量化函数，u是直方图的 索引值，δ为Kronecker函数，n为R_q中的像素个数；

然后通过式(13)的方式获得基于直方图后向投影的概率分布图：

$p_u=\min {\{\frac{255\widehat{q_u}}{\max \left(\widehat{q_u}\right)},255\}}_{u=1,...,n}---\left(13\right)$

式(13)中，表示目标颜色直方图中H分量为u的像素个数。

步骤4)具体为：均值漂移迭代公式的一般形式如式(14)所示：

$y_1=\frac{{\Sigma }_{i=1}^{n_h}{x}_i{w}_{i}g\left({\left|\right|\frac{y_0-x_i}{h}\left|\right|}^2\right)}{{\Sigma }_{i=1}^{n_h}{w}_{i}g\left({\left|\right|\frac{y_0-x_i}{h}\left|\right|}^2\right)}---\left(14\right)$

式(14)中，x_i为目标各个像素点位置，w_i为目标各个像素点所对应权值，n_h为像素点个 数，h为核函数带宽，为核函数的负微分函数，y₀为上一次搜索窗位置，y₁为当 前搜索窗位置；

若使得核函数为Epanechnikov核函数，则为常数，式(14)可进一步简化为式 (15)：

$y_1=\frac{{\Sigma }_{i=1}^{n_h}{x}_i{w}_i}{{\Sigma }_{i=1}^{n_h}{w}_i}---\left(15\right)$

详细的计算步骤即在概率分布图I(x，y)上分别计算零阶矩和x轴，y轴方向的一阶矩即 M₀₀、M₁₀、M₀₁，从而确定搜索窗口的位置和尺寸，计算各阶矩的方法如式(16)、(17)、(18) 所示：

$M_{00}=\underset{x}{\Sigma }\underset{y}{\Sigma }I(x,y)---\left(16\right)$

$M_{10}=\underset{x}{\Sigma }\underset{y}{\Sigma }\mathrm{xI}(x,y)---\left(17\right)$

$M_{01}=\underset{x}{\Sigma }\underset{y}{\Sigma }\mathrm{yI}(x,y)---\left(18\right)$

由概率分布图的零阶矩以及在x轴、y轴方向的一阶矩，可计算出待搜索区域的质心 (x_c，y_c)：

$x_c=\frac{M_{10}}{M_{00}}---\left(19\right)$

$y_c=\frac{M_{01}}{M_{00}}---\left(20\right)$

根据概率分布图的零阶矩可以初步确定搜索窗口的尺度参数s：

$s=2\sqrt{\frac{M_{00}}{256}}---\left(21\right)$

根据概率分布图的二阶矩M₂₀、M₀₂、M₁₁，可以计算得出初步的目标旋转角度参数

$M_{20}=\underset{x}{\Sigma }\underset{y}{\Sigma }{x}^{2}I(x,y)---\left(22\right)$

$M_{02}=\underset{x}{\Sigma }\underset{y}{\Sigma }{y}^{2}I(x,y)---\left(23\right)$

$M_{11}=\underset{x}{\Sigma }\underset{y}{\Sigma }\mathrm{xyI}(x,y)---\left(24\right)$

分别按式(25)、(26)、(27)定义a、b、c：

$a=\frac{M_{20}}{M_{00}}-x_c^2---\left(25\right)$

$b=2(\frac{M_{11}}{M_{00}}-x_c{y}_c)---\left(26\right)$

$c=\frac{M_{02}}{M_{00}}-y_c^2---\left(27\right)$

则目标旋转角度与水平方向夹角为

$\theta =\frac{1}{2}{\tan }^{-1}\left(\frac{b}{a-c}\right).---\left(28\right)$

步骤5)具体为：经过实验验证，目标上快速鲁棒特征点尺度和主方向的变化分别与目 标的尺度和方向变化程度成正比。比如尺度变化具有式(29)的关系：

S_cur/S_pre＝σc/σp    (29)

式(29)中，S_pre、S_cur分别为前后帧中的目标尺度；σc，σp分别为在前后帧中检测到的快 速鲁棒特征匹配点c、p各自所在尺度；

利用提纯后的匹配点尺度进行统计，获得稳定的目标尺度变化，即

$S_{\mathrm{cur}}=S_{\mathrm{pre}}\times \frac{1}{n}\underset{i=1}{\overset{n}{\Sigma }}\frac{{\mathrm{\sigma c}}_i}{{\mathrm{\sigma p}}_i}---\left(30\right)$

式(30)中，n为所有优秀匹配特征点的数目；

同理，对提纯后的特征点c和p，设快速鲁棒特征点的主方向分别为A_c、A_p，则当前帧 目标的方向可通过式(31)的方式得到，即：

$O_{\mathrm{cur}}=O_{\mathrm{pre}}+\frac{1}{n}\underset{i=1}{\overset{n}{\Sigma }}(A_c-A_p)---\left(31\right)$

式(31)中，n为所有优秀匹配特征点的数目，O_pre、O_cur分别为前后帧中的目标方向；

通过式(30)、(31)的方式得到由快速鲁棒特征确定的当前帧目标的尺度和方向，并对由连续自 适应均值漂移算法初步确定的目标尺度和方向进行约束和更新。

步骤6)收敛的条件为相邻两次运算的质心偏量小于一定阈值即||y_i+1-y_i||＜ε或大于预定 的最大迭代次数，ε为预先设定的大于0的正数。

本发明的技术特点及效果：

视频流图像背景具有与目标颜色相似的像素时，经典的连续自适应均值漂移算法跟踪效 果变差或失效。已有技术将尺度不变特征变换的特征匹配和均值漂移算法结合，提高了均值 漂移算法的准确性，但计算量较大，不适用于实时跟踪系统。鉴于此，本发明将快速鲁棒特 征的检测和匹配过程融入连续自适应均值漂移算法框架，即在目标区域和搜索区域提取包含 图像信息的快速鲁棒特征并利用近似最近邻搜索对特征点进行匹配，利用提纯后的匹配结果 对连续自适应均值漂移算法搜索区域进行约束和更新。当图像背景具有与目标颜色相似的像 素时，连续自适应均值漂移算法容易跟踪失效，本发明提出算法改善了这一缺陷。同时，基 于快速鲁棒特征匹配的仿射运动目标跟踪算法实现了对复杂背景下仿射运动目标的跟踪，且 实时性较好。

附图说明

图1为本发明中完整的算法实现框图。

图2为本发明实施例中目标区域与搜索区域H通道的快速鲁棒特征匹配及提存结果对 比。

图3为本发明实施例中目标区域与搜索区域S通道的快速鲁棒特征匹配及提存结果对比。

图4为本发明实施例中目标区域与搜索区域V通道的快速鲁棒特征匹配及提存结果对 比。

图5为本发明实施例中当前帧兴趣区域H通道色度直方图。

图6为本发明实施例中目标的概率分布图。

图7为本发明实施例中测试视频1通过均值漂移算法初步确定搜索窗信息的目标跟踪结 果。

图8为本发明实施例中测试视频1通过尺度不变特征变换最终确定的搜索窗信息即目标 跟踪结果。

图9为本发明实施例中测试视频1通过快速鲁棒特征信息最终确定的搜索窗信息即目标 跟踪结果。

图10为本发明实施例中测试视频2通过均值漂移算法初步确定搜索窗信息的目标跟踪结 果。

图11为本发明实施例中测试视频2通过尺度不变特征变换最终确定的搜索窗信息即目标 跟踪结果。

图12为本发明实施例中测试视频2通过快速鲁棒特征信息最终确定的搜索窗信息即目标 跟踪结果。

具体实施方式

本发明不涉及目标检测部分，在初始帧图像中，已经确定了目标区域的大小和位置，为 一个包含目标像素的矩形框。

为了实现发明目的，采用的技术方案如下：

1、在视频流中将确定的目标区域从RGB颜色空间转换为HSV颜色空间，并进行截断处理。

2、检测当前帧目标区域H、S、V通道的快速鲁棒特征点，在下一帧的搜索区域同样检测三 通道的快速鲁棒特征点。使用近似最近邻搜索方法对两区域的特征点集进行匹配，并通过 匹配对提纯剔除错误的匹配对。

3、通过匹配提纯后的特征点位置获取最小外接兴趣区域。在当前帧的兴趣区域统计H通道 色度直方图，并计算目标的概率分布图。

4、在下一帧的兴趣区域采用均值漂移迭代算法确定目标概率分布图的质心即搜索窗口位置， 并通过概率分布图的零阶矩和二阶矩初步确定搜索窗的尺寸、方向。

5、通过快速鲁棒特征点尺度和主方向对搜索窗尺寸、方向进行更新和约束。

6、如果迭代收敛，单步跟踪完毕；否则，转步骤2继续运算。

本发明基于快速鲁棒特征匹配的仿射运动目标跟踪算法，具体实现步骤如下：

步骤1：在视频流中将确定的目标区域从RGB颜色空间转换为HSV颜色空间，并进行 截断处理。

将确定的目标区域从RGB颜色空间转换为HSV颜色空间，并对各通道像素值进行截断 处理。其中H通道像素值限定在[h_min，h_max]之间，S通道像素值限定在[s_min，s_max]之 间，V通道像素值限定在[v_min，v_max]之间。超过范围的像素值一律被压缩到与像素值最 接近的值域边界。

步骤2：检测当前帧目标区域H、S、V通道的快速鲁棒特征点，在下一帧的搜索区域同 样检测三通道的快速鲁棒特征点。使用近似最近邻搜索方法对两区域的特征点集进行匹配， 并通过匹配对提纯剔除错误的匹配对。

快速鲁棒特征的提取原理是先构建图像尺度金字塔，使用积分图像对图像进行盒子滤波， 并在各尺度图像上求取海赛矩阵行列式的响应函数，再在响应函数上通过非最大值抑制求取 不同尺度的特征点。以下将分别介绍提取快速鲁棒特征的主要步骤：

积分图像：

借助积分图像，图像和高斯二阶微分模板的滤波可转化为对积分图像的加减运算。

积分图像中任意一点(i，j)的值I_l(x)，为原图像左上角到任意点(i，j)相应的对角线区域灰 度值的总和，即：

$I_l\left(x\right)=\underset{i^{\prime }\le i}{\Sigma }\underset{j^{\prime }\le i}{\Sigma }I(i^{\prime },j^{\prime })---\left(1\right)$

式(1)中，I(i′，j′)表示原图像中点(i′，j′)灰度值。

顶点分别为A、B、C、D的窗口S内像元的灰度和∑_s通过式(2)算得：

∑_s＝I_A(x)-I_B(x)-I_C(x)+I_D(x)    (2)

海赛矩阵行列式近似：

给定图像I中点x(i，j)处尺度为σ的海赛矩阵H(x，σ)定义如下：

$H(x,\sigma )=\left(\begin{array}{cc}{L}_{\mathrm{xx}}(x,\sigma )& L_{\mathrm{xy}}(x,\sigma )\\ L_{\mathrm{xy}}(x,\sigma )& L_{\mathrm{yy}}(x,\sigma )\end{array}\right)---\left(3\right)$

式(3)中，L_xx(x，σ)是高斯二阶微分在点x处与图像I的卷积，，L_xy(x，σ)是高斯二阶 微分在点x处与图像I的卷积、L_yy(x，σ)是高斯二阶微分在点x处与图像 I的卷积。

实际应用中，通常采用离散的简化模板替代高斯二阶微分模板，卷积就转化为对积分 图像的加减运算，可大大缩减计算时间。

尺度空间表示：

为了获得不同尺度的特征点，必须建立图像的尺度空间金字塔。快速鲁棒特征采用不断 增大盒子滤波模板尺寸并与积分图像共同求取海赛矩阵行列式的响应函数，再在响应函数上 通过非最大值抑制求取不同尺度的特征点。

构建快速鲁棒特征描述子：

特征描述子的构建过程可分为两步：第一步在特征点的半径为6s(s为特征点所在尺度)的 圆形邻域中，通过一个以特征点为中心，张角为π/3的扇形滑动窗口累积计算哈尔小波在x， y方向的响应值，得到一个矢量(m_w，θ_w)：

$m_w=\underset{w}{\Sigma }\mathrm{dx}+\underset{w}{\Sigma }\mathrm{dy}---\left(6\right)$

其中w为统计的滑动窗口，dx、dy分别为滑动窗口内任一点在x、y方向的哈尔小波响应值，m_w为响 应累加值的幅值。

${\theta }_w=\arctan (\underset{w}{\Sigma }\mathrm{dy}/\underset{w}{\Sigma }\mathrm{dx})---\left(7\right)$

其中θ_w为响应累加值的幅角。

主方向θ为最大哈尔响应累加值对应的方向，即

θ＝θ_w|max{m_w}    (8)

第二步是在这个选定方向上构造一个边长为20s的正方形区域，沿主方向将图像划分为 4×4个子块，每个子块都利用哈尔模板计算响应值，并对响应值进行统计而形成特征矢量 V_子块，即：

V_子块＝[∑dx，∑|dx|，∑dy，∑|dy|]    (9)

由于共有4×4个子块，因此特征描述子共有4×4×4＝64维特征矢量组成.

使用以上方法在当前帧的目标区域和下一帧的搜索区域分别检测H、S、V通道的快速鲁 棒特征，并使用近似最近邻搜索方法对两区域的特征点集进行匹配，即计算特征点对距离并 进行排序，对每一个特征点确定其最近邻特征点和次近邻特征点，设定该特征点与其最近邻 特征点距离为最近邻距离，同理设定次近邻距离。若两距离满足式(10)，则认定匹配成功。

最近邻距离≤次近邻距离×Thr1    (10)

式(10)中，Thr1为设定的匹配阈值。

再通过匹配对提纯剔除错误的匹配对，剔除规则如式(11)。

某一匹配对距离≤最近邻距离×Thr2    (11)

式(11)中，Thr2为设定的提纯阈值。

步骤3：通过匹配提纯后的特征点位置获取最小外接兴趣区域。在当前帧的兴趣区域统 计H通道色度直方图，并计算目标的概率分布图。

通过凸包算法确定一个包含所有提纯后特征点的最小边界框，即为最小外接兴趣区域。

以式(12)的方式统计兴趣区域H通道色度直方图：

$\widehat{q_u}=\frac{1}{n}\underset{(x,y)\in R_q}{\Sigma }\delta [c\left(f_{R_q}(x,y)\right)-u]---\left(12\right)$

式(12)中，是图像R_q的图像函数，c(.)是颜色空间的量化函数，u是直方图的索引 值，δ为Kronecker函数，n为R_q中的像素个数。

然后通过式(13)的方式获得基于直方图后向投影的概率分布图：

$p_u=\min {\{\frac{255\widehat{q_u}}{\max \left(\widehat{q_u}\right)},255\}}_{u=1,...,n}---\left(13\right)$

式(13)中，表示目标颜色直方图中H分量为u的像素个数。

步骤4：在下一帧的兴趣区域采用均值漂移的迭代算法确定目标概率分布图的质心即 搜索窗口位置，并通过概率分布图的零阶矩和二阶矩初步确定搜索窗的尺寸、方向。

均值漂移迭代公式的一般形式如式(14)所示：

$y_1=\frac{{\Sigma }_{i=1}^{n_h}{x}_i{w}_{i}g\left({\left|\right|\frac{y_0-x_i}{h}\left|\right|}^2\right)}{{\Sigma }_{i=1}^{n_h}{w}_{i}g\left({\left|\right|\frac{y_0-x_i}{h}\left|\right|}^2\right)}---\left(14\right)$

式(14)中，x_i为目标各个像素点位置，w_i为目标各个像素点所对应权值，n_h为像素点个数，h 为核函数带宽，为核函数的负微分函数，y₀为上一次搜索窗位置，y₁为当前搜索 窗位置。

若使得核函数为Epanechnikov核函数，则为常数，式(14)可进一步简化为式 (15)：

$y_1=\frac{{\Sigma }_{i=1}^{n_h}{x}_i{w}_i}{{\Sigma }_{i=1}^{n_h}{w}_i}---\left(15\right)$

详细的计算步骤即在概率分布图I(x，y)上分别计算零阶矩和x轴，y轴方向的一阶矩即 M₀₀、M₁₀、M₀₁，从而确定搜索窗口的位置和尺寸，计算各阶矩的方法如式(16)、(17)、(18) 所示：

$M_{00}=\underset{x}{\Sigma }\underset{y}{\Sigma }I(x,y)---\left(16\right)$

$M_{10}=\underset{x}{\Sigma }\underset{y}{\Sigma }\mathrm{xI}(x,y)---\left(17\right)$

$M_{01}=\underset{x}{\Sigma }\underset{y}{\Sigma }\mathrm{yI}(x,y)---\left(18\right)$

由概率分布图的零阶矩以及在x轴、y轴方向的一阶矩，可计算出待搜索区域的质心 (x_c，y_c)：

$x_c=\frac{M_{10}}{M_{00}}---\left(19\right)$

$y_c=\frac{M_{01}}{M_{00}}---\left(20\right)$

根据概率分布图的零阶矩可以初步确定搜索窗口的尺度参数s：

$s=2\sqrt{\frac{M_{00}}{256}}---\left(21\right)$

根据概率分布图的二阶矩M₂₀、M₀₂、M₁₁，可以计算得出初步的目标旋转角度参数

$M_{20}=\underset{x}{\Sigma }\underset{y}{\Sigma }{x}^{2}I(x,y)---\left(22\right)$

$M_{02}=\underset{x}{\Sigma }\underset{y}{\Sigma }{y}^{2}I(x,y)---\left(23\right)$

$M_{11}=\underset{x}{\Sigma }\underset{y}{\Sigma }\mathrm{xyI}(x,y)---\left(24\right)$

分别按式(25)、(26)、(27)定义a、b、c：

$a=\frac{M_{20}}{M_{00}}-x_c^2---\left(25\right)$

$b=2(\frac{M_{11}}{M_{00}}-x_c{y}_c)---\left(26\right)$

$c=\frac{M_{02}}{M_{00}}-y_c^2---\left(27\right)$

则目标旋转角度与水平方向夹角为

$\theta =\frac{1}{2}{\tan }^{-1}\left(\frac{b}{a-c}\right)---\left(28\right)$

步骤5：通过快速鲁棒特征点尺度和主方向对搜索窗尺寸、方向进行更新和约束。

经过实验验证，目标上快速鲁棒特征点尺度和主方向的变化分别与目标的尺度和方向变 化程度成正比。比如尺度变化具有式(29)的关系：

S_cur/S_pre＝σc/σp    (29)

式(29)中，S_pre、S_cur分别为前后帧中的目标尺度；σc，σp分别为在前后帧中检测到的快速鲁 棒特征匹配点c、p各自所在尺度。

利用提纯后的匹配点尺度进行统计，获得稳定的目标尺度变化，即

$S_{\mathrm{cur}}=S_{\mathrm{pre}}\times \frac{1}{n}\underset{i=1}{\overset{n}{\Sigma }}\frac{{\mathrm{\sigma c}}_i}{{\mathrm{\sigma p}}_i}---\left(30\right)$

式(30)中，n为所有优秀匹配特征点的数目。

同理，对提纯后的特征点c和p，设快速鲁棒特征点的主方向分别为A_c、A_p，则当前帧 目标的方向可通过式(31)的方式得到，即：

$O_{\mathrm{cur}}=O_{\mathrm{pre}}+\frac{1}{n}\underset{i=1}{\overset{n}{\Sigma }}(A_c-A_p)---\left(31\right)$

式(31)中，n为所有优秀匹配特征点的数目，O_pre、O_cur分别为前后帧中的目标方向。

通过式(30)、(31)的方式得到由快速鲁棒特征确定的当前帧目标的尺度和方向，并对由连 续自适应均值漂移算法初步确定的目标尺度和方向进行约束和更新。

步骤6：如果迭代收敛，单步跟踪完毕；否则，转步骤2继续运算。

收敛的条件为相邻两次运算的质心偏量小于一定阈值即||y_i+1-y_i||＜ε或大于预定的最大 迭代次数，ε为预先设定的大于0的正数。

本发明的理论基础是基于连续自适应的均值漂移算法，实现方法是步骤1-6，其完整算 法的实现框图如图1所示。本发明的主要创新之处在于将快速鲁棒特征的检测和匹配过程融 入连续自适应均值漂移算法框架，即在目标区域和搜索区域提取包含图像信息的快速鲁棒特 征并利用近似最近邻搜索对特征点进行匹配，利用提纯后的匹配结果对连续自适应均值漂移 算法搜索区域进行约束和更新。本发明的另一创新之处在于提取快速鲁棒特征时采用了颜色 空间多通道信息进行融合。

以下通过具体的实施例对本发明的技术方案作进一步的详细描述。

对一组目标的外观、尺度、形状和光照条件以及背景发生较大变化的测试视频1、2采用 本发明的跟踪算法进行跟踪，红色椭圆框为本专利算法确定目标区域的搜索窗口，视频分辨 率为384×288，帧率30fps，帧数分别为2688和2822。

步骤1：在视频流中将确定的目标区域从RGB颜色空间转换为HSV颜色空间，并进行 截断处理。

将确定的目标区域从RGB颜色空间转换为HSV颜色空间，并对各通道像素值进行截断 处理。其中H通道像素值限定在[0，180]之间，S通道像素值限定在[20，240]之间，V通道像 素值限定在[20，240]之间。超过范围的像素值一律被压缩到与像素值最接近的值域边界。截 断处理可以在一定程度上滤除噪声的影响。

步骤2：检测当前帧目标区域H、S、V通道的快速鲁棒特征，在下一帧的搜索区域同样 检测三通道的快速鲁棒特征，使用近似最近邻搜索方法对两区域的特征点集进行匹配，并通 过匹配对提纯剔除错误的匹配对。

设定匹配阈值Thr1为0.5，提纯阈值Thr2为3.5。在一次选取搜索窗后，H、S和V通道 共提取特征点对43个，去除误匹配后剩27个，基本分布在目标或其边缘上。

目标区域与搜索区域H、S、V通道的快速鲁棒特征匹配及提存结果对比如图2、3、4所 示。

步骤3：通过匹配提纯后的特征点位置获取最小外接兴趣区域，在当前帧的兴趣区域统 计H通道色度直方图，并计算目标的概率分布图。

将各通道的匹配结果进行融合，再通过凸包算法确定一个包含所有提纯后特征点的最小 外接兴趣区域，并按式(12)统计得到当前帧兴趣区域H通道色度直方图如图5所示，按式(13) 计算得到目标的概率分布图如图6所示。

步骤4：在下一帧的兴趣区域采用均值漂移迭代算法确定目标概率分布图的质心即搜索 窗口位置，并通过概率分布图的零阶矩和二阶矩初步确定搜索窗的尺寸、方向。

初步确定的搜索窗尺寸、方向并不能完全准确的反映目标外观、尺度以及形状的变化， 这是因为连续自适应均值漂移算法对颜色敏感，若出现背景像素与目标颜色相近时，跟踪效 果会变差或失效。测试视频1、2中目标通过均值漂移算法初步确定搜索窗信息的目标跟踪结 果如图7、10所示。

步骤5：通过快速鲁棒特征点尺度和主方向对搜索窗尺寸、方向进行更新和约束。

快速鲁棒特征具有良好的尺度不变性和旋转不变性，若采用快速鲁棒特征的尺度和主方 向信息对搜索窗尺寸、方向进行更新和约束的话，能够更好的适应目标的外观、尺寸以及形 状变化。测试视频1、2中目标通过快速鲁棒特征的尺度和主方向信息最终确定的搜索窗信息 即目标跟踪结果如图9、12所示。

步骤6：如果迭代收敛，单步跟踪完毕；否则，转步骤2继续运算。

收敛的条件为相邻两次运算的质心偏量小于一定阈值即||y_i+1-y_i||＜0.1或大于预定的最大 迭代次数10次。

本实施例采用了跟踪过程中的200帧视频图像的数据进行统计平均，本发明基于快速鲁 棒特征匹配的仿射运动目标跟踪算法的单帧跟踪时间为0.1286秒，属于亚实时层次。为了在 算法中达到实时效果，采用每三帧视频流图像取一帧进行处理的办法进行尝试，达到了较为 满意的实时跟踪效果。这是因为相邻三帧内目标移动位置有限，并不影响连续自适应均值漂 移算法的迭代计算效果。所以本发明提出的算法可应用于实时的目标跟踪系统。

本实施例中，实现了对复杂背景下仿射运动目标的鲁棒跟踪，算法实现软件平台为Visual  C++2008Express，运行的硬件平台为英特尔单核3.00GHz处理器，算法的处理速度可以达到 8帧/秒，采用每三帧视频流图像取一帧时处理速度可以达到24帧/秒。

1、当视频流图像背景具有与目标颜色相似的像素时，经典的连续自适应均值漂移算法跟 踪效果变差或失效。已有技术将尺度不变特征变换的特征匹配和均值漂移算法结合，提高了 均值漂移算法的准确性，但计算量较大，不适用于实时跟踪系统。鉴于此，本发明将快速鲁 棒特征的检测和匹配过程融入连续自适应均值漂移算法框架，即在目标区域和搜索区域提取 包含图像信息的快速鲁棒特征并利用近似最近邻搜索对特征点进行匹配，利用提纯后的匹配 结果对连续自适应均值漂移算法搜索区域进行约束和更新。当图像背景具有与目标颜色相似 的像素时，连续自适应均值漂移算法容易跟踪失效，本发明提出算法改善了这一缺陷。同时， 基于快速鲁棒特征匹配的仿射运动目标跟踪算法实现了对复杂背景下仿射运动目标的跟踪， 且实时性较好。

2、为了证明本发明提出算法对现有技术的改进，分别对连续自适应均值漂移算法，结合 尺度不变特征变换和快速鲁棒特征匹配的连续自适应均值漂移算法进行了跟踪性能对比，如 图7-12所示。图7、8、9为明亮场景，一辆汽车正在完成倒车动作，后退的同时向右边大幅 度旋转。如图7所示，连续自适应均值漂移算法由于对背景颜色十分敏感，在此次跟踪过程 中几乎失效。如图8所示，结合尺度不变特征变换的跟踪算法能够实现较好的跟踪，但搜索 窗不能很好的收敛到目标的边缘。由图9可见，本发明提出的算法，在目标外观发生较大变 化，旋转较大角度时，仍然能够实现稳健的跟踪，具有较为出色的旋转不变性。在运动期间， 目标也基本没有受到旁边停留汽车的影响，搜索窗较好的收敛到目标边缘。图10、11、12为 昏暗场景，一辆面包车由远至近的开来，在三岔路口遇到行人避让并右转弯离去。如图10所 示，目标的尺度和方向均发生不同程度的改变。连续自适应均值漂移算法的跟踪过程中目标 受到了行人和路面白色斑点的干扰，搜索窗逐渐偏离真实目标，有发散的趋势。如图11所示， 结合尺度不变特征变换的跟踪算法能够实现较理想的跟踪，但搜索窗不能很好的反映目标的 外观变化。由图12可见，尽管路旁有各种颜色的车辆、路面上还有显著的白色斑点，过程中 行人也对目标有一定干扰，但本发明提出的算法依然能够实现鲁棒的跟踪。跟踪窗也很好的 反映了目标的尺度和方向。

表1不同算法单帧跟踪时间对比

此外，还采用了跟踪过程中的200帧视频图像的数据进行统计平均。由表1可见，尺度 不变特征变换算法提取和匹配的特征点均多于快速鲁棒特征算法，但同时耗时和误匹配率均 高过快速鲁棒特征算法不少。尤其是尺度不变特征变换特征较高的误匹配率导致了对应跟踪 算法中的搜索窗不能准确的反映目标的外观变化。虽然结合快速鲁棒特征算法的跟踪耗时比 连续自适应均值漂移算法稍多，但可以得到更加稳健的跟踪效果。