视频监控设备进行视频跟踪的方法及该视频监控设备

技术领域

本发明涉及视频跟踪技术，尤其涉及视频监控设备进行视频跟踪的方法及该视频 监控设备。

背景技术

视频监控设备的视频跟踪为PTZ（Pan/Tilt/Zoom）跟踪，PTZ跟踪即视频监控设 备的云台通过全方位（上下、左右）移动及镜头变倍、变焦控制进行目标跟踪。PTZ 跟踪为单目标视频跟踪的一种应用。

单目标视频跟踪也就是，在一段视频序列中，已知视频目标在第一帧的位置和大 小信息，利用某种跟踪算法，持续输出视频目标在后续序列中的位置和大小信息。单 目标视频跟踪的算法种类繁多，比较经典的有特征点跟踪，粒子滤波跟踪，均直漂移 （meanshift）跟踪等算法。

PTZ跟踪也就是，在视频监控设备的摄像机监视场景范围内，当移动目标出现后， 用户可以手动锁定（例如通过鼠标点击来锁定目标）或预置位自动触发锁定某个运动 目标，来触发PTZ摄像机进行自主自动的PTZ跟踪，并自动控制PTZ摄像机的云台 进行全方位旋转，针对被锁定的视频目标进行视觉导向的自动跟踪，以确保跟踪的视 频目标持续出现在镜头中央。被锁定的视频目标用外接框标示在视频图像上，外接框 多采用矩形框。

在PTZ跟踪场景下，采用跟踪算法来区分视频目标所处环境的变化（背景变化） 与视频目标自身的变化（目标形变），以使外接框持续标示在视频目标上。区分视频目 标所处环境的变化（背景变化）与视频目标自身的变化（目标形变）是衡量一个跟踪 算法是否鲁棒的标准。

目前的视频监控设备进行视频跟踪的方案中，仍采用原始跟踪算法计算得到当前 帧的外接框角点坐标，再由计算得到外接框的位置坐标在当前帧的视频图像上显示外 接框。以外接框是矩形框为例，外接框角点坐标包括矩形框的四个角的坐标，即左上 角坐标、左下角坐标、右上角坐标和右下角坐标。

在PTZ跟踪的场景中，安防监控设备的摄像机是运动的，需要进行跟踪的视频目 标是运动的，如人、机动车及非机动车等；视频目标的颜色可能不单一，即可能是多 峰分布的。发明人在具体实践中发现，在PTZ跟踪过程中，由于PTZ摄像头角度变化 与跟踪物体非刚体的特性，跟踪物体是容易发生形变的，并且由于背景复杂，跟踪的 外接框容易漂移到背景上去，也就是，把部分背景作为视频目标的一部分，导致跟踪 过程失败，有效性低。

发明内容

本发明提供了一种视频监控设备进行视频跟踪的方法，该方法能够提高视频跟踪 的有效性。

本发明提供了一种视频监控设备，该视频监控设备能够提高视频跟踪的有效性。

一种视频监控设备进行视频跟踪的方法，该方法包括：

获取视频目标当前帧与上一相邻帧之间的帧差图像；

在帧差图像的运动区域中选取角点，将角点的位置坐标集合表示为H_t-1；确定出 选取的角点在当前帧中的位置坐标集合，表示为H_t；

去掉H_t中虚假图像的位置坐标，得到H_t'；确定包含H_t'中所有位置坐标点的外接 框；

由确定的外接框角点坐标和原始跟踪算法计算得到的外接框角点坐标，计算得到 当前帧的外接框的位置坐标；由计算得到外接框的位置坐标在当前帧的视频图像上显 示外接框。

一种视频监控设备，该视频监控设备包括帧差获取单元、角点提取单元、角点跟 踪单元、运动聚类单元、运动区域提取单元、原始跟踪单元、运动信息融合单元和显 示单元；

所述帧差获取单元，获取视频目标当前帧与上一相邻帧之间的帧差图像；

所述角点提取单元，在帧差图像的运动区域中选取角点，将角点的位置坐标集合 表示为H_t-1；

所述角点跟踪单元，确定出所述角点提取单元选取的角点在当前帧中的位置坐标 集合，表示为H_t；

所述运动聚类单元，去掉H_t中虚假图像的位置坐标，得到H_t'；

所述运动区域提取单元，确定包含H_t'中所有位置坐标点的外接框，将确定的外接 框角点坐标传送给所述运动信息融合单元；

所述原始跟踪单元，将原始跟踪算法计算得到的外接框角点坐标传送给所述运动 信息融合单元；

所述运动信息融合单元，由来自所述运动区域提取单元的外接框角点坐标和来自 所述原始跟踪单元的外接框角点坐标，计算得到当前帧的外接框的位置坐标，传送给 所述显示单元；

所述显示单元，由来自所述运动信息融合单元的外接框的位置坐标在当前帧的视 频图像上显示外接框。

从上述方案可以看出，本发明中，获取视频目标当前帧与上一相邻帧之间的帧差 图像；在帧差图像的运动区域中选取角点，确定出选取的角点在当前帧中的位置坐标 集合，表示为H_t；去掉H_t中虚假图像的位置坐标，得到H_t'；从H_t′中提取出外接框角 点坐标；再由提取的外接框角点坐标计算得到当前帧的外接框的位置坐标。本发明在 帧差图像的运动区域中选取角点，基于选取的角点计算得到当前帧的外接框的位置坐 标；帧差图像体现了视频目标当前帧与上一相邻帧之间的运动变化，且由于视频目标 是运动的，在运动区域选取角点将进一步体现视频目标当前帧与上一相邻帧之间的运 动变化；这样，本发明方案将运动信息结合到视频跟踪的方案中，将运动信息作为先 验信息来区分跟踪的视频目标和背景，提高了视频跟踪的有效性。

附图说明

图1为本发明视频监控设备进行视频跟踪的方法示意性流程图；

图2为本发明获取帧差图像的方法流程图；

图3为本发明视频监控设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图， 对本发明进一步详细说明。

在PTZ视频跟踪中，由于视频目标所处环境的变化（背景变化）及视频目标 自身的变化（目标形变）较大，本发明将运动信息结合到视频跟踪的方案中，将 运动信息作为先验信息来区分跟踪的视频目标和背景，以提高视频跟踪的有效性。

本发明的思路是：已知跟踪的视频目标在上一相邻帧中的位置信息，也就是 已知在上一相邻帧中外接框的位置信息；而后，结合运动信息进行视频跟踪，获 取跟踪的视频目标在当前帧的位置信息，也就是结合运动信息获取当前帧中外接 框的位置信息。所述上一相邻帧为与当前帧紧邻的上一帧。

参见图1，为本发明视频监控设备进行视频跟踪的方法示意性流程图，其包 括以下步骤：

步骤101，获取视频目标当前帧与上一相邻帧之间的帧差图像。

已知上一相邻帧的视频图像和视频目标的位置信息；采集当前帧的视频图像 后，由上一相邻帧的视频图像和视频目标的位置信息，以及当前帧的视频图像便 可确定出视频目标在当前帧与上一相邻帧之间的帧差图像。具体地，本步骤可采 用图2所示的流程实现：

步骤201，从上一相邻帧中提取跟踪点，将跟踪点的位置坐标集合，表示为 P_t-1(x_t-1，y_t-1)。

本步骤主要作用是初始化跟踪点，将上一相邻帧视频图像表示为I_t-1，将当前 帧视频图像表示为I_t。本步骤中，可采用光流撒点算法，在上一相邻帧视频图像上 等距离均匀提取跟踪点，初始化点集表示为P_t-1，使得P_t-1上的点P均匀分布在I_t-1上。具体地，可取16个跟踪点。一般地，如采用光流撒点算法提取跟踪点，相应 地，步骤202中采用卢卡斯光流跟踪算法进行视频跟踪。

如果计算资源足够，也可采用角点提取(例如经典的哈里斯角点算法)来获得初 始跟踪点；角点提取的一个缺点是，提取的角点可能集中分布在图像的部分区域 里，这样不利于计算出前后两帧的几何关系。当然也可以通过增大角点提取个数， 限制相邻两个角点之间的距离，这样做又会增加计算量。

在实际操作时，可根据需要，采用较优的方式执行本步骤。

步骤202，确定出选取的跟踪点在当前帧中的位置坐标集合，表示为P_t(x_t,y_t)。

在上一相邻帧中提取跟踪点后，可采用现有的卢卡斯光流跟踪等光流跟踪算法， 确定出选取的跟踪点图象块在当前帧中的位置坐标集合。

卢卡斯光流（全称卢卡斯·卡纳德光流）跟踪算法，属于稀疏光流跟踪算法的 一种，其基本思想就是通过迭代算法，找出第一帧某图像块（特征点）在均方判 别准则下在第二帧的相应位置。第一帧中各图像块的像素点可以给予不同的权值， 本发明中，为了计算方便，图像块中的每一个像素点权值都取为相同。另外某些 光流的改进算法还考虑到图像块的平移、旋转及放大等变化。卢卡斯光流跟踪算 法考虑的是图象块的平移，本发明的应用情况针对的是连续两帧，也只需考虑图 像块的平移变化。

同时，卢卡斯光流跟踪算法还利用了金字塔分层的思想，即保存原始图像进 行缩小后的1/4图像与1/16图像，跟踪过程中，每次迭代先在最底层（1/16图像）中 寻找与初始跟踪点匹配的图象块，然后由找到的图象块在中间层(1/4图像)中寻找 匹配的图象块，最后再由在中间层找到的图象块在原图像中寻找匹配的图像块； 这样做的好处是可以应对图像块较大范围内的移动，即适用于PTZ运动导致背景快 速运动的应用场景。

步骤203，由P_t-1(x_t-1，y_t-1)和P_t(x_t,y_t)，计算出仿射变换的几何变换参数，得到仿 射变换几何模型。

仿射变换属于几何变换的一种，是一种参数模型，前提是假定两幅图像中存 在这种变换关系。仿射变换主要特征是不改变图像直线的平行关系，也就是一副 图像的平行四边形在另一幅图像中仍然是平行四边形。仿射变换模型包含6个参 数，6个参数考虑了图像的平移、旋转、放大等因素；而且因为有6个未知量，所 以需要两幅图像对应的3对位置坐标点对，即6个方程，进行求解，以得到仿射变 换模型，仿射变换模型如公式(1)所示：

$\left(\begin{array}{c}{x}_{t-1}\\ y_{t-1}\end{array}\right)=\left(\begin{array}{cc}a& b\\ c& d\end{array}\right)\left(\begin{array}{c}{x}_t\\ y_t\end{array}\right)+\left(\begin{array}{c}e\\ f\end{array}\right)---\left(1\right)$

P_t-1与P_t中的位置坐标成对应关系，虽然通过3对位置坐标点对便可求解上述公 式，但为了结果的准确性，可采用现有算法，根据P_t-1与P_t中的所有位置坐标计算 出最佳的结果；具体地，可通过P_t-1与P_t中位置坐标的对应关系，再利用ransac算法 与最小二乘，计算出上述公式中6个参数在均方意义下的最佳估值。利用ransac算 法与最小二乘计算出最佳估值为已有技术，这里不多赘述。

步骤204，将视频目标各图象块的位置坐标及其领域各图像块的位置坐标表 示为Ω，将上一相邻帧中Ω对应的图象块的像素值表示为I_t-1，由Ω和仿射变化几 何模型计算得到当前帧中Ω对应的图象块的像素值，表示为I_t′，将I_t-1和I_t'进行相 减得到帧差图像。

通过仿射变换模型找到了I_t-1与I_t之间的几何关系，这样知道I_t-1上任意一点坐 标(x_t-1,y_t-1)，都可以找到I_t上对应的点(x_t,y_t)，将找到的位于点(x_t,y_t)的图象块表示 为I_t'；然后便可利用公式(2)计算算出整幅图像的帧差图像D_t。本发明针对的是视 频目标，可以不对整幅图像进行帧差计算；为了减少计算量，实际的做法是在视 频目标所在范围及其所在的一个领域内进行帧差计算，将视频目标范围及该邻域 范围用Ω表示，对Ω进行帧差计算的操作对应公式(3)。本发明中，如果输入图像 为标准化图像格式(cif，Common Intermediate Format)图像，Ω例如可取一个宽高均 为40像素值的正方形区域。

                  D_t=I_t-1-I_t'                (2)

            D_t(Ω)=I_t-1(Ω)-I_t'(Ω)          (3)

步骤102，在帧差图像的运动区域中选取角点，将角点的位置坐标集合表示 为H_t-1。

本步骤选择光流初始跟踪点，步骤103则对选择的光流初始跟踪点进行视频 跟踪。为了基于运动信息进行视频跟踪，本发明在帧差图像的运动区域中选取角 点，并在步骤103中对选取的角点进行跟踪，具体地，可采用哈里斯角点算法， 在帧差图像的运动区域中选取角点。

对于卢卡斯光流跟踪来说，纹理比较丰富的区域往往图象块（特征点）跟踪 效果较好，而且具体操作一般都是选择哈里斯角点作为光流的初始跟踪点，因此， 具体实现时，可选取运动区域中的角点作为初始跟踪点。

且本领域技术人员可以获知的是，哈里斯角点选择的判别准则与卢卡斯光流 跟踪是否准确的判别准则，两判别准则恰好一致，相应地，在步骤103中，可采 用卢卡斯光流跟踪算法对选取的角点进行跟踪。上述的两判别准则一致，也就是 两者自相关函数的矩阵特征值一致。对于哈里斯角点算法，给定一个点坐标(x_k,y_k)， 该点图像表示为I(x_k,y_k)，该点坐标的其自相关函数为E(x,y)，将E(x,y)的矩阵表示 为A(x,y)，该点邻域范围的图象表示为I(x_k+Δx,y_k+Δy)，E(x,y)为公式(4)所示。将 I(x_k+Δx,y_k+Δy)利用泰勒公式展开，得到公式(5)，将公式(5)代入公式(4)，得到公 式(6)，这样便确定出了矩阵A(x,y)，进而可确定出A(x,y)的特征值。对于卢卡斯光 流跟踪算法，其自相关函数的矩阵特征值的方法类似。确定出两个矩阵特征值后， 通过比较便可确定出两者判别准则一致。哈里斯角点选择的判别准则与卢卡斯光 流跟踪是否准确的判别准则一致，是本领域技术人员易于获知的，这里不过多赘 述。

$E(x,y)=\underset{W}{\Sigma }{(I(x_k,y_k)-I(x_k+\mathrm{\Delta x},y_k+\mathrm{\Delta y}))}^2---\left(4\right)$

$I(x_k+\mathrm{\Delta x},y_k+\mathrm{\Delta y})\approx I(x_k,y_k)+\left(I_x(x_k,y_k)I_y(x_k,y_k)\right)\left(\begin{array}{c}\mathrm{\Delta x}\\ \mathrm{\Delta y}\end{array}\right)---\left(5\right)$

$E(x,y)=\underset{W}{\Sigma }\left(\left(I_x(x_k,y_k)I_y(x_k,y_k\right)\right)\left(\begin{array}{c}\mathrm{\Delta x}\\ \mathrm{\Delta y}\end{array}\right))$

$=\left(\begin{array}{cc}\mathrm{\Delta x}& \mathrm{\Delta y}\end{array}\right)\left(\begin{array}{cc}\underset{W}{\Sigma }{\left(I_x(x_k,y_k)\right)}^2& \underset{W}{\Sigma }{I}_x(x_k,y_k)I_y(x_k,y_k)\\ \underset{W}{\Sigma }{I}_x(x_k,y_k)I_y(x_k,y_k)& \underset{W}{\Sigma }{\left(I_y(x_k,y_k)\right)}^2\end{array}\right)\left(\begin{array}{c}\mathrm{\Delta x}\\ \mathrm{\Delta y}\end{array}\right)---\left(6\right)$

$=\left(\begin{array}{cc}\mathrm{\Delta x}& \mathrm{\Delta y}\end{array}\right)A(x,y)\left(\begin{array}{c}\mathrm{\Delta x}\\ \mathrm{\Delta y}\end{array}\right)$

本发明中，提取哈里斯角点并不是在原始图像上选取，而是在帧差图像上选 取，其主要目的是在光流跟踪准确的同时，尽可能使光流点能够体现物体的运动 信息；进一步地，提取的光流点最好能够均匀覆盖运动区域。具体地，可提取10 个角点作为初始跟踪点，并记为H_t-1。

步骤103，确定出选取的角点在当前帧中的位置坐标集合，表示为H_t。

具体地，可采用卢卡斯光流跟踪算法，确定出选取的角点在当前帧中的位置 坐标集合。

本步骤与步骤202的确定方法类似，不同的是，本步骤中初始跟踪点为步骤102 提取的10个角点组成的点集H_t-1，而步骤202中初始跟踪点为光流撒点算法均匀撒 到I_t-1上的16个点组成的点集P_t-1。采用与步骤202的类似于光流跟踪方式，由选取 的角点跟踪得到在I_t上对应的点集H_t。

步骤104，去掉H_t中虚假图像的位置坐标，得到H_t'。

理想情况中，跟踪的视频目标为刚体，也就是不会发生变形，这样得到的H_t-1和H_t两点集对满足平动模型。但实际情况中，视频目标不是刚体，可能将背景图 像包含在视频目标中，使视频目标帧差D_t(Ω)包含背景带来的虚假图像；为了提高 结果的准确性，可去掉H_t中虚假图像的位置坐标，具体地，本步骤可采用如下方 式实现：

由H_t-1和H_t，计算出仿射变换的几何变换参数，得到仿射变换几何模型；

将H_t-1代入仿射变换几何模型，得到运算结果，去掉H_t中与运算结果不一致的相 应位置坐标，得到H_t'。

得到仿射变换几何模型的方式与步骤203类似，之后，将H_t-1的坐标代入仿射 变换几何模型，得到运算结果，将运算结果与H_t对应的坐标进行比较，如果差别 较大，则在H_t中去掉相应的坐标，将H_t中剩余的坐标点集表示为H_t'，如果差别不 大，则认为结果一致，即H_t'=H_t。所述差别是否较大可用下述方式实现：设置一 个标准差值，将比较结果与标准差值进行比较，如果小于或等于标准差值，则差 别不大，结果一致；如果大于标准差值，则差别较大，结果不一致。

步骤105，确定包含H_t'中所有位置坐标点的外接框。

得到H_t′，便可确定出包含H_t'中所有位置坐标点的外接框，进而得到外接框角 点坐标，且为了提高跟踪的确定性，外接框最好是包含H_t'中所有位置坐标点的最 小外接框。以外接框是矩形为例，其外接框角点包括左上角，右上角，左下角， 右下角四个点，可分别表示为H_left,top、H_right,top、H_{left，bottom}和H_{right，bottom}，这四个点就确 定了一个矩形，就是最终提取的目标运动区域。

步骤106，由提取的外接框角点坐标和原始跟踪算法计算得到的外接框角点 坐标，计算得到当前帧的外接框的位置坐标。

将外接框角点坐标表示为S_motion，将原始跟踪算法计算得到的外接框角点坐标 表示为S_old，将当前帧的外接框的位置坐标表示为S_new；所述计算得到当前帧的外 接框的位置坐标采用下述公式表示：S_new=αS_old+(1-α)S_motion，其中，α为权值参数， 0<α＜1。可根据需要设置α，例如取值为α=0.9。

步骤107，由计算得到外接框的位置坐标在当前帧的视频图像上显示外接框。

本发明提供了一种新的结合运动信息进行视频跟踪的方案，具体地，在帧差图像 的运动区域中选取角点，基于选取的角点计算得到当前帧的外接框的位置坐标；帧差 图像体现了视频目标当前帧与上一相邻帧之间的运动变化，且由于视频目标是运动的， 在运动区域选取角点将进一步体现视频目标当前帧与上一相邻帧之间的运动变化；这 样，本发明方案将运动信息结合到视频跟踪的方案中，将运动信息作为先验信息来区 分跟踪的视频目标和背景，提高了视频跟踪的有效性。

参见图3，为本发明视频监控设备的结构示意图，其包括帧差获取单元、角点提 取单元、角点跟踪单元、运动聚类单元、运动区域提取单元、原始跟踪单元、运动信 息融合单元和显示单元；

所述帧差获取单元，获取视频目标当前帧与上一相邻帧之间的帧差图像；

所述角点提取单元，在帧差图像的运动区域中选取角点，将角点的位置坐标集合 表示为H_t-1；

所述角点跟踪单元，确定出所述角点提取单元选取的角点在当前帧中的位置坐标 集合，表示为H_t；

所述运动聚类单元，去掉H_t中虚假图像的位置坐标，得到H_t'；

所述运动区域提取单元，确定包含H_t'中所有位置坐标点的外接框，将确定的外接 框角点坐标传送给所述运动信息融合单元；

所述原始跟踪单元，将原始跟踪算法计算得到的外接框角点坐标传送给所述运动 信息融合单元；

所述运动信息融合单元，由来自所述运动区域提取单元的外接框角点坐标和来自 所述原始跟踪单元的外接框角点坐标，计算得到当前帧的外接框的位置坐标，传送给 所述显示单元；

所述显示单元，由来自所述运动信息融合单元的外接框的位置坐标在当前帧的视 频图像上显示外接框。

可选地，所述帧差获取单元包括光流撒点模块、光流跟踪模块、仿射变换模块和 矫正帧差模块；

所述光流撒点模块，从上一相邻帧中提取跟踪点，将跟踪点的位置坐标集合，表 示为P_t-1(x_t-1,y_t-1)；

所述光流跟踪模块，确定出选取的跟踪点在当前帧中的位置坐标集合，表示为 P_t(x_t,y_t)；

所述仿射变换模块，由P_t-1(x_t-1，y_t-1)和P_t(x_t,y_t)，计算出仿射变换的几何变换参数， 得到仿射变换几何模型；

所述矫正帧差模块，将视频目标各图象块的位置坐标及其领域各图像块的位置坐 标表示为Ω，将上一相邻帧中Ω对应的图象块的像素值表示为I_t-1，由Ω和仿射变化几 何模型计算得到当前帧中Ω对应的图象块的像素值，表示为I_t′，将I_t-1和I_t'进行相减得 到帧差图像。

可选地，所述光流撒点模块采用光流撒点算法，从上一相邻帧中提取跟踪点；

所述光流跟踪模块采用光流跟踪算法，确定出选取的跟踪点在当前帧中的位置坐 标集合；

所述角点提取单元采用哈里斯角点算法，在帧差图像的运动区域中选取角点；

所述角点跟踪单元采用光流跟踪算法，确定出选取的角点在当前帧中的位置坐标 集合。

可选地，所述运动聚类单元包括模型获取模块和去除模块；

所述模型获取模块，由H_t-1和H_t，计算出仿射变换的几何变换参数，得到仿射变 换几何模型；

所述去除模块，将H_t-1代入仿射变换几何模型，得到运算结果，去掉H_t中与运算 结果不一致的相应位置坐标，得到H_t′。

可选地，将外接框角点坐标表示为S_motion，将原始跟踪算法计算得到的外接框 角点坐标表示为S_old，将当前帧的外接框的位置坐标表示为S_new；所述运动信息融 合单元包括计算模块，采用公式S_new=αS_old+(1-α)S_motion计算得到当前帧的外接框的 位置坐标，其中，α为权值参数，0<α＜1。

在PTZ视频跟踪中，本发明将运动信息结合到视频跟踪的方案中，将运动信 息作为先验信息来区分跟踪的视频目标和背景。由于运动信息的约束性较弱，不 同于其他强先验信息，将运动信息结合在跟踪框架中，再与原始跟踪算法无缝融 合，提高了视频跟踪的有效性。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的 精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护 的范围之内。