基于空间正则化相关滤波器的自适应多特征融合跟踪方法

技术领域

本发明涉及计算机视觉领域，具体涉及一种基于空间正则化相关滤波器的自适应多特征融合跟踪方法。

背景技术

视觉目标跟踪是计算机视觉领域中的一个关键问题，尤其适用于视频序列中对目标的连续跟踪。从人机交互到自动驾驶，视觉目标跟踪几乎涉及到实际生活场景中的每个方面。此外，在医疗诊断、活动识别和视频监控等各种实际应用中也受到广泛地关注。最重要的是，通过视觉目标跟踪技术对运动目标进行连续监控比通过静态图像寻找目标具有更广泛的应用范围，这使得视觉目标跟踪成为计算机视觉中的一个非常活跃的研究领域，每年都有很多新的跟踪算法提出。

当我们在视频序列的第一帧中指定一个目标对象的初始包围框后，视觉目标跟踪算法负责在后续的连续视频帧中估计这个目标对象的包围框。一个好的跟踪算法需要在所有实际应用领域中实现准确率、鲁棒性和效率等性能之间的平衡。尽管在过去的十几年中，跟踪性能已经取得了显著的进步，但是由于视频场景中存在遮挡、尺度变化、光照变化、低分辨率、快速运动、运动模糊和形变等问题，视觉目标跟踪仍然是一项具有挑战性的任务。

目前，尽管已经提出了各种跟踪算法，但是大多数跟踪算法都共享类似的组件。在所有的跟踪算法中，提升跟踪性能的关键因素之一是目标对象的外观表示。现有的视觉目标跟踪算法根据不同的外观表示策略大致可以分为两类：基于传统手工特征的跟踪算法和基于深度卷积特征的跟踪算法。基于传统手工特征的跟踪算法使用SIFT、梯度直方图、颜色直方图等底层特征来表示目标对象的局部特征。与基于传统手工特征相比，深度卷积特征可以从指定的图像中学习到最适合表示物体外观的全局和局部特征。因此，基于深度卷积特征外观模型的跟踪算法可以获得更准确、鲁棒的跟踪性能，因为深度卷积特征可以更好地表示目标的外观。可是，基于卷积结构的跟踪算法计算效率低、计算量大，且不满足连续视频帧之间的实时性能要求。

虽然已经证明基于多特征融合表示是提高跟踪算法跟踪性能的一种有效方法，但是现有的这些基于多特征融合的跟踪算法只是把各种不同的手工特征融合在一起或者提取卷积网络中的多层深度卷积特征。在各种具有挑战性的视频序列中，以往提出的基于多种手工特征或者多层深度卷积特征的跟踪算法很容易跟踪失败。

发明内容

本发明解决的技术问题包括，现有的基于手工特征的跟踪算法虽然计算速度快，但是这些基于手工特征的跟踪算法采用低层特征来表示目标对象的局部信息，不能够准确地描述目标对象；而现有的基于深度卷积特征的跟踪算法计算效率低、计算量大，且不满足连续视频帧之间的实时性能要求，容易跟踪失败等问题。本发明提出的基于空间正则化相关滤波器的自适应多特征融合视觉目标跟踪方法充分利用了传统手工特征和深度卷积特征的互补优势，能进行有效的、精确而鲁棒的目标外观表示，在减少计算成本的同时提升了跟踪精度和鲁棒性，从而提高跟踪算法的跟踪性能。

为了实现上述目的，本发明采用的技术方案是：基于空间正则化相关滤波器的自适应多特征融合跟踪方法，包括以下步骤：

(1)读取视频帧，确定跟踪目标，在第一帧图像中以目标框标示。

(2)采用残差卷积网络提取目标的深度卷积特征，采用梯度直方图和灰度图来提取目标的手工特征。

(3)将深度卷积特征和手工特征进行特征融合。

(4)将第一帧图像的融合特征和当前帧图像跟踪结果的融合特征分别送入两个空间正则化相关滤波器。

(5)对两个空间正则化相关滤波器的置信值进行累加求和，以获得t+1帧的跟踪结果。

采用以上技术方案，本发明具有以下有益技术效果。

本发明的跟踪算法在OTB-2015、Temple-Color、PTB-TIR、UAV20L和VOT-2016五个基准数据集上取得了让人满意的跟踪性能。实验结果表明，本发明的跟踪算法在长期视频序列、短期视频序列和红外视频序列中的跟踪性能都有显著提升。在Temple-Color基准数据集上对高度拥挤的视频场景进行了实验，进一步验证了本发明跟踪算法的有效性、准确性和鲁棒性。

具体地，本发明充分利用了多层深度卷积特征和手工特征的互补优势，使用基于手工特征和深度卷积特征表示的特征融合技术。将这种基于特征融合的表示方法扩展到多个颜色通道，并将结果级联到一起形成一种新的表示。通过特征融合技术，本跟踪算法能够准确、鲁棒地学习目标的外观模型，这对提升跟踪性能具有明显的优势。

其次，将交替方向乘子算法(alternating direction algorithm ofmultipliers，ADMM)引入到空间正则化相关滤波器中，解决了如何在复杂的背景中精确搜索目标以及如何去除多余边界影响的问题。

附图说明

图1为本发明的总体跟踪框架图。

具体实施方式

参见图1，本发明方法包括以下步骤：

(1)读取视频帧，确定跟踪目标，在第一帧图像中以目标框标示；

(2)采用基于ResNet-101的残差卷积网络提取目标的深度卷积特征，采用基于梯度直方图(gradient of histogram，HOG)和灰度图(Grayscale)提取目标的手工特征；

(3)将深度卷积特征和手工特征进行特征融合，

(4)将第一帧图像的融合特征和当前帧图像跟踪结果的融合特征分别送入两个空间正则化相关滤波器；

(5)对两个空间正则化相关滤波器的置信值进行累加求和，通过牛顿算法优化最终的置信值，以获得t+1帧的更准确的跟踪结果。

更具体地，残差卷积网络采用基于ResNet-101的残差卷积网络，用以提取目标的深度卷积特征，采用基于梯度直方图(gradient of histogram，HOG)和灰度图(Grayscale)来提取目标的手工特征。在图1(e)中，本发明的深度残差卷积网络ResNet-101的参数设置、训练和更新与文献“K.He,X.Zhang,S.Ren,J.Sun,Deep residual learning for imagerecognition,in:Proceedings of the IEEE conference on computer vision andpattern recognition,2016,pp.770–778.”中的介绍保持一致。

本发明中深度卷积特征和传统手工特征的融合过程，具体包括，使用带有目标框的第一帧图像和当前帧的跟踪结果分别提取卷积特征和传统手工特征，再将手工特征作为卷积特征的一层与深度卷积特征进行融合。目标框用红色表示(图1中第一帧图像的小框)，基于视频序列第一帧图像采样的包含目标的区域用黄色虚线表示(图1中第一帧图像的较大虚线框)，如图1(a)所示。通常，第一帧图像对于跟踪算法来说是重要的，因为这对应于实际的目标位置和目标大小。因此，本发明使用第一帧图像信息来校正每一帧中的目标漂移。为了更好地处理目标大小的变化，对第t帧图像采样5个不同大小的图像块，其尺度因子为1.01、尺度步长为5。然后，在第t帧，分别对这5个不同大小的图像块提取深度残差卷积特征和手工融合特征，如图1(d)和图1(e)所示。最后，为了有效利用深度卷积特征和手工特征的特征融合技术进行跟踪，本发明提出了一种两路空间正则相关滤波的特征融合学习框架。将第一帧图像的融合特征和当前帧图像跟踪结果的融合特征分别送入两个空间正则化相关滤波器，如图1(f)所示。对第一帧图像和当前帧图像的空间相关滤波器值相加后再求newton值，得到下一个视频帧t+1的跟踪结果，利用第一帧图像和当前帧图像的跟踪结果不断更新视频序列的后续帧，如图1(g)所示。

当由于遮挡、形变、快速运动等原因，跟踪算法在某些视频帧跟踪失败时，本发明的跟踪算法可以由基于第一帧图像的真实目标框对视频序列的其余部分重新进行跟踪。如果检测到跟踪失败，就使用第一帧图像和包含下一个视频帧图像的最后一次运行结果进行重新定位，并重复这个过程，直到视频序列的最后一帧图像。

对于视觉目标跟踪来说，最重要的是在各种复杂环境中学习到一个鲁棒而准确的外观模型。同时，目标对象的精确而鲁棒地表示对于提高跟踪性能也是非常重要的，尽管这往往是以牺牲运行时的效率为代价的。在本发明的跟踪算法中，对于特征学习的基本思路是将深度卷积特征和传统手工特征的融合特征作为目标对象的外观特征。通过融合传统手工特征和深度卷积特征，增强了目标外观的特征表示。此外，深度卷积特征和传统手工特征的融合为获得更准确而鲁棒的跟踪结果提供了更全面的外观表示。

深度卷积特征基于残差网络ResNet-101。ResNet-101在图像分类领域中得到了广泛的应用。将ResNet-101引入到视觉目标跟踪算法中来完成跟踪任务。手工特征基于HOG和Grayscale，这是传统跟踪算法中常用的两种表示目标对象外观的方法。通常，深度卷积特征对光照变化不敏感，所以在室内环境下，基于深度卷积特征的跟踪算法难以实现理想的跟踪性能。可是，基于HOG和Grayscale的手工特征的跟踪算法在目标对象遭受严重的光照变化、完全或部分遮挡、以及在目标对象运动到相机视野之外时，非常有用。这是因为HOG和Grayscale对于高光、光照强度和阴影导致的光照变化具有很强的不变性。因此，在特征学习过程中，本发明充分利用了深度卷积特征和传统手工特征的互补优势来表示运动对象的外观特征。

对于手工特征，本发明使用31维的HOG特征以及从4x 4的网格中获得的5个尺度的Grayscale特征向量。然后，将深度卷积特征作为其它通道特征与中心视图特征合并来描述目标物体的外观。

经过特征学习之后，可以得到两种类型的特征来描述目标对象。通过两个空间正则化相关滤波器将这两种类型融合特征转化到连续的空间域。对于每个特征通道k，用x

式中，★是空间相关运算，.是hadamard乘积，α

式中，s

通过被动更新相关滤波器来消除遮挡环境中可能会出现的过拟合问题。因为公式(1)中具有空间正则项的相关滤波器是一个凸优化问题，所以本发明可以有效地利用将交替方向乘子算法(ADMM)求解相关滤波器f的全局最优解。但是，与STRCF跟踪算法不同的是，在本发明的跟踪算法中没有增加时间正则项||f-f

式中，s为拉格朗日乘子，当

本发明用ADMM算法交替求解下列子问题：

f

对于滤波器f，将Parseval定理应用于公式(5)的第一行，在傅里叶域，可以等价地得到f为：

公式(6)中的

式中，标签

式中，I表示单位向量，h是形式为

最后，可以通过

在本发明提出的HCDC-SRCF跟踪算法中，子问题p的推导和步长参数β的更新过程与文献“F.Li，C.Tian，W.Zuo，L.Zhang，M.-H.Yang，Learning spatial-temporalregularized correlation filters forvisual tracking，in：Proceedings of the IEEEconference on computer vision and pattern recognition，2018，pp.4904-4913.”相同。

在视觉目标跟踪中，如何快速准确地估计下一帧的候选目标是非常重要的。传统的预测方法有两种：概率估计和穷举搜索。本发明利用文献“M.Danelljan，G.Hager,F.Shahbaz Khan，M.Felsberg，Learning spatially regularized correlation filtersfor visual tracking，in：Proceedings of the IEEE international conferenceoncomputer vision，2015，pp.4310-4318”中使用的概率估计生成下一帧的目标候选。本发明的目标是根据当前帧和第一帧的位置估计下一帧中目标对象的位置。可以利用第一帧图像的信息，通过纠正过去的错误，对模型进行鲁棒地更新。特别是当本发明的跟踪算法跟踪目标失败时，可以轻松地重新跟踪目标。

本发明主要采用两种策略来提高跟踪算法在每个视频帧图像中对目标对象的定位和跟踪性能。首先，依靠一个简单的相关滤波器，与其它目标检测和搜索方案相比，本发明在跟踪过程中，相关滤波器为每个序列中的每个视频帧图像预测一个目标边框。可以动态地、增量地维护和更新相关滤波器f，确定每个视频帧t中目标的位置p

此外，利用ADMM消除背景对目标对象的干扰，从而进一步提高算法的跟踪性能。ADMM可以用来建模跟踪目标物体的外观。提出的跟踪算法中训练相关滤波器模型时没有使用负样本。在本发明提出的HCDC-SRCF跟踪算法中，每一帧都将ADMM和空间正则项融合到跟踪框架中，然后将融合特征送入到相关滤波器中，以更好地定位目标对象，进一步增强跟踪的鲁棒性。在跟踪过程中，本发明利用目标表示的在线更新来描述目标对象的外观变化。在每一帧视频图像中，根据第一帧和当前帧的跟踪结果，使用深度卷积特征和手工特征的多通道融合特征迭代训练相关滤波器，并不断更新空间相关滤波器，以确定下一帧图像中目标物体的位置和大小。

算法1给出了本发明提出的HCDC-SRCF跟踪算法的总体流程。

本领域普通技术人员可以理解实现上述实施方法中的全部或部分步骤是可以通过程序来指令相关的软件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括如下步骤：(方法的步骤)，所述的存储介质，如：ROM/RAM、磁碟、光盘等。