一种基于深度学习特征和点到集合距离度量学习的目标跟踪方法

技术领域

本发明涉及图像处理和模式识别技术领域，尤其是一种基于深度学习特征和点到集合距离度量学习的目标跟踪方法。

背景技术

目标跟踪是计算机视觉领域的一个重要的研究方向，它在视频监控、虚拟现实、人机交互、自动驾驶等领域具有广泛应用。目前，判别式跟踪方法取得了较好的跟踪结果。大部分判别式跟踪方法将目标跟踪看作一个分类任务，在第一帧选取目标样本和背景样本训练一个SVM分类器；对于后续帧，在每一帧中采集若干目标候选，每一个目标候选被分类器分为目标或背景；具有最大目标置信度的候选记为跟踪结果。由于SVM分类器进行分类时仅依据少量的支持向量(即从训练样本中选出的用作分类边界的少量样本)且大多数情况下样本线性不可分，这忽略了剩余样本在分类过程中的作用。

发明内容

本发明的目的是提供一种基于深度学习特征和点到集合距离度量学习的目标跟踪方法，通过深度卷积神经网络提取特征来提高表示层面的区分能力，通过点到集合的距离度量学习来充分发挥所有训练样本在分类过程中的作用。

为实现上述目的，本发明采用下述技术方案：

一种基于深度学习特征和点到集合距离度量学习的目标跟踪方法，包括以下步骤：

在跟踪的起始帧随机选取若干目标样本和背景样本；

对目标样本进行目标样本特征提取，对背景样本进行背景样本特征提取；

将提取的目标样本特征聚类成若干个目标模板集合，将提取的背景样本特征聚类成若干个背景模板集合；

通过降低同类别样本间距离并增大不同样本间的距离来学习投影矩阵；

根据高斯分布对后续帧进行目标候选采集；

提取目标候选的特征，并使用投影矩阵将目标模板集合、背景模板集合和目标候选投影到共同的子空间；

计算每个目标候选到所有目标模板集合的距离，距离之和作为每个目标候选的得分，最终的跟踪结果为距离最小的前若干个目标候选的平均值。

进一步地，所述在跟踪的起始帧随机选取若干目标样本和背景样本，包括：

在起始帧按照目标样本与背景样本的数量比值1：10进行采样，所述目标样本与指定跟踪区域交并比大于0.7，所述背景样本与指定跟踪区域交并比小于0.5。

进一步地，所述对目标样本进行目标样本特征提取，对背景样本进行背景样本特征提取，包括：

使用深度卷积神经网络MDNet对目标样本进行目标样本特征提取和对背景样本进行背景样本特征提取。

进一步地，所述将提取的目标样本特征聚类成若干个目标模板集合，将提取的背景样本特征聚类成若干个背景模板集合，包括：

对提取的目标样本特征采用K-means方法聚类为若干个目标样本集合，对每个目标样本集合分配一个类别标签；对提取的背景样本特征采用K-means方法聚类为若干个背景样本集合，对每个背景样本集合分配一个类别标签。

进一步地，所述通过降低同类别样本间距离并增大不同样本间的距离来学习投影矩阵，包括：

定义待优化的目标函数；所述目标函数的优化目标包括三项：同类别的样本和样本集合在投影后的空间距离小，不同类别的样本和样本集合在投影后的空间距离大；同类别的样本在投影后的空间距离小，不同类别的样本在投影后的空间距离大；投影后的各个维度重要性一致；

使用交叉迭代优化方法求解欧式空间的投影矩阵和流行空间上的投影矩阵。

发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：

本发明提供一种基于深度学习特征和点到集合距离度量学习的目标跟踪方法，弥补了传统手工设计特征区分力不足的缺点以及克服了传统的基于SVM的判别式跟踪方法对训练样本在分类过程中利用不足的缺陷。通过点到集合的距离度量学习，本发明可以有效地计算每一个目标候选到所有目标样本的距离，使得每一个目标样本都对候选的分类起到作用，从而得到更好的分类结果。

附图说明

图1是本发明基于深度学习特征和点到集合距离度量学习的目标跟踪方法流程图。

具体实施方式

如图1所示，一种基于深度学习特征和点到集合距离度量学习的目标跟踪方法，包括以下步骤：

S1、在跟踪的起始帧随机选取若干目标样本和背景样本；

S2、对目标样本进行目标样本特征提取，对背景样本进行背景样本特征提取；

S3、将提取的目标样本特征聚类成若干个目标模板集合，将提取的背景样本特征聚类成若干个背景模板集合；

S4、通过降低同类别样本间距离并增大不同样本间的距离来学习投影矩阵；

S5、根据高斯分布对后续帧进行目标候选采集；高斯分布的均值为上一帧目标位置，方差为1；

S6、提取目标候选的特征，并使用投影矩阵将目标模板集合、背景模板集合和目标候选投影到共同的子空间；

S7、计算每个目标候选到所有目标模板集合的距离，距离之和作为每个目标候选的得分，最终的跟踪结果为距离最小的前若干个目标候选的平均值。

步骤S1中，在起始帧按照目标样本和背景样本数量比1:10且正样本数量在100个以上进行采样。这里随机采集500个目标样本和5000个背景样本，其中目标样本与指定的跟踪目标区域交并比大于0.7，背景样本与指定的跟踪区域交并比小于0.5，交并比为两个图像区域的交集所包含的像素数除以他们的并集所包含的像素数。

步骤S2中，使用深度卷积神经网络MDNet对目标样本进行目标样本特征提取和对背景样本进行背景样本特征提取：将每一个样本缩放到107x107大小并将每一个通道的像素值减去128作为深度卷积神经网络MDNet的输入，深度卷积神经网络MDNet的第3个卷积层的输出作为该样本的特征。

步骤S3中，对提取的目标样本特征采用K-means方法聚类为7个目标样本集合，这里优选5个以上的目标样本集合以充分捕获目标表现信息的多样性，对每个目标样本集合分配一个类别标签，如+1到+7；对提取的背景样本特征采用K-means方法聚类为20个背景样本集合，这里优选10个以上的背景样本集合以充分捕获背景信息的多样性，对每个背景样本集合分配一个类别标签，如-1到-20。

步骤S4中，通过降低同类别样本间距离并增大不同样本间的距离来学习投影矩阵，包括：

定义待优化的目标函数第一项是欧式空间中的点x_i与流形上的点S_j之间的距离保持，即同类别的单个样本x_i与样本集合S_j在投影之后的空间距离要小，不同类别的单个样本x_i与样本集合S_j的空间距离要大；，x_i代表目标样本或者背景样本的任意一个，S_j表示目标样本集合、背景样本集合中的任意一个，f(·)和表示要学习的映射，如果x_i和S_j具有属于同一个类别(即都是目标样本或者都是背景样本)，1(i,j)＝1，否则，1(i,j)＝-1。

第二项(G_e+G_r)是欧式空间中样本点距离的保持以及流形空间上样本点距离的保持，即同类别的单个样本投影后的空间距离要小，不同类别的单个样本投影后的空间距离要大；同类别的样本集合投影后的空间距离要小，不同类别的样本集合投影后的空间距离要大，其中d(v_i,v_j)＝exp(‖v_i-v_j‖²/σ²)，v表示x或者S。

第三项表示正则约束，即投影后的各个维度具有相同的重要性。

使用交叉迭代优化方法求解欧式空间的投影矩阵和流行空间上的投影矩阵。具体地，令

K_x(x_i,x_j)＝<f_x(x_i),f_x(x_j)>，其中W_x和W_s是待求解的投影矩阵。根据和其中L_x＝B_x-Q_x，L_s＝B_s-Q_s。令v表示x或S，如果样本i和样本j类别一样且是k₁(我们设k₁＝1，也可以设为其他值)近邻，则Q_v(i,j)＝d(v_i,v_j)；如果样本i和样本j类别不同且是k₂(我们设k₂＝5，也可以设为其他值)近邻，则Q_v(i,j)＝-d(v_i,v_j)；其他情况令Q_v(i,j)＝0。通过多次(例如10次)迭代更新获得最终的W_x和W_s值。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。