一种联合局部和全局相似性度量学习的行人再识别方法

技术领域：

本发明提出了一种联合局部和全局相似性度量学习的行人再识别方法，涉及计算机视觉与模式识别领域。

背景技术：

随着社会经济的发展，人们对安全防范的要求越来越高尤其是在火车站、机场、大型商场等公共场所。视频监控是科技发展的产物，被广泛应用于安全防范领域。然而在传统的视频监控系统中，监控任务是由人工来完成的，这就需要监控人员一刻不停的盯着监控视频，这对监控人员来说是个极大的挑战。行人再识别是跨监控领域的行人目标识别技术，它能快速的识别监控系统中感兴趣的人体目标。

在大多数的监控场景中，拍摄的行人图像往往存在遮挡，姿态变化，光照变化和低分辨率等问题，使行人再识别成为智能视频监控领域最具挑战性的问题之一。目前行人再识别方法分为两类，第一类是从特征方面出发提取出最具区分性的特征；第二类是根据提取出的特征，提出一种好的相似度度量准则，使得同一行人的行人特征之间比不同行人特征之间具有更高的相似性。行人再识别是作为一个新兴起的热门课题，受到全世界研究者们的广泛关注。

发明内容：

针对现有的行人再识别技术的不足，本发明提出一种联合局部和全局相似性度量学习的行人再识别方法，此方法可以弥补单纯依靠全局相似性学习的或单纯依靠局部相似性学习的方法的缺陷，提高行人再识别性能。本发明采用如下技术方案：

一种联合局部和全局相似性度量学习的行人再识别方法，包括以下步骤：

步骤1：将行人再识别数据库中的所有行人图做预处理，预处理使每幅行人图分割为互相重叠的矩形块；

步骤2：每个矩形块提取出3种颜色直方图特征RGB、HSV和LAB，还提取出2种纹理直方图特征HOG和SILTP；

步骤3：将3种颜色直方图特征RGB、HSV、LAB和2种纹理直方图特征HOG、SILTP进行结合，获得U＝6种不同的全局特征；

步骤4：根据人体的结构，将行人图分为由矩形块构成的R＝4个局部区域，每个局部区域提取U＝6种不同的局部特征；

步骤5：建立训练模块和测试模块，将所有行人样本分为训练集和测试集；

步骤6：在训练模块，根据全局特征和局部特征，表示出行人样本的局部相似性和全局相似性，再联合局部相似性和全局相似性，度量行人样本的整体相似性；

步骤7：将整体相似性代入最小化目标函数，学习度量矩阵；

步骤8：在测试模块，导入步骤7学习到的度量矩阵,识别出待测行人样本中的行人。

以上技术方案中，所述步骤3中提取U＝6种不同的全局特征，包括以下步骤：

步骤3.1：将所有矩形块的RGB颜色直方图特征按照矩形块的顺序串联得到全局RGB_G特征，同理依次得到全局HSV_G,LAB_G,HOG_G和SILTP_G特征。

步骤3.2：将全局RGB_G和全局HOG_G直方图特征串联，然后利用PCA降维，得第一种全局特征RGB_G+HOG_G，同理依次得到第2至U＝6种全局特征RGB_G+SILTP_G,HSV_G+HOG_G,HSV_G+SILTP_G,LAB_G+HOG_G,LAB_G+SILTP_G。

以上技术方案中，所述步骤4中每个局部区域提取U＝6种不同的局部特征，包括以下步骤:

步骤4.1：按照人体的结构将行人图分为R＝4个局部区域包括头部，躯干，左腿和右腿,每个局部区域由重叠的矩形块组成。

步骤4.2：对其中的每个局部区域提取U＝6种局部特征。以其中的某个局部区域r为例，将局部区域r中所有矩形块RGB直方图特征顺序串联得到的RGB_r直方图特征，同理依次得到HSV_r,LAB_r,HOG_r,SILTP_r直方图特征。

步骤4.3：将RGB_r直方图特征和HOG_r直方图特征串联，然后利用PCA降维得第一种局部特征RGB_r+HOG_r，同理依次得到区域r的第2至U＝6种局部特征RGB_r+SILTP_r,HSV_r+HOG_r,HSV_r+SILTP_r,LAB_r+HOG_r,LAB_r+SILTP_r。

以上技术方案中，所述步骤6中联合行人样本的局部相似性和全局相似性，度量两行人样本的整体相似性,详细步骤如下：

步骤6.1：相似度度量函数的确定，用x₁,x₂分别表示行人样本1和样本2，分别表示行人样本1和样本2的第种特征。相似性度量函数由两部分组成，第一部分是马氏距离度量第二部分是双线性相似性度量其中vec(A)表示将矩阵A拉成列向量,分别表示基于特征u的马氏度量矩阵，双线性度量矩阵，马氏特征映射和双线性特征映射，并且为半负定矩阵。相似性函数如下：

$>f(x_1^u,x_2^u)={\left(vec\right(W_M^u\left)\right)}^{T}vec\left(P_M^u\right)+{\left(vec\right(W_B^u\left)\right)}^{T}vec\left(P_B^u\right)---\left(1\right)$>

重写(1)如下：

$>f(x_1^u,x_2^u)={\left(vec\right[W_M^u,W_B^u\left]\right)}^{T}vec\left(\right[P_M^u,P_B^u\left]\right)---\left(2\right)$>

步骤6.2：全局相似性度量，用U种全局特征表示的行人样本x₁和x₂的全局相似性如下：

$>S^{global}(x_1,x_2)={\Sigma }_{u=1}^U{\left(vec\right[W_M^{G,u},W_B^{G,u}\left]\right)}^{T}vec\left(\right[P_M^{G,u},P_B^{G,u}\left]\right)---\left(3\right)$>

其中分别表示基于第u种全局特征的马氏度量矩阵,双线性度量矩阵，马氏特征映射和双线性特征映射。

步骤6.3：局部相似性度量，所有R个局部区域基于U种局部特征的局部相似性如下：

$>S^{local}(x_1,x_2)={\Sigma }_{r=1}^R{\Sigma }_{u=1}^U{\left(vec\right[W_M^{r,u},W_B^{r,u}\left]\right)}^{T}vec[P_M^{r,u},P_B^{r,u}]---\left(4\right)$>

其中分别表示局部区域r基于第u种局部特征的马氏度量矩阵,双线性度量矩阵,马氏特征映射和双线性特征映射。

步骤6.4：联合局部相似性和全局相似性，度量两行人样本的整体相似性如下：

S(x₁,x₂)＝S^local(x₁,x₂)+αS^global(x₁,x₂)(5)

其中α是权衡局部和全局相似性重要性的参数，将(5)写成线性的形式：

S(x₁,x₂)＝W^TP(6)

其中为整体度量矩阵，为整体特征映射。而分别表示局部区r基于U种局部特征的马氏度量矩阵，双线性度量矩阵，马氏特征映射和双线性特征映射。同理分别表示基于U种全局特征的马氏度量矩阵，双线性度量矩阵，马氏特征映射和双线性特征映射。

以上技术方案中，所述步骤7其最小化的目标函数如下：

$>{\mathrm{min\Sigma }}_{n=1}^N{[1+S(x_n,x_n^{-})-S(x_n,x_n^{+})]}_{+}---\left(7\right)$>

其中[z]₊＝max(z,0),表示与x_n是同类别的样本，表示与x_n是不同类别的样本。利用迭代法学习度量矩阵，包括以下步骤:

步骤7.1：每次迭代，随机选取三元组求解如下的问题：

$>W^i={\mathrm{argmin}}_W\frac{1}{2}\left|\right|W-W^{i-1}|{|}_2^2+C\xi ---\left(8\right)$>

约束条件:并且ξ≥0

其中C是平衡参数为常数。

步骤7.2：当max(0,1+S(x_i,x_l)-S(x_i,x_j))＝0时，Wⁱ＝W^i-1；若不然，用拉格朗日乘子法求解得每次迭代

步骤7.3：求解参数τ，

步骤7.4：求出把Wⁱ中马氏度量矩阵半负定化，转到步骤7.2进行下一次迭代，直至达到收敛条件。

本发明采用上述技术方案，具备以下优点及效果：

本发明采用局部特征和全局特征两种形式表示行人图，这种表示不仅描述了行人图的整体分布结构而且抓住了行人图的局部特性。本发明结合了马氏距离度量准则和双线性度量准则两种不同的度量准则度量局部相似性和全局相似性，突破现有方法的局限性，提高了行人识别率。

附图说明

图1行人再识别整体流程图；

图2行人图分割为矩形块示意图；

图3行人图分割为4个局部区域示意图；

图4局部特征和全局特征提取过程；

图5相似性度量过程。

具体实施方式

为详细说明本发明的技术内容、构造特征、实现目的及效果，以下结合实施方式并配合附图详予说明。

如图1所示，联合局部和全局相似性度量学习的行人再识别方法包括以下几个步骤：

步骤1：将行人再识别数据库中的所有行人图做预处理，每幅行人图分割为互相重叠的矩形块示意图如图2所示，包括以下步骤：

步骤1.1：对行人再识别数据库中的所有行人图像归一化为大小为128×48的行人图。

步骤1.2：将归一化后的行人图利用高度为h＝8，宽度为w＝16的滑动窗分别在X方向和Y方向进行步长为h/2＝4和w/2＝8的滑动，将行人图分割为高度为h＝8，宽度为w＝16的重叠的矩形块。

步骤2：每个矩形块提取3种颜色直方图特征RGB,HSV,LAB和2种纹理直方图特征HOG,SILTP如图4所示，其提取步骤如下：

步骤2.1：RGB直方图的提取，在每个矩形块内，对RGB颜色空间的每个颜色通道提取16维的颜色直方图特征，然后串联RGB三个通道的颜色直方图成48维的直方图特征。按照相同的方法，在每个矩形块内，分别对HSV颜色空间和LAB颜色空间提取48维的直方图特征。

步骤2.2：HOG的提取，将RGB行人图转为灰度图，在每个矩形块内提取8维的方向梯度直方图特征。

步骤2.3：SILTP的提取，将RGB行人图转为灰度图，在每个矩形块内分别提取半径为5和3两种不同尺度的纹理直方图并将其串联成162维纹理直方图特征。

步骤3：将3种颜色直方图特征RGB、HSV、LAB和2种纹理直方图特征HOG、SILTP进行结合，提取U＝6种全局特征如图4所示，其详细步骤如下：

步骤3.1：将所有矩形块的RGB颜色直方图特征按照矩形块的顺序串联得到全局RGB_G特征，同理按照此方法依次得到全局HSV_G,LAB_G,HOG_G和SILTP_G特征。

步骤3.2：将全局RGB_G和全局HOG_G直方图特征串联，然后利用PCA降维，得第一种全局特征RGB_G+HOG_G，同理依次得到第2至U＝6种全局特征RGB_G+SILTP_G,HSV_G+HOG_G,HSV_G+SILTP_G,LAB_G+HOG_G,LAB_G+SILTP_G。

步骤4：将行人图分为R＝4个互不重叠的局部区域，每个局部区域提取U＝6种不同的局部特征如图4所示，包括以下步骤:

步骤4.1：按照人体的结构将行人图分为R＝4个局部区域包括头部，躯干，左腿和右腿,每个局部区域由步骤1.2得到的重叠的矩形块组成，如图3所示。

步骤4.2：对其中的每个局部区域提取U＝6种局部特征。以其中的某个局部区域r为例，将局部区域r中所有矩形块RGB直方图特征顺序串联得到的RGB_r直方图特征，按照相同的方法依次得到HSV_r,LAB_r,HOG_r,SILTP_r直方图特征。

步骤4.3：将RGB_r直方图特征和HOG_r直方图特征串联，然后利用PCA降维得第一种局部特征RGB_r+HOG_r，同理依次得到区域r的第2至U＝6种局部特征RGB_r+SILTP_r,HSV_r+HOG_r,HSV_r+SILTP_r,LAB_r+HOG_r,LAB_r+SILTP_r。

步骤5：建立训练模块和测试模块，将所有行人样本分为训练样本和测试样本。

步骤5.1：按照整个数据库行人数量，将其平分到训练集和测试集。

步骤5.2：将测试集分为待测样本集和库样本集，随机选取测试集中每个行人的一幅行人样本作为库样本集，剩下的为待测样本集。

步骤6：在训练模块，联合行人样本的局部相似性和全局相似性，度量两行人样本的整体相似性。如图5所示，其步骤包括如下：

步骤6.1：相似度度量函数的确定，用x₁,x₂分别表示行人样本1和样本2，分别表示行人样本1和样本2的第种特征。相似性度量函数由两部分组成，第一部分是马氏距离度量第二部分是双线性相似性度量其中vec(A)表示将矩阵A拉成列向量,分别表示基于特征u的马氏度量矩阵，双线性度量矩阵，马氏特征映射和双线性特征映射，并且为半负定矩阵。相似性函数如下：

$>f(x_1^u,x_2^u)={\left(vec\right(W_M^u\left)\right)}^{T}vec\left(P_M^u\right)+{\left(vec\right(W_B^u\left)\right)}^{T}vec\left(P_B^u\right)---\left(1\right)$>

重写(1)如下：

$>f(x_1^u,x_2^u)={\left(vec\right[W_M^u,W_B^u\left]\right)}^{T}vec\left(\right[P_M^u,P_B^u\left]\right)---\left(2\right)$>

步骤6.2：全局相似性度量，用U种全局特征表示的行人样本x₁和x₂的全局相似性如下：

$>S^{global}(x_1,x_2)={\Sigma }_{u=1}^U{\left(vec\right[W_M^{G,u},W_B^{G,u}\left]\right)}^{T}vec\left(\right[P_M^{G,u},P_B^{G,u}\left]\right)---\left(3\right)$>

其中分别表示基于第u种全局特征的马氏度量矩阵,双线性度量矩阵，马氏特征映射和双线性特征映射。

步骤6.3：局部相似性度量，所有R个局部区域基于U种局部特征的局部相似性如下：

$>S^{local}(x_1,x_2)={\Sigma }_{r=1}^R{\Sigma }_{u=1}^U{\left(vec\right[W_M^{r,u},W_B^{r,u}\left]\right)}^{T}vec[P_M^{r,u},P_B^{r,u}]---\left(4\right)$>

其中分别表示局部区域r基于第u种局部特征的马氏度量矩阵,双线性度量矩阵，马氏特征映射和双线性特征映射。

步骤6.4：联合局部相似性和全局相似性，度量两行人样本的整体相似性如下：

S(x₁,x₂)＝S^local(x₁,x₂)+αS^global(x₁,x₂)(5)

其中α是权衡局部和全局相似性重要性的参数，将(5)写成线性的形式：

S(x₁,x₂)＝W^TP(6)

其中为整体度量矩阵，为整体特征映射。而分别表示局部区域r用U种局部特征表示的马氏度量矩阵，双线性度量矩阵，马氏特征映射和双线性特征映射。同理分别表示基于U种全局特征的马氏度量矩阵，双线性度量矩阵，马氏特征映射和双线性特征映射。

步骤7：最小化目标函数形式，学习度量矩阵W，其最小化的目标函数如下：

$>{\mathrm{min\Sigma }}_{n=1}^N{[1+S(x_n,x_n^{-})-S(x_n,x_n^{+})]}_{+}---\left(7\right)$>

其中[z]₊＝max(z,0),表示与x_n是同类别的样本，表示与x_n是不同类别的样本。利用迭代法学习度量矩阵，包括以下步骤:

步骤7.1：每次迭代，随机选取三元组求解如下的问题：

$>W^i={\mathrm{argmin}}_W\frac{1}{2}\left|\right|W-W^{i-1}|{|}_2^2+C\xi ---\left(8\right)$>

约束条件:并且ξ≥0

其中C是平衡参数为常数。

步骤7.2：当max(0,1+S(x_i,x_l)-S(x_i,x_j))＝0时，Wⁱ＝W^i-1；若不然，用拉格朗日乘子法求解(8)拉格朗日函数如下：

$>L(W,\tau ,\xi ,\lambda )=\frac{1}{2}\left|\right|W-W^{i-1}|{|}_2^2+C\xi +\tau (1-\xi -(S\left(x_n,x_n^{+}\right)-S\left(x_n,x_n^{-}\right)\left)\right)-\lambda \xi ---\left(9\right)$>

其中τ≥0,λ≥0是拉格朗日乘子，(9)对W求梯度令其为0。

$>\frac{\partial L(W,\tau ,\xi ,\lambda )}{\partial W}=W-W^{i-1}-\tau \left(P\right(x_n,x_n^{+})-P(x_n,x_n^{-}\left)\right)=0$>

求解得

步骤7.3：求解τ，(9)对ξ求梯度令其为0。

$>\frac{\partial L(W,\tau ,\xi ,\lambda )}{\partial \xi }=C-\tau -\lambda =0---\left(11\right)$>

将(10)(11)带入(9)得：L(τ)对τ求梯度令其为0，由于λ≥0，所以τ≤C，

步骤7.4：马氏度量矩阵半负定化，求解出取出求其特征值及其特征向量，置正特征值为0。然后由特征向量和正特征值置零后的所有特征值反求然后取代原来的值。转到步骤7.2进行下一次迭代，直至达到收敛条件。

步骤8：在测试模块，导入步骤7学习到的度量矩阵,识别出行人样本中的行人。

步骤8.1：导入步骤7学习到的度量矩阵，计算每一个待测样本和库样本的相似度。

步骤8.2：根据相似度大小排序，识别待测行人样本。