一种基于多元回归的多视角步态分类方法

技术领域

本发明属于模式识别中的生物特征处理技术领域，具体是一种基于多元回归的多视角步态分类方法。

背景技术

步态分类是远距离检测条件下最具潜力的生物特征处理技术之一，它能够在服饰和视角等因素变化的条件下根据人走路的姿态来实现身份识别和下肢健康状态监测。步态分类的基本步骤是：首先，通过运动目标检测从待分类步态数据集中将步态图像分离出来。其次，进行步态周期的检测，分割出一系列的周期性步态图像序列，并从中提取步态特征。步态特征的选取和精确提取是步态分类中最重要的环节之一，将直接影响后续的分类正确率。最后，设计适当的分类器进行步态分类。现有步态分类算法在提取步态特征时，需要先进行步态周期分割，对时间和步速等因素具有严重的依赖性，限制了步态分类的应用和推广。

相比于人脸、指纹和虹膜等生物特征的处理技术，由于步态处理的发展时间相对较短，目前的步态分类与识别技术仍处于研究的阶段，缺少系统的方法和理论。

发明内容

为了解决现有步态分类技术中存在的上述问题，本发明提供了一种基于多元回归的多视角步态分类方法，包括如下三个步骤：

步骤1.从待分类步态数据集中提取人体轮廓，构造内点表示和边界表示的两种人体区域图像，并进一步生成轮毂能量图；

首先，通过运动目标检测，得到内点表示的人体区域：

I(X,Y)的值表示坐标为(X,Y)的像素点是否属于人体区域的内点，即在图像中是否落在人体区域内；

其次，根据内点表示的人体区域，计算当前人体区域的重心坐标：

此处的N_P表示图像中人体区域的像素个数：

再次，进一步进行边缘提取，得到边界表示的人体区域：

E(X,Y)的值表示坐标为(X,Y)的像素点是否属于人体区域的边界点，即在图像中是否落在区域边缘线上；

最后，根据边界表示的人体区域(公式4)和重心坐标(公式2)，连接每个边界点与重心，建立表征人体轮廓偏离中心点等特征的轮毂能量图，如下所示：

L(X,Y)的值表示坐标为(X,Y)的像素点是否位于轮毂上，即是否落在人体轮廓线上的点与重心连线上。

步骤2.基于上一步的轮毂能量图，计算每一个步态图像序列对应的多周期混合步态能量矩阵作为步态特征；

给定一个包含N_F帧图像的步态图像序列，每一帧图像的宽度为W，高度为H，则对应的多周期混合步态能量矩阵M_H,W定义如下：

这里的m(i,j)为多周期混合步态能量矩阵M_H,W第i行第j列的元素，i∈[1,H]，j∈[1,W]。多周期混合步态能量矩阵反映了人走路过程中每一时刻的人体轮廓信息，以及随着时间变化，人体轮廓相对于重心的变化规律。

步骤3.将多视角步态分类转化为一个多元回归问题，并构造卷积神经网络进行求解；

在实际的步态数据采集中，无论采用什么拍摄视角，总会造成部分步态信息被遮挡，无法提取完整的步态特征。本发明以90度视角(即人行走方向与图像平面平行)为基准数据，提取步态特征向量，并构造卷积神经网络实现步态分类。具体流程如下：

首先，根据待识别数据集中每个对象的90度视角的步态图像序列，计算对应的多周期混合步态能量矩阵M_H,W，并构造步态特征向量：

这里的i∈[1,W]，是M_H,W每一列对应的向量。

其次，定义一个卷积神经网络模型φ，实现从任意视角的步态图像序列中提取步态特征向量。模型φ的第一层为输入层，用于输入内点表示的人体区域I；最后一层为输出层，输出相应的步态特征向量预测结果；中间为一系列的卷积层和池化层组合，以及一个全连接层。

y^*＝φ(I,θ)(8)

最后，定义损失函数，并对模型φ进行训练来获得最优模型参数。参数θ的优化在中科院自动化研究所的CASIADatasetB数据集上进行了实现和多视角步态分类实验。

这里,||||表示欧几里德距离。

附图说明

图1是内点表示的人体区域示意图；

图2是边界点表示的人体区域示意图；

图3是基于多元回归的多视角步态识别流程图；

图4是所用卷积神经网络示意图；

图5是实验1中三种方法的累计匹配特征曲线；其中,GrassMannian方法融合了多视图矩阵表示和一种随机核极限学习机；VTM方法利用了一种评分标准化框架。

图6是实验2中三种方法的累计匹配特征曲线。其中,GrassMannian方法融合了多视图矩阵表示和一种随机核极限学习机；VTM方法利用了一种评分标准化框架。

具体实施方式

下面结合附图对本发明作进一步说明。

相对于现有技术，本发明具有如下特点：

一、在从待分类步态数据集中提取人体轮廓后，使用轮毂能量图来描述基本步态信息。

如图1和图2所示，本发明首先通过运动目标检测和边缘提取，分别获得内点表示和边界表示的人体区域示意图。然后根据内点表示的人体区域计算重心点，并进一步连接所有边界点和重心点生成轮毂能量图。对于任何凸多边形的区域，轮毂能量图与内点表示的区域完全重合，但是对于正常情况下非凸的人体区域，轮廓能量图与内点表示的区域存在显著差异，较好地表征了不同步态情况下，人体轮廓区域的变化细节。

二、选择多周期混合步态能量矩阵作为步态特征。

本发明的基于多元回归的多视角步态分类方法使用了多周期混合步态能量矩阵作为步态特征，无需精确的步态周期分割，减低了对步态周期分割的依赖性。使用多周期混合步态能量矩阵作为步态特征，具有以下几点优势：

(1)无需精确的步态周期分割，减低了步态分类精度和正确率对步态周期分割的依赖性；

(2)多周期混合步态能量矩阵是人体步态特性在时间域的积累，能够反映出人走路习惯和频率等步态内在差异；

(3)多周期混合步态能量矩阵也是人体步态特性在空间域的真实体现，该矩阵的每一列可以反映出一定空间领域的步态细节。

三、将多视角步态分类转化为多元回归问题，并构造卷积神经网络进行求解。

在多周期混合步态能量矩阵的基础上，本申请提出了一种新的多视角步态分类方法。其基本思想为：将步态分类看作一个多元回归问题，以90度视角的步态图像序列为基准，计算多周期混合步态能量矩阵M_H,W；然后分解矩阵M_H,W来生成步态特征向量的参考基准；最后训练卷积神经网络进行步态分类。

如图3所示，综合利用多元回归和卷积神经网络等相关理论，本申请提出的多视角步态分类方法流程如下：

(1)计算平均多周期混合步态能量矩阵。求取输入的对应于90度视角步态

图像序列的一系列多周期混合步态能量矩阵M_H,W的平均值：

(2)生成步态特征向量的参考基准。通过分解将其每一列作为一个独立向量，来构造步态特征向量的参考基准。

(3)构造卷积神经网络。如图4所示，本发明使用的神经网络分为7层，其中的输入层处理内点表示的人体轮廓区域图像,尺寸为32*32像素；输出层输出为对应于当前步态图像序列的步态特征向量；中间的隐藏层包括两个卷积层和两个池化层，以及一个用于分类的全连接层。

(4)定义损失函数，并使用反向传播算法进行卷积神经网络的学习和训练。该步骤的基本思路为：将内点表示的人体区域图像训练数据输入到卷积神经网络中，经过各个隐藏层，并最终到达输出层得到步态特征向量，完成前向传播过程；根据公式(9)定义的损失函数计算本轮输出值与实际值之间的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层；在反向传播的过程中，根据误差反复迭代调整隐藏层的参数值，直至收敛。

(5)根据第(2)步中所得的每个人的步态特征向量参考基准和第(4)步所得的实际步态特征向量，进行步态分类。本发明在实验设计中采用了经典的最近邻法进行分类。

实验设计：

实验1：采用CASIA步态数据库的B集中所有90度视角正常状态的步态数据进行分类正确率比较

训练数据获取方法:随机选取正常状态下每个人90度视角步态数据的50％用于训练，剩余的数据用于测试。实验结果的累计匹配特征曲线如图4所示，横轴为rank值，纵轴为步态分类的正确率。

实验2：采用CASIA步态数据库的B集中全部正常状态数据进行分类正确率比较

训练数据获取方法:随机选取全部正常状态数据(包括所有11个视角下的数据)中每个人90度视角的50％数据用于训练，剩下的50％视角为90度的数据，以及其它视角数据用于测试。实验结果的累计匹配特征曲线如图5所示，横轴为rank值，纵轴为步态分类的正确率。