一种基于线性判别分析的开放视角动作识别方法

技术领域

本发明涉及动作识别领域，尤其涉及一种基于线性判别分析的开放视角动作识别方法。

背景技术

很早之前人们就开始关注于人体动作识别的研究，在上个世纪七十年代，第一次对人类的运动识别进行了研究，心理学家对人类的运动感知进行了实验。通过将亮点标记在人的关节处，然后将其置于黑暗环境中，接着对在黑暗中的运动进行观察。实验结果表明，人的视觉系统对于运动中的光点序列，可以辨别出运动的形态，如走路、跑步等甚至可以判别出运动者的性别。这个实验说明对于人体的动作识别，并不需要提取出运动的全部信息，只需要部分信息就能表示出该运动。但是这部分信息也需要是运动的关键信息，才能表达出运动的类别。该实验为以后的人体动作识别的发展奠定了基础。

人体的动作识别，即人体的动作行为分析和描述是基于人体运动目标检测、分类和跟踪的基础之上。对人的动作分析和描述是指对人的动作进行识别和理解，最后用自然语言的方式加以描述的一个模式识别问题，人的动作识别的具体的方法是首先从视频序列中抽取相关的视觉信息，然后经过变换用合适的方法表示视觉信息，进而实现人体动作行为的识别和理解，这属于人体动作行为识别的高级处理环节。

基于视频的人体动作识别可以采用局部时空特征和全局特征来表示视频中的人体活动。对于局部时空特征，主要是将人体的运动区域进行了划分，然后对于不同的区域提取出一些感兴趣点。接着从时间和空间上提取感兴趣点的相关信息，利用相关信息就能表达出该动作。对于全局特征，它可以采用光流等特征来表示整幅图像在某一时刻的运动状态。最常用的方法就是计算视频中每一帧图片的光流信息。在背景静止的情况下可以通过计算光流来表示前景目标的运动类型，因为物体的运动会对场景中的光流场造成很大的影响，而通过对图像中光流场的检测和计算就能够很好的得到物体的运动区域。这些方法主要被应用于单一视角下的动作识别。

近年来开放视角的动作识别受到了许多研究人员的关注。因为在现实情况下很多时候需要在从未见过的视角下进行动作识别，所以对这个问题的研究将有利于动作识别方法被广泛的应用于实际生活之中，例如：城市的智能安全监控。

但不同于常规的动作识别，要从所有视角下收集动作样本来训练一个通用的动作识别模型是不现实的。因为在现实中存在许许多多的视角，同时在每个视角下也无法保证具有全部的动作类别的样本。这就需要利用有限视角下的动作样本去学习一个分类器，并将它应用于未知的视角下进行动作识别。

发明内容

本发明提供了一种基于线性判别分析的开放视角动作识别方法，本发明通过学习不同视角下动作样本的相关性，实现了将已知和未知视角下的动作样本表征信息投射相同的向量空间进行动作识别，详见下文描述：

一种基于线性判别分析的开放视角动作识别方法，所述动作识别方法包括以下步骤：

使用Kmeans算法利用组合后特征矩阵进行词典学习；将动作样本特征矩阵转化为动作样本特征向量；

使用线性判别分析利用训练视角和辅助视角下的动作样本特征向量学习投射矩阵；

结合投射矩阵、将训练视角和测试视角下的共t个动作样本表征向量投射到同一个空间，得到每个动作样本新的特征向量；

使用线性支持向量机利用动作样本新的特征向量进行动作分类模型的学习，最后利用动作分类模型在测试视角下进行动作分类测试。

所述动作识别方法还包括：

将视角划分为辅助视角动作样本、训练视角动作样本和测试视角动作样本；所述辅助视角动作样本用于学习不同视角之间的相关性；所述训练视角动作样本则用于动作分类模型的训练；所述测试视角动作样本用于动作识别测试；

对所有动作样本提取视频特征信息，得到动作样本特征矩阵。

所述动作识别方法还包括：

收集录制人体的动作信息，建立多视角的动作数据库。

所述对所有动作样本提取视频特征信息，得到动作样本特征矩阵的步骤具体为：

从每一个视频样本中提取出增强密轨迹特征，得到每一个动作样本的特征矩阵，所述特征矩阵包含了视频中人体运动的多个层次的信息，能从时间和空间上最大程度的保留动作样本的信息。

所述组合后特征矩阵具体为：随机抽取多个动作样本特征矩阵，并将多个动作样本特征矩阵按顺序组合得到组合后特征矩阵。

本发明提供的技术方案的有益效果是：

1、利用有限视角下的动作样本信息，无需依靠不同视角下大量的动作样本来训练分类模型，就能实现在未知的视角下进行动作识别；

2、将不同视角下的动作样本表征信息投射到相同的空间中实现了表征向量的降维，增加了动作分类模型学习的速度；

3、提出的线性判别分析的动作识别方法流程简单，易被应用于现实的动作监控识别系统之中。

附图说明

图1为一种基于线性判别分析的开放视角动作识别方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

针对背景技术中存在的问题，本发明实施例提出了一个基于线性判别分析的动作识别方法，通过学习已知不同视角下动作样本之间的相关性，来实现在未知视角下的进行动作识别的目的。

实施例1

一种基于线性判别分析的开放视角动作识别方法，参见图1，该动作识别方法包括以下步骤：

101：使用Kmeans算法利用组合后特征矩阵进行词典学习；将动作样本特征矩阵转化为动作样本特征向量；

102：使用线性判别分析利用训练视角和辅助视角下的动作样本特征向量学习投射矩阵；

103：结合投射矩阵、将训练视角和测试视角下的共t个动作样本表征向量投射到同一个空间，得到每个动作样本新的特征向量；

104：使用线性支持向量机利用动作样本新的特征向量进行动作分类模型的学习，最后利用动作分类模型在测试视角下进行动作分类测试。

其中，该动作识别方法还包括：

将视角划分为辅助视角动作样本、训练视角动作样本和测试视角动作样本；所述辅助视角动作样本用于学习不同视角之间的相关性；所述训练视角动作样本则用于动作分类模型的训练；所述测试视角动作样本用于动作识别测试；

对所有动作样本提取视频特征信息，得到动作样本特征矩阵。

其中，该动作识别方法还包括：

收集录制人体的动作信息，建立多视角的动作数据库。

其中，上述对所有动作样本提取视频特征信息，得到动作样本特征矩阵的步骤具体为：

从每一个视频样本中提取出增强密轨迹特征，得到每一个动作样本的特征矩阵，所述特征矩阵包含了视频中人体运动的多个层次的信息，能从时间和空间上最大程度的保留动作样本的信息。

其中，步骤101中的组合后特征矩阵具体为：

随机抽取多个动作样本特征矩阵，并将多个动作样本特征矩阵按顺序组合得到组合后特征矩阵。

综上所述，本发明实施例通过上述步骤101至步骤104学习不同视角下动作样本的相关性，实现了将已知和未知视角下的动作样本表征信息投射相同的向量空间进行动作识别。

实施例2

下面结合具体的计算公式、实例对实施例1中的方案进行进一步地介绍，详见下文描述：

201：收集录制人体的动作信息，建立多视角的动作数据库；

其中，为了保证不同视角下的动作样本没有直接相关性，每一个动作样本都在不同视角下单独录制，表1给出了建立的数据库的动作列表。

表1动作列表

具体实现时，本发明实施例对上述具体的动作不做限制，也可以为其他的动作，根据实际应用中的需要进行设定。

202：将视角划分为辅助视角动作样本、训练视角动作样本和测试视角动作样本；

其中，辅助视角动作样本用于学习不同视角之间的相关性；训练视角动作样本则用于动作分类模型的训练；测试视角动作样本用于动作识别测试。

203：对步骤201中录制的所有动作样本提取视频特征信息；

本发明实施例首先从每一个视频样本中提取出在动作识别中常用的增强密轨迹特征^[1]，得到每一个视频样本的特征矩阵H＝[h₁,h₂,...h_k]∈R^j×k。

其中，j为特征点维数，在本发明实施例中j＝294；k为相应动作样本中提取的特征点个数；h₁,h₂,...h_k为特征点的特征向量；R为有理数。此特征矩阵包含了视频中人体运动的多个层次的信息，能从时间和空间上最大程度的保留动作样本的信息。

其中，上述提取增强密轨迹特征的操作为本领域技术人员所公知，本发明实施例对此不做赘述；本发明实施例对特征点维数j的取值不做限制，本发明实施例仅以294为例进行说明。

204：从步骤203中随机抽取多个动作样本特征矩阵，并将多个动作样本特征矩阵按顺序组合得到组合后特征矩阵，使用Kmeans算法利用组合后特征矩阵进行词典学习；将动作样本特征矩阵转化为动作样本特征向量；

该步骤具体为：从步骤203中随机抽取2000个动作样本特征矩阵H₁,H₂,…,H₂₀₀₀，并将2000个动作样本特征矩阵按顺序组合得到组合后特征矩阵L＝[h₁,h₂,...h_c]∈R^j×c，其中j为特征点维数，c为特征点总个数，h₁,h₂,...h_c为特征点的特征向量。接着使用Kmeans算法利用组合后特征矩阵L＝[h₁,h₂,...h_c]∈R^j×c进行词典学习。

具体实现时，本发明实施例对抽取样本的个数不做限制，本发明实施例仅以2000为例进行说明。

其中，Kmeans算法是一种无监督的词典学习算法。这个算法的最终目标，是让最后定位的中心点到其类别中的所有特征点具有最短的欧几里德距离。这样中心点就在同一类特征的中心位置。

本发明实施例设定聚类中心点个数为1024。对于组合后特征矩阵L＝[h₁,h₂,...h_c]∈R^j×c，需要通过最小化式(1)来得到每一类的中心点d_i，每一个中心点d_i称为一个词，这些中心点的集合D＝{d₁,d₂,…,d₁₀₂₄}称为词典。

其中，d₁,d₂,…,d₁₀₂₄为各个中心点；h_j为特征点的特征向量；为中心点到特征点的欧几里得距离的总和。

利用步骤203得到的所有共m个动作样本特征矩阵H₁,H₂,…,H_m、中心点的集合D＝{d₁,d₂,…,d₁₀₂₄}，通过矢量量化将动作样本特征矩阵H₁,H₂,…,H_m转化为动作样本特征向量z₁,z₂,…,z_m。

其中，上述矢量量化的步骤为本领域技术人员所公知，本发明实施例对此不做赘述。

205：使用线性判别分析利用训练视角和辅助视角下的动作样本特征向量学习投射矩阵A；

通过投射矩阵A将不同视角下的动作样本特征向量投射到相同的空间。在这个特征空间之中，不同类别的特征数据之间的距离尽可能的大，而同时限制相同类别的特征数据之间的距离尽可能的小。其投射矩阵的求解方式一般是通过最大化不同类别间的协方差、同时最小化相同类别间的协方差得到。对于样本的集合，它包含了n种动作类别。那么学习投射矩阵的目标函数就能表示为：

其中，a^*为最佳投影向量，a是转换向量，μ是总体样本的平均向量，g_k是第k类别中样本的数量，而μ^k则是k类样本的平均向量，是k类中的第i个样本。S_w是类内散步矩阵，S_b是类间散步矩阵。总散步矩阵S_t定义为式(5)：

则线性判别分析的目标函数可以改写为式(6)所示:

当需要的投射矩阵为A＝[a₁,…,a_l]时，式(6)可以改写为：

其中，tr()表示矩阵的迹，A^*为最佳投射矩阵。

式(7)的最优化问题就等价于为式(8)找到相应的特征向量a_u(u＝1,2,…,l)使其取得最大的特征值。

S_b＝λS_ta_u(8)

其中，λ为拉格朗日乘子。

206：通过步骤205中的式(8)即可得到投射矩阵A＝[a₁,…,a_l]，根据式(9)将训练视角和测试视角下的共t个动作样本表征向量z₁,z₂,…,z_t投射到同一个空间，得到每个动作样本新的特征向量x₁,x₂,…,x_t；

X＝AZ (9)

其中，X＝[x₁,x₂,…,x_t]，Z＝[z₁,z₂,…,z_t]，在线性判别分析学习特征空间投射矩阵时，它只考虑了样本的类别信息，并不考虑样本所属的视角信息。因此线性判别分析可以利用有限几个已知视角下的动作样本通过学习得到的投射矩阵，将不同视角下的动作样本投射到相同的空间，提取出与视角无关的样本内在特征。

207：使用线性支持向量机利用步骤206得到的训练视角下t_train个动作样本新的特征向量进行分类模型的学习，最后利用动作分类模型在测试视角下进行动作分类测试。

线性支持向量机是一种有监督的分类器模型的学习方法。在这种分类方法中，原始的特征点被投射到一个新的特征空间。这个特征空间尽可能的将不同的样本的特征点分开。对于总共n类动作，需要学习n个分类函数。对于第i类动作，分类函数如式(10)所示。

F_i(x)＝w_i^Tx+b(10)

式子中w_i是需要学习的超平面，x是动作样本的表征向量，b是偏置向量。通过训练，对于给定的样本表征向量x，当x属于第i类时应该满足F_i(x)＞0，不属于时则F_i(x)＜0。当给定一个测试样本的表征向量x_test时，将其带入n个分类函数并利用决策函数将其判断为相应的第i类。

综上所述，本发明实施例通过上述步骤201至步骤207学习不同视角下动作样本的相关性，实现了将已知和未知视角下的动作样本表征信息投射相同的向量空间进行动作识别。

本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

具体实施方式中的参考文献如下：

[1]Wang H,Schmid C.Action recognition with improved trajectories[C].IEEE International Conference on Computer Vision,2013:3551-3558.