一种结合多模态特征分析与神经网络的羽毛球运动员犯规动作识别方法

技术领域

本发明涉及图像处理技术领域，更具体地，涉及一种结合多模态特征分析与神经网络的羽毛球运动员犯规动作识别方法。

背景技术

羽毛球比赛规则有明确规定，开球要符合规范动作，不能故意延误发球、站位不能阻碍对手视线，比赛中不能故意侵入对手场区、做出某些动作阻碍对手进攻或分散对手注意力。但有时这些动作发出时会比较细微，人眼无法做到细致观察判断，加上比赛过程中运动员动作变化频繁，这样可能会造成裁判忽略某些犯规动作，从而影响了比赛的公平性。随着计算机视觉技术的提升，机器可以实现对视频、图像的精细分析，因此可以利用机器来代替人眼去识别运动员比赛动作是否犯规，即对运动员进行行为识别来判断其比赛时动作是否符合规范。目前行为识别方法是以双流法和3D卷积为主，也有输入人体姿态来进行行为识别。但是由于人体行为有很多不确定性，运动员比赛时动作较为复杂，并且手部挥拍动作可能会不明显，还会夹杂一些复杂动作，这些可能会造成系统对行为的误判，只是使用单一模态的数据而缺乏信息间的交互很难进行细致分析。

在现有技术中，公开号为CN110705463A的中国发明专利，于2020年1月17日公开了一种基于多模态双流3D网络的视频人体行为识别方法及系统，包括：基于深度视频生成的深度动态图序列DDIS；基于RGB视频生成的姿势评估图序列PEMS；将深度动态图序列和姿势评估图序列分别输入到3D卷积神经网络中，构造DDIS流和PEMS流，得到各自的分类结果；将得到的分类结果进行融合，得到最终的行为识别结果。该专利没有结合多特征信息，没有特征融合，识别准确度不高。

发明内容

本发明为克服上述现有技术运动员犯规动作识别没有多特征信息融合，识别准确度不高的缺陷，提供一种结合多模态特征分析与神经网络的羽毛球运动员犯规动作识别方法。

本发明的首要目的是为解决上述技术问题，本发明的技术方案如下：

一种结合多模态特征分析与神经网络的羽毛球运动员犯规动作识别方法，包括以下步骤：

S1：实时提取运动员的人物图像、运动姿态序列、光流数据；

S2：将人物图像送入双流网络的空间流网络中，获取运动员空间特征；

S3：将运动姿态序列作为有向图传入多层的图卷积神经网络中，获得运动员运动时的姿态时空特征；

S4：将每一帧光流数据先经过卷积神经网络提取特征后再送入时间关系网络，获取运动员的光流运动信息特征；

S5：分别将步骤S1、S2、S3得到的三种特征两两配对，得到三种聚合特征；

S6：将三种聚合特征分别送入卷积神经网络中，得到三种融合特征；

S7：将三种融合特征加权融合得到最终的整体人体多模态融合运动特征；

S8：将整体人体多模态融合运动特征送入全连接网络中得到最终的动作分类识别结果。

进一步地，步骤S1中，通过视频截帧获取运动员人物图像，通过OpenPose获取运动员运动姿态，通过DenseFlow获取运动员光流数据。

进一步地，步骤S2是将人物图像送入双流网络的空间流网络中，对人物图像的空间信息进行建模，得到运动员的人物空间特征。

进一步地，步骤S3是将运动姿态序列作为有向图传入多层的图卷积神经网络中，对运动员的运动姿态序列进行建模，得到运动员的运动姿态时空特征。

进一步地，运动姿态时空特征经过图卷积运算得到，所述图卷积运算公式如下：

其中，v

进一步地，步骤S4获取运动员光流运动信息特征过程为：

利用卷积神经网络中的ResNet基线网络对光流序列的每一帧光流进行建模，然后对建模后的每一帧光流进行特征之间的融合；

将特征融合后的光流序列送入时间关系网络中按照不同的帧数分组，每一组中的光流的序号从小到大排序；

对每一组光流序列进行建模，得到帧间时间关系特征，然后再融合相同组别的帧间时间关系特征，得到段间时间关系特征；

将所有段间时间关系特征通过相加，得到包含有时间推理信息的整体运动员光流运动信息特征。

进一步地，步骤S6中将三种聚合特征分别送入卷积神经网络中，每一种聚合特征含有一个特征对，卷积神经网络对每一个特征对建模融合得到三种融合特征。

进一步地，所述的全连接网络对输入的人体多模态融合运动特征进行动作识别分类，判断出运动员是否有犯规动作。

进一步地，获取运动姿态序列的过程包括：

获取运动图像序列，将图像序列的每一张图片经过VGG19网络，得到图像特征；

根据图像特征分别获取运动员身体每个关节点的关节点置信度和关节点间的亲和度向量；

利用关节点置信度和关节点间的亲和度向量对关节点进行聚类并进行骨架拼接得到运动员的运动姿态序列。

进一步地，所述人物图像为RGB图像。

与现有技术相比，本发明技术方案的有益效果是：

本发明通人物图像、运动姿态序列、光流数据获取不同的特征，并将特征进行融合后进而全连接网络中进行动作识别，提高了犯规作识别的准确度。

附图说明

图1为本发明方法流程图。

图2为本发明网络架构图。

图3为本发明时间关系网络结构图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

实施例1

如图1-图2所示，一种结合多模态特征分析与神经网络的羽毛球运动员犯规动作识别方法，包括以下步骤：

S1：实时提取运动员的人物图像、运动姿态序列、光流数据；

S2：将人物图像送入双流网络的空间流网络中，获取运动员空间特征；

S3：将运动姿态序列作为有向图传入多层的图卷积神经网络(GCN)中，获得运动员运动时的姿态时空特征；

S4：将每一帧光流数据先经过卷积神经网络提取特征后再送入时间关系网络，获取运动员的光流运动信息特征；

S5：分别将步骤S1、S2、S3得到的三种特征两两配对，得到三种聚合特征；

S6：将三种聚合特征分别送入卷积神经网络中，得到三种融合特征；

S7：将三种融合特征加权融合得到最终的整体人体多模态融合运动特征；

S8：将整体人体多模态融合运动特征送入全连接网络中得到最终的动作分类识别结果。

进一步地，步骤S1中，通过视频截帧获取运动员人物图像，通过OpenPose获取运动员运动姿态，通过DenseFlow获取运动员光流数据。

在一个具体的实施例中，可以设置多台摄像机对羽毛球比赛场进行多角度的拍摄，通过实时截取视频帧获得人物图像，本发明将人物图像送入双流网络的空间流网络中，对人物图像的空间信息进行建模，得到运动员的人物空间特征。

本发明获取运动姿态序列的过程包括：

获取运动图像序列，将图像序列的每一张图片经过10层的VGG19网络，得到图像特征F；

根据图像特征分别获取运动员身体每个关节点的关节点置信度

利用关节点置信度和关节点间的亲和度向量对关节点进行聚类并进行骨架拼接得到运动员的运动姿态序列。

将获取到的运动姿态序列作为有向图传入多层的图卷积神经网络中，对运动员的运动姿态序列进行建模，得到运动员的运动姿态时空特征。

更具体地，是将运动员的运动姿态序列看作一个图结构，图的顶点是每一帧帧内的关节点，图的顶点集合表示为V＝{v

v

本发明中共设有9层时空图卷积运算单元，最终可以输出运动员的运动姿态时空特征PF。

在本发明中通过DenseFlow工具包获取光流数据，具体流程为：每次输入两张图片，第一张T(x,y)为参考图像，第二张I(x,y)为当前图像，接着设计以下目标函数，使得配准后的两张图像上每个对应点尽可能相同：

u(x,y)、v(x,y)是图像上每一点的偏移量，

在获取了运动员的光流序列数据后，本发明采用双流架构中的空间流网络来对图像帧提取空间特征，如图3所示，用时间关系网络(TRN)代替时间流网络来获取光流运动信息特征，获取运动员的光流运动信息特征过程为：

利用卷积神经网络(CNN)中的ResNet基线网络对光流序列的每一帧光流进行建模，然后对建模后的每一帧光流进行特征之间的融合；

将特征融合后的光流序列送入时间关系网络中按照不同的帧数分组(具体可以按照2帧一组、3帧一组和4帧一组进行分组)，每一组中的光流的序号从小到大排序；

对每一组光流序列进行建模，得到帧间时间关系特征，然后再融合相同组别的帧间时间关系特征，得到段间时间关系特征；

将所有段间时间关系特征通过相加，得到包含有时间推理信息的整体运动员光流运动信息特征。

以3帧为例，3帧的时间关系可表示为：

其中，h

进一步地，步骤S6中将三种聚合特征分别送入卷积神经网络中，每一种聚合特征含有一个特征对，卷积神经网络对每一个特征对建模融合得到三种融合特征。

在一个具体的实施例中，获取的羽毛球运动员的人体空间特征SF、光流运动信息特征MF和运动姿态时空特征PF，将这三种模态的特征两两配对并聚合，得到三种不同的聚合特征＜SF,MF＞、＜PF,MF＞和＜PF,SF＞。接着对这三种聚合特征输入到CNN模块中进行建模，得到成对模态特征的融合特征Fusion1、Fusion2和Fusion3。再将三种融合特征进行加权融合，以此得到最终的人体多模态融合特征，该特征包含了三种模态不同组合的融合特征，不同模态之间可以实现信息的互补，这样得到的信息更加丰富，特征的鲁棒性更高，

进一步地，所述的全连接网络对输入的人体多模态融合运动特征进行动作识别分类，判断出运动员是否有犯规动作。

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。