法律状态公告日
法律状态信息
法律状态
2022-11-01
授权
发明专利权授予
技术领域
本发明涉及一种细粒度的工程力学跳水动作模拟与评估方法，属于深度学习和计算机视觉领域。
背景技术
动作质量评估(Action Quality Assessment，AQA)技术可广泛适用于诸多现实场景，例如智能体育裁判、手术技能评分、运动治疗指导等。尤其是在跳水赛事中，精准智能评价与计分系统将大大增强比赛成绩的客观性与有效性，进而促进比赛的公平性。此前便有裁判打分遭质疑的相关报道。因此，对开发跳水赛事智能评估系统的需求日益增加，本发明旨在基于现场视频智能生成准确且客观的结果，不让为了一个项目辛勤训练几十年的运动健儿遭受到不公正对待。
针对跳水赛事的智能化评估体系，特别在跳水的应用方面，虽已有学者展开研究，并作出一些成功的探索。例如，三维卷积神经网络(Convolutional 3D，C3D)因捕获了外观和显著动作的时空特征，在动作识别相关任务中表现优异。Paritosh Parmar等人将跳水评分视为多任务回归问题，并收集了一个迄今为止最大的多任务AQA数据集，包括1412个跳水样本，多任务标签包括跳水得分，映像动作识别和摘要生成三大类。Wang等人利用空间卷积网络(Spatial Convolutional Network，SCN)和时间卷积网络(Temporal ConvolutionalNetworks，TCNs)，采用两阶段策略训练。特别地，在时间卷积中，引入了注意力机制，根据时间维度的特征对整体性能的影响来融合特征。这些算法看似有效，但是并没有充分利用数据集给出的客观参数，即难度系数，并且对于整体动作的流畅度和最终水花溅射的细节的把握精度不够。
在跳水比赛中，裁判员根据运动员的助跑(即走板、跑台)、起跳、空中动作和入水动作来评定分数。裁判员团队的设置为两种，5名裁判员和7名裁判员。第一种是在全部5名裁判员打出分数以后，先删去最高和最低的无效分，余下3名裁判员的分数之和乘以运动员所跳动作的难度系数，便得出该动作的实得分；第二种在全部7名裁判员打出分数以后，先删去最高和最低的无效分，余下5名裁判员的分数之和乘以运动员所跳动作的难度系数，便得出该动作的实得分，但最后还应除以5，再乘以3。该规则显示各个裁判的裁决偏好不同，给出的分数具有差异性，但根据运动员跳水过程展现的水平，又兼有一致性，这种特性很自然可以视作正态概率分布，其中心为所有裁判打分的平均值，该均值可以用标记分布学习(Label Distribution Learning,LDL)完美计算。
此外，观察跳水规则还可发现，难度系数是一个客观值，其表明运动员完成动作的难易程度。国际跳水竞赛规则为每一个跳水动作确定了相应的难度系数，它根据动作组别、竞赛项目(跳板、跳台)、器械高度、动作姿势和翻腾转体的周数等方面的差异来确定其数值。受此启发，只需预测所有裁判的打分均值，再和动作难度系数相乘，就可以预测最终的跳水得分。
发明内容
本发明针对上述问题提供了一种细粒度的工程力学跳水动作模拟与评估方法。
本发明采用如下技术方案：
本发明所述的细粒度的工程力学跳水动作模拟与评估方法，
步骤一、给定一个L帧的RGB模态的跳水视频
步骤二、将V
步骤三、通过RGB片段特征
步骤四、使用yolov5模型提取跳水视频
步骤五、采集人体真实数据；根据关键帧画面，提取该关键帧中人体姿态关键信息；将采集到的人体真实数据结合关键帧中的人体姿态构建人体三维模型；
步骤六、在ABAQUS 2020有限元分析软件中建立水体及水花溅射区域，将人体三维模型导入到ABAQUS 2020有限元分析软件中模拟计算，得到人体三维模型进入水体后的水花形态；该水花形态即局部特征f
ABAQUS 2020有限元分析软件中在预设的各种参数条件下快速进行。参数预设包括水密度、粘度、入水速度、体重、重力等。
在实际应用过程中，在赛前进行数据采集，采集运动员的身高、体重、体型等基本数据，结合视频的关键帧信息，在专业人体建模软件中建模。通过对软件进行二次开发，可实现快速参数化建模，以此获得有限元模拟的计算模型及初始数据。在赛中，通过视频获取运动员跳水过程中的运动数据与身体入水姿态，进行有限元模拟分析，通过模拟结果，给评分提供具体参照。在项目实际应用过程中，通过程序方法，将采集的模拟数据及运动员身体模型自动输入分析软件中，在预设的各种参数条件下，快速进行模拟计算并输出结果f
步骤七、将全局特征f
本发明所述的细粒度的工程力学跳水动作模拟与评估方法，步骤四中yolov5模型针对跳水视频V
本发明所述的细粒度的工程力学跳水动作模拟与评估方法，所述步骤五中在建模软件中建立人体三维模型，该人体三维模型的属性基于采集的真实人体数据；依据入水关键帧中的人体目标姿态调整其人体三维模型姿态。
本发明所述的细粒度的工程力学跳水动作模拟与评估方法，步骤六追踪基于ABAQUS 2020有限元分析软件中建立水体及水花溅射区域，将步骤五中建立的人体三维模型导入ABAQUS 2020有限元分析软件中，采用耦合欧拉-拉格朗日算法模拟人体三维模型入水时溅起的水花形态。
本发明所述的细粒度的工程力学跳水动作模拟与评估方法，步骤七将f传入全连接层，基于LDL算法，预测所有裁判的打分均值(跳水得分除以难度系数)的概率分布。首先生成一个得分概率分布，用来表示真实分布，通过优化预测的概率分布和真实概率分布的损失函数，不断提高预测准确率。最后乘以难度系数预测该跳水运动员的得分。
在训练阶段，给定标记分数S和难度系数DD的跳水视频，那么裁判打分均值为S
σ是一个超参数，用于评估S
将f
在p
S
S
有益效果：
本发明提供的细粒度的工程力学跳水动作模拟与评估方法，原创性的将力学中的流固耦合仿真手段运用于神经网络算法薄弱处，通过赛前、赛中进行数据采集，并结合动力-显式分析实现对水花姿态精准、快速的求解。提供了精确的局部特征，弥补了神经网络算法中不能精准识别水花姿态的弱点。
本发明提供的细粒度的工程力学跳水动作模拟与评估方法，基于LDL算法，充分利用跳水规则中的难度系数概念，改进了全连接层的输出策略，创新求解跳水得分。
附图说明
图1为本发明跳水质量智能评价流程；
图2为所选取的3个视频素材及其相应的有限元分析模型；
图3为所选取的3个视频素材水花形态及计算模拟所得水花形态对比图。
具体实施方式
为使本发明实施例的目的和技术方案更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明选择了数据集UNLV-Dive中三个跳水视频作为示例，在模拟过程中采用运动员平均身体数据进行建模，将模型保存为.sat格式，如图1所示。
采用ABAQUS 2020通用有限元分析软件进行模拟分析，采用耦合欧拉-拉格朗日算法，模拟运动员入水时溅起的水花形态。
创建分析部件时，将人体模型导入，并构建一个足够大的水体及水花溅射区域，以避免水体边界干扰水花形态的生成。人体采用离散刚体，水体采用欧拉体。水体材料属性如表1所示：
表1水体材料属性
将材料赋予给部件，装配部件时，运动员模型贴近水面安置，通过赋予初速度，以模拟运动员自由落体产生的效果。
采用动力-显式(Explicit)求解器，设置重力，约束水体边界，并在默认分析步中，设定预定义场，以区分欧拉体中水体部分及水花溅射区域。
如图3所示：网格设置时，核心区域在网格密度在0.02以下时，水花溅射效果明显且差异不大，能量变化稳定，因此核心区域网格密度采用0.02即可。通过模拟可得三个人体模型跃入水中时溅射起的水花形态，与素材视频中的水花形态进行对比，
由图3对比可得，模拟产生的水花与素材视频中的水花，其溅射高度、半径、密度相近，但水花形状存在一定差异。产生差异的可能原因，是缺乏准确的运动员模型数据，因此导致最终结果出现波动。这一点在实际应用过程中，可通过在赛前进行数据采集来解决，最终提高模拟的精度。上述模拟的最终效果较贴近素材视频中的实际效果，仿真度满足实验需求，输出局部特征f
行动质量评价作为一个回归问题来预测质量“得分”，因此本发明沿用以往文献中使用的Spearman’s Rank Correlation(SRC)作为评价指标。SRC的范围在-1和1之间，SRC越高意味着真实分数和预测分数相关性越强，也就是说SRC越接近1，则相关性越强，反之相关性越弱。
在ubuntu 16.04系统上使用Pytorch深度学习框架来编写模型，迭代训练100次(通过一张Nvidia TiTian RTX GPU来加速训练)。利用Kinetics(Kinetics为大型视频数据集)上预先训练好的I3D模型作为特征提取器，它以16帧的动作序列作为输入，输出1024维的特征。I3D为深度学习领域中常用的三维卷积神经网络框架，yolov5用于人工智能领域中目标检测与识别模型；
运用coco数据集上预先训练好的yolov5模型；检测入水关键帧，若某一帧后的连续10帧均未检测到人体，则认定此帧为人恰好入水的关键帧。
将每个UNIV-Dive数据集都填充到151帧(帧数不足的视频补充全零帧)。利用滑动窗口策略将每个视频分成10个片段。每个MLP块包含两个隐藏层FC(256,ReLU)和FC(128,ReLU)。网络采用Adam优化器进行优化，学习率设置为0.0001。此外，在实验中，本发明将最终总分标准化至[0,50]的范围保证尺度一致性，并施加高斯分布得到先验概率分布。
将本发明方法的性能与最先进的其他几种方法进行比较，表显示了以SRC评估的结果。可以看出，在UNLV-Dive数据集上，本发明方法都优于现有方法。这个结果表明了本发明创新框架在跳水质量评估方面的独特优势。
表2不同方法在UNLV-Dive上的表现
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
机译： 一种用于预测对生命体的兴趣行为的库的制造方法，以及一种基于动作参数的变化或类似斑马鱼的用于评估对生命体的兴趣的行为的方法
机译： 一种用于预测对生命体的兴趣行为的库的制造方法，以及一种基于动作参数的变化或类似斑马鱼的用于评估对生命体的兴趣的行为的方法
机译： 乘客保护装置皮带张紧器，一种用于车辆的控制方法，涉及处理加速度分量，使得评估算法受关于参数和/或动作的处理的影响
