用于监测跳绳过程的监测系统建立方法及监测系统

技术领域

本发明涉及神经网络数据处理领域，尤其涉及一种用于监测跳绳过程的监测系统建立方法及监测系统。

背景技术

研究表明运动对自身生长激素分泌是强有力的生理性刺激，刺激作用与药理性胰岛素激发相当。但运动能够刺激自身GH分泌需要同时满足两个因素：运动强度和运动时间。在同等的运动时间下，较低强度的运动对刺激生长激素分泌不明显。高强度的运动刺激生长激素的分泌有天花板效应，高强度的运动还可能导致运动损伤。所以运动强度需要在一个有效且安全的范围内。

其中，跳绳作为运动中门槛最低、普及度最高的类型，在全国中小学已经非常普及，现有的跳绳设备主要有三类：第一类，普通跳绳，即不带任何传感器地跳绳。缺点非常明显，无运动监测功能，需要人工计数。第二类，带霍尔传感器的跳绳装置。此类跳绳可以通过霍尔传感器统计跳绳的次数，缺点是只能监测跳绳的次数，并不能监测跳绳时的实时功率，且所得数据不准确，厂家为满足跳绳者的运动虚荣心理，常常输入比真实数据高很多的实时数据。第三类，与摄像头联动的跳绳装置，此类装置用摄像头监测跳绳的过程，通过图像处理的技术粗略估算跳绳时人离地的高度，从而监测跳绳时的功率。缺点是需要和手机等带摄像头的设备联动，执行起来不方便，应用场景普适性有限。

也就是说，现有运动装备因无可视化、强度不可衡量等问题，无法合理有效地监督运动状态。

因此，提出一种不仅能准确监测跳绳过程运动强度，能够实现个体化定制和运动强度可视化、且方便携带和使用的跳绳装置是非常有必要的。

发明内容

为了克服上述技术缺陷，本发明的目的在于提供一种用于监测跳绳过程的监测系统建立方法及监测系统，可以实现全自动监测跳绳过程跳绳的次数和运动量。

本发明公开了一种用于监测跳绳过程的监测系统建立方法，包括以下步骤：

于实验跳绳的手柄内植入陀螺仪及加速度传感器，用于实时检测跳绳过程的运动状态，并生成实验加速度信号数据，且于跳绳过程所处的实验环境内放置至少一个摄像设备，以录制跳绳过程；

采集实验加速度信号数据及摄像设备生成的实验视频数据，基于实验加速度数据和实验视频数据建立模型，其中模型包括实验加速度信号数据与实验视频数据内跳绳者的起跳高度的对应关系；

采集植入有陀螺仪及加速度传感器的真实跳绳的实时加速度信号数据，并将实时加速度信号数据输入模型内，以输出跳绳过程的运动量。

优选地，于实验跳绳的手柄内植入陀螺仪及加速度传感器，用于实时检测跳绳过程的运动状态，并生成实验加速度信号数据，且于跳绳过程所处的实验环境内放置至少一个摄像设备，以录制跳绳过程的步骤包括：

构建实验跳绳的结构，以设计用于容纳陀螺仪和加速度传感器的容纳空间；

集成陀螺仪和加速度传感器至实验跳绳内；

选取多名跳绳者执行跳绳过程，于每一跳绳者的前方设置摄像设备，并在每一跳绳者与摄像设备的平行平面内设置靠近于跳绳者的刻度尺，使得陀螺仪和加速度传感器搜集每一跳绳者所持实验跳绳的实验加速度信号数据，摄像设备录制每一跳绳者的跳绳过程。

优选地，选取多名跳绳者执行跳绳过程的步骤包括：

选取年龄自7-18岁分布的跳绳者，执行1-10分钟的多次跳绳过程，并重复10次。

优选地，采集实验加速度信号数据及摄像设备生成的实验视频数据，基于实验加速度数据和实验视频数据建立模型，其中模型包括实验加速度信号数据与实验视频数据内跳绳者的起跳高度的对应关系的步骤包括：

采集实验加速度信号数据，将实验加速度信号数据转化为大地坐标下的竖直加速度数据，并对竖直加速度数据执行包括误差校准、降噪、归一化的预处理；

采集实验视频数据，基于目标检测神经网络对实验视频数据的每一视频帧作人脸检测，以计算不同视频帧下跳绳者的人脸质心的运动轨迹；

将运动轨迹与刻度尺对比获得跳绳者的高度变化曲线；

基于LSTM网络对竖直加速度数据建立模型并作时间信号分析，并将高度变化曲线作为模型内的数据训练标签；

采用均方误差为损失函数，对竖直加速度数据于模型内的输出数据和同一时域内高度变化曲线的高度数据进行极小化处理，以优化模型并获得一训练完毕模型。

优选地，采集植入有陀螺仪及加速度传感器的真实跳绳的实时加速度信号数据，并将实时加速度信号数据输入模型内，以输出跳绳过程的运动量的步骤包括：

将训练完毕模型输入至真实跳绳的处理芯片；

采集真实跳绳的实时加速度信号数据，并将实时加速度信号数据发送至处理芯片，处理芯片将实时加速度信号数据转化为大地坐标下的竖直加速度数据，并对竖直加速度数据执行包括误差校准、降噪、归一化的预处理，得到预处理数据；

将预处理数据发送至训练完毕模型，实时输出预测跳绳高度作为跳绳过程的运动量。

本发明还公开了一种用于监测跳绳过程的监测系统，包括：实验跳绳、摄像设备、处理模块；

于实验跳绳的手柄内植入陀螺仪及加速度传感器，用于实时检测跳绳过程的运动状态，并生成实验加速度信号数据，且于跳绳过程所处的实验环境内放置至少一个摄像设备，以录制跳绳过程；

处理模块采集实验加速度信号数据及摄像设备生成的实验视频数据，基于实验加速度数据和实验视频数据建立模型，其中模型包括实验加速度信号数据与实验视频数据内跳绳者的起跳高度的对应关系；

处理模块采集植入有陀螺仪及加速度传感器的真实跳绳的实时加速度信号数据，并将实时加速度信号数据输入模型内，以输出跳绳过程的运动量。

优选地，实验跳绳内设有用于容纳陀螺仪和加速度传感器的容纳空间；

集成陀螺仪和加速度传感器至实验跳绳内；

选取多名跳绳者执行跳绳过程，于每一跳绳者的前方设置摄像设备，并在每一跳绳者与摄像设备的平行平面内设置靠近于跳绳者的刻度尺，使得陀螺仪和加速度传感器搜集每一跳绳者所持实验跳绳的实验加速度信号数据，摄像设备录制每一跳绳者的跳绳过程。

优选地，选取年龄自7-18岁分布的跳绳者，执行1-10分钟的多次跳绳过程，并重复10次。

优选地，处理模块采集实验加速度信号数据，将实验加速度信号数据转化为大地坐标下的竖直加速度数据，并对竖直加速度数据执行包括误差校准、降噪、归一化的预处理；

处理模块采集实验视频数据，基于目标检测神经网络对实验视频数据的每一视频帧作人脸检测，以计算不同视频帧下跳绳者的人脸质心的运动轨迹；

处理模块将运动轨迹与刻度尺对比获得跳绳者的高度变化曲线；

处理模块基于LSTM网络对竖直加速度数据建立模型并作时间信号分析，并将高度变化曲线作为模型内的数据训练标签；

处理模块采用均方误差为损失函数，对竖直加速度数据于模型内的输出数据和同一时域内高度变化曲线的高度数据进行极小化处理，以优化模型并获得一训练完毕模型。

优选地，训练完毕模型输入至真实跳绳的处理芯片；

处理模块采集真实跳绳的实时加速度信号数据，并将实时加速度信号数据发送至处理芯片，处理芯片将实时加速度信号数据转化为大地坐标下的竖直加速度数据，并对竖直加速度数据执行包括误差校准、降噪、归一化的预处理，得到预处理数据；

处理芯片将预处理数据发送至训练完毕模型，实时输出预测跳绳高度作为跳绳过程的运动量。

采用了上述技术方案后，与现有技术相比，具有以下有益效果：

1.本发明仅借助于陀螺仪和加速度传感器实现实时运动量的监测，硬件要求低；

2.本发明的目标检测网络，仅用少量标注数据可以达到快速高效提取人脸的功能；

3.在实际使用种相较于目前市面上的运动监测产品，可以脱离手机等摄像头的依赖，并准确地监测跳绳运动中的高度变化。

附图说明

图1为符合本发明一优选实施例中监测系统建立方法的流程示意图。

具体实施方式

以下结合附图与具体实施例进一步阐述本发明的优点。

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。

参阅图1，示出了符合本发明一优选实施例中用于监测跳绳过程的监测系统建立方法，在该实施例中，监测系统建立方法以及监测过程包括以下步骤：

S100：于实验跳绳的手柄内植入陀螺仪及加速度传感器，用于实时检测跳绳过程的运动状态，并生成实验加速度信号数据，且于所述跳绳过程所处的实验环境内放置至少一个摄像设备，以录制所述跳绳过程。

收集至少一个实验跳绳(可以是普通的跳绳，在实验环境下使用以定义为实验跳绳)。在实验跳绳的手柄内植入陀螺仪及加速度传感器，该手柄为跳绳者握持的部分，在跳绳时通过甩动手柄以将实验跳绳的绳体摆动起来，其内所植入的陀螺仪和加速度传感器在实验跳绳摆动时，根据位置、高度、加速度的变化，形成实验加速度信号数据，以表征该实验跳绳在跳绳过程中的运动状态。陀螺仪又叫角速度传感器，是用高速回转体的动量矩敏感壳体相对惯性空间绕正交于自转轴的一个或二个轴的角运动检测装置。加速度传感器是一种能够测量加速力的电子设备，陀螺仪用于测量角速度，加速度传感器则用于测量线性加速度。前者是惯性原理，后者是利用的力平衡原理。加速度传感器在较长时间的测量值是正确的，而在较短时间内由于信号噪声的存在，而有误差。陀螺仪在较短时间内则比较准确而较长时间则会有与漂移而存有误差。

在跳绳过程中，实验跳绳所处的实验环境内还设有至少一个摄像设备，用于将整个跳绳过程录制下来。跳绳过程包括从起跳、到达最高点、落地、绳体的摆动次数等量。

S200：采集所述实验加速度信号数据及摄像设备生成的实验视频数据，基于所述实验加速度数据和实验视频数据建立模型，其中所述模型包括实验加速度信号数据与实验视频数据内跳绳者的起跳高度的对应关系

陀螺仪及加速度传感器形成的实验加速度信号数据，以及摄像设备生成的实验视频数据将被发送至一神经网络内，通过判别不同实验加速度信号数据随匹配的实验视频数据中跳绳者的起跳高度的关系，可得到包括有实验加速度信号数据与实验视频数据内跳绳者的起跳高度的对应关系的模型。可以理解的是，实验加速度信号数据通常为矢量，在不同的量值、方向下，表示了跳绳者的运动状态。例如，实验加速度数据显示了速度为0时，表示跳绳者处于最高点，实验加速度数据处于最大时，表示跳绳者可能落地。

S300：采集植入有陀螺仪及加速度传感器的真实跳绳的实时加速度信号数据，并将所述实时加速度信号数据输入所述模型内，以输出跳绳过程的运动量

具有包含上述对应关系的模型后，在真实跳绳内，同样植入有陀螺仪及加速度传感器，当用户或其他跳绳者使用真实跳绳跳绳时，陀螺仪及加速度传感器采集真实跳绳的实时加速度信号数据，并将实时加速度信号数据输入模型内，通过模型内已有的对应关系，反向输出跳绳过程的次数，从而方便跳绳者知悉其运动量，例如跳绳个数、消耗的热量等。

具有上述配置后，脱离手机等摄像头的依赖，能够准确地监测跳绳运动中的高度变化，从而获得准确的跳绳运动个数，相比如现有技术中心采用霍尔传感器的跳绳，准确度极高，与人工数数的结果无差。

一优选实施例中，步骤S100具体包括：

S110：构建实验跳绳的结构，以设计用于容纳陀螺仪和加速度传感器的容纳空间；

S120：集成所述陀螺仪和加速度传感器至实验跳绳内；

实验跳绳的手柄内需要设计有一容纳空间，用于容纳陀螺仪和加速度传感器。

S130：选取多名跳绳者执行跳绳过程，于每一所述跳绳者的前方设置摄像设备，并在每一跳绳者与所述摄像设备的平行平面内设置靠近于所述跳绳者的刻度尺，使得所述陀螺仪和加速度传感器搜集每一跳绳者所持实验跳绳的实验加速度信号数据，所述摄像设备录制每一跳绳者的跳绳过程。

征集多名跳绳者执行跳绳过程。例如可挑选200名志愿者作为跳绳者，选取年龄自7-18岁分布的跳绳者，执行1-10分钟的多次跳绳过程，并重复10次，通过不同年龄所具有不同跳绳频次，多次试验，以得到样本丰富、结果判断准确的模型。在每一跳绳者跳绳过程中，其面前可放置有摄像设备，同时跳绳者的身旁，放置有刻度尺，刻度尺所在位置与跳绳者的连接线，与摄像设备所在位置呈现的直线平行，从而使得刻度尺作为参照对象，在摄像设备所拍摄的跳绳过程中，刻度尺可表示出跳绳者的起跳高度。

伴随陀螺仪和加速度传感器搜集每一跳绳者所持实验跳绳的实验加速度信号数据，摄像设备录制每一跳绳者的跳绳过程，不管是画面显示，还是数据显示都将量化整个跳绳过程。

一优选实施例中，步骤S200具体包括：

S210：采集实验加速度信号数据，将所述实验加速度信号数据转化为大地坐标下的竖直加速度数据，并对所述竖直加速度数据执行包括误差校准、降噪、归一化的预处理；

获得实验加速度信号数据后，将把该实验加速度信号数据转化为大地坐标下的竖直加速度数据。大地坐标系是大地测量中以参考椭球面为基准面建立起来的坐标系。地面点的位置用大地经度、大地纬度和大地高度表示。大地坐标系的确立包括选择一个椭球、对椭球进行定位和确定大地起算数据。一个形状、大小和定位、定向都已确定的地球椭球叫参考椭球。参考椭球一旦确定，则标志着大地坐标系已经建立。大地坐标系是一种伪地理坐标系。大地坐标系为右手系，以表示跳绳者的关键物理量——起跳高度。通过简化所需处理的数据，使得模型的建立可快速，且使用方便。

针对该竖直加速度数据将执行误差校准、降噪、归一化的预处理。

S220：采集实验视频数据，基于目标检测神经网络对所述实验视频数据的每一视频帧作人脸检测，以计算不同视频帧下跳绳者的人脸质心的运动轨迹；

摄像设备拍摄的实验视频数据将被抽帧，形成多个视频帧，可以理解的是，每一视频帧相当于分解了跳绳者的跳绳过程，保存为图像格式。并在每一图像内标记出(例如通过矩形框的形式)人脸的位置，从而做出对每一视频帧的人脸检测。检测方式可以采用常用的人脸识别模型，例如检测人脸的神经网络使用YOLO模型，类别设置为1，预测边框包括目标类别的置信度以及每个边框区域的概率，通过非极大值抑制去除冗余窗口。具有这些已标记的视频帧图像后，通过比对相邻视频帧图像内人脸质心(通常为鼻头位置，或是选定人脸上的同一点作为人脸质心也可以)，可得到相邻视频帧图像内，人脸的移动位移，再选取一定的时间范围，可得到这段时间范围内跳绳者的位移以及运动轨迹。

S230：将所述运动轨迹与所述刻度尺对比获得跳绳者的高度变化曲线；

可以理解的是，位移大小需要通过与刻度尺的比对得到，也就是说，同一视频帧内的人脸质心的位移，相比于刻度尺的大小比例，推算出跳绳者的位移，最终得到跳绳者的高度变化曲线(该曲线的横轴可以是时间)。

S240：基于LSTM网络对竖直加速度数据建立模型并作时间信号分析，并将所述高度变化曲线作为模型内的数据训练标签；

采用LSTM网络(LSTM是一种含有LSTM区块(blocks)或其他的一种类神经网络，因为它可以记忆不定时间长度的数值，区块中有一个gate能够决定input是否重要到能被记住及能不能被输出output。LSTM有很多个版本，其中一个重要的版本是GRU(GatedRecurrent Unit)，根据谷歌的测试表明，LSTM中最重要的是Forget gate，其次是Inputgate，最次是Output gate。LSTM内部主要有三个阶段：1.忘记阶段。这个阶段主要是对上一个节点传进来的输入进行选择性忘记。简单来说就是会“忘记不重要的，记住重要的”。2.选择记忆阶段。这个阶段将这个阶段的输入有选择性地进行“记忆”。主要是会对输入进行选择记忆。哪些重要则着重记录下来，哪些不重要，则少记一些。3.输出阶段。这个阶段将决定哪些将会被当成当前状态的输出。为了最小化训练误差，梯度下降法(Gradient descent)如：应用时序性倒传递算法，可用来依据错误修改每次的权重。梯度下降法在递回神经网络(RNN)中主要的问题初次在1991年发现，就是误差梯度随着事件间的时间长度成指数般的消失。当设置了LSTM区块时，误差也随着倒回计算，从output影响回input阶段的每一个gate，直到这个数值被过滤掉。因此正常的倒传递类神经是一个有效训练LSTM区块记住长时间数值的方法。)，对竖直加速度数据建立模型并作时间信号分析，也就是说，将竖直加速度数据分解为时域相关，并将所述高度变化曲线作为模型内的数据训练标签，形成竖直加速度、高度变化值、时间(包含时刻及时段)具有唯一的对应关系(一个跳绳周期内)。

S250：采用均方误差为损失函数，对竖直加速度数据于模型内的输出数据和同一时域内高度变化曲线的高度数据进行极小化处理，以优化所述模型并获得一训练完毕模型。

采用均方误差(MSE，均方误差是各数据偏离真实值差值的平方和的平均数，也就是误差平方和的平均数)为损失函数，归一化以及极小化加速度传感器所输出并最终转化成的竖直加速度数据，以及同一时域下高度变化曲线的高度数据的误差，以贴合并拟合两者的对应关系，最终的到训练完毕模型。换句话说，对于模型而言，备好的训练集和图像标定类别输入设计好的深度卷积神经网络进行训练，通过降低损失函数值并更新网络权重参数，经过若干训练后，得到学习后的网络权重参数。

更进一步地，步骤S300包括：

S310：将所述训练完毕模型输入至真实跳绳的处理芯片；

真实跳绳(和前述实验跳绳可以是同一根或同种种类或不同种类，定义为真实跳绳，表征用户自身使用的跳绳)内具有处理芯片，训练完毕模型输入处理芯片内并存储。

S320：采集真实跳绳的实时加速度信号数据，并将所述实时加速度信号数据发送至处理芯片，所述处理芯片将所述实时加速度信号数据转化为大地坐标下的竖直加速度数据，并对所述竖直加速度数据执行包括误差校准、降噪、归一化的预处理，得到预处理数据；

在用户使用真实跳绳执行跳绳操作时，将采集真实跳绳的实时加速度信号数据，并将实时加速度信号数据发送至处理芯片，处理芯片将借助于已存储的训练完毕模型，对实时加速度信号数据转化为大地坐标下的竖直加速度数据，并对竖直加速度数据执行包括误差校准、降噪、归一化的预处理，得到预处理数据，预处理及转化操作可等同于前述步骤中对实验加速度信号数据的操作相同。

S330：将预处理数据发送至训练完毕模型，实时输出预测跳绳高度作为跳绳过程的运动量。

也就是说，训练完毕模型具有的网络对实时加速度信号数据进行处理，得到对应的高度信息，从而监测跳绳过程中运动量的变化，最终体现在跳绳的计数上。

本发明还公开了一种用于监测跳绳过程的监测系统，包括：实验跳绳、摄像设备、处理模块；

于实验跳绳的手柄内植入陀螺仪及加速度传感器，用于实时检测跳绳过程的运动状态，并生成实验加速度信号数据，且于跳绳过程所处的实验环境内放置至少一个摄像设备，以录制跳绳过程；

处理模块采集实验加速度信号数据及摄像设备生成的实验视频数据，基于实验加速度数据和实验视频数据建立模型，其中模型包括实验加速度信号数据与实验视频数据内跳绳者的起跳高度的对应关系；

处理模块采集植入有陀螺仪及加速度传感器的真实跳绳的实时加速度信号数据，并将实时加速度信号数据输入模型内，以输出跳绳过程的运动量。

优选地，实验跳绳内设有用于容纳陀螺仪和加速度传感器的容纳空间；

集成陀螺仪和加速度传感器至实验跳绳内；

选取多名跳绳者执行跳绳过程，于每一跳绳者的前方设置摄像设备，并在每一跳绳者与摄像设备的平行平面内设置靠近于跳绳者的刻度尺，使得陀螺仪和加速度传感器搜集每一跳绳者所持实验跳绳的实验加速度信号数据，摄像设备录制每一跳绳者的跳绳过程。

优选地，选取年龄自7-18岁分布的跳绳者，执行1-10分钟的多次跳绳过程，并重复10次。

优选地，处理模块采集实验加速度信号数据，将实验加速度信号数据转化为大地坐标下的竖直加速度数据，并对竖直加速度数据执行包括误差校准、降噪、归一化的预处理；

处理模块采集实验视频数据，基于目标检测神经网络对实验视频数据的每一视频帧作人脸检测，以计算不同视频帧下跳绳者的人脸质心的运动轨迹；

处理模块将运动轨迹与刻度尺对比获得跳绳者的高度变化曲线；

处理模块基于LSTM网络对竖直加速度数据建立模型并作时间信号分析，并将高度变化曲线作为模型内的数据训练标签；

处理模块采用均方误差为损失函数，对竖直加速度数据于模型内的输出数据和同一时域内高度变化曲线的高度数据进行极小化处理，以优化模型并获得一训练完毕模型。

优选地，训练完毕模型输入至真实跳绳的处理芯片；

处理模块采集真实跳绳的实时加速度信号数据，并将实时加速度信号数据发送至处理芯片，处理芯片将实时加速度信号数据转化为大地坐标下的竖直加速度数据，并对竖直加速度数据执行包括误差校准、降噪、归一化的预处理，得到预处理数据；

处理芯片将预处理数据发送至训练完毕模型，实时输出预测跳绳高度作为跳绳过程的运动量。

应当注意的是，本发明的实施例有较佳的实施性，且并非对本发明作任何形式的限制，任何熟悉该领域的技术人员可能利用上述揭示的技术内容变更或修饰为等同的有效实施例，但凡未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何修改或等同变化及修饰，均仍属于本发明技术方案的范围内。