法律状态公告日
法律状态信息
法律状态
2013-06-19
专利实施许可合同备案的生效 IPC(主分类):G03B39/00 合同备案号:2013330000081 让与人:浙江大学 受让人:浙江国自机器人技术有限公司 发明名称:乒乓球比赛视觉支持和比赛分析系统与系统运行方法 申请公布日:20100915 授权公告日:20110622 许可种类:排他许可 备案日期:20130422 申请日:20100420
专利实施许可合同备案的生效、变更及注销
2013-06-12
未缴年费专利权终止 IPC(主分类):G03B39/00 授权公告日:20110622 终止日期:20120420 申请日:20100420
专利权的终止
2011-06-22
授权
授权
2010-11-03
实质审查的生效 IPC(主分类):G03B39/00 申请日:20100420
实质审查的生效
2010-09-15
公开
公开
技术领域
本发明涉及一种乒乓球比赛视觉支持和比赛分析系统，用于乒乓球比赛或训练中的乒乓球飞行轨迹的实时检测、定位、跟踪、运动轨迹预测和处理，以及对乒乓球的运动轨迹和乒乓球落点信息进行的三维虚拟场景实时显示和历史记录回放。
背景技术
“鹰眼”系统应用于网球赛事的裁判和仿真演示已经有六七年的历史，在网球转播中得到了广泛的推广，对网球运动的研究和网球比赛的公正性起到了非常积极的作用。“鹰眼”系统的正式名称为“即时回放系统”，该系统由8个或者10个高速摄像头、四台电脑和大屏幕组成。“鹰眼”系统所采集得到的图像数据量非常庞大，计算相当复杂，它从数据采集到结果演示整个过程所耗用的时间在10秒左右，不具备强实时性。在正式比赛中，保证比赛的流畅和连续对比赛的公正性和观赏性有非常重要的意义，“鹰眼”只能作为比赛裁判的辅助手段，球员每局比赛挑战鹰眼的次数也是有限制的。因此目前“鹰眼”系统更多的只能是用于电视转播的事后处理，而不能做到在线判断。而且该系统造价成本很高，在中小比赛场合并不适合推广，也不适用于一般的体育辅助训练。国内也有研究机构提出了基于较少摄像头(2台)的小型鹰眼系统，但是系统的实时性问题仍没有解决。
在乒乓球运动中，引入“鹰眼”系统来进行辅助裁判和辅助训练，对此，200910095291.6专利申请公开了精确测量和预测乒乓球轨迹系统与系统运行方法，可以精确测量、预测和三维虚拟重现高速飞行乒乓球轨迹的实时处理系统。
该系统主要针对乒乓球图像采集的实时性，在极短的时间内完成计算，准确的识别、定位和跟踪高速运动的乒乓球飞行轨迹。乒乓球行程很短，在高速运动(3-5m/s)时整个有效行程仅持续0.5s左右，使得准确检测和识别乒乓球任务非常困难。而且由于乒乓球相对轻薄，其飞行轨迹更多地受到了乒乓球自旋转、空气温度、湿度条件以及现场通风等诸多因素的影响，很难建立一个通用的运动模型，因此给乒乓球运动轨迹生成和预测带来了很大的困难。因而，在乒乓球的从图像中识别出来，建立的模型很难保证预测的精度。对于初速度的偏差反应及其敏感，从而致使整个系统预测定位和轨迹处理精度到达瓶颈。
其次，该系统根据场地和环境的需要架设多个摄像机进行观测，着眼于数据采集，在实际比赛和训练中，可操作性不强；对于裁判员和教练员所关心的比分信息、轨迹重播、落点显示及其分布概率、各个运动员的运动特征值提取仍然没有建立一个完整的支持体系。
因此，给乒乓球视觉系统的实际操作很大的困难。其中最为关键的问题在于在保证实时性的前提下，需要系统能够对乒乓球的识别误差留下一定的裕度；和一个完善并且友好的裁判(教练)员操作体系。
发明内容
本发明的目的是针对200910095291.6专利存在问题的改进，提供一个完善并且友好的裁判(教练)员操作体系的乒乓球比赛视觉支持和比赛分析系统。用于乒乓球比赛或训练中的乒乓球飞行轨迹的实时检测、定位、跟踪、运动轨迹预测和处理，对乒乓球的运动轨迹和乒乓球落点信息进行的三维虚拟场景实时显示和历史记录回放，以及对乒乓球飞行轨迹历史数据的分析和统计。
本发明旨在建立一个训练辅助系统，目标是：在平时的常规训练中，能够通过数据采集和分析，帮助教练员归纳出运动员的打球风格(包括习惯性发球方式，旋转速度及方向，出球方向概率，输球特征归纳，落点统计等等)；在比赛的过程中，辅助裁判进行判决，能够方便的转播重放特定的轨迹，并记录存储相关数据用以赛后分析。
为达到上述发明目的，本发明提供了一种利用多个摄像机的高速实时乒乓球定位、轨迹生成和预测的方法与系统。应用摄像机采图，能够对乒乓球运动进行实时跟踪和轨迹记录，实现上述的多重功能。
本发明提供的乒乓球比赛视觉支持和比赛分析系统，两个以上摄像机、控制多摄像机同步进行采图的同步装置，图像数据采集传输装置、包含有视觉软件运行的系统环境的主控计算机、外接显示屏组成；摄像机固定在乒乓球桌上空，视野交叉覆盖乒乓球运动的有效区域，进行图像采集；图像数据采集传输装置的同步装置产生多路周期脉冲信号，通过控制线连接摄像机，控制多摄像机进行同步采图；摄像机通过数据线与图像数据采集卡相连；数据采集卡通过主控机的PCI总线，将采集到的数据传送到图像数据采集传输装置的处理器进行处理；处理结果输出到主控机的外接显示屏上进行显示；所述系统主要包括如下组成功能模块：图像采集和乒乓球目称识别定位模块、KALMAN滤波器模块、轨迹数据拟合器模块、特征分析模块、运动参数学习机模块、单程判断模块、三维虚拟场景重现模块、比赛特征数据存储模块、用户交互模块；所述系统架构流程是：主控机上图像采集和乒乓球目标识别定位模块，经过目标识别，空间定位，把实时生成的数据送入KALMAN滤波器模块进行滤波，特征分析模块对乒乓球的运动轨迹和当前运动状态信息进行分析；单程判断模块进行判断，当单程继续的情况下，实时送入三维虚拟场景模拟重现模块模拟重现三维虚拟场景；当单程结束的情况下，用KALMAN拟合器进行拟合，生成运动轨迹特征，生成的运动轨迹特征送人记录比赛特征数据存储模块记录；用户交互模块由用户传入的消息指令实时对数据的存储和三维模拟界面进行控制。
本发明所述的KALMAN滤波器是一种高效率的递归滤波器(自回归滤波器)，它能够从一系列的不完全及包含噪声的测量中，估计动态系统的状态，预测出物体的位置的坐标及速度。
本发明所述的比赛特征数据存储模块为基于STL(Standard Template Library)，即c++标准程式库中的标准模板库。主要运用STL所包含的序列容器建立系统中数据结构存储模块。控制和存储运动轨迹特征的位置、速度信息；每条运动轨迹中提取出的运动员击球特征的碰撞点、旋转、速度方向、大小、发球方法和赢球轨迹相关信息。由于整个比赛的规则复杂，裁判员界定具有很强的随机性和实时性，轨迹的记录既要在裁判员无干涉的情况下自动分段截取、提出关键性信息；又要在裁判员干涉的情况下(裁定单方犯规；取消本次得分等)，可以方便得访问并修改提取数据；因此，采用基于STL的容器在每场比赛中建立一个数据结构，加以控制和存储相关信息。
本发明所述的三维虚拟场景重现模块为基于OpenGL的三维虚拟场景重现模块：在三维虚拟场景中回放用户指定的乒乓球飞行轨迹；球桌上乒乓球落点及落点统计。可根据用户需求切换任意视角，并输出到显示屏幕上。将实时数据传入三维虚拟场景显示模块，直观地三维显示乒乓球位置和比赛状态。可调出历史记录，模拟乒乓球历史飞行轨迹，以达到重播效果。可调出历史落点和旋转等相关存储信息，并根据用户需要任意切换视角，输出到显示屏幕中。
本发明针对教练员(比赛中裁判员)，建立用户交互模块，针对所关心的信息量进行设定，统计和显示。
本发明提供的乒乓球比赛视觉支持和比赛分析系统与系统运行方法，所述的运行步骤如下：
(1)搭建硬件系统，半自动标定各摄像机内外参数。
(2)学习乒乓球运动模型参数，并在线修正。
(3)视觉采集乒乓球运动数据的滤波和拟合。
(4)滤波后的数据在线将轨迹进行分离，统计单程轨迹关键性信息，更新参数。
(5)根据用户交互指令统计相关信息，修改或存贮数据。
(6)将处理结果数据实时输入三维虚拟场景重现模块，在外接的显示屏中实时播放或按交互页面指定回放；并同时在交互页面中显示处理结果。
其中上述方法中统计单程轨迹关键性信息，更新参数采用如下方法：
(1)通过乒乓球的受力分析得到运动学模型，生成状态转移矩阵和观测矩阵，得到其运动方程，用于在线实时滤波和半实时拟合。
(2)建立学习机，参数黑箱模型，状态转移矩阵和观测矩阵的各个参数模型获取。
(3)拟合数据得到单程轨迹关键性信息。
(4)对拟合后的数据进行搜索截取，通过连续模型反推参数，并和离散模型相关滤波参数统一。
(5)对参数模型进行在线的学习更新。
其中上述方法中单程轨迹关键性信息获取采用如下方法：
1.速度信息统一由本条轨迹经过击球方四分之一场时的滤波速度为基准存储；
2.落点信息统一由本条轨迹到达击球对方半场时的第一个有效落点为基准存储；
3.基于旋转模型计算旋转信息，记录旋转矢量；
4.判断发球方和失效球，简化裁判操作。
本系统由于采用图像采集和乒乓球目称识别定位模块实时产生原始图像读入有噪声的三维数据；再把新产生的数据输入KALMAN滤波器模块，输出被滤波之后的三维位置结果和初始的速度和碰撞信息；滤波之后的数据进入轨迹数据拟合器模块进行数据校正，使得数据变得更为平滑、贴近于真实值；特征分析模块得到拟合后的数据，进行长短、旋转方向、高低速、落球位置、初末速度、飞行时间等信息；学习参数模块通过以上得到的落球落球位置、初末速度、飞行时间这三个量对KALMAN滤波器模块的参数进行调整；在实时接到KALMAN滤波器模块输出的速度和位置方向之后通过单程判断模块判断单程结束与否；滤波数据直接输入三维虚拟场景重现模块可在现实屏上进行重现；而其他的统计数据则由比赛特征数据存储模块进行存储，通过和用户交互模块的消息传递，完成数据的修改。
本发明系统可以在乒乓球的训练和比赛中，实时处理数据并加以滤波和记录；具有十分友好的人机交互界面，统计并且分析整个比赛过程双方击球的胜负情况，自动完成乒乓球球路特征的提取，并能够方便裁判进行回放，应用于乒乓球比赛自动裁判和电视转播；具有完善、有效、全面的赛后分析功能，能够自动提取并存储比赛过程中的特征信息；直观得统计乒乓球员发球和赢球的球路特征，辅助教练员对一个球员的击球习惯和弱点进行总结，对以后的训练具有参考价值，可应用于乒乓球运动员日常训练和赛前集训中。
本系统最大的特点是通过实时的视觉采集，发展出一套具有友好和完善的信息提取存储和用户交互支持。能够很好的进行轨迹记录(包括滤波之后的位置、速度信息)，运动员击球特征信息(包括碰撞点、旋转信息、速度方向、速度大小信息、发球方法、赢球轨迹等)提取。
本发明具有十分现实的使用价值：
可以实时采集数据，应用于乒乓球运动员的训练，分析和存储运动员打球特点和劣势，为教练员针对性得进行集训提供了信息，有很好的参考作用。并可在乒乓球比赛中进行自动裁判和重放，应用于电视转播。
因此，本发明是一种非常实用、有效的高速乒乓球训练支持系统，具有很好的应用前景。
附图说明
图1系统结构框图
图2系统架构流程图
图3程序运行界面图
图4乒乓球运动受力分析图，图9A是乒乓球运动轨迹在X-Z平面的投影示意图，图9B是乒乓球运动过程受力分析图
图5乒乓球轨迹滤波效果图，图10A是滤波前观测值，图10B是滤波结果
图6三维虚拟场景仿真模块工作示意图
图7旋转球判定及其信息提取
图8滤波参数获取
图9滤波参数更新
图10容器存储结构
具体实施方式
下面结合附图，详细描述本发明利用双摄像机实时定位，实现乒乓球的轨迹生成和球路分析；运动轨迹三维信息量的实时滤波和记录；统计并且分析整个比赛过程双方击球的胜负情况；自动得完成乒乓球初步判断，并在三维虚拟空间的场景重现；在自动判断的基础上进行人机交互，是能够辅助裁判员方便快捷得判定和记录、教练员对各个球员训练分析的方法与系统的实施方式。
图1给出了系统的结构框图，整个系统主要由：两个以上摄像机1、控制多摄像机同步进行采图的同步装置2，图像数据采集传输装置3、包含有视觉软件运行的系统环境5的主控计算机4、以及外接显示屏6构成。所述视觉软件运行的系统环境5包含摄像机在不同操作系统下的驱动、摄相机视频的采集软件、视频图像处理软件、多相机信息融合软件、滤波软件等所有隐藏在视觉软件用户操作界面下的核心功能软件合集，它是硬件系统与用户进行交流的桥梁。视觉软件运行的系统环境与硬件系统组成了整个视觉系统各个功能模块。摄像机1固定在乒乓球桌上空，使视野交叉覆盖乒乓球运动的有效区域；同步装置2产生多路周期脉冲信号，通过控制线连接摄像机1，控制多摄像机进行同步采图；摄像机1通过数据线与图像数据采集卡相连；数据采集卡通过主控机的PCI总线将采集到的数据传送到处理器进行处理；处理结果输出到主控机的外接显示屏上进行显示。其中，图像采集是由摄像头以60hz的速率拍照采下的图像，经过乒乓球目标识别定位模块，即由乒乓球在稳定光源下的HLS特征量识别在图像的结果，通过摄像头的内参进行三维还原进行定位。
图2是系统的架构流程图。所述系统包括如下组成模块：图像采集和乒乓球目标识别定位模块、KALMAN滤波器模块、轨迹数据拟合器模块、特征分析模块、运动参数学习机模块、单程判断模块、三维虚拟场景重现模块、比赛特征数据存储模块；用户交互模块；
系统的架构流程是：数据采集卡通过主控机的PCI总线将摄像机1采集到的数据传送到主控计算机4，经过图像采集和乒乓球目标识别定位模块目标识别，空间定位。
然后把实时生成的数据送入KALMAN滤波器模块进行实时滤波，经过滤波之后的数据可以有效得减小视觉采集中引入的噪声，使数据更加可靠和平滑。特征分析模块对乒乓球的运动轨迹和当前运动状态(位置、速度和碰撞)进行分析。
单程判断模块进行经过单程判断(即乒乓球是否被对方击打)，当单程继续的情况下，实时送入三维虚拟场景重现模块进行三维虚拟场景模拟重现；当单程结束的情况下，轨迹数据拟合器模块用KALMAN拟合器进行拟合，即为基于KALMAN滤波状态方程的位置和速度拟合，使得数据更加平滑，滤除识别和定位引入的噪声，接近真实状态。
拟合轨迹的好处是能够在原有的滤波基础上进一步得使数据变得可靠和平滑。滤波精度依赖于模型参数的契合程度。而在实际中，这个参数往往是未知的，需要通过机器学习得到。经过数据拟合，可以得到轨迹中需要处理的各个特征量。把轨迹提取参数送入运动参数学习机模块进行学习，即可在运行过程中对整个模型产生数据的偏差进行有效的正。
用户交互模块由用户传入的消息指令可实时对数据的存储和三维模拟界面进行干涉。
比赛特征数据存储模块数据结构存储模块为基于STL的数据结构存储模块，由用户传入的消息指令控制和存储运动轨迹特征的位置、速度信息；每条运动轨迹中提取出的运动员击球特征的碰撞点、旋转、速度方向、大小、发球方法和赢球轨迹相关信息。
图2是程序运行界面图。这里是系统和用户交互的界面。界面大体可以分为7个功能区域。区域“裁判员交互”是系统用户通过软件对比赛数据结构进行控制的功能实现。这里控制了视觉数据的传入。区域“记分牌”是直观显示乒乓球比赛本局和历史局比分的界面；同时在这里通过得分判断控件进行得分球控制。区域“落点显示”是出于对比赛的实际需求的考虑，强化了对落点的统计显示功能。通过记分牌左边的落点显示控制框，即可逐点或一次性的在三维显示窗口中显示统计的落点和分布。并在此为了更为直观得观测历史球路轨迹，软件增添了乒乓球存储轨迹和制胜球轨迹的回放功能，在三维显示窗口中模拟回放指定的球路轨迹。其中，“比赛初始设置”、“离线读取控制”、“统计信息设定”、“历史记录”作为辅助功能选项。区域“比赛初始设置”是对一个比赛进行的初始化设置。这里可以设定比赛的模式、赛制和参赛者的情况。区域“离线读取控制”是对原先存储的比赛或者训练数据进行操作的工具，实现了脱离视觉系统的离线分析和模拟回放。可以通过文件读入进行模拟回放和分析；并可通过写如文件存储把当前的比赛或训练原始数据存储下来。区域“统计信息设定”对球员的球路进行统计量分析提供了交互接口。在这里用户可分别对比赛(训练)的球员双方进行落点、旋转、速度和方向的统计分析。并且在“统计信息显示”区域显示指定统计量，具体分布情况对标量统计用二维平面图拟合出来；对失量采用三维立体图直观显示。区域“历史记录”是对当前的操作和视觉输入记录的实时显示。通过交互界面，系统可以有效、全面得进行比赛的数据分析。对教练的分析和球员的改进都有很强的现实意义。落点的统计，和制胜球的统计回放，可以有效，方便快捷得得到一个球员的击球习惯和弱点。
图3是乒乓球运动受力分析图。其中图3A是乒乓球运动轨迹在运动方向铅直平面的投影示意图，图3B是乒乓球运动过程受力分析图。在这里，先假定乒乓球运动无旋转。具体的旋转分析在后面会具体说明。在这里运动在3个方向上独立用，而且空气摩擦力与乒乓球速度呈正比，下面为简化起见以x，z轴为例进行说明。y轴和x轴相同。
受力分析：
Fx＝fx＝-kVx
Fz＝(fb-mg)+fz＝(fb-mg)-kVz
加速度：
记得到运动学方程
令
最终得到：
下面是连续模型中的碰撞模型：
由上式经过迭代得到碰撞时间tcol_z
连续飞行模型经过离散化可得：
Xi+1＝AXi+BUi+wi
Yi＝HXi+vi
其中，状态量包括位置p和速度v，系统误差w，观测误差为v。
在这里，状态方程参数和运动学方程参数可以进行互相转化，保持模型统一。
图4是乒乓球轨迹滤波效果图，图4A是滤波前观测值，图4B是滤波结果。动力学方程的离散化模型显示了系统状态量(位置、速度)随采图周期推移的过程。用KALMAN滤波器对乒乓球运动状态进行实时滤波。如图可见，滤波前观测值，存在一定的观测误差，滤波后的乒乓球轨迹，经过基于上面的模型方程所建立的KALMAN滤波器有效地对乒乓球运动过程进行的修正，能够有效得使数据变得可靠和平滑。
图5是三维虚拟场景仿真模块工作示意图。这个模块能够实时和离线显示乒乓球运动的位置和落点分析结果。在摄像头采集图像并进行目标识别和空间定位之后，便可通过udp协议传送到三维仿真虚拟场景模块中。在模拟的乒乓球场空间中把乒乓球当前的位置显示出来。可以重构乒乓球比赛三维场景，包括房间、地板、球桌等，并且可以指定显示乒乓球位置，可根据用户首条输入命令实现了调节观看视角和远近、自动转角及球路平面跟踪，全屏等功能。为用户的数据分析提供了十分友好的显示界面。图5A是一段实时跟踪乒乓球轨迹的效果图；图5B是一局比赛的落点分布示意。均采自虚拟场景的效果图。
图6是旋转球判定及其信息提取。在图6A到6D的分图中，显示了乒乓球旋转的受力分析。在流体(本例中为空气)做旋转运动的物体，将承受流体给予的与运动方向相垂直的力。即为马格努斯力，这个力使得球产生漂移。若击球的合力不通过球心，则球在产生向前运动的同时，还产生旋转运动。这在乒乓球运动中式非常常见的。对旋转的分析在训练中至关重要。因此，要对旋转信息做到定性和定量的分析。图6A为到6D分别为上旋球、下旋球、左旋球和右旋球。可以看到轨迹的路径和无旋转时的差别。这样就可以通过连续模型的运动方程式，在轨迹初期的预测和实际采集轨迹之后的位置偏差失量大小来判定旋转球信息，进而得到乒乓球每条轨迹运动的旋转失量。
图7是滤波参数获取的三维示意图。首先，对轨迹进行KALMAN拟合。这里能够通过轨迹拟合，减小参数原始数据的噪声，尤其是速度信息量的误差；参数获取方法：根据乒乓球无碰撞飞行的离散模型，截取一条轨迹中的预测数据发送时间点的乒乓球飞行状态，和碰撞时刻的飞行状态(碰撞前一周期)。得到这两个状态和周期数，转化为连续模型，用下式：
反算的结果求得参数g和k，并通过离散模型和连续模型的统一换算关系，便可接触参数解析解。
图8为滤波参数更新的黑箱模型。在这里建立了一个基于rbf(径向基函数)网络的运动参数学习机，数据分析是对初始状态(预测点)的切向速度和仰角作为输入，每条轨迹获取的参数作为输出作为训练样本，建立了一个黑箱模型，通过学习得到尽可能精准的参数模型。在这里模型使用LR-OLS(Local regularisation)学习型径向基函数网络作为参数学习的基础算法，并结合D-Optimality算法来增强网络的鲁棒性，建立能够高效并准确学习参数模型的机器学习方式；对相关影响因素的耦合进行关联建模；通过适当牺牲样本训练的模型误差，使模型的泛化能力达到最高；并在乒乓球轨迹数据积累的过程中不断更新学习。
图9所示为容器存储结构。比赛数据处理的重点是在有效得处理各个层次的数据时，能够通过用户交互模块，方便快捷得进行数据的调用和修正；难点是在摄像机实时采图并定位的过程中，能够模块化得正确处理视觉输入数据和用户发送消息，并对数据进行一系列的判断和分析。因此，在这里封装的命名为GameAnalyze的类里面，这个类主要封装了比赛中对于实时输入的数据、用户发送的消息进行处理的函数，并定义了比赛所有信息量的存储结构，从数据结构上考虑，是以四个容器：实时输入的当前单程、当前赛点、当前局和当前比赛主要构成，并且分别封装了四个容器中数据处理的相关函数。能够用户发送“得分”、“无效球”、“本局结束”和“比赛结束”消息的时候激活相关代码，把底层容器的数据和该数据提取的有效信息转入高一层容器里。借此对乒乓球比赛中整个赛程的信息量有了一个全面有效的管理，对乒乓球比赛中裁判所要回放的落点位置、旋转分析结果等轨迹数据有一个合理的存储。并在用户交互模块中的“落点显示”区域，通过控制一个指针来指向当前的数据模块，可逐点或一次性的在三维显示窗口中显示历史记录，实现落点和轨迹的重现。
机译： 啤酒乒乓球比赛自动计分系统和在线啤酒乒乓球比赛系统
机译： 啤酒乒乓球比赛自动计分系统和在线啤酒乒乓球比赛系统
机译： 包括多个减震传感器的乒乓球比赛进行系统和使用该系统的乒乓球比赛成绩显示方法
