一种基于MR眼镜技术应用于汽车行业的学习终端

技术领域

本发明涉及汽车行业教育技术领域，具体是一种基于MR眼镜技术应用于汽车行业的学习终端。

背景技术

MR交互展示系统采用目前国际上最为前沿的混合现实技术，通过可穿戴式移动交互终端，利用简单的手势动作，在传统的实物沙盘基础上，实现在真实环境中与全息影像进行互动，构成可交互的3D全息场景；

汽车行业的教育目前普遍采用的是现场教学，教学环境差，学习内容窄，完全取决于教学人员的口头描述，无法很好的就学员想要了解的重点内容和难点内容进行详细介绍，学习的周期也比较长；

如何提高学员的学习效率和学习兴趣，改善学员的学习环境成为了亟待解决的问题，因此，人们急需一种基于MR眼镜技术应用于汽车行业的学习终端来解决上述问题。

发明内容

本发明的目的在于提供一种基于MR眼镜技术应用于汽车行业的学习终端，以解决现有技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于MR眼镜技术应用于汽车行业的学习终端，该学习终端包括一用于将真实世界的内容转化并与虚拟世界相互融合的虚拟转化模块；

使得学员可以在虚拟的世界中进行汽车行业知识的学习，打破了原有的教学场地的限制，并且，改善了学习环境；

一用于对虚拟世界的教学内容进行解释说明的批注解释模块；

使得学员在学习的过程中可以针对自身的实际情况选择性的了解自身认为的重点和难点知识，提高学员学习的效率；

一用于对学员操控虚拟世界的手势进行分析和判断的手势分析模块；

使得减少了穿戴设备的数量，并不是通过穿戴设备来感应学员的操控手势，而是直接对操控手势进行分析，判定操控指令，减轻了学员学习的压力，使得手势操控更加的便捷；

一用于显示虚拟世界内容和响应学员手势指令的响应终端；

所述批注解释模块的输出端连接虚拟转化模块的输入端，所述手势分析模块与虚拟转化模块连接，所述虚拟转化模块的输出端连接响应终端的输入端，所述手势分析模块与响应终端连接。

根据上述技术方案，所述虚拟转化模块包括画面捕捉单元、3D建模单元、3D模型和虚拟融合单元；

所述画面捕捉单元用于对汽车行业的真实教学内容进行2D画面的捕捉，使得可以实现虚拟世界与真实世界的结合，使得保证真实性的同时提高操控性，所述3D建模单元用于将画面捕捉单元捕捉的2D真实教学内容画面转化为3D模型并输出，所述虚拟融合单元用于将3D建模单元输出的真实教学内容的3D模型融入虚拟世界，使得可以利用虚拟的内容对真实世界的画面进行增强，提高学员的体验感，提高学员学习的效率和兴趣；

所述画面捕捉单元的输出端连接3D建模单元的输入端，所述3D建模单元输出3D模型，所述3D模型的输出端连接虚拟融合单元，所述虚拟融合单元连接真实世界和虚拟世界。

根据上述技术方案，所述批注解释模块包括语音识别单元和信息录入单元；

所述语音识别单元用于对汽车行业教学过程中教员的语音信号进行识别，并以文字的形式进行显示，使得可以将教员的语音信号以批注的形式在3D模型中进行显示，增强学员的印象，并且，学员可以根据实际的需求随时了解3D模型中每一个部件的批注说明，所述信息录入单元用于对3D模型中各个部件的注释信息进行录入，使得学员在学习汽车行业知识时，可以根据自己的兴趣随时了解每一个部件的详细信息；

所述语音识别单元和信息录入单元的输出端连接3D模型。

根据上述技术方案，所述手势分析模块包括坐标系建立单元、姿态采集单元、位置定位单元和姿态分析单元；

所述坐标系建立单元用于建立3D模型的三维直角坐标系，使得可以对学员的手势进行坐标值的定位，使得方便分析和了解学员手势的含义，所述姿态采集单元用于对学员操控虚拟世界的手势信息进行采集，使得可以根据学员的手势信息进行虚拟世界的操控，所述位置定位单元用于对学员的手势在虚拟世界中的空间位置进行定位，所述姿态分析单元用于对学员的手势信息的含义进行分析，确定学员的意图，使得可以根据学员手势的意图对虚拟世界进行控制，使得学员可以学习更多的汽车行业的知识；

所述坐标系建立单元和姿态采集单元的输出端连接3D模型，所述3D模型输出端连接位置定位单元的输入端，所述位置定位单元的输出端连接姿态分析单元的输入端。

根据上述技术方案，所述响应终端包括中央控制单元、头戴显示设备和指令执行单元；

所述中央控制单元用于对整个学习终端进行智能化控制，所述头戴显示设备用于对虚拟世界和真实世界的融合世界进行显示，所述指令执行单元用于执行中央控制单元所下发的指令，对虚拟世界中的显示画面进行控制；

所述姿态分析单元的输出端连接中央控制单元的输入端，所述中央控制单元的输出端连接头戴显示设备和执行执行单元的输入端，所述指令执行单元的输出端连接3D模型的输入端。

根据上述技术方案，所述姿态采集单元为两个采集摄像头A和B，两个所述采集摄像头分别安装在头戴显示设备的前端中部和前端上部，用于对学员的操控手势的移动信息进行采集信息进行采集，所述采集摄像头采集的操控手势为单帧图片，使得通过对每一帧图片的分析，得出学员的手势变化轨迹，采集摄像头A与采集摄像头B之间的距离为L

根据上述技术方案，所述位置定位单元以学员手势的某一点为定点，所述学员的手势定点放置在采集摄像头A与采集摄像头B拍摄方向的交点时开启对3D模型的控制，所述坐标系建立单元以采集摄像头A与采集摄像头B拍摄方向的交点为圆心建立三维直角坐标系，所述采集摄像头A与采集摄像头B拍摄方向的交点的三维坐标值为(0,0,0)，因为方便学习终端了解学员需要对3D模型进行操控的需求；

所述采集摄像头A和采集摄像头B采集N张照片，分别组成采集摄像头A的照片集合A

所述采集摄像头A和采集摄像头B所拍摄的照片大小与实际场景大小的比例为1：M；

所述位置定位单元将照片集合A

所述位置定位单元根据下列步骤对移动之后的手势定点的X轴和Z轴坐标进行确认：

S1、测量第i张照片的手势定点与第i+1张照片的手势定点在叠加之后的X-Z平面上沿X轴方向上的距离

S2、测量第i张照片的手势定点与第i+1张照片的手势定点在叠加之后的X-Z平面上沿Z轴方向上的距离

则第i+1张照片的手势定点在X-Z平面上的坐标值为

其中，(X

通过上述技术方案，使得可以确定学员手势定点在X-Z平面上移动的距离和方向，进而对学员手势定点在X轴和Y轴移动的距离进行计算，进而确定学员手势定点移动之后在X轴和Y轴上的坐标值。

根据上述技术方案，所述位置定位单元根据下列步骤对移动之后的手势定点的X轴和Y轴坐标进行确认：

T1、测量第i张照片的手势定点与第i+1张照片的手势定点在叠加之后的(X-Y)/cosθ平面上沿X轴方向上的距离

T2、测量第i张照片的手势定点与第i+1张照片的手势定点在叠加之后的(X-Y)/cosθ平面上沿Z轴方向上的距离

T3、测量第i张照片的手势定点与第i+1张照片的手势定点在叠加之后的(X-Y)/cosθ平面上的直线距离L

根据下列公式计算第i张照片的手势定点与第i+1张照片的手势定点在空间的实际移动距离S

通过上述公式，可以将学员手势定点在(X-Y)/cosθ平面上移动的方向和距离转化至X-Y平面上，使得可以精准的确认学员手势定点在X-Y轴上移动的距离，使得可以对学员手势定点在X-Y轴移动的方向和距离进行确认。

所述位置定位单元确认的第i张照片的手势定点与第i+1张照片的手势定点在Y轴上移动的距离为

则，第i+1张照片在三维直角坐标系中的坐标值为

通过上述计算方式，使得可以将学员手势定点在X-Y轴上移动的方向和距离转化为学员手势定点在Y轴方向上移动的距离，进而可以得出学员手势定点在Y轴上的移动距离，使得可以根据上一个学员手势定点的在Y轴上的坐标值确定该点在Y轴上的坐标值。

根据上述技术方案，所述位置定位单元将学员手势每一次移动的坐标值信息输入姿态分析单元，所述姿态分析单元对N个坐标值进行拟合，组成学员手势曲线，所述姿态分析单元将拟合之后的学员手势曲线输送至中央控制单元，所述中央控制单元根据拟合的学员手势曲线向指令执行单元下发操控指令，所述指令执行单元对3D模型进行调整，完成学员手势操控过程。

与现有技术相比，本发明的有益效果是：

1、本发明通过姿态采集单元对学员的手势移动信息进行采集，并利用位置定位单元对每一次移动手势的定点坐标进行分析和计算，使得可以在不佩戴穿戴设备的情况下，实现对学员手势的精准识别和判断，使得可以减轻学员的负担，提高学习效率。

2、本发明通过对教员的语音信号进行识别，将教员的语音信号转化为文字信息，并在融合的3D模型中进行解释批注，使得学员在学习时可以根据自身的情况对重点内容进行关注和学习，提高了学员学习的效率。

3、本发明通过将MR眼镜技术应用于汽车行业的教学，使得学员们摆脱了恶劣的学习环境，提高了学员的学习效率，增加了学员学习的兴趣和乐趣。

附图说明

图1为本发明一种基于MR眼镜技术应用于汽车行业的学习终端的模拟过程示意图；

图2为本发明一种基于MR眼镜技术应用于汽车行业的学习终端的模块连接示意图；

图3为本发明一种基于MR眼镜技术应用于汽车行业的学习终端的学员手势定点分析示意图；

图4为本发明一种基于MR眼镜技术应用于汽车行业的学习终端的X-Z平面手势定点分布图；

图5为本发明一种基于MR眼镜技术应用于汽车行业的学习终端的(X-Y)/cosθ平面手势定点分布图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1～2所示，本发明提供以下技术方案，一种基于MR眼镜技术应用于汽车行业的学习终端，该学习终端包括一用于将真实世界的内容转化并与虚拟世界相互融合的虚拟转化模块；

使得学员可以在虚拟的世界中进行汽车行业知识的学习，打破了原有的教学场地的限制，并且，改善了学习环境；

一用于对虚拟世界的教学内容进行解释说明的批注解释模块；

使得学员在学习的过程中可以针对自身的实际情况选择性的了解自身认为的重点和难点知识，提高学员学习的效率；

一用于对学员操控虚拟世界的手势进行分析和判断的手势分析模块；

使得减少了穿戴设备的数量，并不是通过穿戴设备来感应学员的操控手势，而是直接对操控手势进行分析，判定操控指令，减轻了学员学习的压力，使得手势操控更加的便捷；

一用于显示虚拟世界内容和响应学员手势指令的响应终端；

所述批注解释模块的输出端连接虚拟转化模块的输入端，所述手势分析模块与虚拟转化模块连接，所述虚拟转化模块的输出端连接响应终端的输入端，所述手势分析模块与响应终端连接。

所述虚拟转化模块包括画面捕捉单元、3D建模单元、3D模型和虚拟融合单元；

所述画面捕捉单元用于对汽车行业的真实教学内容进行2D画面的捕捉，使得可以实现虚拟世界与真实世界的结合，使得保证真实性的同时提高操控性，例如：捕捉汽车发动机的2D画面，所述3D建模单元用于将画面捕捉单元捕捉的2D真实教学内容画面转化为3D模型并输出，所述虚拟融合单元用于将3D建模单元输出的真实教学内容的3D模型融入虚拟世界，使得可以利用虚拟的内容对真实世界的画面进行增强，提高学员的体验感，提高学员学习的效率和兴趣；

所述画面捕捉单元的输出端连接3D建模单元的输入端，所述3D建模单元输出3D模型，所述3D模型的输出端连接虚拟融合单元，所述虚拟融合单元连接真实世界和虚拟世界。

所述批注解释模块包括语音识别单元和信息录入单元；

所述语音识别单元用于对汽车行业教学过程中教员的语音信号进行识别，并以文字的形式进行显示，使得可以将教员的语音信号以批注的形式在3D模型中进行显示，增强学员的印象，并且，学员可以根据实际的需求随时了解3D模型中每一个部件的批注说明，所述信息录入单元用于对3D模型中各个部件的注释信息进行录入，使得学员在学习汽车行业知识时，可以根据自己的兴趣随时了解每一个部件的详细信息，例如：学员想要了解变速箱中某一个齿轮的信息，当学员点击该齿轮时，会以批注的形式显示该齿轮的齿数、扭矩、强度等信息；

所述语音识别单元和信息录入单元的输出端连接3D模型。

所述手势分析模块包括坐标系建立单元、姿态采集单元、位置定位单元和姿态分析单元；

所述坐标系建立单元用于建立3D模型的三维直角坐标系，使得可以对学员的手势进行坐标值的定位，使得方便分析和了解学员手势的含义，所述姿态采集单元用于对学员操控虚拟世界的手势信息进行采集，使得可以根据学员的手势信息进行虚拟世界的操控，所述位置定位单元用于对学员的手势在虚拟世界中的空间位置进行定位，所述姿态分析单元用于对学员的手势信息的含义进行分析，确定学员的意图，使得可以根据学员手势的意图对虚拟世界进行控制，使得学员可以学习更多的汽车行业的知识，例如：姿态分析单元分析得出学员点击了汽车变速箱，那么就会显示变速箱的所有注释信息；

所述坐标系建立单元和姿态采集单元的输出端连接3D模型，所述3D模型输出端连接位置定位单元的输入端，所述位置定位单元的输出端连接姿态分析单元的输入端。

所述响应终端包括中央控制单元、头戴显示设备和指令执行单元；

所述中央控制单元用于对整个学习终端进行智能化控制，所述头戴显示设备用于对虚拟世界和真实世界的融合世界进行显示，所述指令执行单元用于执行中央控制单元所下发的指令，对虚拟世界中的显示画面进行控制，例如：中央控制单元下发指令对汽车变速箱信息进行显示，所述指令执行单元控制3D模型对变速箱的注释信息进行显示；

所述姿态分析单元的输出端连接中央控制单元的输入端，所述中央控制单元的输出端连接头戴显示设备和执行执行单元的输入端，所述指令执行单元的输出端连接3D模型的输入端。

所述姿态采集单元为两个采集摄像头A和B，两个所述采集摄像头分别安装在头戴显示设备的前端中部和前端上部，用于对学员的操控手势的移动信息进行采集信息进行采集，所述采集摄像头采集的操控手势为单帧图片，使得通过对每一帧图片的分析，得出学员的手势变化轨迹，例如：采集摄像头每隔ts进行一次操控手势的采集，采集摄像头A与采集摄像头B之间的距离为L

所述位置定位单元以学员手势的某一点为定点，所述学员的手势定点放置在采集摄像头A与采集摄像头B拍摄方向的交点时开启对3D模型的控制，所述坐标系建立单元以采集摄像头A与采集摄像头B拍摄方向的交点为圆心建立三维直角坐标系，所述采集摄像头A与采集摄像头B拍摄方向的交点的三维坐标值为(0,0,0)，因为方便学习终端了解学员需要对3D模型进行操控的需求，例如：以学员的食指指尖为定点，进行手势位置的定位，具体的定点确定方式可以采用现有的图像处理技术；

所述采集摄像头A和采集摄像头B采集N张照片，分别组成采集摄像头A的照片集合A

所述采集摄像头A和采集摄像头B所拍摄的照片大小与实际场景大小的比例为1：M；

所述位置定位单元将照片集合A

所述位置定位单元根据下列步骤对移动之后的手势定点的X轴和Z轴坐标进行确认：

S1、测量第i张照片的手势定点与第i+1张照片的手势定点在叠加之后的X-Z平面上沿X轴方向上的距离

S2、测量第i张照片的手势定点与第i+1张照片的手势定点在叠加之后的X-Z平面上沿Z轴方向上的距离

则第i+1张照片的手势定点在X-Z平面上的坐标值为

其中，(X

通过上述技术方案，使得可以确定学员手势定点在X-Z平面上移动的距离和方向，进而对学员手势定点在X轴和Y轴移动的距离进行计算，进而确定学员手势定点移动之后在X轴和Y轴上的坐标值。

所述位置定位单元根据下列步骤对移动之后的手势定点的X轴和Y轴坐标进行确认：

T1、测量第i张照片的手势定点与第i+1张照片的手势定点在叠加之后的(X-Y)/cosθ平面上沿X轴方向上的距离

T2、测量第i张照片的手势定点与第i+1张照片的手势定点在叠加之后的(X-Y)/cosθ平面上沿Z轴方向上的距离

T3、测量第i张照片的手势定点与第i+1张照片的手势定点在叠加之后的(X-Y)/cosθ平面上的直线距离L

根据下列公式计算第i张照片的手势定点与第i+1张照片的手势定点在空间的实际移动距离S

具体计算过程如图3所示；

通过上述公式，可以将学员手势定点在(X-Y)/cosθ平面上移动的方向和距离转化至X-Y平面上，使得可以精准的确认学员手势定点在X-Y轴上移动的距离，使得可以对学员手势定点在X-Y轴移动的方向和距离进行确认。

所述位置定位单元确认的第i张照片的手势定点与第i+1张照片的手势定点在Y轴上移动的距离为

则，第i+1张照片在三维直角坐标系中的坐标值为

通过上述计算方式，使得可以将学员手势定点在X-Y轴上移动的方向和距离转化为学员手势定点在Y轴方向上移动的距离，进而可以得出学员手势定点在Y轴上的移动距离，使得可以根据上一个学员手势定点的在Y轴上的坐标值确定该点在Y轴上的坐标值。

所述位置定位单元将学员手势每一次移动的坐标值信息输入姿态分析单元，所述姿态分析单元对N个坐标值进行拟合，组成学员手势曲线，所述姿态分析单元将拟合之后的学员手势曲线输送至中央控制单元，所述中央控制单元根据拟合的学员手势曲线向指令执行单元下发操控指令，所述指令执行单元对3D模型进行调整，完成学员手势操控过程。

实施例：

所述姿态采集单元为两个采集摄像头A和B，两个所述采集摄像头分别安装在头戴显示设备的前端中部和前端上部，用于对学员的操控手势的移动信息进行采集信息进行采集，所述采集摄像头采集的操控手势为单帧图片，采集摄像头A与采集摄像头B之间的距离为L

所述位置定位单元以学员手势的某一点为定点，所述学员的手势定点放置在采集摄像头A与采集摄像头B拍摄方向的交点时开启对3D模型的控制，所述坐标系建立单元以采集摄像头A与采集摄像头B拍摄方向的交点为圆心建立三维直角坐标系，所述采集摄像头A与采集摄像头B拍摄方向的交点的三维坐标值为(0,0,0)；

所述采集摄像头A和采集摄像头B采集N张照片，分别组成采集摄像头A的照片集合A

所述采集摄像头A和采集摄像头B所拍摄的照片大小与实际场景大小的比例为1：5；

所述位置定位单元将照片集合A

所述位置定位单元根据下列步骤对移动之后的手势定点的X轴和Z轴坐标进行确认：

S1、测量第i张照片的手势定点与第i+1张照片的手势定点在叠加之后的X-Z平面上沿X轴方向上的距离

S2、测量第i张照片的手势定点与第i+1张照片的手势定点在叠加之后的X-Z平面上沿Z轴方向上的距离

则第i+1张照片的手势定点在X-Z平面上的坐标值为

其中，(X

所述位置定位单元根据下列步骤对移动之后的手势定点的X轴和Y轴坐标进行确认：

T1、测量第i张照片的手势定点与第i+1张照片的手势定点在叠加之后的(X-Y)/cosθ平面上沿X轴方向上的距离

T2、测量第i张照片的手势定点与第i+1张照片的手势定点在叠加之后的(X-Y)/cosθ平面上沿Z轴方向上的距离

T3、测量第i张照片的手势定点与第i+1张照片的手势定点在叠加之后的(X-Y)/cosθ平面上的直线距离L

根据下列公式计算第i张照片的手势定点与第i+1张照片的手势定点在空间的实际移动距离S

所述位置定位单元确认的第i张照片的手势定点与第i+1张照片的手势定点在Y轴上移动的距离为

则，第i+1张照片在三维直角坐标系中的坐标值为

学员手势定点在第i+1张图片时移动至(5.75,5.1,19.3)位置处。

所述位置定位单元将学员手势每一次移动的坐标值信息输入姿态分析单元，所述姿态分析单元对N个坐标值进行拟合，组成学员手势曲线，所述姿态分析单元将拟合之后的学员手势曲线输送至中央控制单元，所述中央控制单元根据拟合的学员手势曲线向指令执行单元下发操控指令，所述指令执行单元对3D模型进行调整，完成学员手势操控过程。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。