一种基于VR技术的家庭教育游戏系统及方法

技术领域

本发明属于虚拟现实技术领域，尤其涉及一种基于VR技术的家庭教育游戏系统及方法。

背景技术

目前：随着信息技术的发展，传统的教育从线上发展到线上，很多课程可以通过网络实现远程教学，对于一些工作忙碌，没有时间带孩子去课外班的家长来说，远程教学不仅节约了交通时间及交通费用，又让孩子在家中就能学到额外知识。但是目前的远程教学依然是教师通过黑板来讲课或通过互动讲课，无非是从教室搬到了网络视频上，其教学质量没有发生本质的变化，学生的学习时刻无法遭到监督和操控，仅凭期末考试决议学生是否合格不行科学等。虚拟现实所展现的是一个极其真实的世界，可以把传统的平面、枯燥的说式教育转变成虚拟的3D教育，能让孩子在游戏过程中学习到知识，让孩子更有参与感。

虚拟现实技术(VR)主要包括模拟环境、感知、自然技能和传感设备等方面。主要技术为综合利用计算机图形系统和各种现实及控制等接口设备，在计算机上生成的、可交互的三维环境中提供沉浸感觉的技术。VR已经应用在包括游戏领域的多个领域，但目前VR游戏在触觉体验方面欠缺，游戏体验较差。而且，现有的VR技术并没有与家庭教育进行结合，无法将家庭教育通过游戏方式进行实现。

通过上述分析，现有技术存在的问题及缺陷为：目前VR游戏在触觉体验方面欠缺，游戏体验较差；现有的VR技术并没有与家庭教育进行结合，无法将家庭教育通过游戏方式进行实现。

发明内容

针对现有技术存在的问题，本发明提供了一种基于VR技术的家庭教育游戏系统。

本发明是这样实现的，一种基于VR技术的家庭教育游戏系统，所述基于VR技术的家庭教育游戏系统包括：

图像采集模块，与中央控制模块连接，用于通过采集程序对游戏图像进行采集；

图像分析模块，与中央控制模块连接，用于通过分析程序对采集图像进行分析；

场景编辑模块，与中央控制模块连接，用于通过编辑程序进行游戏场景的编辑；

中央控制模块，与图像采集模块、图像分析模块、场景编辑模块、逻辑块存储模块、场景选择模块、VR成像模块、VR眼镜模块、传感器模块、肢体动作采集模块、指令确定模块、指令输出模块、显示模块连接，用于通过主控机对采集信息进行处理，并通过处理结果和预设参数控制各个模块正常运行；

逻辑块存储模块，与中央控制模块连接，用于通过存储器存储VR虚拟场景内动态元素运动的逻辑图形块；

场景选择模块，与中央控制模块连接，用于通过选择程序进行游戏场景的选择；

VR成像模块，与中央控制模块连接，用于将采集的游戏图像和选择的游戏场景通过成像程序进行VR成像；

VR眼镜模块，与中央控制模块连接，用于通过VR眼镜将VR成像模块生成的图像数据进行展示；

传感器模块，与中央控制模块连接，用于通过传感器进行用户移动信息的感应；

肢体动作采集模块，与中央控制模块连接，用于通过摄像头对用户的肢体动作信息进行采集识别；

指令确定模块，与中央控制模块连接，用于将用户的肢体动作信息与预存指令进行对比，确定与所述肢体动作信息对应的控制指令；

指令输出模块，与中央控制模块连接，用于根据与肢体动作信息对应的控制指令对VR成像模块中显示的图像画面进行调节变换；

显示模块，与中央控制模块连接，用于通过显示器对VR眼镜展示的图像数据进行同步显示。

进一步，所述场景编辑模块包括：

基础图像获得单元，用于接收场景编辑所需的基础图像，所述基础图像包括多个HR图像和一个放大的LR图像；

基础图像处理单元，用于将放大的LR图像分割成多个查询图像块，并将多个HR图像中的每个HR图像都多次投影到一个重建HR全景图像的空间上，以产生多个单应投影；

图像匹配单元，在HR图像中的单应投影里检索到与放大LR图像里查询图像块相似的最佳匹配图像块；

图像重建和合并单元，选择多个最佳匹配图像块进行合并重建，并将合并重建后的图像合并到重建的HR全景图像中。

进一步，所述肢体动作采集模块包括：

图像获取单元，用于获取不包括人体图像的背景图像，以及包括人体图像的当前图像；

前景获取单元，用于根据所述背景图像以及所述当前图像，采用帧差法获取人体图像前景图；

动作识别单元，对获取的图像进行解析，通过人体在场景中的位置识别出肢体动作；

特征提取单元，用于对识别出的肢体动作信息进行特征提取，获得与所述肢体动作信息对应的特征信息。

进一步，所述传感器模块包括：

红外感应单元，通过红外感应器对人体移动过程进行跟踪；

轮廓图像获取单元，通过红外摄像装置对该跟踪的人体进行摄像并获取该人体的温度分布图像，并根据人体的温度分布图像得到人体轮廓图像；

移动识别单元，用于根据检测的人体移动信息与对应的控制信息进行匹配，得到与移动信息相吻合的控制方案。

进一步，所述指令确定模块包括：

指令预存单元，用于将控制指令进行预存，构建一个指令数据集；

信息关联单元，用于将不同的肢体动作信息与不同的控制指令进行关联保存；

特征匹配单元，用于将肢体动作采集模块提取的特征信息与指令数据集中的关联的肢体动作信息进行匹配检索，检索到与特征信息对应的控制指令。

本发明的另一目的在于提供一种基于VR技术的家庭教育游戏系统的基于VR技术的家庭教育游戏的方法，所述基于VR技术的家庭教育游戏的方法包括：

步骤一，对游戏的平面图像进行采集，对采集的图像信息进行分析，通过编辑程序进行游戏场景编辑；

步骤二，通过存储器存储VR虚拟场景内动态元素运动的逻辑图形块；

步骤三，选择游戏场景，通过成像程序进行该场景的VR成像并进行显示；

步骤四，通过传感器进行用户移动信息感应，通过转换器进行用户移动信息转换；

步骤五，通过图像生成程序将转换信息生成图像，再次进行VR成像，通过显示器进行游戏显示。

进一步，所述对采集的图像信息进行分析的方法为：

对采集图像中的第一类图像进行标注得到所述第一类图像的标签，并根据所述第一类图像以及所述第一类图像的标签生成识别模型；

通过所述识别模型对所述样本图像中除第一类图像之外的第二类图像进行自动标注，以获取所述第二类图像的标签。

进一步，所述进行游戏场景编辑的方法为：

接收多个HR图像和一个360度低分辨率LR图像；

其中所述多个HR图像对拍摄目标具有较高分辨率，而所述360度LR图像对拍摄目标具有较低分辨率，其中所述拍摄目标可被所述其中一个HR相机和所述垂直相机看到；

将所述360度LR图像放大到一个更高分辨率空间，以产生一个放大的LR图像；

将所述放大的LR图像分割成多个查询图像块；

使用多个单应矩阵，将所述多个HR图像中的每个HR图像都多次投影到一个重建HR全景图像的空间上，以产生多个单应投影；

在从每个HR图像所产生的多个单应投影的每个单应投影里，搜索一个搜索窗口，以找到一个和所述放大LR图像里查询图像块相似的最佳匹配图像块；

根据和所述查询图像块的相似性，在多个所述最佳匹配图像块中进行选择，以产生选中的图像块；

对所述选中的图像块进行合成，以产生一个重建图像块；和将所述重建图像块放置在所述重建HR全景图像里，放置位置即所述放大LR图像内相应查询图像块的位置，以将HR图像细节添加到所述放大LR图像中；

由此，所述多个HR图像的HR细节被放置在所述放大LR图像上，而所述放大LR图像提供图像块位置信息。

进一步，所述VR成像的方法为：

显示器上仰倾斜10°至40°发出VR图像；

全反射镜将VR图像分别反射至下方的菲涅尔透镜进行梯形校正与第一次放大；

贴有全息膜的透明曲面镜分别将VR分屏图像反射并进行第二次放大，在使用者眼中成像；同时，使用者前方的实景透过贴有全息膜的透明曲面镜，直接在使用者眼中成像，所述贴有全息膜的透明曲面镜为凹曲面镜或凸曲面镜。

进一步，所述传感器进行用户移动信息感应的方法为：

通过红外感应器侦测动作感应装置周围的人体并调整红外感器的旋转角度以对侦测到的人体进行跟踪；

通过红外摄像单元对该跟踪的人体进行摄像并获取该人体的温度分布图像，并根据人体的温度分布图像得到人体轮廓图像；

通过红外感应器获取人体运动部位与该动作感应装置之间的距离信息；

将获取的人体轮廓图像与存储的人体轮廓图像进行比较，从该存储的人体轮廓图像中确定出与该获取的人体轮廓图像相匹配的人体轮廓图像，并根据该确定的人体轮廓图像确定出与该人体轮廓图像对应的二维动作；及根据二维动作及获取的人体运动部位与该动作感应装置之间的距离变化信息确定出一对应的操作动作，并根据该确定的操作动作确定一操作控制信号以对该动作感应装置进行相应的操作。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明通过图像采集模块和场景编辑模块可以对游戏场景和画面进行预设编辑，便于根据不同学生的特点进行针对性设置，可以适合不同的孩子的家庭教育使用。本发明通过VR成像模块进行成像，游戏成像更真实，能够将用户带入游戏情景，体验虚拟技术带来的场景体验，游戏体验更好。而且能够把传统的平面、枯燥的说式教育以一种动态的声音、图像、互动的方式展现出来，能让孩子在游戏过程中学习到知识，且更有参与感；能够通过显示器查看自己的学习操作过程，通过移动终端的APP客户端查看自己的学习内容和情况。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的基于VR技术的家庭教育游戏系统的结构图；

图中：1、图像采集模块；2、图像分析模块；3、场景编辑模块；4、中央控制模块；5、逻辑块存储模块；6、场景选择模块；7、VR成像模块；8、VR眼镜模块；9、传感器模块；10、肢体动作采集模块；11、指令确定模块；12、指令输出模块；13、显示模块。

图2是本发明实施例提供的基于VR技术的家庭教育游戏方法的流程图。

图3是本发明实施例提供的肢体动作采集模块示意图。

图4是本发明实施例提供的传感器模块示意图。

图5是本发明实施例提供的应用于基于VR技术的家庭教育游戏系统的基于VR技术的家庭教育游戏的方法示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种基于VR技术的家庭教育游戏系统及方法，下面结合附图对本发明作详细的描述。

如图1所示，本发明实施例提供的基于VR技术的家庭教育游戏系统设置有：

图像采集模块1，与中央控制模块连接，用于通过采集程序对游戏图像进行采集；

图像分析模块2，与中央控制模块连接，用于通过分析程序对采集图像进行分析；

场景编辑模块3，与中央控制模块连接，用于通过编辑程序进行游戏场景的编辑；

中央控制模块4，与图像采集模块、图像分析模块、场景编辑模块、逻辑块存储模块、场景选择模块、VR成像模块、VR眼镜模块、传感器模块、肢体动作采集模块、指令确定模块、指令输出模块、显示模块连接，用于通过主控机对采集信息进行处理，并通过处理结果和预设参数控制各个模块正常运行；

逻辑块存储模块5，与中央控制模块连接，用于通过存储器存储VR虚拟场景内动态元素运动的逻辑图形块；

场景选择模块6，与中央控制模块连接，用于通过选择程序进行游戏场景的选择；

VR成像模块7，与中央控制模块连接，用于将采集的游戏图像和选择的游戏场景通过成像程序进行VR成像；

VR眼镜模块8，与中央控制模块连接，用于通过VR眼镜将VR成像模块生成的图像数据进行展示；

传感器模块9，与中央控制模块连接，用于通过传感器进行用户移动信息的感应；

肢体动作采集模块10，与中央控制模块连接，用于通过摄像头对用户的肢体动作信息进行采集识别；

指令确定模块11，与中央控制模块连接，用于将用户的肢体动作信息与预存指令进行对比，确定与所述肢体动作信息对应的控制指令；

指令输出模块12，与中央控制模块连接，用于根据与肢体动作信息对应的控制指令对VR成像模块中显示的图像画面进行调节变换；

显示模块13，与中央控制模块连接，用于通过显示器对VR眼镜展示的图像数据进行同步显示。

如图2所示，本发明实施例中的场景编辑模块3包括：

基础图像获得单元，用于接收场景编辑所需的基础图像，所述基础图像包括多个HR图像和一个放大的LR图像；

基础图像处理单元，用于将放大的LR图像分割成多个查询图像块，并将多个HR图像中的每个HR图像都多次投影到一个重建HR全景图像的空间上，以产生多个单应投影；

图像匹配单元，在HR图像中的单应投影里检索到与放大LR图像里查询图像块相似的最佳匹配图像块；

图像重建和合并单元，选择多个最佳匹配图像块进行合并重建，并将合并重建后的图像合并到重建的HR全景图像中。

如图3所示，本发明实施例中的肢体动作采集模块10包括：

图像获取单元，用于获取不包括人体图像的背景图像，以及包括人体图像的当前图像；

前景获取单元，用于根据所述背景图像以及所述当前图像，采用帧差法获取人体图像前景图；

动作识别单元，对获取的图像进行解析，通过人体在场景中的位置识别出肢体动作；

特征提取单元，用于对识别出的肢体动作信息进行特征提取，获得与所述肢体动作信息对应的特征信息。

如图4所示，本发明实施例中的传感器模块9包括：

红外感应单元，通过红外感应器对人体移动过程进行跟踪；

轮廓图像获取单元，通过红外摄像装置对该跟踪的人体进行摄像并获取该人体的温度分布图像，并根据人体的温度分布图像得到人体轮廓图像；

移动识别单元，用于根据检测的人体移动信息与对应的控制信息进行匹配，得到与移动信息相吻合的控制方案。

本发明实施例中的指令确定模块11包括：

指令预存单元，用于将控制指令进行预存，构建一个指令数据集；

信息关联单元，用于将不同的肢体动作信息与不同的控制指令进行关联保存；

特征匹配单元，用于将肢体动作采集模块提取的特征信息与指令数据集中的关联的肢体动作信息进行匹配检索，检索到与特征信息对应的控制指令。

如图5所示，本发明实施例提供的应用于基于VR技术的家庭教育游戏系统的基于VR技术的家庭教育游戏的方法包括：

S101，对游戏的平面图像进行采集，对采集的图像信息进行分析，通过编辑程序进行游戏场景编辑；

S102，通过存储器存储VR虚拟场景内动态元素运动的逻辑图形块；

S103，选择游戏场景，通过成像程序进行该场景的VR成像并进行显示；

S104，通过传感器进行用户移动信息感应，通过转换器进行用户移动信息转换；

S105，通过图像生成程序将转换信息生成图像，再次进行VR成像，通过显示器进行游戏显示。

本发明实施例提供的对采集的图像信息进行分析的方法为：

对采集图像中的第一类图像进行标注得到所述第一类图像的标签，并根据所述第一类图像以及所述第一类图像的标签生成识别模型；

通过所述识别模型对所述样本图像中除第一类图像之外的第二类图像进行自动标注，以获取所述第二类图像的标签。

本发明实施例提供的进行游戏场景编辑的方法为：

接收多个HR图像和一个360度低分辨率LR图像；

其中所述多个HR图像对拍摄目标具有较高分辨率，而所述360度LR图像对拍摄目标具有较低分辨率，其中所述拍摄目标可被所述其中一个HR相机和所述垂直相机看到；

将所述360度LR图像放大到一个更高分辨率空间，以产生一个放大的LR图像；

将所述放大的LR图像分割成多个查询图像块；

使用多个单应矩阵，将所述多个HR图像中的每个HR图像都多次投影到一个重建HR全景图像的空间上，以产生多个单应投影；

在从每个HR图像所产生的多个单应投影的每个单应投影里，搜索一个搜索窗口，以找到一个和所述放大LR图像里查询图像块相似的最佳匹配图像块；

根据和所述查询图像块的相似性，在多个所述最佳匹配图像块中进行选择，以产生选中的图像块；

对所述选中的图像块进行合成，以产生一个重建图像块；和将所述重建图像块放置在所述重建HR全景图像里，放置位置即所述放大LR图像内相应查询图像块的位置，以将HR图像细节添加到所述放大LR图像中；

由此，所述多个HR图像的HR细节被放置在所述放大LR图像上，而所述放大LR图像提供图像块位置信息。

本发明实施例提供的VR成像的方法为：

显示器上仰倾斜10°至40°发出VR图像；

全反射镜将VR图像分别反射至下方的菲涅尔透镜进行梯形校正与第一次放大；

贴有全息膜的透明曲面镜分别将VR分屏图像反射并进行第二次放大，在使用者眼中成像；同时，使用者前方的实景透过贴有全息膜的透明曲面镜，直接在使用者眼中成像，所述贴有全息膜的透明曲面镜为凹曲面镜或凸曲面镜。

本发明实施例提供的传感器进行用户移动信息感应的方法为：

通过红外感应器侦测动作感应装置周围的人体并调整红外感器的旋转角度以对侦测到的人体进行跟踪；

通过红外摄像单元对该跟踪的人体进行摄像并获取该人体的温度分布图像，并根据人体的温度分布图像得到人体轮廓图像；

通过红外感应器获取人体运动部位与该动作感应装置之间的距离信息；

将获取的人体轮廓图像与存储的人体轮廓图像进行比较，从该存储的人体轮廓图像中确定出与该获取的人体轮廓图像相匹配的人体轮廓图像，并根据该确定的人体轮廓图像确定出与该人体轮廓图像对应的二维动作；及

根据该确定的二维动作及获取的人体运动部位与该动作感应装置之间的距离变化信息确定出一对应的操作动作，并根据该确定的操作动作确定一操作控制信号以对该动作感应装置进行相应的操作。

以上所述，仅为本发明较优的具体的实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。