基于虚拟现实场景的学生演讲技能训练方法及系统

技术领域

本发明涉及智能学习技术领域，尤其涉及基于虚拟现实场景的学生演讲技能训练方法及系统。

背景技术

演讲才能是一个人口才、学识、胆魄等综合素质的体现，在当前提倡素质教育的形势下，很多语文老师都尝试过这种行之有效的实践活动，它能激发学生强烈的自我表现意识，拓展学生的课外知识面，融听说读写的训练于一体，提高学生综合运用语文知识的能力，并为学生今后走上工作岗位打下良好的基础。

为了提升学生的演讲能力，目前主要是采用教师点评+大量上台练习的方式，学生通过多次上台演讲，加之教师对学生演讲过程中存在的不规范问题的不停纠正，从而达到提升学生演讲能力的目的。但是这种方式为纯线下训练，教师需花费大量的时间对学生进行指导，时间成本较高，人工依赖性强，此外，演讲训练的环境不够真实，对学生来说缺少了交互体验，导致教学效果较差。

发明内容

本发明提供基于虚拟现实场景的学生演讲技能训练方法，用于解决现有学生演讲技能训练方法人工依赖性强，教学时间成本较高、效果较差的问题。本发明提供基于虚拟现实场景的学生演讲技能训练方法及系统，能够在虚拟现实场景下使学生通过电子设备即可实现演讲技能训练，有效地降低了教师指导的时间成本，智能化程度高。

第一方面，本发明提供的基于虚拟现实场景的学生演讲技能训练方法，包括：

实时采集当前学生在基于虚拟现实场景中进行演讲过程中的身体坐标信息及当前学生的语音信息；所述坐标信息为所述当前学生在所述虚拟现实场景的预设坐标系中的坐标信息；

根据当前学生的身体坐标信息，获得当前学生的手势状态；

根据所述当前学生的手势状态和语音信息，计算当前学生的演讲规范性标志值；

根据所述当前学生的演讲规范性标志值，判断当前学生在演讲过程中是否出现了不规范情况并将判断结果发送给预设的监控设备。

在一可选实施例中，所述手势状态包括一级手势状态；

所述根据当前学生的身体坐标信息，获得当前学生的手势状态，包括：

根据当前学生的手部坐标信息，计算当前学生的一级手势状态标志值；

判断所述当前学生的一级手势状态标志值是否不小于预设值；

若所述当前学生的一级手势状态标志值不小于预设值，则确定当前学生的一级手势状态为非握拳状态；

若所述当前学生的一级手势状态标志值小于预设值，则确定当前学生的一级手势状态为握拳状态。

在一可选实施例中，所述根据当前学生的手部坐标信息，计算当前学生的一级手势状态标志值，包括：

根据以下第一公式计算所述当前学生的一级手势状态标志值：

在第一公式中，δ表示当前学生的一级手势状态标志值；(X

在一可选实施例中，所述手势状态，还包括：从属于一级手势状态下的二级手势状态；

在所述确定当前学生的一级手势状态为非握拳状态之后，还包括：

根据第二公式计算当前学生在非握拳状态下的二级手势状态标志矩阵；

根据所述当前学生在非握拳状态下的二级手势状态标志矩阵和预定判断策略，确定当前学生在非握拳状态下的二级手势状态；

其中，所述第二公式为：

λ＝{γ(Z

在第二公式中，λ表示当前学生在非握拳状态下的二级手势状态标志矩阵；γ()表示判断函数，若括号内的算式为真则函数值为1，若括号内的算式为假则函数值为0；Z

在一可选实施例中，所述预定判断策略为：

若λ＝{0,0}，则判定当前学生在非握拳状态下的二级手势状态为手掌掌心向上并且手掌低于肩膀；

若λ＝{0,1}，则判定当前学生在非握拳状态下的二级手势状态为手掌掌心向上并且手掌高于肩膀；

若λ＝{1,0}，则判定当前学生在非握拳状态下的二级手势状态为手掌掌心向下并且手掌低于肩膀；

若λ＝{1,1}，则判定当前学生在非握拳状态下的二级手势状态为手掌掌心向下并且手掌高于肩膀。

在一可选实施例中，所述根据所述当前学生的手势状态和语音信息，计算当前学生的演讲规范性标志值，包括：

获取所述当前学生的手势状态对应的多个情绪状态，得到第一情绪状态编号数组；同时对所述当前学生的语音信息进行语义分析，获取分析得到的语义对应的情绪状态，得到第二情绪状态编号数组；其中，所述每个情绪状态与编号为一一对应关系；

根据第三公式计算当前学生的演讲规范性标志值：

在第三公式中，P表示所述当前学生的演讲规范性标志值；S

在一可选实施例中，所述根据当前学生的演讲规范性标志值，判断所述当前学生在演讲过程中是否出现了不规范情况，包括：

判断当前学生的演讲规范性标志值是否等于预设规范阈值；

若当前学生的演讲规范性标志值等于预设规范阈值，则确定所述当前学生在演讲过程中未出现不规范情况，并发出第一提示信息；

若当前学生的演讲规范性标志值不等于预设规范阈值，则确定所述当前学生在演讲过程中出现了不规范情况，并发出第二提示信息。

在一可选实施例中，所述预设规范阈值为0。

在一可选实施例中，所述发出第一提示信息，包括：控制预设提示灯显示第一预设颜色；所述发出第二提示信息，包括：控制预设提示灯显示第二预设颜色。

第二方面，本发明提供的基于虚拟现实场景的学生演讲技能训练系统，其特征在于，包括：

采集模块：用于实时采集当前学生在基于虚拟现实场景中进行演讲过程中的身体坐标信息及当前学生的语音信息；所述坐标信息为所述当前学生在所述虚拟现实场景的预设坐标系中的坐标信息；

手势状态获取模块，用于根据当前学生的身体坐标信息，获得当前学生的手势状态；

演讲规范性标志值计算模块，用于根据所述当前学生的手势状态和语音信息，计算当前学生的演讲规范性标志值；

判断及展示模块，用于根据所述当前学生的演讲规范性标志值，判断当前学生在演讲过程中是否出现了不规范情况并将判断结果发送给预设的监控设备。

本发明提供的基于虚拟现实场景的学生演讲技能训练方案，首先根据实时采集到的学生在虚拟现实的演讲场景中的身体坐标，获得学生的手势状态，然后根据此手势状态和采集的学生语音信息，计算获得学生的演讲规范性标志值，最后根据此演讲规范性标志值，判断当前学生在演讲过程中是否出现了不规范情况并将判断结果提供给用户。本发明通过向学生提供虚拟现实的演讲环境，实时对学生演讲过程中存在的不规范情况进行提醒，脱离人工以来，能够有效地降低教师指导的时间成本，智能化程度高。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例中基于虚拟现实场景的学生演讲技能训练方法的流程图；

图2为S102的一种实施方法流程图；

图3为本发明实施例中基于虚拟现实场景的学生演讲技能训练系统结构示意图。

具体实施方式

下面结合附图对本发明实施例进行详细描述。

应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在本发明提供的方法实施之前，首先建立基于虚拟现实技术构建演讲训练场景，例如：学生可以通过基于虚拟现实技术的客户端进入基于虚拟现实的演讲场景进行演讲，基于虚拟现实的演讲场景可以使用户具有身临其境的演讲体验感。

图1为本发明实施例中基于虚拟现实场景的学生演讲技能训练方法的流程图。参见图1，该方法包括以下步骤S101-S104：

S101：实时采集当前学生在基于虚拟现实场景中进行演讲过程中的身体坐标信息及当前学生的语音信息；

其中，所述坐标信息为所述当前学生在所述虚拟现实场景的预设坐标系中的坐标信息，即：本实施例中所述的坐标都是指在所述虚拟现实场景的预设坐标系中的坐标。

S102：根据当前学生的身体坐标信息，获得当前学生的手势状态。

其中，所述当前学生的身体坐标信息包括当前学生的手部坐标信息。

在一可选实施例中，所述手势状态包括一级手势状态。，所述一级手势状态包括握拳状态和非握拳状态。如图2所述，本步骤S102，可以包括以下步骤S201-S204：

S201：根据当前学生的手部坐标信息，计算当前学生的一级手势状态标志值。

优选地，根据如下第一公式(1)计算所述当前学生的一级手势状态标志值：

在第一公式中，δ表示当前学生的一级手势状态标志值；(X

S202：判断所述当前学生的一级手势状态标志值是否不小于预设值；是则执行S203，否则执行S204。

优选地，预设值为1，即：一级手势状态标志值δ≥1时，表示当前学生的手处于非握拳状态，δ＜1时，表示当前学生的手处于握拳状态。

S203：确定当前学生的一级手势状态为非握拳状态。

作为一可选实施例，所述手势状态还包括：从属于一级手势状态下的二级手势状态；则本实施例中在S203之后，还可以包括S2031-S2032：

S2031：根据第二公式计算当前学生在非握拳状态下的二级手势状态标志矩阵。

所述第二公式为：

λ＝{γ(Z

在第二公式(2)中，λ表示当前学生在非握拳状态下的二级手势状态标志矩阵；γ()表示判断函数，若括号内的算式为真则函数值为1，若括号内的算式为假则函数值为0；Z

S2032：根据所述当前学生在非握拳状态下的二级手势状态标志矩阵和预定判断策略，确定当前学生在非握拳状态下的二级手势状态。

本实施例中，预定判断策略为：若λ＝{0,0}，则判定当前学生在非握拳状态下的二级手势状态为手掌掌心向上并且手掌低于肩膀；若λ＝{0,1}，则判定当前学生在非握拳状态下的二级手势状态为手掌掌心向上并且手掌高于肩膀；若λ＝1,0}，则判定当前学生在非握拳状态下的二级手势状态为手掌掌心向下并且手掌低于肩膀；若λ＝{1,1}，则判定当前学生在非握拳状态下的二级手势状态为手掌掌心向下并且手掌高于肩膀。

S204：确定当前学生的一级手势状态为握拳状态。

S103：根据所述当前学生的手势状态和语音信息，计算当前学生的演讲规范性标志值；

作为一可选实施例，所述S103，可以包括如下步骤S1031-S1032：

S1031：获取所述当前学生的手势状态对应的多个情绪状态，得到第一情绪状态编号数组；同时对所述当前学生的语音信息进行语义分析，获取分析得到的语义对应的情绪状态，得到第二情绪状态编号数组；

其中，每个情绪状态与编号为一一对应关系。

本实施例中，可对各种情绪状态进行预先编号赋值，如紧张、激动、高兴、哭泣等情绪，编号分别为1,2,3,4。当学生演讲时，每种手势状态会与多个情绪状态相对应，如握拳状态可以表示紧张、激动等情绪，则得到第一情绪状态编号数组为{1,2}；学生语音信息经过语义分析，得知在进行“加油打气”，则得到第二情绪状态编号数组为{2}。在本发明实施之前，还预先存储有各种手势和情绪状态的第一对应关系表，并预先存储各种语义和情绪状态的第二对应关系表，同一种手势可以对应多个情绪状态，同一种语义可以对应多个情绪状态。

S1032：根据第三公式计算当前学生的演讲规范性标志值；

其中，所述第三公式为：

在第三公式中，P表示所述当前学生的演讲规范性标志值；S

通过第三公式可知，第一情绪状态编号数组中的任一元素，在第二情绪状态编号数组存在，则P＝0。假设第一情绪状态编号数组为{1,2}，第二情绪状态编号数组为{2}，则

S104：根据所述当前学生的演讲规范性标志值，判断当前学生在演讲过程中是否出现了不规范情况并将判断结果发送给预设的监控设备。

作为一可选实施例，本步骤S104，可以包括S1041-S1043：

S1041：判断当前学生的演讲规范性标志值是否等于预设规范阈值；是则执行S1042，否则执行S1043；

本实施例中，所述预设规范阈值为0。

S1042：确定所述当前学生在演讲过程中未出现不规范情况，并发出第一提示信息。

本实施例中，所述发出第一提示信息，包括：控制预设提示灯显示第一预设颜色，如显示绿色，表示学生当前演讲正常。

S1043：确定所述当前学生在演讲过程中出现了不规范情况，并发出第二提示信息。

本实施例中，所述发出第二提示信息，包括：控制预设提示灯显示第二预设颜色，例如显示红色，表示当前学生演讲过程中出现了不规范情况。

本发明实施例提供的基于虚拟现实场景的学生演讲技能训练方法，首先根据实时采集到的学生在虚拟现实的演讲场景中的身体坐标，获得学生的手势状态，然后根据此手势状态和采集的学生语音信息，计算获得学生的演讲规范性标志值，最后根据此演讲规范性标志值，判断当前学生在演讲过程中是否出现了不规范情况并通过提示灯的颜色将判断结果发送给预设的监控设备。本发明通过向学生提供虚拟现实的演讲环境，实时对学生演讲过程中存在的不规范情况进行提醒，有效地降低了教师指导的时间成本，提高了教学质量及效果。

对应于本发明实施例提供的基于虚拟现实场景的学生演讲技能训练方法，本发明实施例还提供基于虚拟现实场景的学生演讲技能训练系统，如图3所示，该系统包括：

采集模块1，用于实时采集当前学生在基于虚拟现实场景中进行演讲过程中的身体坐标信息及当前学生的语音信息；其中，所述坐标信息为所述当前学生在所述虚拟现实场景的预设坐标系中的坐标信息。

手势状态获取模块2，用于根据当前学生的身体坐标信息，获得当前学生的手势状态。优选地，手势状态获取模块2，具体用于根据上述第一公式计算所述当前学生的一级手势状态标志值，随后根据此一级手势状态标志值，获得一级手势状态。进一步地，手势状态获取模块2，还具体用于在一级手势状态为非握拳状态时，根据上述第二公式计算当前学生在非握拳状态下的二级手势状态标志矩阵，随后根据此二级手势状态标志矩阵，获得当前学生在非握拳状态下的二级手势状态。

演讲规范性标志值计算模块3，用于根据所述当前学生的手势状态和语音信息，计算当前学生的演讲规范性标志值；优选地，演讲规范性标志值计算模块3，具体用于根据上述第三公式计算当前学生的演讲规范性标志值。

判断及展示模块4，用于根据所述当前学生的演讲规范性标志值，判断当前学生在演讲过程中是否出现了不规范情况并将判断结果发送给预设的监控设备。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。