一种教师表现力的评估方法、装置和电子设备

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种教师表现力的评估方法、装置和电子设备。

背景技术

目前，随着互联网技术的发展，在线教育在教育产业中占据的份额也越来越大，以视频方式进行的网络教学呈现出爆发性的增长。在传统课堂上，对教师评估往往采用“听课”的方式进行，在互联网时代，人工方式虽然可靠，但是对于海量教师视频，不可能做到全部评估。

发明内容

为解决上述问题，本发明实施例的目的在于提供一种教师表现力的评估方法、装置和电子设备。

第一方面，本发明实施例提供了一种教师表现力的评估方法，包括：

获取教师图像，对所述教师图像进行人脸检测，得到所述教师图像中的人脸图像区域；

对人脸图像区域进行处理，得到人脸图像区域的关键点信息，并确定出教师的教师表情；

根据确定出的所述教师表情，对教师表现力进行评估。

第二方面，本发明实施例还提供了一种教师表现力的评估装置，包括：

获取模块，用于获取教师图像，对所述教师图像进行人脸检测，得到所述教师图像中的人脸图像区域；

处理模块，用于对人脸图像区域进行处理，得到人脸图像区域的关键点信息，并确定出教师的教师表情；

评估模块，用于根据确定出的所述教师表情，对教师表现力进行评估。

第三方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面所述的方法的步骤。

第四方面，本发明实施例还提供了一种电子设备，所述电子设备包括有存储器，处理器以及一个或者一个以上的程序，其中所述一个或者一个以上程序存储于所述存储器中，且经配置以由所述处理器执行上述第一方面任一项所述的方法的步骤。

本发明实施例上述第一方面至第四方面的提供的方案中，通过对人脸图像区域进行处理，得到人脸图像区域的关键点信息的同时，可以确定出教师的教师表情，提高了处理效率；而且，根据确定出的所述教师表情，对教师表现力进行评估，从而评估教师的教学视频，分析课堂中的“高光片段”或者“平淡片段”，对教师自身业务水平的提升，以及课程分析、教师培训等方面都有着非常重要的意义。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例1所提供的一种教师表现力的评估方法的流程图；

图2示出了本发明实施例2所提供的一种教师表现力的评估装置的结构示意图；

图3示出了本发明实施例3所提供的一种电子设备的结构示意图。

具体实施方式

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

目前，随着互联网技术的发展，在线教育在教育产业中占据的份额也越来越大，以视频方式进行的网络教学呈现出爆发性的增长。在传统课堂上，对教师的授课效果进行评估往往采用“听课”的方式进行，在互联网时代，人工方式虽然可靠，但是对于海量教师视频，不可能做到全部评估。

随着互联网技术的发展，在线教育在教育产业中占据的份额也越来越大，在线教育场景中，人和人之间不再是面对面的交流，交流的场景和情况更加复杂。而计算机技术可以用来辅助进行人脸特征提取，通过自动分析对老师的表现力、学生的接受程度等评价，可以对教学活动提供有效的参考，从而提升教学活动的效率。

在教学活动中，人脸关键点和表情(如：自然、高兴、惊讶、难过、愤怒、鄙视、害怕)是非常重要的特征，表情可以直观的反映老师的表现力、学生的听课状态，人脸关键点也可以用来检测用户的姿态、移动等多种信息，对于教学活动有重要的参考价值。

目前用到的人脸特征提取流程，一般包括人脸检测、关键点检测、表情识别等等，随着深度学习技术的发展，采用深度学习的方法目前已成为主流，在人脸特征提取方面，根据需求的不同，往往采用多个模型顺序执行的方法，来完成所需要的功能，比如先通过人脸检测模型得到人脸区域，再使用关键点定位模型获取关键点位置，使用表情识别模型得到具体表情；关键点模型和表情模型之间相互独立，顺序执行，使得人脸图像关键点信息的提取和确定出教师的教师表情的时间较长。

基于此，本实施例提出一种教师表现力的评估方法、装置和电子设备，通过对人脸图像区域进行处理，得到人脸图像区域的关键点信息的同时，可以确定出教师的教师表情，提高了处理效率；而且，根据确定出的所述教师表情，对教师表现力进行评估，从而评估教师的教学视频，分析课堂中的“高光片段”或者“平淡片段”，对教师自身业务水平的提升，以及课程分析、教师培训等方面都有着非常重要的意义。

在此，先对本方案使用的模型进行描述：

人脸关键点和表情存在一定的关联性，比如高兴的表情通常伴随嘴角上扬，将关键点估计模型和表情识别模型相结合，是具备可行的。模型以PFLD的模型为基础，添加了额外的表情识别分支，模型命名为人脸特征点和表情的联合模型(PFLD_EMO)。其中主干网络(MobileNetV2、关键点回归网络分支、关键点输出层)采用PFLD模型的网络结构。表情识别网络分支由四个卷基层和两个全连接层构成，最后一层输出对教师表情的预测值。

其中，教师表情和面部表情，包括但不限于以下各类面部表情：自然表情、高兴表情、惊讶表情、难过表情、愤怒表情、鄙视表情、以及害怕表情。

而且，自然表情、高兴表情、惊讶表情、难过表情、愤怒表情、鄙视表情、以及害怕表情中的任一表情，可以分别被称作一类面部表情。

PFLD_EMO的损失函数也由两部分构成，一部分是关键点回归误差损失Loss

其中，Loss

在模型训练时，选取关键点回归损失、表情分类损失的一种或者二者累加作为网络的损失函数，对模型参数进行优化。

然后，利用采集的教师图像对PFLD_EMO模型进行训练，得到能够在得到人脸图像区域的关键点信息的同时，可以确定出教师的教师表情的PFLD_EMO模型。

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请做进一步详细的说明。

实施例1

本实施例提出的教师表现力的评估方法的执行主体是服务器。

参见图1所示的一种教师表现力的评估方法的流程图，本实施例提出的一种教师表现力的评估方法，包括以下具体步骤：

步骤100、获取教师图像，对所述教师图像进行人脸检测，得到所述教师图像中的人脸图像区域。

在上述步骤100中，可以通过人脸检测算法或人脸检测模型，对所述教师图像进行人脸检测，得到所述教师图像中的人脸图像区域，具体过程是现有技术，这里不再赘述。

在获取教师图像的同时，对获取教师图像的图像采集时间进行记录。

步骤102、对人脸图像区域进行处理，得到人脸图像区域的关键点信息，并确定出教师的教师表情。

具体地，上述步骤102具体包括以下步骤(1)至步骤(4)：

(1)基于预设尺寸对所述人脸图像区域进行缩放，得到缩放后的人脸图像区域；

(2)将缩放后的人脸图像区域输入到人脸特征点和表情的联合模型PFLD_EMO中，利用PFLD_EMO对缩放后的人脸图像区域进行处理，得到人脸图像区域的水平方向和垂直方向上的归一化坐标，以及各表情的表情分值；

(3)利用得到的人脸图像区域在水平方向和垂直方向上的归一化坐标与所述预设尺寸中的图像宽度信息，得到作为人脸图像区域的关键点信息的所述人脸图像区域的关键点坐标；

(4)当所述人脸图像区域的关键点坐标的坐标值均在预设数值范围内时，确定采集到的教师图像中的人脸图像区域为有效人脸区域，并将各表情分值中最大的表情分值对应的面部表情确定为教师的教师表情。

在上述步骤(1)中，预设尺寸是长、宽均为112像素。

在上述步骤(2)中，利用PFLD_EMO对缩放后的人脸图像区域进行处理的具体过程是现有技术，这里不再赘述。

人脸图像区域的水平方向和垂直方向上的归一化坐标，就是人脸图像区域中98个人脸特征点的坐标；PFLD_EMO模型输出形式为按顺序组合的坐标集合(x1,y1,x2,y2,…x98,y98)，将该坐标集合按坐标的输出顺序两两组合就得到98个人脸特征点的坐标中的各个坐标(x1,y1),(x2,y2),…(x98,y98)。

在上述步骤(3)中，利用得到的人脸图像区域在水平方向和垂直方向上的归一化坐标与所述预设尺寸中的图像宽度信息，得到作为人脸图像区域的关键点信息的所述人脸图像区域的关键点坐标的具体过程是现有技术，这里不再赘述。

在上述步骤(4)中，所述预设数值范围，是[0，112]。即当人脸图像区域的关键点坐标的坐标值均在[0，112]内的任意数值时，确定采集到的教师图像中的人脸图像区域为有效人脸区域。

在确定教师表情时，记录确定教师表情的时间，并对所确定的教师表情对应的表情的表情数量进行增量操作。

步骤104、根据确定出的所述教师表情，对教师表现力进行评估。

具体地，上述步骤104具体包括以下步骤(1)至步骤(8)：

(1)对有效人脸区域数量进行增量操作，得到增量操作操作后的有效人脸区域数量；

(2)当确定出的所述教师表情属于预设的教师面部表情时，对有效表情数量进行增量操作，得到增量操作后的有效表情数量；

(3)当确定出的所述教师表情与上一次确定出的教师表情不一致时，对表情变化数量进行增量操作，得到增量操作后的表情变化数量；

(4)当距离上一次对教师表现力进行评估的时间长度达到预设时间长度时，将增量操作操作后的有效人脸区域数量确定为当前周期内的有效人脸区域数量，将增量操作操作后的有效表情数量确定为当前周期内的有效表情数量，将增量操作后的表情变化数量确定为当前周期内的表情变化数量；

(5)获取当前周期内采集的教师图像数量；

(6)当当前周期内的有效人脸区域数量与前周期内采集的教师图像数量的比值大于第一预设比例阈值时，统计各类面部表情的数量，并计算各类面部表情的数量与当前周期内的有效表情数量的比值；

(7)当各类面部表情中的愤怒表情、鄙视表情、或者害怕表情与当前周期内的有效表情数量的比值大于第二预设比例阈值时，将愤怒表情的数量、鄙视表情的数量、或者害怕表情的数量从当前周期内的有效表情数量中去掉，对当前周期内的有效表情数量进行修订；

(8)利用当前周期内的表情变化数量以及修订后的当前周期内的有效人脸区域数量，对当前周期内的教师表现力评估值进行计算，从而利用计算得到的当前周期内的教师表现力评估值对当前周期内的教师表现力进行评估。

在上述的步骤(1)中，在确定采集到的教师图像中的人脸图像区域为有效人脸区域时，对有效人脸区域数量进行增量操作，得到增量操作后的有效人脸区域数量。

在上述的步骤(2)中，预设的教师面部表情，包括但不限于：高兴表情、惊讶表情、愤怒表情、鄙视表情、和害怕表情。

在上述步骤(1)至步骤(3)执行的过程中有个前提，就是在当距离上一次对教师表现力进行评估的时间长度未达到预设时间长度时，对有效人脸区域数量进行增量操作、对有效表情数量进行增量操作、以及对表情变化数量进行增量操作。

在上述步骤(5)中，获取当前周期的起止时间点之间的图像采集时间，统计获取到的当前周期的起止时间点之间的图像采集时间的数量，得到统计结果，将得到的统计结果作为当前周期内采集的教师图像数量，从而获取到当前周期内采集的教师图像数量。

在上述步骤(8)中，可以执行以下步骤(81)至步骤(84)：

(81)统计当前周期内的各类面部表情中高兴表情、惊讶表情、愤怒表情、鄙视表情、以及害怕表情的表情总数量；

(82)通过以下公式，计算当前周期内的有效表情百分比：

当前周期内的有效表情百分比＝表情总数量/当前周期内的有效人脸区域数量；

(83)通过以下公式，计算当前周期内的表情变化率：

当前周期内的表情变化率＝1.8*当前周期内的表情变化数量/当前周期内的有效人脸区域数量+0.2；

(84)通过以下公式，计算当前周期内的教师表现力评估值：

当前周期内的教师表现力评估值＝100*当前周期内的有效表情百分比*当前周期内的表情变化率。

综上所述，本实施例提出的一种教师表现力的评估方法，通过对人脸图像区域进行处理，得到人脸图像区域的关键点信息的同时，可以确定出教师的教师表情，提高了处理效率；而且，根据确定出的所述教师表情，对教师表现力进行评估，从而评估教师的教学视频，分析课堂中的“高光片段”或者“平淡片段”，对教师自身业务水平的提升，以及课程分析、教师培训等方面都有着非常重要的意义。

实施例2

本实施例提出一种教师表现力的评估装置，用于执行上述实施例1提出的教师表现力的评估方法。

参见图2所示的一种教师表现力的评估装置的结构示意图，本实施例提出的一种教师表现力的评估装置，包括：

获取模块200，用于获取教师图像，对所述教师图像进行人脸检测，得到所述教师图像中的人脸图像区域；

处理模块202，用于对人脸图像区域进行处理，得到人脸图像区域的关键点信息，并确定出教师的教师表情；

评估模块204，用于根据确定出的所述教师表情，对教师表现力进行评估。

所述处理模块，具体用于：

基于预设尺寸对所述人脸图像区域进行缩放，得到缩放后的人脸图像区域；

将缩放后的人脸图像区域输入到人脸特征点和表情的联合模型PFLD_EMO中，利用PFLD_EMO对缩放后的人脸图像区域进行处理，得到人脸图像区域的水平方向和垂直方向上的归一化坐标，以及各表情的表情分值；

利用得到的人脸图像区域在水平方向和垂直方向上的归一化坐标与所述预设尺寸中的图像宽度信息，得到作为人脸图像区域的关键点信息的所述人脸图像区域的关键点坐标；

当所述人脸图像区域的关键点坐标的坐标值均在预设数值范围内时，确定采集到的教师图像中的人脸图像区域为有效人脸区域，并将各表情分值中最大的表情分值对应的面部表情确定为教师的教师表情。

所述评估模块，具体用于：

对有效人脸区域数量进行增量操作，得到增量操作操作后的有效人脸区域数量；

当确定出的所述教师表情属于预设的教师面部表情时，对有效表情数量进行增量操作，得到增量操作后的有效表情数量；

当确定出的所述教师表情与上一次确定出的教师表情不一致时，对表情变化数量进行增量操作，得到增量操作后的表情变化数量；

当距离上一次对教师表现力进行评估的时间长度达到预设时间长度时，将增量操作操作后的有效人脸区域数量确定为当前周期内的有效人脸区域数量，将增量操作操作后的有效表情数量确定为当前周期内的有效表情数量，将增量操作后的表情变化数量确定为当前周期内的表情变化数量；

获取当前周期内采集的教师图像数量；

当当前周期内的有效人脸区域数量与前周期内采集的教师图像数量的比值大于第一预设比例阈值时，统计各类面部表情的数量，并计算各类面部表情的数量与当前周期内的有效表情数量的比值；

当各类面部表情中的愤怒表情、鄙视表情、或者害怕表情与当前周期内的有效表情数量的比值大于第二预设比例阈值时，将愤怒表情的数量、鄙视表情的数量、或者害怕表情的数量从当前周期内的有效表情数量中去掉，对当前周期内的有效表情数量进行修订；

利用当前周期内的表情变化数量以及修订后的当前周期内的有效人脸区域数量，对当前周期内的教师表现力评估值进行计算，从而利用计算得到的当前周期内的教师表现力评估值对当前周期内的教师表现力进行评估。

所述评估模块，用于利用当前周期内的有效人脸区域数量以及当前周期内的表情变化数量，对当前周期内的教师表现力评估值进行计算，包括：

统计当前周期内的各类面部表情中高兴表情、惊讶表情、愤怒表情、鄙视表情、以及害怕表情的表情总数量；

通过以下公式，计算当前周期内的有效表情百分比：

当前周期内的有效表情百分比＝表情总数量/当前周期内的有效人脸区域数量；

通过以下公式，计算当前周期内的表情变化率：

当前周期内的表情变化率＝1.8*当前周期内的表情变化数量/当前周期内的有效人脸区域数量+0.2；

通过以下公式，计算当前周期内的教师表现力评估值：

当前周期内的教师表现力评估值＝100*当前周期内的有效表情百分比*当前周期内的表情变化率。

综上所述，本实施例提出的一种教师表现力的评估装置，通过对人脸图像区域进行处理，得到人脸图像区域的关键点信息的同时，可以确定出教师的教师表情，提高了处理效率；而且，根据确定出的所述教师表情，对教师表现力进行评估，从而评估教师的教学视频，分析课堂中的“高光片段”或者“平淡片段”，对教师自身业务水平的提升，以及课程分析、教师培训等方面都有着非常重要的意义。

实施例3

本实施例提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述实施例1描述的教师表现力的评估方法的步骤。具体实现可参见方法实施例1，在此不再赘述。

此外，参见图3所示的一种电子设备的结构示意图，本实施例还提出一种电子设备，上述电子设备包括总线51、处理器52、收发机53、总线接口54、存储器55和用户接口56。上述电子设备包括有存储器55。

本实施例中，上述电子设备还包括：存储在存储器55上并可在处理器52上运行的一个或者一个以上的程序，经配置以由上述处理器执行上述一个或者一个以上程序用于进行以下步骤(1)至步骤(3)：

(1)获取教师图像，对所述教师图像进行人脸检测，得到所述教师图像中的人脸图像区域；

(2)对人脸图像区域进行处理，得到人脸图像区域的关键点信息，并确定出教师的教师表情；

(3)根据确定出的所述教师表情，对教师表现力进行评估。

收发机53，用于在处理器52的控制下接收和发送数据。

其中，总线架构(用总线51来代表)，总线51可以包括任意数量的互联的总线和桥，总线51将包括由处理器52代表的一个或多个处理器和存储器55代表的存储器的各种电路链接在一起。总线51还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本实施例不再对其进行进一步描述。总线接口54在总线51和收发机53之间提供接口。收发机53可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。例如：收发机53从其他设备接收外部数据。收发机53用于将处理器52处理后的数据发送给其他设备。取决于计算系统的性质，还可以提供用户接口56，例如小键盘、显示器、扬声器、麦克风、操纵杆。

处理器52负责管理总线51和通常的处理，如前述上述运行通用操作系统。而存储器55可以被用于存储处理器52在执行操作时所使用的数据。

可选的，处理器52可以是但不限于：中央处理器、单片机、微处理器或者可编程逻辑器件。

可以理解，本发明实施例中的存储器55可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DRRAM)。本实施例描述的系统和方法的存储器55旨在包括但不限于这些和任意其它适合类型的存储器。

在一些实施方式中，存储器55存储了如下的元素，可执行模块或者数据结构，或者它们的子集，或者它们的扩展集：操作系统551和应用程序552。

其中，操作系统551，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序552，包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序552中。

综上所述，本实施例提出的一种计算机可读存储介质和电子设备，通过对人脸图像区域进行处理，得到人脸图像区域的关键点信息的同时，可以确定出教师的教师表情，提高了处理效率；而且，根据确定出的所述教师表情，对教师表现力进行评估，从而评估教师的教学视频，分析课堂中的“高光片段”或者“平淡片段”，对教师自身业务水平的提升，以及课程分析、教师培训等方面都有着非常重要的意义。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。