一种基于智能班牌的师生教学情况自动提醒方法

技术领域

本发明涉及信息处理技术领域，具体而言，涉及基于智能班牌的师生教学情况自动提醒方法。

背景技术

在学生上学过程中，师生教学情况往往是学校和家长最重视的一环，但是师生教学状况往往都是人为进行评价，并且评价方法不一，而且在评价老师的教学状况往往需要多个老师进行评价，这样就导致了老师资源的浪费，往往评价过程中如果其他老师进行提醒往往会打断教学，进而造成教学中断的情况，现需要一种能够智能评价老师上课时师生状况，并能够进行显示提醒的智能班牌。

发明内容

本发明的目的在于提供一种基于智能班牌的师生教学情况自动提醒方法，以改善上述问题。为了实现上述目的，本发明采取的技术方案如下：

一方面，本申请提供了一种基于智能班牌的师生教学情况自动提醒方法，包括：

获取第一信息和第二信息，所述第一信息为每节课教室内摄像头获取到的图像信息，所述第二信息为所有学生佩戴的拾音器采集到的音频信息；

基于所述第一信息进行学生位置比对和学生运动曲线模拟，得到每个学生的位置变化信息和运动曲线信息；

基于语音清晰度算法对所述第二信息进行语音清晰度计算，得到老师讲课的语音清晰度值；

将所有学生的位置变化信息、所有学生的运动曲线信息和老师讲课的语音清晰度值进行分析，并基于分析结果发送提醒信号。

另一方面，本申请还提供了一种基于智能班牌的师生教学情况自动提醒装置，包括：

获取单元，用于获取第一信息和第二信息，所述第一信息为每节课教室内摄像头获取到的图像信息，所述第二信息为所有学生佩戴的拾音器采集到的音频信息；

处理单元，用于基于所述第一信息进行学生位置比对和学生运动曲线模拟，得到每个学生的位置变化信息和运动曲线信息；

计算单元，用于基于语音清晰度算法对所述第二信息进行语音清晰度计算，得到老师讲课的语音清晰度值；

分析单元，用于将所有学生的位置变化信息、所有学生的运动曲线信息和老师讲课的语音清晰度值进行分析，并基于分析结果发送提醒信号。

本发明的有益效果为：

本发明通过对教学过程中教室内学生在上课时的图像和老师讲课时的声音进行处理，对学生在上课时的动作和位置变化进行分析，判断学生的位置是否离开座位，并且判断学生的头部动作是否离开黑板或者老师，判断老师讲课的声音是否达到预设的清晰度，进而判断师生教学情况是否符合要求，进而教学情况进行自动评分和提醒，减少需要用到的老师资源和减少人力物力，并且可以客观的评价老师的教学质量。

本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例中所述的基于智能班牌的师生教学情况自动提醒方法流程示意图；

图2为本发明实施例中所述的基于智能班牌的师生教学情况自动提醒装置结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

实施例1：

本实施例提供了一种基于智能班牌的师生教学情况自动提醒方法。

参见图1，图中示出了本方法包括步骤S1、步骤S2、步骤S3、步骤S4、步骤S5。

步骤S1、获取第一信息和第二信息，所述第一信息为每节课教室内摄像头获取到的图像信息，所述第二信息为所有学生佩戴的拾音器采集到的音频信息；

可以理解的是本步骤通过在教室内设置摄像头，并通过摄像头实时获取老师上课时的图像，并进行上传和存储，而且本步骤中的第二信息是通过在学生的校牌内设置一个拾音器进行音频采集，本发明还可以将拾音器设置在每个学生的课桌内或者学生坐凳的其他位置，这样可以监测到每个学生是否都能听清楚老师讲课。

步骤S2、基于所述第一信息进行学生位置比对和学生运动曲线模拟，得到每个学生的位置变化信息和运动曲线信息；

可以理解的是本步骤通过对摄像头获取到老师上课时的图像进行实时处理，进而实时判断学生是否在认真听讲，进而判断学生的上课情况，本步骤中步骤S2包括步骤S21、步骤S22和步骤S23。

步骤S21、基于所述第一信息建立三维空间直角坐标系，并确定每个学生在所述三维空间直角坐标系内的位置，得到每帧图像内所有学生的位置信息；

可以理解的是本步骤通过建立三维空间直角坐标系来确定每个学生所属的区域和位置，本步骤中步骤S21包括步骤S211、步骤S212、步骤S213和步骤S214。

将所述第一信息内的图像信息进行边缘检测，得到教室的边缘信息，所述边缘信息为教室的四个顶角信息和四个底角信息；

可以理解的是本步骤通过边缘检测，确定教室的顶角和底角，为建立直角坐标系提供坐标原点和坐标轴的方向。

基于所述教室的边缘信息建立三维空间直角坐标系，其中，以所述边缘信息中任一底角作为坐标原点，建立三维空间直角坐标系，得到教室的三维空间模型；

将第一信息内的每帧图像信息发送至所述教室的三维空间模型进行目标识别，得到每帧图像信息内所有学生的位置信息；

将所述每帧图像信息内学生的位置信息进行标号，得到标号后的学生位置信息。

可以理解的是本步骤通过目标识别确定教室内所有学生的位置，其中首先通过目标识别，识别第一信息的图像内所有课桌的位置，进而将课桌和学生进行一一对应，进而识别出学生位置，并将学生位置进行标号，相当于将每个学生位置发送至三维空间模型，并对每个学生的位置进行区域划分和标记。

步骤S22、将相邻帧图像内所有学生的位置信息进行对比，得到相邻帧图像内所有学生的位置信息的变化信息；

可以理解的是本步骤通过将相邻帧图像内的对应的学生位置进行对比，判断所述学生的位置信息变化，其中可以通过相邻帧图像的学生图像的像素点变化，判断学生的位置是否变化，并基于图像和现实中教室的比例进行计算，确定学生的移动距离，进而得到所有学生的位置信息的变化信息，其中所述变化信息包括学生的像素点变化信息和学生的移动距离信息。

步骤S23、将所述第一信息和所述三维空间直角坐标系进行关键点处理，并基于关键点处理得到的所有学生的头部关键点图像和手部关键点图像确定每帧图像内所有学生的头部运动曲线和手部运动曲线。

可以理解的是本步骤通过对第一信息进行关键点处理，判断学生的头部动作和手部动作，进而判读学生是否在认真听讲，本步骤中步骤S23包括步骤S231、步骤S232、步骤S233、步骤S234和步骤S235。

步骤S231、将所述每帧图像内所有学生的头部图像的像素点和手部图像的像素点进行二值化处理，得到二值化的头部图像和手部图像；

可以理解的是本步骤通过将所述所有学生的头部图像的像素点和手部图像的像素点进行二值化处理，进而将手部图像和头部图像的背景图像转化为同一像素点，这样可以快速确定学生手部图像轮廓和头部图像轮廓。

步骤S232、将所述二值化的头部图像和手部图像依次进行膨胀处理和腐蚀处理，得到去除噪声后的二值化图像；

可以理解的是本步骤通过对二值化的图像进行膨胀处理和腐蚀处理，消除掉图像内的噪声像素点，这样可以减少关键点信息的计算量，提高关键点的确定效率。

步骤S233、基于多元自适应回归样条算法对所述去除噪声后的二值化图像进行计算，得到拟合曲线的关键点信息。

可以理解的是本步骤中的自适应回归样条算法的计算公式如下：

其中，

步骤S234、将所有的所述拟合曲线的关键点信息分别发送三维空间直角坐标系进行坐标计算，得到所有的拟合曲线的关键点信息的坐标；

可以理解的是将所述关键点经过两次求导得到每个点的曲率，并将整个曲率数组进行均分成多份，计算每份的平均值，然后通过平均值的大小变化来找出曲线的驻点数量，对驻点所在区间内的点进行选择，进而反算出贝塞尔曲线的控制点，按照这些控制点，得到学生行为的动作模拟曲线。

步骤S235、基于贝塞尔曲线对所有的拟合曲线的关键点信息的坐标运动轨迹拟合，得到每帧图像内所有学生的头部运动曲线和手部运动曲线。

可以理解的是上述步骤内的运动轨迹拟合模型是通过贝塞尔曲线对关键点的坐标进行轨迹拟合，得到学生行为的动作模拟曲线，进而可以通过动作模拟曲线来判断学生动作是什么动作，这样可以简单快捷的对学生行为进行判断，判断学生是否正在听讲，例如学生转头或者手部在做传递动作代表学生没有听讲在聊天或者传递纸条。

步骤S3、基于语音清晰度算法对所述第二信息进行语音清晰度计算，得到老师讲课的语音清晰度值；

可以理解的是本步骤是为了判断老师讲课的声音每个学生是否都能听见，进而对老师讲课质量进行判断，防止学生是因为听不清楚老师讲课导致不专心听讲的情况出现，本步骤中步骤S3包括步骤S31、步骤S32、步骤S33和步骤S34。

步骤S31、将所有学生佩戴的拾音器采集到的音频信息发送至IIR带通滤波器进行频率段划分，得到至少两个频率段的音频信息；

可以理解的是上述的IIR带通滤波器可称为无限冲激响应滤波器，具有计算量小的特点，其中IIR带通滤波器的参数可通过matlab实现，其中频率段划分的步骤具体为躲避噪声音频中的能量高点，并在其他频段以倍频的方式进行输出，确定中心频点，进而划分频率段。

步骤S32、将至少两个频率段的音频信息和预设的老师音频信息进行对比，得到每个拾音器采集到的老师的音频信息和噪声的音频信息；

可以理解的是本步骤中的噪声包括学生的交谈声，桌椅移动产生的噪声等声音。

步骤S33、基于语音清晰度算法对每个拾音器采集到的老师的音频信息和噪声的音频信息进行计算，得到每个拾音器采集到的老师的音频信息的清晰度值；

可以理解的是语音清晰度算法包括建立噪声对老师的语音清晰度SII影响的关系公式：

其中，下标i表示第i个频带，I为不同频带的权重系数，L表示语音失真度，K表示噪声对老师的音频信息的遮掩效应；

令

其中，E为频带内的语音信号能量，U为正常语音能量的标准值。

其中，D为噪声对老师的音频信息的掩蔽效应后的等效噪声功率，并且D满足公式：

其中，

上述，下标

步骤S34、将所有的清晰度值进行对比，并将最小的清晰度值作为老师讲课的语音清晰度值。

可以理解的是本步骤通过将每个学生接收到的老师的音频信息的清晰度值进行对比，选取最小的作为老师讲课的语音清晰度值，防止老师讲课出现有些同学听着清晰有些同学听着不清晰的情况出现，本发明还可以在最边缘的四个角落设置拾音器，进而在计算四个角落的语音清晰度值，进而确定每个学生是否都能听到。

步骤S4、将所有学生的位置变化信息、所有学生的运动曲线信息和老师讲课的语音清晰度值进行分析，并基于分析结果发送提醒信号。

可以理解的是本步骤通过对师生教学情况中的所有学生的位置变化信息、所有学生的运动曲线信息和老师讲课的语音清晰度值这三个指标进行分析，判断这三个指标是否符合要求，本步骤中步骤S4包括步骤S41、步骤S42、步骤S43、步骤S44和步骤S45。

步骤S41、将所有学生的位置变化信息、所有学生的运动曲线信息和老师讲课的语音清晰度值建立层次结构模型；

步骤S42、基于所述层次结构模型，逐层对所述因素的重要性进行比较，构造判别矩阵；

步骤S43、基于所述判别矩阵分别计算特征向量，并基于所述特征向量得到所有学生的位置变化信息的权重值、所有学生的运动曲线信息的权重值和老师讲课的语音清晰度值的权重值；

可以理解的是本步骤通过层次分析法确定所述判别矩阵分别计算特征向量，并基于所述特征向量得到所有学生的位置变化信息的权重值、所有学生的运动曲线信息的权重值和老师讲课的语音清晰度值的权重值，进而将上述所有权重值对上述三个指标进行打分，打分可以基于预设的分值范围，例如，学生的位置变化距离为0-10CM，得10分，10-50CM得5分，50CM以上得0分，将学生的运动曲线进行动作模拟，并将模拟的动作进行与预设动作进行对应，其中如学生的头部模拟动作为左右晃动、上下晃动为得0分，平视前方则得10分，学生的手部模拟动作为传递东西为得0分，学生的手部模拟动作为平铺桌面则得10分，老师讲课的语音清晰度值位于预设的范围得10分，小于预设的范围则得0分，所述预设的范围为学生能听清楚声音的范围。

步骤S44、并基于所有学生的位置变化信息的权重值、所有学生的运动曲线信息的权重值和老师讲课的语音清晰度值的权重值对师生教学情况进行评分，得到师生教学情况总分值；

可以理解的是本步骤经过对应预设的分值范围获取师生教学情况的实时分值，并将所述实时分值与权重相乘，确定实时的师生教学情况的总分值。

步骤S45、将所述师生教学情况总分值与预设的阈值进行对比，若所述师生教学情况总分值小于预设的阈值，则发送提醒教室上课质量不达标的信息至班牌进行显示。

可以理解的是本步骤通过判断实时的师生教学情况的总分值是否大于预设的分值，进而判断实时的师生教学情况是否符合要求，如果不符合要求，则通过智能班牌进行显示，其中可以在智能班牌上设置信号灯，若师生教学情况不符合要求，则显示红灯，并提示老师。

实施例2：

如图2所示，本实施例提供了一种基于智能班牌的师生教学情况自动提醒装置，所述装置包括获取单元701、处理单元702、计算单元703和分析单元704。

获取单元701，用于获取第一信息和第二信息，所述第一信息为每节课教室内摄像头获取到的图像信息，所述第二信息为所有学生佩戴的拾音器采集到的音频信息；

处理单元702，用于基于所述第一信息进行学生位置比对和学生运动曲线模拟，得到每个学生的位置变化信息和运动曲线信息；

优选地，所述处理单元702包括第一处理子单元7021、第一对比子单元7022和第二处理子单元7023。

第一处理子单元7021，用于基于所述第一信息建立三维空间直角坐标系，并确定每个学生在所述三维空间直角坐标系内的位置，得到每帧图像内所有学生的位置信息；

优选地，所述第一处理子单元7021包括第三处理子单元70211、第四处理子单元70212、第一发送子单元70213和第五处理子单元70214。

第三处理子单元70211，用于将所述第一信息内的图像信息进行边缘检测，得到教室的边缘信息，所述边缘信息为教室的四个顶角信息和四个底角信息；

第四处理子单元70212，用于基于所述教室的边缘信息建立三维空间直角坐标系，其中，以所述边缘信息中任一底角作为坐标原点，建立三维空间直角坐标系，得到教室的三维空间模型；

第一发送子单元70213，用于将第一信息内的每帧图像信息发送至所述教室的三维空间模型进行目标识别，得到每帧图像信息内所有学生的位置信息；

第五处理子单元70214，用于将所述每帧图像信息内学生的位置信息进行标号，得到标号后的学生位置信息。

第一对比子单元7022，用于将相邻帧图像内所有学生的位置信息进行对比，得到相邻帧图像内所有学生的位置信息的变化信息；

第二处理子单元7023，用于将所述第一信息和所述三维空间直角坐标系进行关键点处理，并基于关键点处理得到的所有学生的头部关键点图像和手部关键点图像确定每帧图像内所有学生的头部运动曲线和手部运动曲线。

优选地，所述第二处理子单元7023包括第六处理子单元70231、第七处理子单元70232、第一计算子单元70233、第二计算子单元70234和第八处理子单元70235。

第六处理子单元70231，用于将所述每帧图像内所有学生的头部图像的像素点和手部图像的像素点进行二值化处理，得到二值化的头部图像和手部图像；

第七处理子单元70232，用于将所述二值化的头部图像和手部图像依次进行膨胀处理和腐蚀处理，得到去除噪声后的二值化图像；

第一计算子单元70233，用于基于多元自适应回归样条算法对所述去除噪声后的二值化图像进行计算，得到拟合曲线的关键点信息。

第二计算子单元70234，用于将所有的所述拟合曲线的关键点信息分别发送三维空间直角坐标系进行坐标计算，得到所有的拟合曲线的关键点信息的坐标；

第八处理子单元70235，用于基于贝塞尔曲线对所有的拟合曲线的关键点信息的坐标运动轨迹拟合，得到每帧图像内所有学生的头部运动曲线和手部运动曲线。

计算单元703，用于基于语音清晰度算法对所述第二信息进行语音清晰度计算，得到老师讲课的语音清晰度值；

优选地，所述计算单元703包括第二发送子单元7031、第二对比子单元7032、第三计算子单元7033和第三对比子单元7034。

第二发送子单元7031，用于将所有学生佩戴的拾音器采集到的音频信息发送至IIR带通滤波器进行频率段划分，得到至少两个频率段的音频信息；

第二对比子单元7032，用于将至少两个频率段的音频信息和预设的老师音频信息进行对比，得到每个拾音器采集到的老师的音频信息和噪声的音频信息；

第三计算子单元7033，用于基于语音清晰度算法对每个拾音器采集到的老师的音频信息和噪声的音频信息进行计算，得到每个拾音器采集到的老师的音频信息的清晰度值；

第三对比子单元7034，用于将所有的清晰度值进行对比，并将最小的清晰度值作为老师讲课的语音清晰度值。

分析单元704，用于将所有学生的位置变化信息、所有学生的运动曲线信息和老师讲课的语音清晰度值进行分析，并基于分析结果发送提醒信号。

优选地，所述分析单元704包括第九处理子单元7041、第四对比子单元7042、第四计算子单元7043、第十处理子单元7044和第五对比子单元7045。

第九处理子单元7041，用于将所有学生的位置变化信息、所有学生的运动曲线信息和老师讲课的语音清晰度值建立层次结构模型；

第四对比子单元7042，用于基于所述层次结构模型，逐层对所述因素的重要性进行比较，构造判别矩阵；

第四计算子单元7043，用于基于所述判别矩阵分别计算特征向量，并基于所述特征向量得到所有学生的位置变化信息的权重值、所有学生的运动曲线信息的权重值和老师讲课的语音清晰度值的权重值；

第十处理子单元7044，用于并基于所有学生的位置变化信息的权重值、所有学生的运动曲线信息的权重值和老师讲课的语音清晰度值的权重值对师生教学情况进行评分，得到师生教学情况总分值；

第五对比子单元7045，用于将所述师生教学情况总分值与预设的阈值进行对比，若所述师生教学情况总分值小于预设的阈值，则发送提醒教师上课质量不达标的信息至班牌进行显示。

需要说明的是，关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。