基于深度学习的课堂抬头率检测系统

技术领域

本发明涉及大数据、人脸检测、抬头行为识别等领域，具体涉及一种基于深度学习的课堂抬头率检测系统的方法。

背景技术

随着我国经济的发展和科技实力的提升，手机等电子产品已经。游戏、电子图书的流行导致很多学生尤其是管理相对松散的大学生沉迷于电子产品，沉迷于游戏。课堂中存在学生低头玩游戏看网络小说等不良现象。这种行为违反学生守则，而且破坏了课堂的学习环境，成为每一个高校不得不去重视的问题。目前的课堂纪律主要靠老师监督和学生自觉，但不能有效地保证课堂纪律，虽然很多教室都有安装监控录像，但从人力物力的浪费和操作的简单性便捷性以及输出结果的简洁明确性来说，监控录像不足以支撑高校课堂教学活动的现实需求，更无法有效的对教学活动过程中的每一个学生的学习状态进行检测和统计。

近年来的人工智能领域发展迅猛，尤其是以深度学习为代表的机器学习技术在自然语言处理和计算机视觉技术领域获得了突破性的进展，信息的收集和处理变得越来越方便，人脸检测技术有很大的突破。所以本发明设计出一种基于深度学习的课堂抬头率检测系统，把人脸检测技术运用到高校的教学评估中，实时检测学生在课堂上的抬头情况，收集分析数据从而研究学生的听课质量，反映学生的学习质量，从而达到指导高校教学质量的评估研究，促进高校进行教学改革和完善教学体系的目的。

发明内容

本发明提供一种基于深度学习的课堂抬头率检测系统，主要包括以下步骤：

S1，通过安装在各个教室的摄像头获取视频信息，采集图片制作抬头行为识别数据集；

S2，针对视频信息采用人脸检测算法MTCNN，包括三个级联的网络，使用候选框加分类器的思想，进行高效人脸检测；

S3，人脸检测后进行抬头行为识别和统计，获取每节课堂抬头率随时间变化等信息；

S4，采用Web服务的方式通过网页进行数字化的显示。

进一步可选地，如上所述的方法中，所述步骤S1中的抬头识别的数据库需要自行建立。通过网络摄像机+网络硬盘录像机获取视频信息，系统涉及摄像头连入NVR设备，用于读取摄像头的视频流数据并保存为视频文件。

进一步可选地，如上所述的方法中，所述步骤S2中的人脸检测通过机器学习的方法，包括使用一个新框架整合两个任务并采用统一级联的CNN进行多任务学习。

进一步可为实现上述目的，本发明提供如下技术方案：研究大学课堂教室等密集场景下多人人脸检测技术，在此基础上应用检测结果对教室内人员数量进行统计以及对课堂内学生抬头行为进行识别，得到课堂内抬头率完成教学分析。选地，如上所述的方法中，步骤S3中的抬头识别通过自建数据集训练模型。达到通过模型识别学生抬头听课的状态目标。

进一步可选地，如上所述的方法中，步骤S3中的抬头识别与统计，使用自建数据集训练模型，达到通过模型识别学生抬头听课状态。

进一步可选地，如上所述的方法中，步骤S4中的数字化显示部分采用B/S结构（Browser/Server，浏览器/服务器模式），客户端运行于Web浏览器中，用户通过Internet获取服务器信息。

本发明提供一种基于深度学习的课堂抬头率检测系统，其特征在于，所述系统包括：

视频采集模块，用于获取信息制作抬头行为识别数据集；

人脸检测与分析模块，用于进行抬头行为识别和人员统计；

视频信息处理模块，用于进行抬头率的计算；

数字化显示模块，用于实时显示抬头率等信息。

本发明的有益效果为：通过人脸检测和抬头行为识别，得到课堂抬头率数据，实现实时监测显示课堂学生抬头率，收集分析数据从而研究学生的听课状态，反应学生学习质量，更好指导高校教学质量的评估研究，促进高校进行教学改革和完善教学体系。

附图说明

图1为本发明的基于深度学习的课堂抬头率检测系统整体技术路线图。

具体实施方式

下面结合说明书附图对于本发明的技术方案作进一步详细说明。

一种基于深度学习的课堂抬头率检测系统，下文提出一种实施方案。

由网络摄像机+网络硬盘录像机（Network Video Recorder，NVR）进行视频采集。系统将所有摄像头连入NVR设备。NVR设备读取所有摄像头的视频流数据并保存成视频文件，同时也可通过NVR设备实时访问各个摄像头的实时视频流数据。针对教室特定场景制作抬头行为识别数据集，预计数据集由10k张图片组成，并使用开源工具labelImg标注了6k张抬头状态图、4k张非抬头状态图，并按照3：1比例划分为训练集和测试集，进入步骤S2。

测试涉及到项目数据集如表一所示。

表一项目数据集说明

步骤S2中人脸检测主要用于解决对视频中人脸的识别与定位，为后续抬头行为识别奠定基础。其中本发明人脸检测的算法使用MTCNN算法，即多任务卷积神经网络。该算法主要采用了三个级联的网络，采用候选框加分类器的思想，进行快速高效的人脸检测。三个级联的网络分别是快速生成候选窗口的P-Net、进行高精度候选窗口过滤选择的R-Net和生成最终边界框与人脸关键点的O-Net。该模型也用到图像金字塔、边框回归、非最大值抑制等技术。

多任务卷积神经网络(MTCNN)实现人脸检测与对齐主要是通过CNN模型级联实现了多任务学习网络。整个模型分为三个阶段，第一阶段通过一个浅层的CNN网络快速产生一系列的候选窗口；第二阶段通过一个能力更强的CNN网络过滤掉绝大部分非人脸候选窗口；第三阶段通过一个能力更加强的网络找到人脸上面的五个标记点。

步骤S3中抬头行为识别在已建数据集的基础上，抬头行为的识别采用卷积神经网络作为识别模型。设置网络的输入图像为32×32，此尺寸能够比较准确地识别出学生的抬头低头姿态。卷积神经网络共使用3个卷积层，3个最大池化层和2个全连接层，最后网络输出正负类别的概率。网络根据人脸检测算法得到的课堂中每个学生的人脸位置，从图像中取出每个学生的人脸图，并统一缩放到 32x32 的大小，通过网络计算每个学生抬头状态的概率值，并通过最后阈值的设定来过滤掉低头的学生，最终可以计算得到课堂中学生的抬头人数及其在教室中位置。进入步骤S4。

设计系统利用固定一段时间内的连续多帧图像数据，结合这些图像中检测到的学生人脸位置来统计当前时间段内课堂的总人数，并将这一时间段内统计到的人数作为下个时间段里统计抬头率的总人数。数字化显示部分使用B/S结构（Browser/Server，浏览器/服务器模式），客户端运行在Web浏览器上。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。