一种检测在线考试中考生双耳佩戴违禁物品的方法和存储设备

技术领域

本发明涉及图像处理技术领域，特别涉及一种检测在线考试中考生双耳佩戴违禁物品的方法和存储设备。

背景技术

在线考试以一种更灵活便捷的形式在传统考试的基础上实现了革新，极大地方便考生和监考人员，无需拘束于考场内，在任何地方，只要使用可联网的移动设备便可远程参与考试。在线考试可帮助老师督促检验考生对某一学科的学习与掌握程度，学生也可通过在线学习与考试进行自主学习。然而，由于考生所处考试环境复杂多样，线上考试作弊方式更加复杂隐蔽难以察觉，考生诚信程度成为考试结果可信度的一大衡量点，同时加重了监考官的监考压力，需要投入大量人力成本，以检测考生可能存在的违反考试规定的情况和作弊行为。其中，考生双耳可能佩戴耳机等智能设备，通过语音交流的方式从协助者处获得资源与答案；佩戴装有隐藏摄像头的耳饰拍摄考题传输给协助者；考生耳朵被头发遮挡造成耳朵检测困难等。耳机、耳饰等成为在线考试场景中的考试违禁物品，考生双耳成为了在线考试监考过程中需要检测的一大重点。然而，由于考生双耳佩戴的智能设备或其他违禁品存在形式多样、体积较小、利用头发遮盖等情况，在没有设置智能考前检测的人工在线监考情况下难以察觉。

发明内容

为此，需要提供一种检测在线考试中考生双耳佩戴违禁物品的方法，用以解决在线考试中考生耳朵佩戴作弊设备无法被智能检测出来的问题，具体技术方案如下：

一种检测在线考试中考生双耳佩戴违禁物品的方法，包括步骤：

通过预定义检测窗口获取目标画面；

对所述目标画面进行预处理操作；

对预处理操作后的目标画面进行待检测目标定位，若定位到待检测目标，则通过预设矩形框提取待检测画面，所述待检测目标包括：耳朵；

对所述预设矩形框提取的待检测画面进行特征加强操作，输入特征加强操作后的待检测画面至深度分类网络，输出判断结果。

进一步的，所述预处理操作包括以下中的一种或多种：中值滤波、直方图均衡化、灰度拉伸；

所述加强操作包括以下中的一种或多种：边缘检测、肤色检测。

进一步的，所述“对预处理操作后的目标画面进行待检测目标定位”后，还包括步骤：若未定位到待检测目标，则发出提示用于告知考生重新进行画面拍摄。

进一步的，还包括步骤：若判断结果为异常，则触发人工检测功能，对待检测画面进行二次判断。

为解决上述技术问题，还提供了一种存储设备，具体技术方案如下：

一种存储设备，其中存储有指令集，所述指令集用于执行：

通过预定义检测窗口获取目标画面；

对所述目标画面进行预处理操作；

对预处理操作后的目标画面进行待检测目标定位，若定位到待检测目标，则通过预设矩形框提取待检测画面，所述待检测目标包括：耳朵；

对所述预设矩形框提取的待检测画面进行特征加强操作，输入特征加强操作后的待检测画面至深度分类网络，输出判断结果。

进一步的，所述指令集还用于执行：所述预处理操作包括以下中的一种或多种：中值滤波、直方图均衡化、灰度拉伸；

所述加强操作包括以下中的一种或多种：边缘检测、肤色检测。

进一步的，所述指令集还用于执行：所述“对预处理操作后的目标画面进行待检测目标定位”后，还包括步骤：若未定位到待检测目标，则发出提示用于告知考生重新进行画面拍摄。

进一步的，所述指令集还用于执行：若判断结果为异常，则触发人工检测功能，对待检测画面进行二次判断。

本发明的有益效果是：通过预定义检测窗口获取目标画面；对所述目标画面进行预处理操作；对预处理操作后的目标画面进行待检测目标定位，若定位到待检测目标，则通过预设矩形框提取待检测目标，所述待检测目标包括：耳朵，获取到含有耳朵及耳朵周围图像的待检测画面；对所述待检测画面进行特征加强操作，输入特征加强操作后的待检测画面至深度分类网络，输出判断结果，进而根据判断结果辅助知道考生是否违规。

附图说明

图1为具体实施方式所述一种检测在线考试中考生双耳佩戴违禁物品的方法的流程图；

图2为具体实施方式所述一种检测在线考试中考生双耳佩戴违禁物品的方法的应用流程示意图；

图3为具体实施方式所述一种存储设备的模块示意图。

附图标记说明：

300、存储设备。

具体实施方式

为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。

请参阅图1至图2，在本实施方式中，一种检测在线考试中考生双耳佩戴违禁物品的方法可应用在一种存储设备上，所述存储设备包括但不限于：个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备等。

实际应用场景中，上述方法应用在网上在线考试过程中，考生身份认证之后和考生开启考试之前，旨在无监考官实时针对监考的情况下，于考前设置预防性的作弊检测，智能分析考生双耳是否存在违反考试规定的异常情况。检测结果为异常时将结果提交至监考官端，能够在一定程度上预防并规避考生考试期间发生的作弊可能，同时减轻了监考官需实时关注监考画面的负担。本申请具有减少人力劳动、资源优化、运行速度快、精度高、负载小、实时检测等特点。

具体实施方式如下：

步骤S101：通过预定义检测窗口获取目标画面。具体可如下：系统在检测界面中定义检测窗口区域，考生配合系统指令向摄像头展示双耳，同时考生余光要注意摄像头捕捉画面中双耳是否出现在检测窗口中，模块仅截取预定义检测窗口中图像，避免考生所处复杂背景画面的干扰。

在本实施方式中，考生双耳状态被定义为正常、异常与未检测到目标3类情况。正常情况下，考生露出双耳全貌，耳朵状态呈现光裸无异物，耳朵上无佩戴耳机、耳饰或其他考试违禁物品；与此相反的情况，将定义为异常情况；画面中没有检测到考生的耳朵时，将定义为未检测到目标的情况。

步骤S102：对所述目标画面进行预处理操作。所述预处理操作包括以下中的一种或多种：中值滤波、直方图均衡化、灰度拉伸。具体可如下：考虑到各考生使用的存储设备上用于拍摄的摄像头拥有不同的像素与性能，同时各考生所处考试环境造成了考试画面中呈现不同程度的光照与噪声干扰，为了减少这些不良影响，需要对视频中截取的目标画面进行预处理操作，常用的有中值滤波、直方图均衡化、灰度拉伸等方法。预处理过程中的处理顺序是先进行中值滤波操作，去除图像中的噪声干扰，之后通过直方图均衡化减少光线变化和噪声对步骤S101截取下的图像的影响，之后再通过灰度拉伸，扩展图像的直方图，使其充满整个灰度等级范围内，改善截取图像。经过上述预处理操作后，截取图像在对比度上进行了增强，使得画面中的目标具有更加清晰的轮廓，有利于后续深度分类网络在目标耳朵轮廓上的特征提取与分析。

步骤S103：对预处理操作后的目标画面进行待检测目标定位，若定位到待检测目标，则通过预设矩形框提取待检测画面，所述待检测目标包括：耳朵。

步骤S104：对所述预设矩形框提取的待检测画面进行特征加强操作。

步骤S105：输入特征加强操作后的待检测画面至深度分类网络，输出判断结果。步骤S103至步骤S105具体可如下：

结合耳朵耳型、生物结构等特征，通过搜集大量含有人耳的图片数据集，对数据集进行操作，利用矩形框框出图片中包含的目标耳朵，之后将具有标记的图片数据集基于一端到端的深度神经网络的对象识别和定位算法进行训练，将物体检测作为回归问题求解，完成从原始图像的输入到物体位置、类别以及相应置信概率的输出，使网络具备对目标物的特征分析与识别定位能力。在对原始图像进行目标检测时，检测的目标预测置信度在大于设定阈值时，即判断为图像中存在目标，利用矩形框提取出目标耳朵。对于提取出的目标耳朵，利用边缘检测与肤色检测技术，可以获取到目标耳朵上的轮廓信息，通过增强目标轮廓上的线条，使其与背景之间的对比度增强，耳朵轮廓更加清晰，有利于后续深度分类器对目标物是否存在异常情况作出判断，根据不同情况耳朵上所反映的特征表现，得出判断，分类网络将输出包括“正常”与“异常”两类情况之一，输出检测结果。

所述“对预处理操作后的目标画面进行待检测目标定位”后，还包括步骤：若未定位到待检测目标，则发出提示用于告知考生重新进行画面拍摄。

进一步的，还包括步骤：若判断结果为异常，则触发人工检测功能，对待检测画面进行二次判断。具体可如下：结果为异常时，触发人工检测功能，引导监考官对系统判定的异常情况进行二次判断。判定异常，则要求考生整改；判定正常，模块输出检测结束。若判断结果为正常，即考生于双耳处未发生异常情况，无作弊嫌疑，模块输出检测结果，检测结束。

通过预定义检测窗口获取目标画面；对所述目标画面进行预处理操作；对预处理操作后的目标画面进行待检测目标定位，若定位到待检测目标，则通过预设矩形框提取待检测目标，所述待检测目标包括：耳朵，获取到含有耳朵及耳朵周围图像的待检测画面；对所述待检测画面进行特征加强操作，输入特征加强操作后的待检测画面至深度分类网络，输出判断结果，进而根据判断结果辅助知道考生是否违规。

整个过程中智能检测部分无需人工参与，实施上能减少人力劳动，具有资源优化、运行速度快、精度高、负载小、实时检测的特点。于在线考试场景下，该算法位于考生身份认证之后、考生开启考试之前，在无监考官情况下进行智能检测，减轻了监考官的监考压力，辅助其对考生进行作弊分析，同时也在考前有效规避了考生部分作弊嫌疑，起到警示作用。

根据耳朵在结构与生物特征上的特点，结合其轮廓曲线与肤色，同时考虑到不同耳机耳饰的佩戴方式，致使其在耳朵上未必能完全检测到，于是用矩形框将检测画面中的目标物包含其周围一圈上的背景从画面中分割提取出，最大限度消除了耳朵外的背景干扰，同时也有助于提升后续特征分析深度分类网络的表现性能。

相比起一般针对耳朵采取的在干扰情况(耳机、耳饰、头发遮挡)下的耳朵识别任务，与此相反的，本申请是基于耳朵检测中检测存在异常干扰检测，通过特征分析深度分类网络对目标耳朵上的情况作出分类，无需定位耳朵上发生异常的位置，仅需判断出存在异常情况即可。

请参阅图2，上述方案更具体的实施方式可如下：

步骤1、系统通过画面提取模块发出指令，指示考生按照系统发出的指令与demo(动画、视频或图例)进行动作。

系统指令指示考生动作，将通过语音进行指导，以动画、视频或图例的方式向考生作出示范。

步骤2、系统触发定时器，考生须在规定时间内做出系统指示的对应动作，确保自己的双耳出现在监测画面限定区域内。

考生按照系统提示，在系统摄像头前转头展示左右耳，应确保耳朵出现在系统检测画面区域内，保持数秒，等待系统截屏。

步骤3、系统定时器定时结束，系统触发画面提取模块中的截屏功能，截取检测区域内图片。

步骤4、对截取图片，系统触发画面提取模块中的图片预处理功能，对图片进行包括中值滤波、直方图均衡化、灰度拉伸等预处理操作，并作为画面提取模块的输出，输出考生人脸侧面待检测图。

步骤5、画面提取模块输出的待检测图片，作为智能检测异常分析模块的输入。系统触发模块中的检测定位功能，检测画面中是否存在目标物，并对目标物进行定位。画面中未检测到目标物时，智能检测异常分析模块将直接输出“未检测到目标”结果。若画面中检测结果为存在目标物时，将返回目标物中心点坐标值与包含目标的矩形框的长宽数据。考虑到耳朵上佩戴的物品或将有部分超出耳朵之外，决定采用能完全包含耳朵并保留其周围一定范围的矩形框。因此我们对检测定位功能返回的矩形框的长宽数据进行适当扩充，利用目标物中心点坐标与扩充后的分割矩形将目标从检测画面中分割出来，再利用边缘检测与肤色检测等技术加强目标耳朵中的特征表现。

步骤6、系统通过步骤5中检测定位与目标提取功能，得到了进一步提取出的目标物。深度分类网络(如SqueezeNet、vgg等)通过训练，通过卷积层和池化层的处理学习到图片深层意义的特征，有良好的图像特征提取性能，使得其在基于耳朵上的特征提取上有较好的分类效果。网络结合耳朵耳型、生物结构等特征，对输入的分割目标进行特征提取与分析，根据异常耳朵上不同违禁物品将对耳朵轮廓线条造成的干扰进行分析学习，判断考生耳朵是否存在异常情况，进而分类得出判断结果，输出“正常”或“异常”2类结果之一，作为智能检测异常分析模块的输出。通过训练深度分类网络，如vgg网络，发现在深层网络结构中，以前四层卷积层后接全连接层训练能达到与全网络结构训练相同性能的分类效果，SqueezeNet网络提出新的网络架构Fire Module，通过减少参数来进行模型压缩，其参数数量是等性能的AlexNet的2.14％，能够在ImageNet数据集上达到AlexNet近似的效果，但参数比AlexNet少50倍，结合他们的模型压缩技术,模型文件可比AlexNet小510倍。在保证深度学习的情况下，精简网络结构，加速判定速度，进一步缩短了检测判定的时间。

步骤7、智能检测异常分析模块输出的检测结果，作为响应操作模块的输入。输入结果为未检测到目标时，即系统认定画面中未出现考生双耳，将提示考生重新进行检测，系统状态将再重置回画面提取模块，跳回到步骤1。

步骤8、响应操作模块的输入结果为异常时，模块触发人工检测功能，引导监考官对系统判定的异常情况进行二次判断。监考官判定无嫌疑，跳过步骤9，模块输出检测结束；监考官判定异常即佩戴考试违禁物品等，则将警告学生，提示其做出整改，直至监考官判定无嫌疑。

步骤9、响应操作模块的输入结果为正常时，即考生于双耳处未发生异常情况，无作弊嫌疑，模块输出检测结束。

请参阅图2至图3，在本实施方式中，一种存储设备300的具体实施方式如下：

一种存储设备300，其中存储有指令集，所述指令集用于执行：

通过预定义检测窗口获取目标画面。具体可如下：系统在检测界面中定义检测窗口区域，考生配合系统指令向摄像头展示双耳，同时考生余光要注意摄像头捕捉画面中双耳是否出现在检测窗口中，模块仅截取预定义检测窗口中图像，避免考生所处复杂背景画面的干扰。

在本实施方式中，考生双耳状态被定义为正常、异常与未检测到目标3类情况。正常情况下，考生露出双耳全貌，耳朵状态呈现光裸无异物，耳朵上无佩戴耳机、耳饰或其他考试违禁物品；与此相反的情况，将定义为异常情况；画面中没有检测到考生的耳朵时，将定义为未检测到目标的情况。

对所述目标画面进行预处理操作。所述预处理操作包括以下中的一种或多种：中值滤波、直方图均衡化、灰度拉伸。

对预处理操作后的目标画面进行待检测目标定位，若定位到待检测目标，则通过预设矩形框提取待检测画面，所述待检测目标包括：耳朵；

对所述预设矩形框提取的待检测画面进行特征加强操作，输入特征加强操作后的待检测画面至深度分类网络，输出判断结果。具体可如下：

结合耳朵耳型、生物结构等特征，通过搜集大量含有人耳的图片数据集，对数据集进行操作，利用矩形框框出图片中包含的目标耳朵，之后将具有标记的图片数据集基于一端到端的深度神经网络的对象识别和定位算法进行训练，将物体检测作为回归问题求解，完成从原始图像的输入到物体位置、类别以及相应置信概率的输出，使网络具备对目标物的特征分析与识别定位能力。在对原始图像进行目标检测时，检测的目标预测置信度在大于设定阈值时，即判断为图像中存在目标，利用矩形框提取出目标耳朵。对于提取出的目标耳朵，利用边缘检测与肤色检测技术，可以获取到目标耳朵上的轮廓信息，通过增强目标轮廓上的线条，使其与背景之间的对比度增强，耳朵轮廓更加清晰，有利于后续深度分类器对目标物是否存在异常情况作出判断，根据不同情况耳朵上所反映的特征表现，得出判断，分类网络将输出包括“正常”与“异常”两类情况之一，输出检测结果。

进一步的，所述指令集还用于执行：所述“对预处理操作后的目标画面进行待检测目标定位”后，还包括步骤：若未定位到待检测目标，则发出提示用于告知考生重新进行画面拍摄。

进一步的，所述指令集还用于执行：若判断结果为异常，则触发人工检测功能，对待检测画面进行二次判断。具体可如下：结果为异常时，触发人工检测功能，引导监考官对系统判定的异常情况进行二次判断。判定异常，则要求考生整改；判定正常，模块输出检测结束。若判断结果为正常，即考生于双耳处未发生异常情况，无作弊嫌疑，模块输出检测结果，检测结束。

通过预定义检测窗口获取目标画面；对所述目标画面进行预处理操作；对预处理操作后的目标画面进行待检测目标定位，若定位到待检测目标，则通过预设矩形框提取待检测目标，所述待检测目标包括：耳朵，获取到含有耳朵及耳朵周围图像的待检测画面；对所述待检测画面进行特征加强操作，输入特征加强操作后的待检测画面至深度分类网络，输出判断结果，进而根据判断结果辅助知道考生是否违规。

整个过程中智能检测部分无需人工参与，实施上能减少人力劳动，具有资源优化、运行速度快、精度高、负载小、实时检测的特点。于在线考试场景下，该算法位于考生身份认证之后、考生开启考试之前，在无监考官情况下进行智能检测，减轻了监考官的监考压力，辅助其对考生进行作弊分析，同时也在考前有效规避了考生部分作弊嫌疑，起到警示作用。

根据耳朵在结构与生物特征上的特点，结合其轮廓曲线与肤色，同时考虑到不同耳机耳饰的佩戴方式，致使其在耳朵上未必能完全检测到，于是用矩形框将检测画面中的目标物包含其周围一圈上的背景从画面中分割提取出，最大限度消除了耳朵外的背景干扰，同时也有助于提升后续特征分析深度分类网络的表现性能。

相比起一般针对耳朵采取的在干扰情况(耳机、耳饰、头发遮挡)下的耳朵识别任务，与此相反的，本申请是基于耳朵检测中检测存在异常干扰检测，通过特征分析深度分类网络对目标耳朵上的情况作出分类，无需定位耳朵上发生异常的位置，仅需判断出存在异常情况即可。

步骤1、系统通过画面提取模块发出指令，指示考生按照系统发出的指令与demo(动画、视频或图例)进行动作。

系统指令指示考生动作，将通过语音进行指导，以动画、视频或图例的方式向考生作出示范。

步骤2、系统触发定时器，考生须在规定时间内做出系统指示的对应动作，确保自己的双耳出现在监测画面限定区域内。

考生按照系统提示，在系统摄像头前转头展示左右耳，应确保耳朵出现在系统检测画面区域内，保持数秒，等待系统截屏。

步骤3、系统定时器定时结束，系统触发画面提取模块中的截屏功能，截取检测区域内图片。

步骤4、对截取图片，系统触发画面提取模块中的图片预处理功能，对图片进行包括中值滤波、直方图均衡化、灰度拉伸等预处理操作，并作为画面提取模块的输出，输出考生人脸侧面待检测图。

步骤5、画面提取模块输出的待检测图片，作为智能检测异常分析模块的输入。系统触发模块中的检测定位功能，检测画面中是否存在目标物，并对目标物进行定位。画面中未检测到目标物时，智能检测异常分析模块将直接输出“未检测到目标”结果。若画面中检测结果为存在目标物时，将返回目标物中心点坐标值与包含目标的矩形框的长宽数据。考虑到耳朵上佩戴的物品或将有部分超出耳朵之外，决定采用能完全包含耳朵并保留其周围一定范围的矩形框。因此我们对检测定位功能返回的矩形框的长宽数据进行适当扩充，利用目标物中心点坐标与扩充后的分割矩形将目标从检测画面中分割出来，再利用边缘检测与肤色检测等技术加强目标耳朵中的特征表现。

步骤6、系统通过步骤5中检测定位与目标提取功能，得到了进一步提取出的目标物。深度分类网络(如SqueezeNet、vgg等)通过训练，通过卷积层和池化层的处理学习到图片深层意义的特征，有良好的图像特征提取性能，使得其在基于耳朵上的特征提取上有较好的分类效果。网络结合耳朵耳型、生物结构等特征，对输入的分割目标进行特征提取与分析，根据异常耳朵上不同违禁物品将对耳朵轮廓线条造成的干扰进行分析学习，判断考生耳朵是否存在异常情况，进而分类得出判断结果，输出“正常”或“异常”2类结果之一，作为智能检测异常分析模块的输出。通过训练深度分类网络，如vgg网络，发现在深层网络结构中，以前四层卷积层后接全连接层训练能达到与全网络结构训练相同性能的分类效果，SqueezeNet网络提出新的网络架构Fire Module，通过减少参数来进行模型压缩，其参数数量是等性能的AlexNet的2.14％，能够在ImageNet数据集上达到AlexNet近似的效果，但参数比AlexNet少50倍，结合他们的模型压缩技术,模型文件可比AlexNet小510倍。在保证深度学习的情况下，精简网络结构，加速判定速度，进一步缩短了检测判定的时间。

步骤7、智能检测异常分析模块输出的检测结果，作为响应操作模块的输入。输入结果为未检测到目标时，即系统认定画面中未出现考生双耳，将提示考生重新进行检测，系统状态将再重置回画面提取模块，跳回到步骤1。

步骤8、响应操作模块的输入结果为异常时，模块触发人工检测功能，引导监考官对系统判定的异常情况进行二次判断。监考官判定无嫌疑，跳过步骤9，模块输出检测结束；监考官判定异常即佩戴考试违禁物品等，则将警告学生，提示其做出整改，直至监考官判定无嫌疑。

步骤9、响应操作模块的输入结果为正常时，即考生于双耳处未发生异常情况，无作弊嫌疑，模块输出检测结束。

需要说明的是，尽管在本文中已经对上述各实施例进行了描述，但并非因此限制本发明的专利保护范围。因此，基于本发明的创新理念，对本文所述实施例进行的变更和修改，或利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接地将以上技术方案运用在其他相关的技术领域，均包括在本发明的专利保护范围之内。