一种基于深度学习的智能安防系统及用于智能安防系统的深度学习方法

技术领域

本发明涉及安防技术领域，尤其是家居防盗入侵检测系统，一种基于深度学习的智能安防系统。

背景技术

住宅安全一直是人们关注的问题。目前，在安防领域为防止人员非法入侵或意外闯入，已经发展了很多技术，如空间移动报警器(超声波拟报警器、红外报警器、视频越线检测等)，然而在不同技术方案中，可利用各自技术的优势在一定程度上解决入侵检报警问题，但也存在各自的缺点和不足。空间移动报警器的特点是只要所警戒的空间有人活动就会触发报警。红外对射越线检测，利用发射的红外光形成一种人眼不可见的光线，有目标物穿过时，目标物会挡住红外光从而触发报警装置，该检测系统容易受到外界环境的影响造成误报和漏报的情况。

近年来随着计算机视觉的发展，数字视频报警器随着数字电路、计算机技术的发展成为一种新式的报警器，具有监视、报警、回放、图像取证等多种功能，然而现有的视频越线检测则是利用摄像头实时监控监测区域，采用图像处理的方法在视频中标记一条线，只要有人越过标记线就会触发报警，该技术若用于家庭防盗检测中对于主人不具有识别性，产生报警的频率较高，适用性较弱。

由此可知，利用现有技术在家居防盗入侵检测过程中，不具备对主人的识别功能，从而出现误警率和误报率较高，同时容易受到周围环境的影响，出现漏报等情况，导致防护安全等级较低的问题。并且报警系统只采用蜂鸣报警器，对盗窃者没有威慑性且主人无法取证；同时处理系统大多基于电脑操作系统，成本较高，占用空间较大，造成资源的浪费。

发明内容

本发明的发明目的在于：针对上述存在的问题，提供一种基于深度学习的监控系统，通过把深度学习模型部署于轻便的树莓派上，同时深度学习模型能够准确识别主人和陌生人，旨在最小化监控设备的使用成本和空间占用率，为家居监控提供高可靠性、高防范性和威慑性强的防盗入侵识别系统。

本发明采用的技术方案如下：

本发明一种基于深度学习的智能安防系统，包括主控模块，与主控模块分别连接的监控模块、报警模块和电源模块；以及与监控模块连接的摄像头，与电源模块连接的电源；所述主控模块，作为整个系统的主控芯片，协调着整个系统的运转；

所述报警模块，用于在监控现场发出报警提示音或通过无线网络远程向主人发送报警信息；所述电源模块，用于为系统供电；

所述监控模块，用于对摄像头采集到的视频数据进行识别，判断是否有陌生人入侵；当检测出有陌生人入侵时，主控模块通过报警模块向主人发送报警信息或发出报警提示音；所述监控模块由YOLOV4人脸检测模块和Dlib人脸识别模块结合，YOLOV4人脸检测模块，用于实时提取视频中的人脸，Dlib人脸识别模块判断是否为陌生人。

以上系统，在本发明的智能安防系统中，通过视频监控的方式进行监控，并且在监控中通过YOLOV4人脸检测模块和Dlib人脸识别模块结合，实现两种算法的优势互补，从而克服了YOLOV模型区分同一类物体的能力较差和Dlib识别距离短的缺陷，有效的提升了监控系统的实用性以及准确性。

作为优选，还包括分别与主控模块连接的传感器模块和控制模块；所述传感器模块分别连接烟雾传感器、火焰传感器和气体传感器，用于采集监测环境中的烟雾、火焰和可燃气体信息，并发送到主控模块判断采集的数据是否高于安全阈值；所述控制模块分别连接风扇和喷淋，用于接收主控模块的指令，控制风扇和喷淋工作。

以上系统，除了视频监控功能外还集成了一些常用的安防类传感器和控制器以增强系统的实用性。

作为优选，所述报警模块包括分别与主控模块连接的蜂鸣器、指示灯和通信模块；所述通信模块采用SIM900A，连接天线，用于发送短信。

以上系统，当报警模块被触发时，树莓派将控制LED指示灯和蜂鸣器产生报警提示，并通过邮件和短信远程通知主人。

作为优选，所述传感器模块和控制模块集成在由CC2530为MCU的通信模块上，CC2530通过GPIO分别连接接烟雾传感器、火焰传感器、气体传感器、风扇和喷淋，通过UART串口与主控模块相连；所述主控模块采用树莓派。

以上系统，传感和控制模块需要根据实际需要放置在多个监测点，因此需要用一个无线自组织网络把它们联系在一起，本系统选用ZigBee网络来实现这一功能，且选用CC2530来实现ZigBee网络的搭建。

作为优选，所述YOLOV4人脸检测模块包括特征提取网络CSPDarkent53、特征金字塔和yolo_head；所述CSPDarkent53，用于多输入图像的特征提取；所述特征金字塔，用于进行特征融合，最终输出三组特征；所述yolo_head，用于对提取的特征进行预测。

作为优选，所述Dlib人脸识别模块包括数据库创建模块和目标识别模块；所述数据库创建模块，用于采集所有主人的人脸来创建数据库；所述目标识别模块包括人脸特征提取单元、人脸特征的欧式距离计算单元和人脸特征判断单元；所述人脸特征提取单元，用于提取人脸的128D特征；所述人脸特征的欧式距离计算单元，用于计算提取的人脸特征与数据库中特征的欧氏距离；所述人脸特征判断单元，基于计算的欧氏距离，与阈值进行比较，判定该人脸属于主人或陌生人。

本发明一种用于智能安防系统的深度学习方法，包括：采集监测环境中的视频数据，通过人脸识别方法判断是否存在入侵，若存在入侵，进一步防止误报判断，若不存在误报，向主人发送报警信息，并在监控现场发出报警提示音。

作为优选，还包括：采集监测环境中的烟雾、火焰和可燃气体数据；判断采集的数据是否超过设定的阈值；若超过阈值，向主人发送报警信息，同时进行通风或灭火。

作为优选，所述人脸识别方法包括以下步骤：

步骤一：将采集的视频帧输入到YOLOV4的人脸检测模块当中，模型判断当前帧中是否存在人脸，若存在人脸，则把标记人脸的矩形框进行截取，将截取到的人脸视频帧送入Dlib的人脸识别模型；

步骤二：Dlib的人脸识别模型把人脸的128D特征提取出来，并计算该特征与人脸数据库中特征的欧氏距离；

步骤三：当欧氏距离小于阈值，判定为该人脸存在于数据库中；若欧氏距离大于阈值，判定该人脸属于陌生人。

作为优选，所述防止误报判断的方法：当识别的图片被连续3次识别成陌生人才触发报警；当主人和陌生人同时出现在监控场景中时不会触发报警；当提取出的图片中无人脸信息时不触发报警。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1、本发明设计了一种具备主人识别的家居防盗入侵检测系统，能够准确的识别主人或陌生人，提高家居监控的可靠性；解决现有检测系统出现误警率和误报率较高，容易受到周围环境的影响，出现漏报等情况，导致防护安全等级较低的问题。

2、本发明实现了对家居防盗入侵的取证功能，并且及时通过主人；解决现有报警系统只采用蜂鸣报警器，对盗窃者没有威慑性的缺陷。

3、本发明使用成本低，占用空间小。把深度学习模型部署于轻便的树莓派上，旨在最小化监控设备的使用成本和空间占用率；区别于现有处理系统大多基于电脑操作系统，成本较高，占用空间较大，造成资源的浪费。

4、本发明除了视频监控功能外，还集成了一些常用的安防类传感器和控制器以增强系统的实用性。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1是本发明一种基于深度学习的智能安防系统的结构示意图。

图2是本发明一种用于智能安防系统的深度学习方法流程图。

图3是实施例中YOLOV4与Dlib结合检测流程图。

图4是实施例中Dlib人脸识别流程图。

图5是实施例中报警模块结构示意图。

图6是传感器模块和控制模块集成结构示意图。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书(包括任何附加权利要求、摘要)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

本发明一种基于深度学习的智能安防系统，包括主控模块，与主控模块分别连接的监控模块、报警模块和电源模块；以及与监控模块连接的摄像头，与电源模块连接的电源；

所述主控模块，作为整个系统的主控芯片，协调着整个系统的运转；

所述报警模块，用于在监控现场发出报警提示音或通过无线网络远程向主人发送报警信息；

所述电源模块，用于为系统供电；

所述监控模块，用于对摄像头采集到的视频数据进行识别，判断是否有陌生人入侵；当检测出有陌生人入侵时，主控模块通过报警模块向主人发送报警信息或发出报警提示音；所述监控模块由YOLOV4人脸检测模块和Dlib人脸识别模块结合，YOLOV4人脸检测模块，用于实时提取视频中的人脸，Dlib人脸识别模块判断是否为陌生人。

如图1所示，在一个实施例中，系统主要由树莓派、监控模块、传感器模块、控制模块、电源模块和报警模块等组成。其中，树莓派作为整个系统的主控芯片，协调着整个系统的运转；监控模块由于对监控区域进行实时监控，同时将采集到的视频文件实时地传输至树莓派上进行处理；当检测出有陌生人入侵时，系统则会通过报警模块向主人发送报警信息；传感器模块主要用于采集监测环境中的烟雾、火焰和可燃气体信息，当发现其中某一个传感器的数据高于安全阈值时，将通过报警模块向主人发送报警信息，同时通过模块执行相应的操作。例如：当空气中的气体浓度超过某一设定的阈值时，树莓派将控制风扇及时工作；电源模块用于为系统供电，可选择电池或者电源(市电)供电；报警模块主要由蜂鸣器和通信模块构成，蜂鸣器可直接在监控现场发出报警提示音，而通信模块则可以通过无线网络远程向主人发送报警信息。

在基于深度学习的智能安防系统中，各个模块分别为：

监控模块

一、训练模型与数据库创建

(1)训练模型

训练模型所用到的数据集是LFW(Labeled Faces in the Wild),该数据集包含了来自1680的13000张人脸图片。对于YOLOV4的神经网络模型主要有三部分组成，分别是特征提取网络CSPDarkent53、特征金字塔和yolo_head。

CSPDarkent53模型，总共包含23层CSPNet结构，CSPNet结构由若干个残差块堆叠而成，每个残差块是由为1*1的卷积核和3*3的卷积核组合而成，并采用类似ResNet的连接结构，该部分主要负责多输入图像的特征进行提取。

特征金字塔是由SPP结构和PANet结构组成，为了使局部和全局特征进行融合，SPP采用不同的strides对输入进行最大池化，然后通过concatenate进行衔接；PANet是分别将深层特征以插值方式的上采样，浅层特征以卷积方式下采样之后进行进行特征融合，最终输出三组特征13，13，3*(5+分类数))，(26，26，3*(5+分类数))，(52，52，3*(5+分类数))。

yolo_head则是对提取的特征进行预测，特征层的预测结果对应着三个预测框的位置。该模型在LFW数据集人脸检测准确度达99％以上,足以在本系统中使用。

(2)数据库创建

Dlib进行人脸识别必须事先创建人脸数据库，本系统的目标是输入一张人脸图片判断其是不是主人。因此，应采集所有主人的人脸来创建数据库。

数据库创建由两部分构成:摄像头采集人脸图片和提取每一张人脸的128D特征。

①用摄像头从多种角度拍摄同一个人的人脸，人脸采集的越多，则人脸识别结果也就越准确。但是，当数据库中的人脸过多时，后期进行人脸识别过程(主要是计算欧式距离D的过程)将消耗大量时间，同时，数据库中也将产生大量冗余的图片，经过实验我们发现，对于同一张人脸采集64张图片较为合适，在兼顾计算时延的同时可以获得较高的识别。

②在人脸图片采集完成后还需要用Dlib提取每张人脸图片的128D特征，计算完成后把每张图片的128D特征存储到master_fature.csv文件中即完成了数据库的创建，其中master_fature.csv即为所创建的数据库。

二、检测流程

如图3所示，监控模块将YOLOV4人脸检测功能和Dlib的人脸识别相结合，实现两种算法的优势互补，从而克服了YOLOV模型只能检测一类物体和Dlib识别距离短的缺陷，有效的提升了监控系统的实用性以及准确性。

检测由创建数据库和目标识别两个阶段构成。在进行检测之前需要创建一个主人人脸数据库，首先由树莓派摄像头采集目标人脸图片并储存，基于同一个人的多张图片提取128D特征(数据库越大识别越准确)，并把提取取的特征保存下来；

然后就开始目标识别过程，把摄像头采集的视频帧输入到YOLOV4的人脸检测模块当中，模型将判断当前帧中是否存在人脸，若存在人脸则把标记人脸的矩形框进行截取，将截取到的人脸视频帧送入Dlib的人脸识别模型，Dlib则把人脸的128D特征提取出来并计算该特征与数据库中特征的欧氏距离，当欧氏距离小于阈值(这里设置为0.4)则判定为该人脸存在于数据库中，若欧氏距离大于阈值则判定该人脸属于陌生人，则触发报警模块(将该帧图像发送至主人的邮箱并通过短信报警)。在监控过程中，把摄像头采集的视频数据输入到此模型中即可检测出是否有陌生人入侵。

三、防误报措施

为了提升系统的可靠性，我们的防误报措施有：

(1)当摄像头提取出的图片被连续3次识别成陌生人才触发报警模块；

(2)当主人和陌生人同时出现在监控场景中时不会触发报警模块；

(3)当摄像头提取出的图片中无人脸信息时不触发报警模块；

具体操作如下：系统把摄像头采集的视频数据实时地输入到YOLOV4模型中，当YOLOV4检测到视频画面中有人脸时，就立即将含有人脸的帧的人脸部分截取出来，存放到Face_data文件夹中，Dlib则不断检测Face_data文件夹下的数据，当其不为空时，立即读取Face_data文件夹中的图片进行识别，同时删除Face_data文件夹下以存在的图片。在Dlib中将对提取出的图片进行人脸识别：首先计算提取出人脸图片的128D特征；然后将该图片的128D特征，与事先创建好的主人数据库中的人脸特征，进行比对，并计算它们之间的欧氏距离D，当D大于0.4(自定义阈值，可自行调整)时，表明该人脸与数据库中的人脸差别较大，因此，判定该提取出的人脸为陌生人此时程序将在人脸标志列表Face_flag中加入stranger标签，同时把陌生人的人脸图片保存到Stranger文件夹下；当D小于等于0.4时，表明该提取出的人脸与主人数据库中的人脸差异较小，因此，判定该提取出的人脸为主人此时程序将在人脸标志列表Face_flag中加入master标签。把提取出的人脸图片检测完成后，只要查看Face_flag列表中的标签即可判断是否需要触发报警模块。当Face_flag列表中只存在stranger时，表明提取出的图片中只有陌生人；当Face_flag列表中只存在master时，表明提取出的图片中只有主人；当Face_flag列表中存在stranger和master时，表明提取出的图片有陌生人和主人。在实际应用中，连续不间断的检测会严重浪费树莓派的算力并造成较大功耗，因此我们采用间断检测的方式。我们设定每间隔2秒Dlib读取Face_data文件夹一次，若发现存在图片则进行进一步的人脸识别，否则不进行识别，在此期间YOLOV4仍在进行不断检测，且新的人脸图片将直接覆盖旧的人脸图片。

为了防止系统误报，我们设定提取出的图片3次识别成陌生人才触发报警模块，即事先设置一个标志位Stranger_flag(初始化为0)，进行连续三次检测每一次Face_flag列表中仅存在stranger时Stranger_flag加1并清空Face_flag列表，当Stranger_flag≥3时则触发报警模块，同时把Stranger_flag标志位置为0，否则不触发报警模块。此外，当某一次检测时Face_flag列表中存在master则将Stranger_flag标志位置为0，从而避免标志位长期累加所带来的的影响，同时也表明只要主人存在就不会触发报警模块。若摄像头采集的视频数据中不存在人脸时，Face_data文件夹为空，Dlib也不会进行人脸识别，这样就实现了无人脸信息时不触发报警模块。至此，该系统就实现了上述三个防误报功能。以一个检测周期为例，Dlib检测流程如图4所示。

报警模块

报警模块框图如图5所示，报警模块由主控模块(树莓派)、蜂鸣器、指示灯和SIM900A组成。当报警模块被触发时，树莓派将控制LED指示灯和蜂鸣器产生报警提示，并通过邮件和短信远程通知主人。其中，电子邮件的发送是在树莓派控制下以SMTP的方式来完成的，短信的发送是由树莓派控制SIM900A模块来完成的。报警模块可以被两种方式触发，一种是安防类传感器(烟雾、火焰和气体传感器)的检测值超过设定阈值，另一种是监控模块检测到有陌生人入侵。

当报警模块被传感器触发时，系统将根据这三个传感器的测量值使控制模块作出相应的反映，及时调节室内的环境，同时将通过向主人通过短信发送各传感器的数据报警。此外，为了提高系统的可靠性，控制模块中喷淋的工作将由火焰和温度两个传感器同时进行控制，只有当火焰和温度传感器的检测值都超过设定阈值时才启动喷淋，而排风扇只需由一个传感器控制即可(温度或气体传感器)。若传感器的检测值均低于设定阈值时应立即使控制模块停止工作。例如，当室内一氧化碳超过一定浓度时系统将自动开启排风扇通风，若气体传感器检测到的值低于设定阈值时则应关闭排风扇。

当报报警模块被监控模块触发时，系统将立即读取Stranger文件夹下的图片通过邮件发送给主人报警，同时也将通过控制模块使控制LED指示灯和蜂鸣器产生报警提示，当邮件发送成功后应立即清空Stranger文件夹。

因此，电子邮件和短信的发送都是在树莓派的控制下自动完成的，从而实现了此系统的自动报警功能。

传感和控制模块

传感和控制模块需要根据实际需要放置在多个监测点，因此用一个无线自组织网络把他们联系在一起是必要的，本系统选用ZigBee网络来实现这一功能，且选用CC2530来实现ZigBee网络的搭建。通常，ZigBee网络的设备由终端、路由器和协调器构成，路由器和终端可控制传感器工作，且整个网络的数据都需汇集到协调器中处理。为了节约系统成本，本系统把传感和控制模块集成在一个模块中，如图6所示。终端和协调器放置在需要部署传感器、风扇和喷淋的位置，而协调器则通过UART串口与树莓派相连，目的是将整个ZigBee网络中的数据传输到树莓派中进行分析，判断传感器所采集的数据是否超过报警阈值。若超过了报警阈值，树莓派将触发报警模块，同时向ZigBee网络中具有控制功能的节点发送指令控制风扇或喷淋工作及时调节环境信息。

在另一个实施例中，本系统的主控模(树莓派)块还可以选择其他满足要求的模块，如NVIDIA Jetson Xavier NX；SIM900A模块还可以选用其他具有短信功能的无线模块代替，如NB-IoT；无线自组织网络可选择WiFi等。

本发明还公开了一种用于智能安防系统的深度学习方法，包括：采集监测环境中的视频数据，通过人脸识别方法判断是否存在入侵，若存在入侵，进一步防止误报判断，若不存在误报，向主人发送报警信息，并在监控现场发出报警提示音。

如图2所示，以一个工作周期为例：系统上电后即进行初始化，在树莓派的控制下传感器和摄像头采集相应的数据，当传感器所采集的数据超过某一阈值时将触发控制模块和报警模块；而摄像头所采集的视频数据将被输入到训练好的深度学习模型中判断是否存在入侵行为，否则结束一个循环周期。在实际应用中，本系统将循环执行上述工作流程。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。