一种森林火灾图片实时分割和火灾边缘点监测算法

技术领域

本发明涉及一种森林火灾图片实时分割和火灾边缘点监测算法，对森林火灾的图片进行实时分割和火灾边缘点监测，具体使用深度学习和神经网络对图片进行分割，分割后计算的火灾边缘点。

背景技术

森林火灾有着极强的破坏力和危险性，火灾带了的损失有时是无法弥补的，在重大火灾的情况下，会造成水土流失、危害野生动物、威胁人民财产。当森林发生火灾时，监测森林火情的实时情况是很必要的，只有了解了火情实时情况和火情实时边界范围，才能对森林火情进行一个有效的控制。

随着近几年深度学习的飞速发展，许多领域结合该技术解决实际问题，取得了很大的成功。其中卷积神经网络(CNN)具有很强的学习能力，语义分割往往是由CNN分类网络构建的。Lenet是最早的神经网络之一，可以简单快速的提取图片的特征，但是忽略了特征通道之间的关系。因此，迫切需要一种森林火灾图片实时分割和火灾边缘点监测算法，以解决现有技术中存在的这一问题。

为了解决上述技术问题，特提出一种新的技术方案。

发明内容

本发明的目的在于提供一种森林火灾图片实时分割和火灾边缘点监测算法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种森林火灾图片实时分割和火灾边缘点监测算法，所述算法包含下述步骤：

S1、搭建MobileNet网络模型，该网络结构的基本单元为深度可分离卷积；

S2、构建注意力模块，分别为通道注意力模块和空间注意力模块；

S3、构造一个注意力残差网络，将得到的空间注意力特征与原特征使用残差得到微调后的图片特征；

S4、构造深度注意力模块，加入深度度可卷积模块，再连接pointwiseconvolution，最后加入S3获得的注意力残差模块；

S5、构建MobileCBAM-Net网络模型，以S1搭建的MobileNet做为基础的网络架构，以S2、S3、S4为组件组合成MobileCBAM-Net，提取森林火灾的图片特征；

S6、将火情图片输入到S5构建的MobileCBAM-Net网络模型中，将具有火请的区域的像素点赋值为红色，不是火情区域的像素点赋值为黑色，从而将图片中的火情区域分割出来；

S7、计算火情边界点像素，获得S6中分割后的图片，如果一个像素的四周有一个点不是红色，则该点为边界点像素，否则为非边界点像素；

S8、计算飞机的横向纵向距离，对输入的飞行夹角进行处理，使之转换成所需要的正夹角，结合飞机和吊舱的俯仰角和飞机飞行高度计算出飞机的横向纵向距离；

S9、计算图像中心点经纬度坐标，结合飞机经纬度与S8中的结果计算出图像中心点经纬度坐标；

S10、计算火情边界点经纬度，获取到S7中的边缘点像素和S9中图像的经纬度，计算左上角的经纬度，根据左上角的经纬度，计算其余三个点的经纬度，从而得到边界点的经纬度；

优选地，所述S1中，深度可分离卷积具体可以分为两个操作depthwiseconvolution和pointwise convolution；

优选地，depthwise convolution卷积操作与标准的卷积操作不同，depthwiseconvolution卷积操作对每一个通道使用的卷积核不同，一个卷积核对一个通道进行卷积；

优选地，所述S5中，MobileCBAM-Net包括三个模块注意力模块、残差网络、深度可分离卷积；首先建立两个注意力模块，分别为通道注意力模块和空间注意力模块；

优选地，通道注意力模块输入为多通道特征图，同时经过一个最大池化层和平均池化层；将得到的结果分别输入到shared MLP网络中，然后再同时经过一个最大池化层和平均池化层，将其两者的结果相加，最后通过激活函数后获得调整后的通道注意力特征；

优选地，空间注意力模块输入为调整后的通道注意力特征，进行空间上的特征提取，先经过一个最大池化，再通过一个平均池化层后，添加一个激活函数得到空间注意力特征；

优选地，将得到的空间注意力特征与原特征使用残差得到微调后的图片特征；MobileCBAM-Net模型优点是可以兼顾空间和通道的特征，是一个轻量级的网络；满足森林火灾图片分割快速获取结果的需求，速度在1到2秒之间。

与现有技术相比，本发明的有益效果是：公开一种面向森林火灾的实时图片分割和边缘点监测算法，通过神经网络和深度学习对获取到的森林火灾图片进行实时火情语义分割，对分割后的图片实时计算火灾边界点的位置。本方案提供的算法可以帮助工作人员查看火情的实时状况，监测火情边界。通过对森林火情的实时快速的分析，可以对火灾进行有效处理，降低对火灾带来的损失。

附图说明

图1 Depthwise convolution操作图。

图2注意力残差模块图。

图3通道注意力模块图。

图4空间注意力模块图。

图5 MobileCBAM-Net网络整体架构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

森林发生火灾后需要及时了解火灾的的情况，才能及时的控制火情，减轻损失。

为了达到上述发明目的，本发明采用的技术方案为：

我们搭建了MobileCBAM-Net网络模型对森林火灾拍摄的图片进行实时的分割，获取分割的图片后对火情的边缘点进行计算。具体包括以下几个步骤：

S1、搭建MobileNet网络模型，该网络结构的基本单元为深度可分离卷积。深度可分离卷积具体可以分为两个操作depthwise convolution和pointwise convolution。depthwise convolution卷积操作与标准的卷积操作不同，如图1所示，它对每一个通道使用的卷积核是不一样的，一个卷积核对一个通道进行卷积。pointwise convolutione则是普通的卷积，但其采用1x1的卷积核，将上面的输出相结合，大大的减少了网络的计算量和参数。并且在每次卷积操作之前都会进行归一化处理和使用ReLu激活操作，这样可以缓解梯度消失的现象，使得模型更加的稳定。

S2、构建注意力模块，分别为通道注意力模块和空间注意力模块。首先建立两个注意力模块，分别为通道注意力模块和空间注意力模块。通道注意力模块输入为多通道特征图，同时经过一个最大池化层和平均池化层。将得到的结果分别输入到shared MLP网络中，然后再同时经过一个最大池化层和平均池化层，将其两者的结果相加，最后通过激活函数后获得调整后的通道注意力特征。空间注意力模块输入为调整后的通道注意力特征，进行空间上的特征提取，先经过一个最大池化，再通过一个平均池化层后，添加一个激活函数得到空间注意力特征。

S3、构造一个注意力的融合的残差网络，将得到的空间注意力特征与原特征使用残差得到微调后的图片特征,整体注意力模块图如图2所示。

S4、构造深度注意力模块，首先是应该深度度可卷积模块，后连接归一化和激活操作，再连接pointwise convolution，再进行归一化，最后加入注意力残差模块。

S5、构建MobileCBAM-Net网络模型，MobileCBAM-Net使用S1搭建的MobileNet做为基础的网络架构，提取森林火灾的图片特征，如图5所示。MobileCBAM-Net包括三个模块：注意力模块、残差网络、深度可分离卷积。网络输入为图片，经过一个卷积层后再归一化和激活。然后经过7个相同的由S4获得的深度注意力模块。再对图像进行4次上采样，获得特征图片，最后使用插值让图片恢复到原来大小。通过深度可分离卷积可以为图像分割提供多层次的特征信息，但是也会带来图像特征信息的冗余的问题。之间加入注意力模块，有效的解决了特征信息冗余的问题，并让模块可以更加关注图像中的特征信息。MobileCBAM-Net模型优点是可以兼顾空间和通道的特征，是一个轻量级的网络。满足森林火灾图片分割快速获取结果的需求，速度在1到2秒之间。

S6、将火情图片输入到S5构建的MobileCBAM-Net网络模型中，将具有火请的区域的像素点赋值为红色，不是火情区域的像素点赋值为黑色。从而将图片中的火情区域分割出来。

S7、计算火情边界点像素，获得S6中分割后的图片，如果一个像素的四周有一个点不是红色，则该点为边界点像素，否则为非边界点像素；

S8、计算飞机的横向纵向距离，对输入的飞行夹角进行处理，使之转换成所需要的正夹角，结合飞机和吊舱的俯仰角和飞机飞行高度计算出飞机的横向纵向距离；

S9、计算图像中心点经纬度坐标，结合飞机经纬度与S8中的结果计算出图像中心点经纬度坐标；

S10、计算火情边界点经纬度，获取到S7中的边缘点像素和S9中图像的经纬度，计算左上角的经纬度，根据左上角的经纬度，计算其余三个点的经纬度，从而得到边界点的经纬度；

在上述技术方案中，通过深度可分离卷积做为基本单位，构建成MobileNet网络，对不同输入通道分别进行卷积，再将输出进行结合的轻量级网络。本发明构建MobileCBAM-Net网络，融合通道和空间特征，对火灾图片进行分割。以MobileNet为主干网络，加入了注意力机制和shortcut两个模块，由注意力模块、残差网络、深度可分离卷积三部分组成。

在使用的时候，本发明通过神经网络和深度学习对获取到的森林火灾图片进行实时火情语义分割，对分割后的图片实时计算火灾边界点的位置。本方案提供的算法可以帮助工作人员查看火情的实时状况，监测火情边界。通过对森林火情的实时快速的分析，可以对火灾进行有效处理，降低对火灾带来的损失。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。