一种在动态烟雾中提取疑似烟雾区域的方法

技术领域

本发明涉及一种在动态烟雾中提取疑似烟雾区域的方法。

背景技术

在视频烟雾检测中，对动态烟雾区域的准确提取，以及如何更好的保留烟雾的完整性、 不规则性对烟雾识别准确度有至关重要的影响，常规的运动物体提取方法为高斯混合模型 和帧间差分法以及光流法。在烟雾视频图像中，从算法性能上来讲，帧间差分法受环境的 影响较大，并且对烟雾运动区域的提取效果不明显存在遗漏问题。其他算法受影响较小。 而稠密光流法虽然提取的区域完整，尽可能的保留了烟雾的不规则的特点，但是计算速度 较慢，难以实现实时检测的需要。高斯混合模型的提取效果较好，但是在随着烟雾持续出 现以后，容易将缓慢运动的烟雾运动区域作为背景的一部分而带来对动态烟雾的漏检。

烟雾本身具有的半透明，不规则，非刚性的特点。导致移动物体提取的常规算法并不 能对动态烟雾区域有较好的定位和提取效果。尤其在面对不确定的自然条件下，并不能有 较好的准确度。所以，现有视频烟雾检测算法存在烟雾检测不够精确的问题。

发明内容

本发明的目的是为了解决现有的视频烟雾检测算法不够精确的问题，而提出一种在动 态烟雾中提取疑似烟雾区域的方法。

一种在动态烟雾中提取疑似烟雾区域的方法，所述方法通过以下步骤实现：

步骤一、对输入的视频图像进行预处理；

对输入的视频图像进行去噪处理，并通过选择颜色空间和提取关键帧处理步骤提升目 标区域的抗干扰能力；所述的目标区域为要被提取出的疑似烟雾区域；

具体为：

首先，输入视频图像，并对其进行逐帧处理；

之后，对视频数据集进行筛选和裁剪，获得数据视频文件的格式以及大小统一的视频 图像；

之后，以烟雾数据集的大小作为标准，将视频图像进行归一化处理，并送入识别模型；

之后，利用滤波器对视频图像进行去噪处理；

步骤二、将基于角点检测的稀疏光流法和基于视频块运动方向判断的算法结合，判断 烟雾运动方向，提取疑似烟雾区域；

具体为：

首先，将烟雾视频图像逐帧输入；

之后，对运动物体进行角点检测；

之后，对运动物体角点进行光流矢量估计；

之后，对有矢量的像素点所在的区域进行分割，形成视频运动块；

之后，确定合适烟雾图像的HSV颜色空间，并设定饱和度阈值范围，对满足阈值的视 频运动块进行运动方向估计，将运动方向向上的运动块确定为疑似烟雾区域；以此提取运 动方向的区域，作为基于视频块估计运动方向的输入；

步骤三、分析烟雾运动特点，提取烟雾的静态特征和动态特征；所述的烟雾运动特点 包括分析颜色、灰度，以此分割出待检测的区域；

步骤四、将此上一步获得的疑似烟雾区域作为待检测区域，并在此待检测区域内利用 卷积神经网络模型抽取特征进行识别；

本发明的有益效果为：

本发明方法通过对角点的光流矢量估计，避免了稠密光流法中对所有像素点计算光流 矢量，同时又较好的保持了烟雾图像中运动物体的运动特征。通过对烟雾图像的色彩特征 研究，选择合适烟雾图像的HSV颜色空间，并进行对饱和度进行阈值设定，然后对满足阈 值的视频运动块进行运动方向估计，最后形成疑似烟雾区域。

本发明是将传统光流法与基于视频块判断运动方向的算法相结合，实现了对疑似烟雾 区域的精确提取，且漏检率降低2-5倍。烟雾识别准确率达到94-96％。

附图说明

图1为本发明一种在动态烟雾中提取疑似烟雾区域的方法的方法流程；

图2为本发明涉及的卷积网络模型图；

图3为本发明涉及的烟雾区域内的角点示意；

图4为本发明涉及的烟雾区域内的角点示意；

图5为本发明涉及的角点的光流矢量可视化图；

图6为本发明涉及的HSV颜色空间的各个通道分量进行输出图示；

图7为本发明涉及的RGB颜色空间的各个通道分量进行输出图示；

图8为本发明涉及的视频块运动方向编号标注图。

具体实施方式

具体实施方式一：

本实施方式的一种在动态烟雾中提取疑似烟雾区域的方法，所述方法通过以下步骤实 现：如图1所示，

步骤一、对输入的视频图像进行预处理；

对输入的视频图像进行去噪处理，并通过选择颜色空间和提取关键帧处理步骤提升目 标区域的抗干扰能力；

具体为：

首先，输入视频图像，并对其进行逐帧处理；

之后，对视频数据集进行筛选和裁剪，获得数据视频文件的格式以及大小统一的视频 图像；

之后，以烟雾数据集的大小作为标准，将视频图像进行归一化处理，即按照烟雾数据 集大小为32x24，归一化成320x240大小的视频文件，所以这样选取有利于后期的视频图像分块，并送入识别模型；

之后，利用滤波器对视频图像进行去噪处理；所述的滤波器为高斯滤波器；

步骤二、将基于角点检测的稀疏光流法和基于视频块运动方向判断的算法结合，判断 烟雾运动方向，提取疑似烟雾区域；降低了烟雾的漏检率，提高了动态烟雾识别的准确率；

如图1所示，具体为：

首先，将烟雾视频图像逐帧输入；

之后，对运动物体进行角点检测，降低计算量；

之后，对运动物体角点进行光流矢量估计，能够避免稠密光流法中对所有像素点计算 光流矢量，同时又能保持烟雾图像中运动物体的运动特征，可以减少误检率；

之后，对有矢量的像素点所在的区域进行分割，形成视频运动块；

之后，通过对烟雾图像的色彩特征研究，确定合适烟雾图像的HSV颜色空间，并设定 饱和度阈值范围，对满足阈值的视频运动块进行运动方向估计，将运动方向向上的运动块 确定为疑似烟雾区域；以此提取运动方向的区域，作为基于视频块估计运动方向的输入；

步骤三、分析烟雾运动特点，提取烟雾的静态特征和动态特征；所述的烟雾运动特点 包括分析颜色、灰度，以此分割出待检测的区域，可以减少运算量；

步骤四、将此上一步获得的疑似烟雾区域作为待检测区域，并在此待检测区域内利用 卷积神经网络模型抽取特征进行识别；本发明采用CNN方法自动映射，优于传统人工提取 的方法；

其中，步骤一所述的目标区域为要被提取出的疑似烟雾区域；是从运动区域(飘云、 或者雾霾等)进行了运动方向的估计，以及阈值的筛选后而确定的区域。

具体实施方式二：

与具体实施方式一不同的是，本实施方式的一种在动态烟雾中提取疑似烟雾区域的方 法，步骤二所述的对运动物体进行角点检测的步骤，具体为：

角点是在水平和垂直方向移动时该像素点的灰度值会发生剧烈变化的特征点。将预处 理后的烟雾视频图像逐帧输入，逐帧经过角点的检测，寻找角点：

在图3、4中明显可发现在矩形框区域中由于出现烟雾，该区域会存在角点，采用以下方法计算、判断图像中烟雾区域的角点：

记图像为I(x,y)，当在点(x,y)处平移(Δx,Δy)后的相似性为：

ω(x,y)是以点(x,y)为中心的窗口，即加权函数，例如高斯加权函数基于泰勒展开，对 图像I(x,y)在平移(Δx,Δy)后进行一阶近似：

I(u+Δx,v+Δy)＝I(u,v)+I

≈I(u,v)+I

其中，I

其中M：

化简可得：

c(x,y；Δx,Δy)≈AΔx

故通过式(15)中，计算矩阵M(x,y)的特征值λ

R＝λ

其中，α＝0.04，R为角点响应值；

当R≈0，判断为平坦区,当R＜0判断为边界,当R＞0判断为角点。

具体实施方式三：

与具体实施方式二不同的是，本实施方式的一种在动态烟雾中提取疑似烟雾区域的方 法，步骤二所述的对运动物体角点进行光流矢量估计的步骤，具体为：

对烟雾视频图像检测出的角点进行光流矢量估计，公式(4)至公式(11)，可得到角点光流矢量图，见图5所示，

所述的光流被定义为图像平面上的像素点运动的瞬时速度，根据图像图像序列中像素 在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系， 从而计算出相邻帧之间物体的运动信息；

按光流场中矢量的疏密程度将光流法分为稠密光流与稀疏光流两种；

在1981年Horn和Schunck将二维速度场与灰度相结合，通过光流约束方程，可得到光流计算的基本算法。光流矢量包含的信息即是各像素点的瞬时运动速度矢量信息；光流的计算方法基于以下三个假设前提：

1)亮度恒定，同一像素点的亮度不随时间发生跃变；

2)小运动：随着时间的变化不会引起位置的剧烈变化；

3)空间一致：一个场景上邻近的点投影到图像上也是邻近点，且邻近点速度一致。根 据以上三个前提，则有假设图像上一个像素点位置为(x,y)，在t时刻的亮度为E，同时用u 和v来表示该点光流在水平和垂直方向上的位移分量：

在经过一段时间间隔Δt后该点对应点亮度为E(x+Δx,y+Δy,t+Δt)，当Δt很小趋近于0时， 可以认为该点亮度不变，得到公式(6)

E(x,y,t)＝E(x+Δx,y+Δy,t+Δt) (6)

当该点的亮度有变化时，将移动后点的亮度由Taylor公式展开，可得公式(7)：

ε指更高阶，在移动足够小的情况下可以忽略；

t时刻的亮度为E，同时用u和v来表示该点光流在水平和垂直方向上的位移分量；

忽略其二阶无穷小，由于Δt趋近于0时有

式中w＝(u,v)，I为单位矩阵，所以上式就是基本的光流约束方程，其中令

表示图像中像素点灰度沿x，y，t方向的梯度，可将式(9)改写成：

E

由光流约束方程对图像中n个像素点建立下式的矩阵方程进行对u,v的求解；

具体实施方式四：

与具体实施方式三不同的是，本实施方式的一种在动态烟雾中提取疑似烟雾区域的方 法，步骤二所述的对有矢量的像素点所在的区域进行分割，形成视频运动块的步骤，具体 为：

对具有光流矢量的角点位置信息进行记录，以便于能准确的在原始视频图像中提取运 动区域。将具有光流矢量的角点，作为运动区域的中心点在原始烟雾图像中进行切片处理， 分出烟雾运动块图像。

具体实施方式五：

与具体实施方式四不同的是，本实施方式的一种在动态烟雾中提取疑似烟雾区域的方 法，步骤二所述的烟雾运动块图像大小为32×24。

本发明中，筛选符合HSV颜色空间阈值的运动块图像原理为：

筛选符合HSV颜色空间阈值的运动块图像是在提取疑似烟雾算法之前进行的，其结论 用于提取疑似烟雾区域部分。

本文通过对烟雾图像在HSV和RGB颜色空间上进行对比，对500张烟雾图像提取HSV和RGB颜色空间的各个通道分量进行输出，见图6至7。

可以发现烟雾图像在RGB颜色空间的并无明显特征。但是在HSV颜色空间中具有明显 特点，故选择HSV颜色空间对烟雾图像进行预处理，并在记录500张烟雾图像的H,S,V三个分量数值大小时，发现80％左右的烟雾图像的饱和度在65以下，所以选取烟雾图像饱和度阈值为65，表明在饱和度低于65时，即可能为烟雾图像。

故对所得到的运动块图像进行HSV颜色空间转换，对满足阈值条件的运动快图像进行 运动方向的检测，不满足则丢弃。

运动块图像的运动方向检测：计算过程首先将视频的运动方向划分为八个方向。在二 维平面下将360度的范围以45度为一个方向进行划分，以逆时针方向从数字1依次对八个 方向进行编号。如图8所示。

上图中3号方向表示正上方，7号方向表示正下方。算法通过计算中心图像和下 一帧图像中对应坐标位置的八邻域图像块的差异大小，然后选取差异值最小的位置，即为 中心图像块的运动方向。

设I

其中w和h分别为运动块图像的宽度和高。B表示差异大小，I(i,j)表示位于坐标(i,j) 处点的像素值的大小，k表示该运动块图像在视频图像里的帧数。通过计算出B

识别对比说明：

卷积神经网络模型和SVM识别模型的对比测试

识别模型介绍：网络主要有三层卷积分别记为C1、C2、C3。池化层分别记为为S1、S2、S3。记F1为全连接层，设置1024个神经元与池化层S2连接。激活函数选择 ReLU(Rectified Linear Unit)。F2记为输出层，有2个神经元与F1连接，将SoftMax作为 激活函数。

卷积层C1中卷积核大小取5×5，步长为1，激活函数为ReLU。偏置量取值为1，输 入的数据为32×24大小的彩色图像。卷积核的权重值使用方差为0.1的正态分布随机生 成，输出为32×24大小的32个特征图像。池化层S1，使用最大值池化方法对卷积层C1 的输出结果进行重采样，结果为16×12×32维数据。卷积层C2和C3的卷积核大小均 为5×5，步长均为1，C2的特征图个数为96，C3的特征图个数为128，输出数据的维度 分别为16×12×96和8×6×128，池化层S2和S3的输出数据的维度分别为8×6×96 和4×3×128，卷积网络模型结构图如图2。

识别阶段主要是二分类问题，实现对烟雾图像有烟和无烟的识别能力，此处节采用卷 积神经网络和HOG+SVM识别模型进行对比。

HOG(Histogram of Oriented Gradients，方向梯度直方图)，是图像一种常用的特征 描述算子。主要原理是将图像均分为块，对每个块区域分别计算8领域方向上的梯度，最 终形成一个梯度向量表示该图像的特征。SVM(upport Vector Machine，支撑向量机)是机器学习里常用的识别模型。主要是在超平面利用间隔最化的学习策略对图像进行分类，对比结果如表1所示。

表1识别模型对比结果

其中识别模型的评价指标

ACC＝(TP+TN)/N (20)

TPR＝TP/(TP+FN) (21)

TNR＝TN/(TN+FP) (22)

式中，ACC为准确率；TNR为真负率；TPR为真正率；N是总样本数。

其中：

1)TP为真正样本数，表示烟雾样本中被识别为烟雾图像的个数。

2)FP为假正样本数，表示烟雾样本中未被识别为烟雾图像的个数。

3)TN为真负样本数，表示非烟雾样本中未被识别为烟雾图像的个数。

4)FN为假负样本数，表示非烟雾样本中被识别未烟雾图像的个数。

结果

准确率：指在所有测试视频中，真正有烟雾出现的帧数在所有报警帧数中 所占的比例，表示系统发出正确警报的概率。漏检率：指在所有测试视频中， 未检测到的烟雾帧数在总烟雾图像中所占的比例。先得出每个视频检测结果的 准确率和漏检率，再对14个视频的准确率和漏检率分别取平均值。结果如表 5所示。

表5所有视频数据集准确率和漏检率

对表5分析可得，在以上几种方法中，采用本文提出的方法建立的动 态烟雾识别系统具有较高的准确率，以及较低的漏检率。