基于图匹配模型的低配准精度下遥感图像变化检测方法

技术领域

本发明属于图像处理技术领域，具体涉及一种遥感图像变化检测方法。

背景技术

对于遥感图像变化检测问题，专利“一种基于卷积神经网络的遥感影像建筑物变化检测方法，CN110136170A”公开了一种基于深度学习的遥感图像变化检测方法。此专利采用深度学习网络模型对收集的各类样本进行学习，训练并构建语义分割模型，得到分割的二值图，进而得出变换检测的结果。专利所述方法只是在建筑物分割方面设计了新的模型，但并没有解决变换检测对图像预处理的依赖，尤其是图像的矫正和配准。设计的分割模型也只是Mask RCNN版本的一些变形，没有从根本上解决遥感图像尺度变化剧烈的问题。在低配准精度下，此专利很难做到高精度的变换检测。因此仅适用于高配准精度下的变换检测且图像尺度变换不是特别剧烈的场景，实用性不强。

目前基于深度学习的语义分割方法，在多尺度分析和语义上下文建模方面已取得较大进展，分割精度得到较大提升。然而，不同于一般图像的语义分割任务，遥感图像中需要被分割的对象尺度变化更加剧烈，既有山川河流等大尺度的对象，又有房屋建筑等小尺度的目标。总之，对于遥感影像中的不同区域往往需要选取不同尺度的上下文信息来指导像素的标注。

现有的遥感图像变化检测的方法无论是基于像素的还是面向对象的方法都强烈依赖于精确的图像几何校正和配准，这些预处理方法的精度对最终结果有很大的影响。但是由于拍摄角度变化、图像复杂畸变等因素，很多情况下无法对图像进行高精度的配准，从而导致上述方法的失效。

从国家的发展战略层面到经济发展层面，遥感对地观测技术在我国未来发展规划中将占据越来越重要的地位。然而，遥感对地观测技术面临的问题和瓶颈制约了政府、企业对大量遥感数据进行信息提取的能力，阻碍了遥感解译技术的产业化进程。如语义分割方向存在尺度差异巨大的语义分割对象未实现自适应处理，基于低配准精度条件实现高精度变化检测等。只有解决了这些关键技术，才能充分发挥遥感解译技术的作用，帮助遥感解译技术在各领域进行赋能。

发明内容

为了克服现有技术的不足，本发明提供了一种基于图匹配模型的低配准精度下遥感图像变化检测方法。该方法首先用多尺度自适应卷积的遥感图像语义分割模型进行建筑物分割，得到同一地区不同时相的分割结果，即二值图像；为了解决多个不同建筑物分割后区域相连的问题，采用基于实例分割方法的斑块提取，从而区分不同的斑块，得到不同时相的多个建筑物对应的区域；接下来根据斑块对应的位置信息和其他特征，进行基于图匹配模型的斑块匹配；最后根据匹配的信息，提取对应的变化信息。本发明是针对低配准精度下的不同时相的遥感图像，实现其高精度的变化检测。本发明提出的变化检测方案不依赖于精确的图像预处理，尤其是图像的校正和配准，降低了对图像校正和配准的需求。

为达到上述目的，本发明提供一种基于图匹配模型的低配准精度下遥感图像变化检测方法，包括以下步骤：

步骤1：构建语义分割网络进行遥感图像语义分割；

步骤1-1：对遥感图像进行数据增强；

步骤1-2：将经过数据增强的遥感图像输入ResNet50的backbone网络部分，输出得到中间特征图；

步骤1-3：将中间特征图依次输入动态多尺度自适应模块、BatchNorm2D和激活函数ReLU，再用stride为2的反卷积进行上采样操作；

步骤1-4：重复步骤1-3，直到输出图像特征维数和原始图像的维数相同；

步骤1-5：再对步骤1-4得到的结果进行softmax操作归一化；

步骤1-6：然后将步骤1-5完成softmax操作归一化的结果和地面真值groundtrurh做交叉熵损失函数，如式(1)，采用交叉熵损失函数对步骤1-2到步骤1-5组成的语义分割网络进行训练；

式中L代表交叉熵损失，N表示一个batch中的图像数量，y

步骤1-7：训练完成的语义分割网络即可进行遥感图像语义分割；

步骤2：在步骤1训练完成的语义分割网络中ResNet50的backbone网络部分后面增加目标检测网络，进行斑块提取，得到遥感图像中所有斑块的位置信息；

步骤3：基于图匹配模型的斑块匹配；

步骤3-1：对经过步骤1和步骤2处理后的图像通过ResNet50的backbone部分获得斑块的图像特征；

步骤3-2：提取步骤3-1得到的斑块图像特征的前G个通道作为斑块最终特征；

步骤3-3：对于同一地区两张不同时期的遥感图像A和B，分别获取A和B两幅遥感图像中斑块的位置信息和斑块最终特征；

步骤3-4：采用图匹配模型对两幅图像中的斑块进行匹配；

步骤4：变化提取；

步骤4-1：经过步骤1到步骤3处理之后，得到同一地区两张不同时期的遥感图像中目标的个数以及目标之间的配对关系；

步骤4-2：假定A的拍摄时间早于B，若A中目标A

步骤4-3：对于A和B中两个互相匹配的目标进行叠加分析，如果两个互相匹配的目标的IoU大于等于E，则判定这两个互相匹配的目标从A到B没有发生变化，IoU不为1的原因是由配准精度造成的；否则，如果两个互相匹配的目标的IoU小于于E，则判定这两个互相匹配的目标从A到B发生了变化。

进一步地，所述动态多尺度自适应模块为具有T个预先设定的具有不同大小感受野的卷积核模板通过卷积运算得到多个卷积核叠加后的结果；

动态多尺度自适应模块输出如式(2)所示：

式中k

进一步地，所述步骤2中的目标检测网络为Faster RCNN或者FCOS。

进一步地，所述采用交叉熵损失函数训练网络时，学习率设为0.001，epoch设为300。

进一步地，所述G＝5，E＝0.8。

由于采用了本发明的一种基于图匹配模型的低配准精度下遥感图像变化检测方法，带来了如下有益效果：

1、本发明是针对低配准精度下的不同时相的遥感图像，实现对遥感图像高精度的变化检测。

2、本发明提出的变化检测方案不依赖于精确的图像预处理，尤其是图像的校正和配准，降低了对图像校正和配准的需求。由于图像在实际情况中，受到拍摄质量和拍摄角度的影响，往往无法将不同时期同一地区的遥感图像进行精确对齐，所以本发明提出的方法更具有实用性。

附图说明

图1是本发明的整体流程框架示意图。

图2是本发明网络模型结构示意图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

如图1所示，本发明提供一种基于图匹配模型的低配准精度下遥感图像变化检测方法，包括以下步骤：

步骤1：构建语义分割网络进行遥感图像语义分割；

步骤1-1：对遥感图像进行数据增强；

步骤1-2：将经过数据增强的遥感图像输入ResNet50的backbone网络部分，输出得到中间特征图；

步骤1-3：将中间特征图依次输入动态多尺度自适应模块、BatchNorm2D和激活函数ReLU，再用stride为2的反卷积进行上采样操作；

步骤1-4：重复步骤1-3，直到输出图像特征维数和原始图像的维数相同；

步骤1-5：再对步骤1-4得到的结果进行softmax操作归一化；

步骤1-6：然后将步骤1-5完成softmax操作归一化的结果和地面真值groundtrurh做交叉熵损失函数，如式(1)，采用交叉熵损失函数对步骤1-2到步骤1-5组成的语义分割网络进行训练；

式中L代表交叉熵损失，N表示一个batch中的图像数量，y

步骤1-7：训练完成的语义分割网络即可进行遥感图像语义分割；

步骤2：在步骤1训练完成的语义分割网络中ResNet50的backbone网络部分后面增加目标检测网络，进行斑块提取，得到遥感图像中所有斑块的位置信息；

步骤3：基于图匹配模型的斑块匹配；

步骤3-1：对经过步骤1和步骤2处理后的图像通过ResNet50的backbone部分获得斑块的图像特征；

步骤3-2：提取步骤3-1得到的斑块图像特征的前5个通道作为斑块最终特征；

步骤3-3：对于同一地区两张不同时期的遥感图像A和B，分别获取A和B两幅遥感图像中斑块的位置信息和斑块最终特征；

步骤3-4：采用图匹配模型对两幅图像中的斑块进行匹配；

步骤4：变化提取；

步骤4-1：经过步骤1到步骤3处理之后，得到同一地区两张不同时期的遥感图像中目标的个数以及目标之间的配对关系；

步骤4-2：假定A的拍摄时间早于B，若A中目标A

步骤4-3：对于A和B中两个互相匹配的目标进行叠加分析，如果两个互相匹配的目标的IoU大于等于阈值0.8，则判定这两个互相匹配的目标从A到B没有发生变化，IoU不为1的原因是由配准精度造成的；否则，如果两个互相匹配的目标的IoU小于于阈值0.8，则判定这两个互相匹配的目标从A到B发生了变化。

进一步地，所述动态多尺度自适应模块为具有T个预先设定的具有不同大小感受野的卷积核模板通过卷积运算得到多个卷积核叠加后的结果；

动态多尺度自适应模块输出如式(2)所示：

式中k

进一步地，所述步骤2中的目标检测网络为Faster RCNN或者FCOS。

进一步地，所述采用交叉熵损失函数训练网络时，学习率设为0.001，epoch设为

具体实施例：

1、遥感图像语义分割

在训练阶段，先将遥感图像进行数据增强。首先将遥感图像进行随机裁剪，大小为512x512，然后以概率0.5进行水平和垂直翻转，再将图像进行[-30°,+30°]的随机旋转。再对图像进行高斯模糊，将高斯卷积核大小设置为3或5，将sigma设置为1.5、2.2或3，随机比例生成的椒盐噪声设置在0到0.02之间。于是在数据增强期间将产生大量子样本。Batch-size设为N，根据实际机器使用情况决定，经过ResNet50的backbone部分特征提取网络之后，得到中间特征图，其大小为Nx2048x16x16。

如图2所示，再经过一个动态多尺度自适应模块、一个BatchNorm2D和一个激活函数ReLU操作，得到大小为Nx2048x16x16的特征图，再将此特征用stride为2的反卷积进行上采样得到Nx512x32x32的特征图，再经过一个动态多尺度自适应模块、一个BatchNorm2D、一个激活函数ReLu和一个stride为2的反卷积操作得到Nx128x64x64的特征图，重复这样的过程，直到特征图的大小变为Nx2x128x128，然后将其用双线性插值采样到Nx2x512x512，沿着通道方向进行一个softmax操作之后和Nx2x512x512的ground truth去做交叉熵损失函数来训练网络。学习率设为0.001，epoch设为300，学习率从第一个epoch按照线性衰减为0.0001。

在测试阶段，对于图像尺寸较小的图像直接进行测试，对于较大的图像需要进行切分测试再拼接的方法。测试阶段送入网络的图像不再进行数据增强的操作，经过ResNet50特征提取网络之后，特征图大小变为原始的1/32，再经过若干个尺度自适应模块捕获剧烈变化的尺度信息，最后输出一个两通道的和原始大小一样的特征图，将此特征图在通道方向上做一个argmax操作得到最终的二值图像。

2、基于实例分割方法的斑块提取

遥感图像在经过语义分割网络之后，得到了分割后的中间结果。然后，将目标类标记为1，其他类标记为0，从而得到二值图像。提取连通区域最简单的方法是使用区域标记算法，但区域标记算法依赖于高精度的语义分割的结果，如果分割结果较差，会把多个目标连接成一个目标，从而产生误差。针对这一问题，本发明设计了基于实例分割方法的斑块提取，即使图像分割结果较差，也不会发生上述问题。

具体设计为将目标检测和我们的语义分割网络结合起来，它们共享相同的backbone网络部分，目标检测备选网络使用Faster RCNN或者FCOS，这两种网络模型都是已经提出来且大量研究过的模型。每一个斑块对应着一个目标，这样就得到了所有目标的位置信息。对两个时期的影像分别进行语义分割以及斑块的提取，使得目标的提取从像素级转化为实例级，即每个目标都是以个体为单位，大大减少了配准精度和拍摄影像的条件对精度的影响。由于不同时期图像中目标的位置差异，图像上的斑块提取结果无法完全重叠。为此，项目组设计了基于图匹配模型的斑块匹配方法。

为了避免采用区域标记算法将多个目标算为一个目标，提出了基于实例分割方法的斑块提取。实例分割方法是一个多任务学习，包含了目标检测和语义分割任务。在上一步的语义分割网络中加入Faster RCNN或者FCOS目标检测网络，它们之间共享相同的ResNet50的backbone部分，在损失函数中加入目标检测的损失，达到共同训练的目的。这两种网络模型都是已经提出来且大量研究过的模型。

在测试阶段，给定一张遥感图像，会得到一个二值图像的分割结果和每一个目标的bounding box(边界框)，这样就区分了不同的目标。根据目标的边界框和分割后的二值图像，提取出了斑块，并且得到了每个斑块的位置信息。对同一地区不同时期的两张遥感图像进行斑块提取的操作，就分别得到了它们斑块的集合。

每一个斑块对应着一个目标，这样就得到了所有目标的位置信息。对两个时期的影像分别进行语义分割以及斑块的提取，使得目标的提取从像素级转化为实例级，即每个目标都是以个体为单位，大大减少了配准精度和拍摄影像的条件对精度的影响。由于不同时期图像中目标的位置差异，图像上的斑块提取结果无法完全重叠。需要通过基于图匹配模型的斑块匹配进行处理。

3、基于图匹配模型的斑块匹配

利用斑块的图像特征以及它们位置之间的相对关系，通过图匹配模型算法将不同时期同一位置下的两张图像中的斑块进行匹配。这个问题等效为图匹配模型中有K个源节点，要去匹配L个目标节点。匹配需要最大化匹配对的特征相似度以及源点和目标点构成图的结构相似度。这个问题可以表述为一个BQP(二元二次问题)，并且可以通过添加一些约束条件解决。具体如下：

得到了斑块的位置信息之后，为了进行斑块匹配，还需要提取斑块的图像特征。让同一地区两张不同时期的图像经过已经训练过的网络的ResNet50的backbone部分，假定遥感图像的高为h，宽为w，那么会得到图像的特征大小为2048x(h/32)x(w/32)，为了减少计算量，取前5个通道作为图像特征，也即图像特征为5x(h/32)x(w/32)。对于每个在原始图像上的斑块，可以通过比例换算得到该斑块在当前图像特征上对应的区域，为了方便，取该区域中所有值的平均值作为最后该斑块的图像特征，这里只是以此为例，当然也可以选择更多的图像特征，囊括更多的信息。有了斑块的图像特征和位置信息，假定两幅图分别有K和L个斑块，那么可以计算出一个KL大小的向量

4、变化提取

经过了语义分割，斑块提取以及斑块匹配的过程后，可以得到不同时期图像中目标的个数以及它们的配对关系。假定有A、B两幅图像，分别表示同一地区下不同时相的数据，其中A的拍摄时间早于B。若A中某个目标在B中没有目标与其配对，那么认为A中目标对用的建筑物被拆除，不复存在。同理，若B中的某个目标在A中没有目标与其配对，那么认为B中目标对应的建筑物是新增的，之前不存在。对于A和B中匹配到的目标进行叠加分析，如果其IoU(交并比)大于0.8，则认该目标没有发生变化，其IoU的误差是由配准精度造成的；反之，则认为该建筑物发生了变化。