一种面向训练目标视角不完备的SAR目标识别的自学习方法

技术领域

本发明属于合成孔径雷达目标识别技术领域，尤其涉及一种面向训练目标视角不完备的SAR目标识别的自学习方法。

背景技术

合成孔径雷达(Synthetic Aperture Radar，SAR)目标识别，在军事目标识别、车辆重识别等任务中有着重要的意义，可以为监控、打击、救援等任务的展开提供精准的目标身份信息。目标识别最重要的任务是提供稳定而精准的身份信息，而这其中的关键技术就是视角不完备情况下稳定的目标识别技术。在实际应用中，合成孔径雷达具有不受天气和光照等条件干扰、可连续监测环境中的目标等优势。

在实际的目标监测中，目标与载有成像雷达的卫星处于相对运动中，当目标静止，或者小范围活动时，无法获得待识别目标在全部视角下的成像信息，只能得到部分视角下的成像信息，而SAR图像又对视角敏感，较小的观测角度变化也会引起SAR图像上的突变。实际应用中，可以获得一部分目标在全部视角下的成像(如己方目标等)，但面对只有部分视角下的成像目标，如何利用已有全部视角成像信息的SAR图像和只有部分视角成像信息的SAR图像训练稳定精准的目标识别分类器，从而处理视角不完备情况下的目标识别问题，就成为了亟待解决的难题。

发明内容

本发明的目的是提供一种面向训练目标视角不完备的SAR目标识别的自学习方法，通过控制缺失预测监督任务和拼图重构监督任务的训练过程，以训练得到精准的分类器，提升视角不完备SAR图像的分类精度。

本发明采用以下技术方案：一种面向训练目标视角不完备的SAR目标识别的自学习方法，包括以下步骤：

获取训练集；其中，训练集由至少两类SAR图像构成，且至少一类SAR图像中包含完备视角的识别目标；

从训练集中提取两个SAR图像；

以两个SAR图像为输入信息，基于目标识别网络确定分类误差，基于缺失预测网络和拼图重构网络确定缺失预测误差和拼图重构误差；

通过分类误差、缺失预测误差和拼图重构误差，对目标识别网络、缺失预测网络和拼图重构网络进行优化，得到视角不完备的SAR图像分类器。

进一步地，目标识别网络采用两路参数共享的卷积网络，激活函数选用relu，每个卷积网络后均连接softmax层。

进一步地，缺失预测网络采用encoder-decoder架构，基于缺失预测网络确定缺失预测误差包括：

构建输入的SAR图像的不完备区域；

利用SAR图像中的不完备区域外的区域信息，预测填充不完备区域，得到预测SAR图像；

确定预测SAR图像和输入的SAR图像之间的缺失预测误差。

进一步地，拼图重构网络采用孪生网络架构，基于拼图重构网络确定拼图重构误差包括：

将输入的SAR图像裁剪为固定大小的切片；其中，相邻的切片之间具有间隔；

依次将切片输入到孪生网络架构中，得到拼图重构后的SAR图像；

确定拼图重构后的SAR图像和输入的SAR图像之间的拼图重构误差。

进一步地，从训练集中提取两个SAR图像包括：

两个SAR图像中识别目标的类别相同。

进一步地，分类误差为交叉熵与同类限制约束误差之和。

进一步地，交叉熵的计算方法为

同类限制约束误差的计算方法为L

进一步地，通过分类误差、缺失重构误差和拼图重构误差，对目标识别网络、缺失预测网络和拼图重构网络进行优化包括：

采用误差方程进行误差计算，其中误差方程为：

其中，L

本发明的另一种技术方案：一种面向训练目标视角不完备的SAR目标识别的自学习装置，包括：

获取模块，用于获取训练集；其中，训练集由至少两类SAR图像构成，且至少一类SAR图像中包含完备视角的识别目标；

提取模块，用于从训练集中提取两个SAR图像；

确定模块，用于以两个SAR图像为输入信息，基于目标识别网络确定分类误差，基于缺失预测网络和拼图重构网络确定缺失预测误差和拼图重构误差；

优化模块，用于通过分类误差、缺失预测误差和拼图重构误差，对目标识别网络、缺失预测网络和拼图重构网络进行优化，得到视角不完备的SAR图像分类器。

本发明的另一种技术方案：一种面向训练目标视角不完备的SAR目标识别的自学习装置，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一的一种面向训练目标视角不完备的SAR目标识别的自学习方法。

本发明的有益效果是：本发明采用不同类别间的SAR图像随机组合生成输入对，建立视角不完备SAR图像和视角完备SAR图像之间的联系，极大地丰富了样本SAR图像多样性，并结合缺失预测网络和拼图重构网络对目标识别网络进行优化，使得该网络能够在视角不完备的情况下提取出鲁棒的身份特征，提升训练得出的分类器的分类精确度。

附图说明

图1为本发明一种面向训练目标视角不完备的SAR目标识别的自学习方法的原理框图；

图2为本发明实施例一种面向训练目标视角不完备的SAR目标识别的自学习方法的流程图；

图3为本发明实施例中视角不完备的SAR图像目标识别的自学习网络整体框架图；

图4为本发明实施例中目标识别网络的结构示意图；

图5为本发明实施例中缺失预测网络和拼图重构网络的原理图；

图6本发明实施例中缺失预测网络的结构示意图；

图7为本发明实施例中拼图重构网络的架构图；

图8为本发明验证实施例中缺失预测任务和拼图重构任务的样本示意图；

图9为本发明实施例中控制函数的控制示意图；

图10为本发明另一实施例一种面向训练目标视角不完备的SAR目标识别的自学习装置的结构示意图；

图11为本发明另一实施例一种面向训练目标视角不完备的SAR目标识别的自学习装置的结构示意图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

在目标识别方面，传统的目标识别并未考虑到视角不完备SAR图像对分类器性能的影响，在构造输入数据时，一般使用单个目标SAR图像、或者同一类别下的不同视角目标SAR图像组成作为输入，进而来训练SAR图像分类器。

但是，这种构造方式不能充分挖掘训练数据间的关系(例如全部视角成像下SAR图像的视角信息无法传递到部分视角成像下的SAR图像)，使得训练数据模式单一，不能处理较复杂的任务。同时这一方式训练得来的分类器，无法提取出对视角变化的鲁棒特征，当处理视角不完备情况下的SAR图像时会受到影响，从而导致分类精度大幅下降。

在自学习框架下的目标识别方法中，通过设计多种自监督任务，约束引导网络学得具有预期特性的特征表示，自学习方法可以看作是一种具有监督形式的、特殊形式的非监督学习方法，这里的监督是由自监督任务而不是预设先验知识诱发的。与完全不受监督的设置相比，自监督学习使用数据集本身的信息来构造伪标签，可以更好地挖掘数据本身的特性，提供更丰富更合理的特征表示。

但是由于多个自监督任务的引入，如何设置不同任务的权重成为关注的重点，目前常用的方法是通过网格搜索的方式寻找最佳的任务权重，但这一过程往往会造成大量的时间、算力消耗，这使得应用在自学习框架下的目标识别方法缺乏处理实际应用中的视角不完备的问题。

传统的目标识别方法并未考虑到视角不完备SAR图像对分类器性能的影响，训练分类器时使用单个目标作为输入，或者使用同类别下不同视角SAR图像组成一个输入对，这一方式虽然可以使分类器有效地缩减类内差异，但并不能使用到其他类别中其他有效的信息。在视角完备的SAR图像中，除了用来表示身份的信息外，还可以提供较为完整的视角信息，这些完整的视角信息合理运用可以补充视角不完备SAR图像数据的天然缺陷。

在自学习框架下的目标识别方法中，使用预先设计的多种自监督任务约束引导网络训练，通过这一具有监督形式的特殊形式的非监督学习方法，使得网络获得任务预期的特征提取能力。在引入监督任务增强网络表示能力的同时，也会导致网络在不同任务监督下有不同的性能表现，即不同监督任务对主任务的辅助作用不同。

此外，在训练过程中，同时对主任务及监督任务进行优化，会导致监督任务之间相互影响，无法发挥起作用。简单来说，合理的训练过程应当在某一监督任务下达到一定效果后再进行下一项监督任务，是一个有约束的优化问题。一般情况下，通过设置不同监督任务的权值来观察不同监督任务对主任务的影响程度，但这一方法所需时间及算力较大，极大地限制了方法的应用场景，更为重要的是训练过程并不是合理的有约束的优化，监督任务间的耦合会影响分类性能。

在视角不完备的目标识别问题中，需要利用已有的全视角类别SAR图像和视角不完备的SAR图像来训练分类器，完成所有类别在全视角下的目标识别问题。这要求能够建立视角不完备SAR图像和视角完备SAR图像的联系，利用合理的网络结构挖掘更深层次特征表示，以此来完成目标识别问题，尤其是视角不完备的情况下的目标识别问题。

故本发明采用不同类别间的SAR图像随机组合生成输入对，建立视角不完备SAR图像和视角完备SAR图像之间的联系，极大地丰富了样本SAR图像多样性，并使用控制函数渐进地完成自学习网络的训练过程，该网络能够在视角不完备的情况下提取出鲁棒的身份特征，进一步完成目标识别问题。

本发明公开了一种面向训练目标视角不完备的SAR目标识别的自学习方法，属于深度学习和目标识别技术领域，SAR图像对视角变化非常敏感，而在实际应用中很难获得待识别目标在全部视角下的图像，所以对视角不完备的目标完成识别是具有挑战且有广阔应用需求的任务。

传统目标识别方法没有利用可获得的视角完备SAR图像给视角不完备SAR图像提供有用信息，而一般的自学习框架将不同的监督任务同等对待或者进行耗时耗力的权值搜索，并未将训练过程视为有约束的优化问题，分类性能易受监督任务间的耦合影响。

本发明采用不同类别间的SAR图像随机组合生成输入对，每个输入对都包括两个SAR图像，这两个SAR图像中识别目标的类别可以是相同的，也可以是不同的。建立视角不完备SAR图像和视角完备SAR图像的联系，同时使用控制函数渐进地完成自学习网络的训练过程，从而提取出更为鲁棒的身份特征，完成视角不完备情况下的目标识别问题。

处理过程原理图如图1所示，具体过程如图2所示，通过以下步骤实现。

步骤S110、获取训练集；其中，训练集由至少两类SAR图像构成，且至少一类SAR图像中包含完备视角的识别目标；

步骤S120、从训练集中提取两个SAR图像；

步骤S130、以两个SAR图像为输入信息，基于目标识别网络确定分类误差，基于缺失预测网络和拼图重构网络确定缺失预测误差和拼图重构误差；

步骤S140、通过分类误差、缺失预测误差和拼图重构误差，对目标识别网络、缺失预测网络和拼图重构网络进行优化，得到视角不完备的SAR图像分类器。

本发明采用不同类别间的SAR图像随机组合生成输入对，建立视角不完备SAR图像和视角完备SAR图像之间的联系，极大地丰富了样本SAR图像多样性，并结合缺失预测网络和拼图重构网络对目标识别网络进行优化，使得该网络能够在视角不完备的情况下提取出鲁棒的身份特征，提升训练得出的分类器的分类精确度。

更为具体的，首先生成网络训练所需的输入对，取训练数据集中任意类别的两张SAR图像随机组合生成一对输入图像，经过数据预处理模块，得到各任务网络所需的数据样式，之后将得到的数据送入不同的任务网络进行训练，不同任务网络完成任务所需的输出。

如图3所示，为视角不完备的SAR图像目标识别的自学习网络整体框架。目标识别主任务网络结构如图4所示，采用两路参数共享的卷积网络，激活函数选用relu，再各自经过softmax层得到最终的分类结果。因为双路输入的SAR图像的类别组合是随机的，对于属于不同类的SAR图像组合不宜添加约束，避免使其相互远离，但对属于同类的SAR图像组合，应当认为此时提取出的身份表示(即身份特征)应当是相同或近似的，故在常用的交叉熵损失之外还应加入同类限制约束。

对于两个监督任务：缺失预测和拼图重构。自监督任务无需额外监督信息，通过数据本身来构造相关任务。其中，缺失预测任务是指，利用其他区域的信息来预测填充不完备区域，即在输入SAR图像中，当该SAR图像具有随机不完备固定尺寸的区域信息时，利用其它区域的信息对该区域进行预测填充，任务示意图见图5(a)。

拼图重构任务是将一个SAR图像，等分切割成为4块小区域，将其乱序排列后输入网络，使网络学习SAR图像中目标的相对位置与绝对位置，从而完成图像的重构任务，任务示意图见图5(b)。

同时，为了调节两个监督任务的相互关系，避免结果受到任务耦合的影响，使用渐进式控制函数来调节监督任务在训练过程中的参与情况，实现有约束的优化过程，同时使用交替迭代的训练方式来确保网络的稳定性。

缺失预测任务采用类似encoder-decoder架构，具体过程为：

构建输入的SAR图像的不完备区域；利用SAR图像中的不完备区域外的区域信息，预测填充不完备区域，得到预测SAR图像；确定预测SAR图像和输入的SAR图像之间的缺失预测误差。

更为具体的，如图6所示，训练误差由两部分组成，其中L2误差使图片重建相近，对抗误差(adversarial loss)使图片清晰。encoder和decoder之间使用channel-wise FC层相连(因为修复需要四周的背景信息，而单纯卷积层只有局部语义)。

拼图重构任务采用孪生网络架构，具体过程为：

将输入的SAR图像裁剪为固定大小的切片；其中，相邻的切片之间具有间隔；依次将切片输入到孪生网络架构中，得到拼图重构后的SAR图像；确定拼图重构后的SAR图像和输入的SAR图像之间的拼图重构误差。

更为具体的，如图7所示。将图片裁剪为固定大小的切片，网络是依次输入两个切片，其中第一张切片是随机采样的，其余切片按照其与第一张切片的关系依次编号(共8个方向，及8种关系)为1，2，…，8。其中，在四个方形框中，右下角的实线框区域为第一次随机采样得到的patch，而第二次输入的patch是从周边的8个patch中随机选择得到的。同时，为了增加任务的难度，相邻的patch要有一定像素的间隔，并且有-7到7个像素的随机变化。输入打乱顺序的切片后，经过网络得到各个切片间的相对位置关系，从而完成重构任务。

网络搭建完成后，还需要对网络进行优化。网络的整体误差由三部分组成，目标识别主任务网络的误差、不完备预测网络和拼图重构网络的图像重构误差。其中，目标识别主任务网络的误差包括分类误差和同类误差。分类误差是指利用网络提取出的身份特征进行分类的结果与目标真实类别间的差异，这一误差可以用来衡量网络所提取出的身份特征的优劣，采用最常见的交叉熵(Cross Entropy)作为衡量误差大小的指标，计算公式如下：

其中，y是SAR图像中待识别目标的真实类别，

双路输入的SAR图像中待识别目标的类别组合是随机的，对于属于不同类的组合不宜添加约束，避免使其相互远离。但对属于同类的组合，应当认为此时提取出的身份表示应当是相同或近似的，所以引入同类限制约束，计算公式如下：

其中，f

L

在缺失预测和拼图重构任务中，最后网络输出的均为输入图像的重构，衡量图像重构优劣的方法有很多，比如均方误差MSE(Mean Square Error)、平均绝对误差MAE(MeanAbsolute Error)等，本发明中采用MAE作为衡量图像重构优劣的指标，计算公式如下：

其中，p为原始图像，

故网络的总误差为：

其中，L

其中，step为当前训练步数，steps为总的训练步数(具体值预先设定)。控制函数如图9所示，其中，横轴代表训练进度r，为当前训练步数与设定好的训练总步数的比值，纵轴代表在当前训练进度下的参数β的值。可以看出参数β的值由0逐渐趋近于1，这表示参数β控制的监督任务从不参与主任务的训练到监督主任务的训练过程的转换，同时1-β的值由1逐渐趋近于0，表明另一监督任务逐渐退出监督主任务的训练过程的变化。

网络采用Adam(Adaptive moment estimation)优化器进行优化，学习率为0.001，动量为0.9，其余参数设置为默认。

本发明采用一种面向训练目标视角不完备的SAR目标识别的自学习方法，实现对不完备视角下的SAR图像中目标的识别，通过采用不同类别间的样本随机组合生成输入对，建立视角不完备SAR图像和视角完备样本的SAR图像，同时使用控制函数渐进地完成自学习网络的训练过程，从而提取出更为鲁棒的身份特征表示，完成视角不完备情况下的目标识别问题。

验证实施例：

为了进行验证，首先需要将不同视角下目标的SAR图像进行采样，组合作为网络的输入，SAR图像取自美国国防高等研究计划署(DARPA)公开的SAR目标识别数据集MSTAR，DARPA通过高分辨率的聚束式合成孔径雷达采集多种前苏联目标军事车辆的SAR图像，并进行了SAR实测地面目标试验，包括目标遮挡、伪装、配置变化等扩展性条件，形成了较为系统、全面的实测数据库。

选用其中的十类目标作为训练数据集，数据集的基本信息如表1所示。

表1使用的数据集的基本信息

由于每种目标的图像尺寸不一致，所以需要进行处理，使所有目标图像尺寸相同。如果采用resize等方法，会改变图像中像素值，而在SAR图像对像素值的变化非常敏感，所以采用crop方法以保留原始信息，最后得到大小为88×88像素的图片。在获得不同视角下的排列组合时，可以使用组合数

另外，考虑到全视角类别个数会对视角不完备下的识别产生影响，所以设计以下两种实验场景：一、随机选择五个类别作为全视角样本，剩余五类为视角不完备样本；二、依次选择一个类别作为全视角样本，剩余九类为视角不完备样本。

为了验证方法的有效性，对监督任务重构出的图像进行展示，如图8所示，通过该图可以看出在两个不同的自监督任务中都实现了高质量的重构效果，说明在控制函数的调节下，缺失预测任务和拼图重构任务解耦开来，独立完成了各自的监督任务。

为了验证方法的高效性，将本发明方法与目前多种主流目标识别方法进行了对比。在对比方法选择中，除了经典的支持向量机分类器(Support Vector Machine，SVM)、基于稀疏表示的分类器(Sparse Representations Classification，SRC)外，还选用了一种高性能的深度卷积神经网络AconvNet，在此基础上将直接旋转扩充的SAR图像，作为训练集测试直接旋转图像来解决视角不完备问题的可行性，此外还将深度卷积神经网络结合STN模块以期获取鲁棒的视角不变特征。

相较于上述对比方法，本发明在两种情况的SAR图像样本集测试中，均取得最高的识别精度，具体识别结果如表2所示，这充分说明了本发明在视角不完备情况下目标识别的高效性。

表2本发明及对比方法在两种不完备情况下的识别精度

综上可知，本发明采用不同类别间的SAR图像样本随机组合的方式生成输入对，一方面提高了SAR图像样本的多样性与数据量，另一方面在训练过程中建立起视角完备SAR图像样本与视角不完备SAR图像样本的联系，使得与类别无关的视角信息得以传递。同时因随机组合方式导致无法对双路输入的样本直接进行约束，故使用选择性的同类约束限制，当输入对的样本类别一致时，其身份表示应趋于一致甚至相同，也就是同类目标经网络提取后的feature map应尽可能相似。通过跨类别组合使得视角不完备的样本从视角完备的样本中得到丰富的视角信息，提供其解决视角不完备下的识别问题的能力，又利用选择性的同类约束保留了同类组合输入的有力约束，使网络能够在其反馈下学得更好的身份特征表示。

另外，本发明通过控制函数调节自学习框架中自监督任务间的关系，避免了传统自学习中为调节监督任务而使用的耗时耗力的网格搜索，同时使得每次优化过程中只有一个监督任务对主任务起辅助作用，根本上解决了多监督任务间耦合的问题。使用交替优化策略，确保了训练过程是一个有约束的优化过程，即当某一监督任务训练一定步数后，更换监督任务，这时新的监督任务的优化是基于先前任务的基础上进行的，交替往复，使得网络拥有更好的泛化能力，从而解决视角不完备下的目标识别问题。

本发明基于控制函数控制的自学习框架，将视角完备样本和视角不完备样本进行跨类别随机组合，生成输入对，在增加样本多样性、增大训练数据量的同时，建立视角完备样本和视角不完备样本的联系，使得与类别无关的视角信息得以传递，并通过同类约束对类别一致的样本对施加身份表示一致的限制，使网络提取到的身份表示更为鲁棒，实现在视角不完备下的SAR目标识别任务，可以有效地克服因SAR图像对视角变化敏感，以及实际识别任务中不易获取全视角样本而导致的视角不完备下识别精度大幅下降的难题。此外因为自学习网络的两个自监督任务通过渐进式的控制函数调节训练过程，减少时间、算力消耗的同时，实现了有约束的优化过程，消除监督任务间耦合现象对结果的影响，使得网络拥有更好的泛化能力，极大地扩大了该发明的适用范围。

另外，本发明另一实施例还公开了一种面向训练目标视角不完备的SAR目标识别的自学习装置，如图10所示，包括：

获取模块210，用于获取训练集；其中，训练集由至少两类SAR图像构成，且至少一类SAR图像中包含完备视角的识别目标；提取模块220，用于从训练集中提取两个SAR图像；确定模块230，用于以两个SAR图像为输入信息，基于目标识别网络确定分类误差，基于缺失预测网络和拼图重构网络确定缺失预测误差和拼图重构误差；优化模块240，用于通过分类误差、缺失预测误差和拼图重构误差，对目标识别网络、缺失预测网络和拼图重构网络进行优化，得到视角不完备的SAR图像分类器。

需要说明的是，上述模块之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功模块，以完成以上描述的全部或者部分功能。实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述系统中模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本发明另一实施例还公开了一种面向训练目标视角不完备的SAR目标识别的自学习装置，如图11所示，包括存储器31、处理器32以及存储在存储器31中并可在处理器32上运行的计算机程序33，其特征在于，处理器32执行计算机程序33时实现上述的一种面向训练目标视角不完备的SAR目标识别的自学习方法。

本发明另一实施例还公开了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述的一种面向方位角连续缺失的SAR目标特征解缠与识别方法。

所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。