一种基于脉冲神经网络的深空岩石图像分割与识别方法

技术领域

本发明属于深空探测器在着陆后基于视觉的图像分割、图像识别技术领域，特别涉及一种基于脉冲神经网络的深空岩石图像分割与识别方法。

背景技术

21世纪以来，随着计算机科学和空间技术的发展，深空探测技术成为人类保护地球、进入宇宙、寻找新的生活家园的唯一手段，引起了世界各国极大的关注。深空探测是指对月球和月球以外的天体或空间的探测，是人类空间活动的重要组成部分。当前，在星体表面软着陆，进行实地巡视采样，将获取的样品送回地球进行研究也成为了目前各国进行深空探测的重点。因此开发和应用移动深空探测器对月球、行星进行探测是非常必要的。

在深空探测器着陆巡视的过程中，视觉图像是探测器进行探测巡视获取的首要信息。岩石作为在星体表面除陨石坑外最大的图像信息来源，对于岩石的检测是非常必要的。如果能通过岩石图像找到并确定地质特征，将大大提高着陆器在偏远环境中的效率；科学家也能通过获取到的视觉信息对区域进行评估，进而决定该区域是否值得更详细的调查；最重要的是，探测器在行进过程中需要通过检测岩石等障碍物提取有效环境信息，对附近地形进行评估，进而完成具备避障的自主路径规划和导航。

随着计算机技术的发展，图像分割技术应用越来越广泛。例如医学图像分割、自然图像分割、自动驾驶等。深空探测器是一类半自主移动机器人，它在星体表面巡视的过程与汽车自动驾驶的过程类似，可以通过图像分割将视觉图像分割成若干特定的、具有独特意义的部分，以从更加细粒度的角度理解场景，并提取出感兴趣的目标。在图像分割领域，目前广泛采用卷积神经网络进行图像分割，并且已经形成相对成熟的网络结构和训练算法，比如FCN、U-net、FPN等，但是在太空环境下，如何提升深空探测器对小样本问题、资源短缺问题的适应成为了不小的挑战。

因此，深空探测器基于视觉图像的分割与识别领域，尤其是针对小样本、资源短缺的问题等卷积神经网络难以解决的问题可以尝试使用脉冲神经网络(Spike neuralnetwork，SNN)进行解决。脉冲神经网络——第三代神经网络,更加符合生物学特性，与传统的人工神经网络不同，它是通过离散的脉冲而不是连续的激活值进行数据的传递，神经元仅在接受到输入脉冲时才被激活。如果没有任何输入脉冲的神经元则进入低功率模式以节省能耗。但与深度卷积神经网络相比，典型的SNN在特征提取能力方面处于极大的劣势，因此本发明利用深度卷积网络的特征提取能力与脉冲神经网络结合，获得丰富特征信息的同时，利用脉冲神经网络计算效率高、能耗低的优势在图像分割、图像识别领域作出进行更好的岩石图像检测。

发明内容

为了解决现有技术中的问题，本发明提出了一种由卷积神经网络转换得到的基于脉冲神经网络的图像分割、识别模型，应用在深空探测器巡视过程中，通过对岩石图像分割与识别进行场景理解，利用传统神经网络在特征提取方面的优势，同时能发挥脉冲神经网络在低功耗、稀疏性、小样本方面的优势。

为实现上述目的，本发明采用的技术方案为：

一种基于脉冲神经网络的深空岩石图像分割与识别方法，包括以下步骤：

S1.对深空环境下的岩石图像进行预处理；

S2.构建FCN-8s人工神经网络对岩石图像进行语义分割；

S3.对FCN-8s人工神经网络的网络结构进行解析和标准化；

S4.将标准化后的FCN-8s人工神经网络转换为基于脉冲神经网络的FCN-8s网络架构；

S5.将岩石图像编码为脉冲信号，使用基于脉冲神经网络的FCN-8s进行岩石图像分割；

S6.使用基于脉冲神经网络的YOLO模型识别分割后图像中的大尺寸岩石。

进一步的，所述步骤S1的具体步骤为：

S11.使用日本庆应大学石上实验室(太空机器人集团)创建的Artificial LunarLandscape数据集图像，该数据集包含9766张月球景观的合成图像及其对应的分割类别：天空、地面、大尺寸岩石、小尺寸岩石，同时包含大尺寸岩石的边界框；

S12.对数据集进行预处理：将模型的结果赋予颜色，为后期模型预测作准备，先用argmax转换为类别值，然后再将类别值转换为RGB三个通道的值；天空、地面、大尺寸岩石、小尺寸岩石的表征颜色分别为红色、黑色、蓝色、绿色，大尺寸岩石为数据集中给出边界框的岩石。

进一步的，所述步骤S2的具体步骤为：

S21.使用Vgg_net作为基础网络，使用预训练模型中的参数作为FCN-8s权重和偏置的初始值；

S22.将S1处理后的数据集图像输入FCN-8s人工神经网络中，将传统的CNN网络最后两层全连接层转换成为两层卷积层进行特征提取得到热图(heatmap)，然后通过上采样(upsample)恢复图片大小并通过跳跃连接(skip connection)利用浅层信息辅助上采样，获得精细的结果；

S23.使用S22中构建的FCN-8s网络结构进行训练，得到语义分割后的岩石图像，将图像分为天空、地面、大尺寸岩石、小尺寸岩石四部分。

进一步的，所述步骤S3的具体步骤为：

S31.对FCN-8s人工神经网络的结构进行解析，具体过程为：提取FCN-8s人工神经网络中卷积层、池化层和激活层的属性和参数；

S32.检测层与层之间的连接关系，根据连接关系对每一层的属性进行处理得到每一层的解析属性，然后根据解析属性和解析参数构建解析后的FCN-8s人工神经网络；

S33.对解析后的FCN-8s人工神经网络进行动态标准化处理，具体过程为：将FCN-8s人工神经网络的训练集样本输入卷积层，卷积层根据样本计算得到激活值分布，根据激活值分布确定每一层的缩放因子，缩放因子由当前层的最大激活值分布的(99％，99.99％)来确定；

S34.动态标准化由该层的缩放因子和上一层的缩放因子共同决定，在权重标准化的过程中，将权重乘以上一层缩放因子与该层缩放因子的比值，即：

W

其中：W

偏置的动态标准化的过程由当前层的缩放因子决定，在标准化的过程中，将偏置除以当前层的缩放因子λ

b

其中，b

进一步的，所述步骤S4的具体步骤为:

S41.将动态标准化后的FCN-8s人工神经网络转换为FCN-8s脉冲神经网络：对标准化的FCN-8s人工神经网络建立脉冲输入输出机制、脉冲发射机制和膜电位复位机制转化为FCN-8s脉冲神经网络；

S42.将输入像素转换为脉冲进行发放，人工神经网络中的激活值近似为LIF(Leaky integrate fire)神经元模型中的脉冲发放率，当神经元膜电位超过阈值则向后发放脉冲，随后膜电位复位为静息电位，准备下一次的脉冲发放；

S43.在输出层统计总时间窗口每个输出神经元发放的脉冲总数，将脉冲总数转换为输出图像的像素值，得到最终的分割结果。

进一步的，所述步骤S5的具体步骤为：

S51.使用频率编码将岩石图像编码为脉冲信号，随着刺激强度的增加，神经元发放的脉冲频率也会增加，神经元的脉冲发放频率v理解为固定时间窗口T内观察到的平均脉冲个数n

S52.将每个像素点的像素值作为刺激强度，使用泊松编码的方式，将像素值编码为脉冲序列输入FCN-8s脉冲神经网络中，得到图像分割的结果。

进一步的，所述步骤S6的具体步骤为：

S61.将YOLO人工神经网络模型按照S3、S4中的人工神经网络的解析、标准化、转换的方式转换为基于脉冲神经网络的YOLO模型；

S62.由于在探测车巡视过程中，小尺寸岩石所在地面探测车直接通行，大尺寸岩石障碍对其行进过程影响较大，如果产生碰撞会对移动过程中的移动点积的电流产生影响，甚至会造成电机损坏；因此将S5中通过图像分割获得的岩石图像通过S61中基于脉冲神经网络的YOLO模型识别出大尺寸岩石。

与现有技术相比，本发明具有以下有益效果：

本发明通过将脉冲神经网络应用在深空探测领域，对深空地面岩石图像进行语义分割，对大尺寸岩石进行识别，为深空探测器下一步的导航与避障奠定了基础。本发明涉及的一种将人工神经网络转换为脉冲神经网络模型的优化方法，通过对FCN-8s和YOLO人工神经网络进行解析、动态标准化和转换操作，得到优化后的FCN-8s和YOLO脉冲神经网络模型，既能发挥传统卷积神经网络在图像分割和识别精度方面的优势，同时也能发挥脉冲神经网络在低功耗和低延时等方面的优势。充分利用脉冲信息的稀疏性，极大的降低网络运算量与计算延时，以更加符合实时性需求的网络来完成对深空岩石图像的语义分割和大尺寸岩石的识别工作。

本发明所涉及的网络解析与转换方法，脉冲卷积运算、脉冲池化运算等均具有较强的通用型和可扩展性，可以应用于绝大部分需要将第二代神经网络转换为脉冲神经网络的情况，弥补脉冲神经网络在特征提取方面的劣势。同时由于其低延时、低耗能的优势，可以部署到实际的工程应用中，实现高速低能耗的图像分割与识别项目。

附图说明

图1为本发明的方法流程示意图；

图2为FCN-8s的网络模型架构图；

图3为根据本发明将FCN-8s人工神经网络转换为FCN-8s脉冲神经网络的流程图；

图4为使用基于脉冲神经网络的FCN-8s进行岩石图像分割的流程图；

图5为根据本发明将YOLO人工神经网络转换为YOLO脉冲神经网络的流程图。

具体实施方式

下面结合实施例对本发明作更进一步的说明。

实施例1

如图1所示，一种基于脉冲神经网络的岩石图像分割与识别方法，包括以下步骤：

S1.对深空环境下的岩石图像进行预处理；

S11.使用日本庆应大学石上实验室(太空机器人集团)创建的Artificial LunarLandscape数据集图像，该数据集包含9766张月球景观的合成图像及其对应的类别分割(天空、地面、大尺寸岩石、小尺寸岩石)，同时包含大尺寸岩石的边界框；

S12.对数据集进行预处理。将模型的结果赋予颜色，为后期模型预测作准备，先用argmax转换为类别值[0,1,2,3]，然后再将类别值转换为RGB三个通道的值[255,0,0]、[0,0,0]、[0,0,255]、[0,255,0]。天空、地面、大尺寸岩石、小尺寸岩石的表征颜色分别为红色、黑色、蓝色、绿色，其中大尺寸岩石为数据集中给出边界框的岩石。

S2.构建FCN-8s人工神经网络对岩石图像进行语义分割；

S21.使用Vgg_net作为基础网络，使用预训练模型中的参数作为FCN-8s权重和偏置的初始值；

S22.将S1处理后的数据集图像输入FCN-8s人工神经网络中，将传统的CNN网络最后两层全连接层转换成为两层卷积层进行特征提取得到热图(heatmap)，然后通过上采样(upsample)恢复图片大小并通过跳跃连接(skip connection)利用浅层信息辅助上采样，获得精细的结果。

S23.使用S22中构建的FCN-8s网络结构进行训练，得到语义分割后的岩石图像，将图像分为大岩石、小岩石、天空、地面四部分。

具体来讲，如图2所示，FCN-8s网络模型将传统的CNN网络的最后三层全连接网络转换成三层卷积层，整体包括7个卷积层、5个池化层，对原图像进行卷积conv1、pool后原图像缩小为1/2；之后对图像进行第二次conv2、pool2后图像缩小为1/4；接着继续对图像进行第三次卷积操作conv3、pool3缩小为原图像的1/8，此时保留pool3的featureMap；接着继续对图像进行第四次卷积操作conv4、pool4，缩小为原图像的1/16，保留pool4的featureMap；最后对图像进行第五次卷积操作conv5、pool5，缩小为原图像的1/32，然后把原来CNN操作中的全连接变成卷积操作conv6、conv7，图像的featureMap数量改变但是图像大小依然为原图的1/32，此时图像不再叫featureMap而是叫heatMap。接着，conv7经过一次4xupsample上采样，即使用一个卷积层，特征图输出大小为conv7的4倍，所得4x conv7的大小为4x4。然后pool4需要一次2x upsample上采样，变成2x pool4，大小也变成4x4。再把4xconv7，2x pool4与pool3进行求和，得到求和后的特征图。最后增加一个卷积层，使得输出图片大小为pool3的8倍，也就是8x upsampled prediction的过程，得到一个end to end的图像。在上采样后增加一个softmax，对不同类型的大小概率进行估计，最后输出一个概率估计，对应像素点的值越大，其像素为该类结果的概率越大。将预测结果与标签数据进行比对，使用Dice损失函数D

S3.对FCN-8s人工神经网络的网络结构进行解析和标准化；

S31.对FCN-8s人工神经网络的结构进行解析。首先根据所获得的FCN-8s人工神经网络模型确定FCN-8s脉冲神经网络中所对应的网络层。该网络模型中包含输入层、卷积层、批标准化层、激活层。接着建立FCN-8s脉冲神经网络的网络层，若对应的FCN-8s人工神经网络某层具有参数，则将参数该层加载到已建立的FCN-8s脉冲神经网络的网络层。具体来说，输入层、均值池化层保持功能不变，直接映射到对应的脉冲网络层；卷积层将参数迁移到脉冲神经网络对应的脉冲卷积层，以脉冲神经网络的前向推理方式进行计算；

S32.总的来说，检测层与层之间的连接关系，根据连接关系对每一层的属性进行处理得到每一层的解析属性，然后根据解析属性和解析参数构建解析后的FCN-8s人工神经网络；

S33.接着对解析后的FCN-8s人工神经网络进行动态标准化处理，具体过程为：将FCN-8s人工神经网络的训练集样本输入卷积层，卷积层根据样本计算得到激活值分布，根据激活值分布确定每一层的缩放因子，缩放因子由当前层的最大激活值分布的(99％，99.99％)来确定；

S34.动态标准化由该层的缩放因子和上一层的缩放因子共同决定，在权重标准化的过程中，将权重乘以上一层缩放因子与该层缩放因子的比值，即：

W

其中：W

偏置的动态标准化的过程由当前层的缩放因子决定，在标准化的过程中，将偏置除以当前层的缩放因子λ

b

其中，b

S4.如图3所示，将标准化后的FCN-8s人工神经网络转换为基于脉冲神经网络的FCN-8s网络架构；

S41.将动态标准化后的FCN-8s人工神经网络转换为FCN-8s脉冲神经网络：对标准化的FCN-8s人工神经网络建立脉冲输入输出机制、脉冲发射机制和膜电位复位机制，将其转化为FCN-8s脉冲神经网络。

S42.将输入图像利用泊松编码转换为脉冲进行发放，利用动态标准化的FCN-8s人工神经网络将脉冲(由0或1组成)与卷积层、激活层的参数进行卷积运算得到膜电位矩阵，再根据膜电位矩阵进行脉冲输入和膜电位复位。

S43.FCN-8s脉冲神经网络中的神经元是LIF(Leaky integrate fire)泄漏发放神经元模型。该神经元模型引入一个第l层神经元i在t时刻的电压值

其中：j表示l-1层的神经元；

其中：

S43.针对FCN-8s脉冲神经网络的最大池化层，无法直接确定脉冲发射率最大的神经元，因此保留最大池化层上一层的不复位膜电压的累加值，在神经元膜电位矩阵上做索引，得出每个窗口内最大神经元膜电位的索引，然后按照索引输出神经元脉冲的值。后续通过上采样(upsample)进行还原，并通过跳跃连接(skip connection)利用浅层信息辅助上采样，获得更精细的结果。

S44.在输出层统计总时间窗口内每个输出神经元发放的脉冲总数，根据发放脉冲总数将神经元分为四个类别，转换为输出图像的像素值，得到最终的分割结果。

S5.将岩石图像编码为脉冲信号，使用基于脉冲神经网络的FCN-8s进行岩石图像分割；

S51.如图4所示，将每个像素点的像素值作为刺激强度，使用泊松频率编码将岩石图像编码为脉冲信号。在固定时间间隔Δt内，产生一个脉冲的概率为P(n＝1)≈rΔt，其中：n为脉冲个数，r表示与像素值成正比的激发频率。在总的时间窗口T内，生成一个符合均匀分布的随机数x[i]，对于每个时间间隔，如果x[i]≤rΔt，则发放一个脉冲，否则不产生脉冲，最终形成图像编码。

S52.将图像编码的脉冲序列输入FCN-8s脉冲神经网络中，得到图像分割的结果。

S6.使用基于脉冲神经网络的YOLO模型对分割后的图像中的大尺寸岩石的识别。

S61.如图5所示，将YOLO人工神经网络模型按照S3、S4中的人工神经网络的解析、标准化、转换的方式转换为基于脉冲神经网络的YOLO模型。

S62.由于在探测车巡视过程中，相较于小尺寸岩石所在地面探测车可以直接通行，大尺寸岩石障碍对其行进过程影响较大，如果产生碰撞会对移动过程中的移动点积的电流产生影响，甚至会造成电机损坏等。因此将S5中通过图像分割获得的岩石图像通过S61中基于脉冲神经网络的YOLO模型识别出大尺寸岩石。

本发明公开了一种基于脉冲神经网络的深空岩石图像分割与识别方法，包括以下步骤：构建基于卷积神经网络(CNN)的图像分割模型；对预处理后的深空环境下的岩石图像进行语义分割，将图像分割为天空、地面、大尺寸岩石、小尺寸岩石四部分；将基于CNN的分割模型转换为基于脉冲神经网络(SNN)的分割模型；使用基于SNN的分割模型进行岩石图像分割；并使用通过上述方式进行转换的基于SNN的图像识别模型识别大尺寸岩石。本发明保留了传统CNN在图像分割和识别中特征提取和精度方面的优势，同时也能发挥SNN在低功耗和低延时等方面的优势。以更加符合实时性需求的网络来完成对深空岩石图像的分割和大尺寸岩石的识别工作，为后续深空探测器的导航与避障奠定基础。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。