基于竞争注意力融合的深度三维点云分类网络构建方法

技术领域

本发明涉及一种基于竞争注意力融合的深度三维点云分类网络构建方法，属于计算机视觉中的三维点云分类技术领域，尤其适用于含有噪声干扰的点云分类任务。

背景技术

在计算机视觉应用中，对二维图像的分析处理有时不能满足实际应用的需要。三维点云数据极大程度上弥补了许多应用场景中二维图像对于空间结构信息的缺失。随着深度学习和神经网络的发展，关于三维点云的研究从低维几何特征转向高维语义理解。近年的许多研究采用基于深度神经网络的学习方法，这类方法依据不同的三维数据表达方式又可以分为：基于手工特征预处理、基于多视图、基于体素和基于原始点云数据的方法。

原始三维数据表达简单，更能展现物体的原始立体表征，将三维点云作为输入避免了在卷积网络中输入多视图、体素这类规则化数据造成的不利因素，如不必要的体积划分和对点云数据不变性的影响。受采集设备以及坐标系影响，得到的三维点云数据的排列顺序差别很大。针对无序点云数据的分类和分割问题，PointNet网络开创性地提出直接处理稀疏的非结构化点云，使用多层感知器和最大池化获取全局特征。此后研究者提出了许多以PointNet为基础的网络框架，比如PointNet++、PCPNet、SO-Net等等。此外，对于三维点云数据处理于分类分割问题，另有研究提出了PointCNN、DensePoint、Point2Sequence、A-CNN、PointWeb等知名网络框架，也有其他一些方法采用图卷积网络学习局部图或几何元素，但这些方法也存在问题，如缺少从局部到全局的显示语义抽象，或是会导致较大的复杂性。

深度三维点云分类网络常对点云特征提取中的主要矛盾进行研究，其目的大多在于提高模型分类精度和效率，加强鲁棒性等。其中，优化特征提取能力和提高对扰动、离群值、随机噪声等干扰因素的抵抗能力是点云处理任务中两个极为重要的研究热点，也是亟待解决的关键问题，对三维点云分类任务及其应用具有十分重要的影响。

发明内容

技术问题：为了提高三维点云深度网络分类模型对全局特征的提取与表达能力，增强模型对噪声干扰的鲁棒性，本发明提供一种基于竞争注意力融合的深度三维点云分类网络构建方法。其核心技术在于提供了一个CAF模块(即竞争性注意力融合模块，英文名称为Competitive Attention Fusion Block，简称CAF模块)，学习多层级特征的全局表征和中间特征内在相似度，对中间特征通道权值重分配。该模块具有独立性和可迁移性，具有较好的全局特征提取能力，聚焦更利于三维点云形状分类的核心骨干特征，一定程度上抵御了点云扰动、离群点噪声、随机噪声的影响。

技术方案：为了实现上述目的，本发明采用的技术方案为：

一种基于竞争注意力融合的深度三维点云分类网络构建方法，包括以下步骤：

步骤1：对原始点云数据进行预处理；

步骤2：构建CAF模块，形成竞争性注意力融合特征抽象层；

步骤3：堆叠两层竞争性注意力融合特征抽象层，构建深度三维点云分类网络；

步骤4：将第二层竞争性注意力融合特征抽象层最终输出的高维特征送入分类器，得到分类结果。

进一步的，所述步骤1中对原始点云数据进行预处理包括以下步骤：

并行批处理B个样本，对每个样本的N个原始点云数据进行预处理，具体方法是通过下采样的方式，对其进行采样，采样得到含有N

进一步的，所述步骤2中构建竞争性注意力融合特征抽象层具体包括以下步骤：

竞争性注意力融合特征抽象层由特征提取层和CAF模块两部分组成，首先，特征提取层接收来自竞争性注意力融合特征抽象层的输入数据D

所述CAF模块包含MFSE子模块(即多层级特征挤压激励子模块，英文名称为Multi-layer Feature Squeeze and Excitation Block，简称MFSE子模块)和FICSA子模块(即特征内在关联自注意力子模块，英文名称为Feature Inner Connection Self-Attentionblock，简称FICSA子模块)：

MFSE子模块关注不同层级全局特征的提取与融合，MFSE子模块将输入CAF模块的输入数据

其中P(·)是全局特征聚合的最大池化函数Max pooling，φ(·)是全连接层和Relu激活函数，通道缩放比例r用于调节中间通道数；

然后，将上述两个编码特征按通道方向堆叠，得到堆叠结果

随后，对该堆叠结果的通道数和特征图大小通过全连接层进行扩展，扩展至与高维特征F

其中

FICSA子模块旨在度量特征内在相似度，FICSA子模块将输入CAF模块的高维特征

其中V(·)、Q(·)、K(·)分别为三个独立的特征映射函数，获得三个对应的高级特征，维度均为N

其中A(·)是中间特征内部高维度关系，γ是具有聚合功能的Softmax归一化函数，

F

其中，V(·)的作用是调节A(·)的特征通道维度，将该特征作为FICSA子模块的最终输出

最后，CAF模块将MFSE子模块的输出F

F

通过矩阵加法，将全局注意力权值按不同比例系数α、β融合后，获得最终权值分配系数

F

CAF模块的输出F

进一步的，所述步骤3中堆叠两层竞争性注意力融合特征抽象层，构建深度三维点云分类网络具体包括以下步骤：

将步骤1中采样结果P

进一步的，所述步骤4中将第二层竞争性注意力融合特征抽象层最终输出的高维特征送入分类器包括以下步骤：

在第二层竞争性注意力融合特征抽象层之后，引入多层感知机(MLP)作为分类器，对输入的点云融合特征进行分类学习，得到分类得分。

有益效果：本发明提供一种基于竞争注意力融合的深度三维点云分类网络构建方法，核心为CAF模块，该模块是一个可迁移的中间特征通道优化结构，引入残差连接和通道竞争力，以两种注意力为核心通过学习重新分配特征通道权值。CAF模块包含两个子模块：1)MFSE子模块，关注不同层级全局特征的提取与融合；2)FICSA子模块，度量中间特征内在相似度。CAF模块可以嵌入式应用于不同点云分类网络中，具有可迁移性和可拓展性，提高了点云全局特征的表达能力，加强了模型对噪声干扰的鲁棒性。

点云特征提取网络采用两层或更多的中间特征抽象层，中间特征往往是全局特征和局部特征的集合，很大程度上影响分类结果的准确性。本发明提供的CAF模块通过两层中间输出特征学习得到一个融合权值，该权值能表征当前层中间特征通道的重要性和表现力，通过该权值重新分配通道特征得到优化的新中间特征。简单来说，CAF模块利用注意力机制的中心思想，聚合显著特征，激励更重要、对结果影响更大的通道特征，并抑制无效或低效的通道特征，减少噪声干扰，提高模型鲁棒性。

实际点云中的噪声干扰包括扰动和离群点，往往表现为样本部分点集的位置偏移，存在背景噪声等。在测试模型时噪声点集同样被视为样本的一部分，因而影响样本的分类结果。CAF模块在网络中的作用便是通过调节中间特征通道的权值，使得模型更关注决定样本类型的核心特征。两个子模块从多层级的全局特征和中间特征的内部关联两个不同角度学习得到更有助于聚焦核心通道的权值，因此提高了网络对全局特征学习能力，加强了模型的抗干扰能力，对解决点云深度网络中的难点问题提供了帮助。

附图说明

图1是基于竞争注意力融合的深度三维点云分类网络构建方法流程图；

图2是本发明提供的竞争性注意力融合特征抽象层示意图；

图3是本发明提供的CAF模块中的MFSE子模块的示意图；

图4是本发明提供的CAF模块中的FICSA子模块的示意图；

图5(a)是CAF模块对点云扰动(高斯噪声)的抗干扰性能；

图5(b)是CAF模块对离群点(随机噪声)的抗干扰性能；

图6(a)是CAF模块在Pointnet++上对模型鲁棒性的影响；

图6(b)是CAF模块在PointASNL上对模型鲁棒性的影响；

图6(c)是CAF模块在PointASNL上的极限抗干扰能力。

具体实施方式

下面结合附图和具体实施案例，对本发明作进一步阐明。

在Ubuntu操作系统下，选用TensorFlow为平台，搭建基于竞争注意力融合的深度三维点云分类网络，分别在经典基准网络Pointnet++和近年性能优秀的基准网络PointASNL上验证CAF模块的有效性。结果显示加入CAF模块后，能在保持分类结果的平均精确度不降低的情况下，明显增强网络对点云噪声的抗干扰能力。通过调整训练样本输入点数可以在保持分类精度稳定的同时进一步提高模型的鲁棒性。

一种基于竞争注意力融合的深度三维点云分类网络构建方法，网络框架如图1所示。其中竞争性注意力融合特征抽象层结构如图2所示。图3是本发明提供的CAF模块中的MFSE子模块的示意图。图4是本发明提供的CAF模块中的FICSA子模块的示意图。

具体包括以下步骤：

步骤1：对原始点云数据进行预处理，并行批处理B＝24个样本，对每个样本的N＝10000个原始点云数据进行预处理，具体方法是通过下采样的方式，对其进行采样，采样得到含有N

步骤2：构建CAF模块，形成竞争性注意力融合特征抽象层，两层竞争性注意力融合特征抽象层Layer_1和Layer_2，分别由两部分组成，首先，特征提取层接收来自竞争性注意力融合特征抽象层的输入数据D

CAF模块包含MFSE子模块和FICSA子模块：

MFSE子模块关注不同层级全局特征的提取与融合，MFSE子模块将输入CAF模块的输入数据D

其中P(·)是全局特征聚合的最大池化函数Max pooling，φ(·)是全连接层和Relu激活函数，通道缩放比例r＝4用于调节中间通道数；

然后，将上述两个编码特征按通道方向堆叠，得到堆叠结果F

随后，对该堆叠结果的通道数和特征图大小通过全连接层进行扩展，扩展至与高维特征F

其中

FICSA子模块旨在度量特征内在相似度，FICSA子模块将输入CAF模块的高维特征

其中V(·)、Q(·)、K(·)分别为三个独立的特征映射函数，获得三个对应的高级特征，维度均为N

其中A(·)是中间特征内部高维度关系，γ是具有聚合功能的Softmax归一化函数，

F

其中，V(·)的作用是调节A(·)的特征通道维度，将该特征作为FICSA子模块的最终输出

最后，CAF模块将MFSE子模块的输出F

F

通过矩阵加法，将全局注意力权值按比例系数α＝1、β＝1融合后，获得最终权值分配系数

F

CAF模块的输出F

步骤3：堆叠两层竞争性注意力融合特征抽象层Layer_1和Layer_2，构建深度三维点云分类网络，将步骤1中采样结果

步骤4：将第二层竞争性注意力融合特征抽象层Layer_2最终输出的高维特征送入分类器，得到分类结果，在竞争性注意力融合特征抽象层Layer_2之后，引入多层感知机(MLP)作为分类器，MLP输出通道参数为[256,512,1024,512,256,40]，对输入的点云融合特征进行分类学习，得到分类得分。

实验结果具体如下：

实验1：形状分类。在Pointnet++中加入CAF模块，本发明复现Pointnet++时的最优分类精度为90.7％，加入CAF模块后平均测试精度达到91.0％，结果证明了CAF模块保持和提高分类精度的有效性和可行性。在PointASNL中加入CAF模块，只输入坐标点时，分类精度达到92.9％(92.88％)，不低于PointASNL中的92.9％(实际测试最优分类精度92.85％)；训练和测试中加入法线向量时，分类精度达到93.2％(93.19％)，不低于PointASNL中的93.2％(实际测试得到最优分类精度93.15％)。实验结果证明了CAF模块的独立性和可迁移性，以及对保持分类精度有一定帮助。

实验2：鲁棒性分析。

在点云上加入高斯噪声模拟扰动，采用标准正态分布；在点云上加入随机噪声模拟离群点，噪声范围在[-1.0,1.0]区间内。以PointASNL为基准网络(Base)，实验CAF模块对扰动(gauss)和离群点(random)的抵抗能力。结果如图5所示，加入CAF模块后，模型对点云扰动和离群点两种噪声类型的抗干扰性能有明显提高。

将一定数量的真实点集替换为范围在[-1.0,1.0]区间内的随机噪声，模拟同时存在数据丢失和噪声干扰的情况，随机噪声数量为[0,1,10,50,100]。图6(a)显示了加入CAF模块的Pointnet++网络与原网络在存在数据丢失与随机噪声的测试集上的分类精度，随着噪声数量的增加，加入CAF模块的网络分类精度下降趋势更缓，模型的鲁棒性有明显提高。图6(b)显示了加入CAF模块的PointASNL网络在存在数据丢失与随机噪声的测试集上的分类精度，对输入1024个点训练的模型，同等条件下，加入了CAF模块后，网络抗干扰能力在不同数量的数据丢失与随机噪声下均有提升，增加输入点云数到2048、3000可以在保持分类性能稳定的情况下获得更好的抗干扰能力。图6(c)显示了CAF模块在PointASNL上的极限抗干扰能力。

应当指出，以上所述的实施案例仅仅是为了清楚地说明本发明所作的举例，并非对实施方式的限定，这里也无法对所有实施方式予以穷举。本实施案例中未明确的各部分均可采用现有技术加以实现。对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。