一种基于3D模型和点云处理的钢轨缺陷图像生成方法

技术领域

本发明涉及数据集生成技术领域，尤其涉及一种基于3D模型和点云处理的钢轨缺陷图像生成方法。

背景技术

我国是一个铁路大国，铁路的总长度已经超过13.1万公里。在铁路长度增长的同时，对于铁路状态的维护也变得愈来愈重要。在铁路状态维护中，钢轨表面缺陷的自动化定位与识别是其中重要一环。

作为轨道交通基础设施服役状态检测的一种重要技术手段，基于深度学习技术的钢轨表面缺陷检测技术通过大量的缺陷图像数据来训练神经网络模型，从而实现对钢轨表面的各种病害缺陷进行识别定位。实际场景中，良好的维护使得缺陷钢轨的数量稀少，因此针对缺陷钢轨特点来生成一批仿真数据进行单独研究或者配合真实数据一起研究是一个很好的方案。

针对仿真数据生成技术的探究，在其它领域已经具有了较多的尝试，但是直接对钢轨表面缺陷仿真数据进行生成的研究较少。在2014年华南理工大学提出了铸件的枝状缩松缺陷仿真图像的生成方法及系统，其通过将缺陷图进行二值化转换和直方图匹配，结合叠加真实背景图像并对缺陷边缘区域进行扩散的方法生成新的假数据集以增加测试和学习样本，不过此方法是仅仅来通过图像处理方法在二维图像上来生成缺陷，生成缺陷的质量不太理想。浙江大学在2019年提出了一种基于迁移学习的注塑制品表面图像缺陷识别方法，利用生成对抗网络的方法生成了一批假样本集，浙江工业大学在2019年提出了基于PGGAN迁移学习的排水管道缺陷检测训练数据生成方法，其利用生成对抗网络的技术来生成虚拟数据。基于生成对抗网络的生成方法都有着共同的缺陷：

(1)生成器的训练过程需要大量的真实数据参与，如果真实数据较少则无法得到具有高质量的仿真数据集；

(2)其在生成数据时无法同步获取其标签信息，后期需要消耗大量的人力进行标注工作；

(3)生成的缺陷类型是随机的，生成的结果无法控制。

除了以上的共同缺陷之外，由于在钢轨数据集中钢轨缺陷尺寸信息相对于所在的场景较为细微，即在整幅图像中的占比较小，利用生成对抗网络来生成虚拟数据很难能够保留下这些缺陷信息，因此虽然生成的钢轨整体效果比较真实但是缺少关键的缺陷信息。

发明内容

本发明的实施例提供了一种基于3D模型和点云处理的钢轨缺陷图像生成方法，用于解决现有技术中存在的问题。

为了实现上述目的，本发明采取了如下技术方案。

一种基于3D模型和点云处理的钢轨缺陷图像生成方法，包括：

构建正常钢轨3D模型，在该正常钢轨3D模型的数据中添加初始缺陷信息，获得缺陷钢轨初始3D模型；

通过点云处理方法，对初始缺陷信息进行扩增处理，获得多个延展缺陷信息，进一步获得一个或多个缺陷钢轨延展3D模型；

通过基于曲率与反曲率的操作方法，对缺陷钢轨延展3D模型进行平滑处理，获得缺陷钢轨目标3D模型；

对进行平滑处理后的缺陷钢轨目标3D模型进行转换，获得钢轨缺陷仿真数据集；

通过标签映射方法将缺陷钢轨目标3D模型的延展缺陷位置信息映射到钢轨缺陷仿真数据集中，获得目标标签信息，该目标标签信息用于神经网络训练。

优选地，通过点云处理方法，对初始缺陷信息进行扩增处理，获得多个延展缺陷信息，进一步获得多个缺陷钢轨延展3D模型包括：

将正常钢轨3D模型和缺陷钢轨初始3D模型的点云库进行格式转换，分别获得正常钢轨点云模型和缺陷钢轨点云模型；

提取缺陷钢轨点云模型的点云信息，并进行扩增处理，获得多个延展缺陷信息；

基于多个延展缺陷信息，获得多个缺陷钢轨延展3D模型。

优选地，提取缺陷钢轨点云模型的点云信息包括：

通过式

DefectPoint＝{(x，y，z)|(x，y，z)∈RailPoint，z≠f(x)} (1)

获取不满足正常钢轨表面曲线函数的点的信息；式中，f(x)为拟合的正常钢轨的表面曲线函数；

基于拟合的正常钢轨的表面曲线函数获取所有不满足钢轨表面分布关系的点云部分的信息DefectPoint计算能够围合该所有不满足钢轨表面分布关系的点云部分的最小方形框的坐标X

X

基于X

优选地，多个延展缺陷信息包括体积扩增缺陷信息、形状扩增缺陷信息、数量扩增缺陷信息和位置扩增缺陷信息；

体积扩增缺陷信息通过式ScalePoint＝{α(x，y，z)|(x，y，z)∈DefectBoxPoint，α∈(0，1]}(3)获得；式中，a表示体积缩放因子；

形状扩增缺陷信息通过式

ShapePoint＝{(α

式中，α

数量扩增缺陷信息通过计算方形框内缺陷钢轨点云模型的点云区域的可偏移范围获得；

位置扩增缺陷信息通过式

FinalPoint＝{(x+offsetX，y+offsetY，z)|(x，y，z)∈DetectBoxPoint∪ScaleBoxPoint∪ShapePoint}(5)获得。

优选地，通过基于曲率与反曲率的操作方法，对缺陷钢轨延展3D模型进行平滑处理，获得缺陷钢轨目标3D模型包括：

通过式CurvePoint＝{(x，y，z+f(x))|(x，y，z)∈FinalPoint}(6)将延展缺陷信息拉伸到正常钢轨3D模型中的钢轨表面坐标系；

通过

AntiCurvePoint

＝{(x，y，z-f(x))|(x，y，z)∈DefectBoxPoint∪ScalePoint∪ShapePoint}

FinalPoint＝{(x+offsetX，y+offsetY，z)|(x，y，z)∈AntiCurvePoint}

CurvePoint＝{(x，y，z+f(x))|(x，y，z)∈FinalPoint}(7)消除/添加方形框的曲率信息。

优选地，通过标签映射方法将缺陷钢轨目标3D模型的延展缺陷位置信息映射到钢轨缺陷仿真数据集中，获得目标标签信息包括：

通过式

通过式ResultPicture＝TexturePicture×R+OriginalPicture×(1-R)，R∈(0，1)(9)替换钢轨缺陷仿真数据集的纹理。

由上述本发明的实施例提供的技术方案可以看出，本发明提供的一种基于3D模型和点云处理的钢轨缺陷图像生成方法，设计了点云处理方法，依照初步的少量的手工捏造的有缺陷的钢轨仿真模型，来自动化的生成巨量的与手动捏造的钢轨缺陷模型具有同等可比效果的扩增钢轨缺陷模型；同时在利用点云生处理方法扩充缺陷的过程中，还对钢轨的曲率进行拟合，然后设计了曲率与反曲率操作来平滑的缺陷与钢轨3D模型背景信息的过渡，让扩充后的的缺陷钢轨3D模型更加的真实。在对缺陷钢轨3D模型进行渲染获得二维钢轨缺陷仿真数据集之后，利用正常钢轨的真实数据集构建纹理集，从里面随机的选择纹理替换掉我们仿真数据的纹理，让生成的钢轨缺陷仿真数据集的背景变得更加真实。在生成缺陷3D模型的同时提取了标注信息，并通过映射方法将其映射到二维数据集上，实现对标注信息自动化的工作，生成效率获得提高。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种基于3D模型和点云处理的钢轨缺陷图像生成方法的处理流程图；

图2为本发明提供的一种基于3D模型和点云处理的钢轨缺陷图像生成方法中正常钢轨3D模型示意图；

图3为本发明提供的一种基于3D模型和点云处理的钢轨缺陷图像生成方法中缺陷钢轨初始3D模型示意图；

图4为本发明提供的一种基于3D模型和点云处理的钢轨缺陷图像生成方法中点云处理方法的过程示意图；

图5为本发明提供的一种基于3D模型和点云处理的钢轨缺陷图像生成方法中钢轨表面曲率拟合操作示意图；

图6为本发明提供的一种基于3D模型和点云处理的钢轨缺陷图像生成方法中曲率与反曲率操作后的效果图；

图7为本发明提供的一种基于3D模型和点云处理的钢轨缺陷图像生成方法中曲率拉伸操作示意图；

图8为本发明提供的一种基于3D模型和点云处理的钢轨缺陷图像生成方法中反曲率拉伸操作示意图；

图9为本发明提供的一种基于3D模型和点云处理的钢轨缺陷图像生成方法中标签信息自动提取原理示意图；

图10为本发明提供的一种基于3D模型和点云处理的钢轨缺陷图像生成方法中标签信息自动提取效果示意图；

图11为本发明提供的一种基于3D模型和点云处理的钢轨缺陷图像生成方法中纹理替换结果示意图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。

本发明提供一种钢轨缺陷图像数据集生成方法，用于实现如下目的：

1.在没有真实的缺陷钢轨数据的条件之下来生成可预期的钢轨缺陷仿真数据；

2.自动化的对标注信息进行提取来免除人为标注的繁琐性；

3.通过点云处理方法扩增缺陷提高基于3d模型方法来生成缺陷数据集的速度；

4.通过纹理替换与曲率拟合生成更加真实的钢轨缺陷仿真数据。

参见图1，本发明提供的一种基于3D模型和点云处理的钢轨缺陷图像生成方法，包括如下步骤：

S1构建正常钢轨3D模型，在该正常钢轨3D模型的数据中添加初始缺陷信息，获得缺陷钢轨初始3D模型；在本步骤中，构建正常钢轨3D模型可以采用现有技术的建模工具，例如solidworks或者其他3d模型构造软件，依据实际钢轨的大小和比例构造对应的正常钢轨3D模型(即是在虚拟环境中对真实钢轨进行建模)；之后利用wrap或其他软件依据想要生成的病害特点(想要生成的缺陷信息)在正常钢轨3D模型上面添加初始缺陷信息，从而得到小批量的有缺陷的虚拟缺陷钢轨初始3D模型；

S2通过点云处理方法，对所述初始缺陷信息进行扩增处理，获得多个延展缺陷信息，进一步获得一个或多个缺陷钢轨延展3D模型；该步骤主要用于提取出缺陷钢轨初始3D模型中的缺陷信息，然后对缺陷信息进行形态、大小、位置的变化，这样就可以扩增出大量且多样的虚拟的带有缺陷的钢轨3D模型；

S3为了让缺陷信息在钢轨3D模型上出现的更加自然，通过基于曲率与反曲率的操作方法，对所述缺陷钢轨延展3D模型进行平滑处理，获得缺陷钢轨目标3D模型；

S4在生成了大量的，多样化且缺陷特征平滑融合的缺陷钢轨目标3D模型之后，对这些缺陷钢轨目标3D模型进行转换，获得钢轨缺陷仿真数据集；具体可以是通过3dmax开发批量采集钢轨顶面信息的采集工具，使用该采集工具将缺陷钢轨目标3D模型集转化成二维的钢轨缺陷仿真数据集；

S5通过标签映射方法将所述缺陷钢轨目标3D模型的延展缺陷位置信息映射到所述钢轨缺陷仿真数据集中，从而无需人工标注即可获取到可用于神经网络训练的目标标签信息。

在本发明提供的优选实施例中，步骤S1具体为，首先利用3d建模软件依据真实钢轨的大小与比例构造500mm长的正常钢轨3D模型，如图2所示。然后利用模型细调软件或者普通的3d建模软件对其表面添加缺陷信息得到有缺陷的钢轨初始3D模型，如图3所示。

在得到缺陷钢轨初始3D模型之后，需利用设计的点云扩充方法来扩充缺陷钢轨3D模型的数量与多样性。主要步骤如图4所示，首先将正常钢轨3D模型和缺陷钢轨初始3D模型的点云库进行格式转换，例如通过python的点云库实现，分别获得正常钢轨点云模型和缺陷钢轨点云模型。对于缺陷钢轨点云模型RailPoint，通过缺陷不符合正常钢轨表面分布的特点来提取缺陷点云部分DefectPoint，并进行扩增处理，获得多个延展缺陷信息。具体可以通过如下子步骤操作：

如图5所示的钢轨截面，

钢轨上表面曲线主要可以分成5段圆弧，从左到右分别称其为S1，S2，S3，S4，S5，将其圆弧圆心记为O

从而缺陷点云部分的表达式为

DefectPoint＝{(x，y，z)|(x，y，z)∈RailPoint，z≠f(x)}(1)；式中，(x，y，z)用来表示三维点云中点的坐标，其中的x，y，z表示的是这个坐标中每一个单独维度的值，具体为z代表的是钢轨的深度，x轴为钢轨的横向轴，y为钢轨的纵向轴，因为钢轨的截面都是一样的，所以其深度只与x轴有关；通过式(1)首先将属于RailPoint中的点取出来，在这些点中，把x坐标和z坐标不符合z＝f(x)函数关系的点给去掉，将剩下的这些点的坐标赋值给DefectPoint；

计算能够围合这些缺陷点云部分的最小方形框的坐标X

X

通过上述公式具体处理过程以X

基于X

对于提取到的方形框内的点云信息，只改变x坐标，y坐标，z坐标或者同时只改变3个坐标中的两个可以改变缺陷的形状，同比例的改变三个坐标的值则可以改变缺陷的大小。通过上述的方式即可实现多样性的扩增，以获得延展缺陷信息。

进一步的，延展缺陷信息包括体积扩增缺陷信息、形状扩增缺陷信息、数量扩增缺陷信息和位置扩增缺陷信息。

体积扩增缺陷信息通过式ScalePoint＝{α(x，y，z)|(x，y，z)∈DefectBoxPoint，α∈(0，1]}(3)获得；式中，a表示体积缩放因子，其值越小、扩增后的缺陷点云就越小；

形状扩增缺陷信息通过式

ShapePoint＝{(α

式中，α

同时计算出方形框内的点云在钢轨表面上的可偏移范围(offsetX，offsetY)，让其随机偏移在钢轨上的任一位置上即可实现数量上的扩增。

位置扩增缺陷信息通过式FinalPoint＝{(x+offsetX，y+offsetY，z)|(x，y，z)∈DetectBoxPoint∪ScaleBoxPoint∪ShapePoint}(5)获得。

挖掉正常钢轨点云模型上对应位置的点云信息，把方形框内包含的形态和数量都扩增后的点云信息FinalPoint填入进去得到有缺陷的钢轨3D点云文件再将其转化为3d模型文件即实现了点云扩增的方案。

在将点云信息填入到正常钢轨3D点云文件时，会面临包含缺陷点云的方形框与背景点云过渡不自然的问题。如图6中的左1。针对此问题，在本发明提供的优选实施例中设计了曲率与反曲率的对应操作来解决这个问题。进行曲率与反曲率操作之后的效果分别如图6中左2，左3所示。曲率与反曲率操作是考虑了出现边缘过渡不自然的原因进行的一些优化操作。过渡不自然是由于在提取和填入包含缺陷信息的最小方形框的时候方形框的参考系并不是以水平面作为参考系。在将缺陷填入正常钢轨3D点云中时，正常钢轨3D点云的边缘并不是水平的，因此如果直接填入，会让边缘出现翘起或者凹陷如图7左1。因此采用了曲率操作来将缺陷点云信息FinalPoint拉伸到正常钢轨3D模型中的钢轨表面的坐标系(f(x)为钢轨表面曲线函数)，计算式如下CurvePoint＝{(x，y，z+f(x))|(x，y，z)∈FinalPoint}。

如图7左二。经过曲率操作，包含缺陷点云的方形框与背景点云的过渡变得更加的自然，但是并没有完全解决这个问题。因此，在本实施例中又提出了反曲率的操作，主要是考虑到提取出的缺陷点云的方形框的坐标系并非平坦的，其也具有钢轨曲率，如图8。因此，再通过反曲率操作首先将方形框的曲率信息给消除掉，然后在填入时再进行曲率操作将要填入处的曲率信息给添加上，计算式如下

AntiCurvePoint

＝{(x，y，z-f(x))|(x，y，z)∈DefectBoxPoint∪ScalePoint∪ShapePoint}

FinalPoint＝{(x+offsetX，y+offsetY，z)|(x，y，z)∈AntiCurvePoint}

CurvePoint＝{(x，y，z+f(x))|(x，y，z)∈FinalPoint} (7)。

通过上述操作，生成的缺陷钢轨目标3D模型如图6中的左3。

在本发明提供的优选实施例中，步骤S5的标注信息映射方法的操作如图9，其将生成的缺陷位置信息映射到最终的二维图像上，标注信息的格式采用YOLO格式的目标级标注(YOLO格式的标注信息使用一个四元组(X,Y,W,H)来标注一个物体在图片中的位置。X,Y表示包围这个物体的最小方形框的相对中心坐标，W，H则表示方形框的相对大小。)。

首先在点云处理过程中可以获取到方形框的左上角坐标(x1,y1)和右下角的坐标(x2,y2)，此坐标是相对于建模的原点的坐标，建模原点处于轨面的下方中心处。在映射到YOLO格式的标注信息时，需要知道方形框在图片上的中心点坐标相对值，以及宽和高的相对值，并且此时要获得的坐标是以图像的原点的坐标。通过计算获取映射信息如图9所示。从而实现标注信息的自动标注，图10展示的是自动标注的效果。

在一个具体的实施方式中，如图9所示，首先，最终得到的图像的大小在点云阶段就是固定的(只包含轨面区域)，都是W

通过计算式

(8)获得缺陷钢轨目标3D模型中包围缺陷的方形框的位置信息以及体积信息。

其中，(x1+x2)/2+W

同时框的相对大小也就是相对于轨面的大小，这一部分信息与在点云阶段的信息是一致的，所以即为计算式(8)中的(W,H)。

获取到二维数据集之后，利用正常钢轨的二维图像来构建纹理集，之后通过像素叠加的方式来对我们的虚拟数据集的纹理进行替换。计算式

ResultPicture＝TexturePicture×R+OriginalPicture×(1-R)，R∈(0，1)(9)中的R是纹理替换的强度参数，TexturePicture是从纹理集中随机抽取的一个图片(为了能够像素级的叠加，将其放缩到和虚拟图像同样大小)，OriginalPicture则是虚拟图片。替换后的结果如图11。

综上所述，本发明提供的一种基于3D模型和点云处理的钢轨缺陷图像生成方法，包括以下步骤：

利用solidworks或者其他3d模型构造软件制造正常钢轨3D模型，并通过wrap或者其他软件来细调正常钢轨3D模型获得一批具有缺陷的缺陷钢轨3D模型。

将有缺陷的缺陷钢轨3D模型通过点云处理方法扩充其数量和多样性。对于多样性，我们对缺陷的大小，形状进行改变。对于数量，我们通过将形态改变之后的缺陷信息和原始的缺陷信息的位置在钢轨上随机偏移。从而获得无限且足量的缺陷钢轨3D模型。同时拟合钢轨3D模型曲率，通过曲率以及反曲率操作平滑我们的缺陷和钢轨3D模型背景信息的过渡。

通过3dmax或者其他软件来批量渲染采集我们生成的缺陷钢轨3D模型的虚拟轨面图。同时为了让虚拟轨面图的背景信息更加复杂且多样化，通过正常图像的纹理构建纹理集，从纹理集中随机挑选一个来替换掉轨面图的纹理信息。

通过设计的标注信息映射方法来将我们在点云处理过程中获取的缺陷位置映射到最终的轨面图上，并形成YOLO标注的格式。

本发明提供的方法，具有如下有益效果：

可以在无需任何真实数据的参与下实现自动化地，高速地钢轨仿真数据集的生成。生成的数据后期可用于基于深度学习的网络训练或者辅助训练；

生成的虚拟数据都带有相应标签信息，无需人为标注，大大减轻了人力资源的投入，同时基于点云的增广方式速度很快，可以生成巨量的数据；

采用曲率以及反曲率操作让采用点云处理方法扩增的缺陷在钢轨上的出现与过渡更加自然，使得人工捏造的模型和点云扩充的模型的相似性达到较高水平；

通过真实的正常钢轨数据提取纹理信息，来替换生成数据的纹理，保证了生成的缺陷数据的背景多样性与真实性。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。