一种基于深度学习和薄板样条的单视图三维火焰重建方法

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于深度学习和薄板样条的单视图三维火焰重建方法。该方法适用于基于单幅火焰图像或者单视角火焰图像的三维重建。

背景技术

视觉是人类感知和认识世界的重要手段。计算机视觉技术通过模拟人类的视觉让计算机对图像进行获取、处理、分析和识别以实现对现实世界的认识。三维重建是指从所采集的一幅或多幅图像中恢复出所反应的三维物体的形状和空间信息的一种技术。通过三维重建可以恢复被检测物体丢失的三维信息，构建完整的三维模型。

火焰的三维结构对于了解火焰的传播机理和进行燃烧过程的动态仿真都有重要意义，因此对火焰视图进行三维重建具有一定的研究价值。

目前，三维重建方法通过多视角图像的立体匹配方式完成三维重建，其核心思想是通过多视角图像完成物体深度信息的估计和计算，进而恢复出三维物体或者三维场景。但是，该方法在拍摄的过程中需要旋转相机或者设置多个相机，增加了人力、物力和财力的成本。现阶段主要采用CT层析法对火焰进行三维重建，该方法所需设备昂贵，耗时长，不容易在工业中推广。同时，CT层析法在缺少投影的情况下，火焰重建的误差会很大。

发明内容

针对现有的三维火焰重建中需要多视角图像，增加了人力物力财力成本的问题，本发明提出了一种基于深度学习和薄板样条的单视图三维火焰重建方法。

为解决上述技术问题，本发明采用的技术方案为：

一种基于深度学习和薄板样条的单视图三维火焰重建方法包括以下步骤：

步骤1，收集不同类型火焰的数据，构建火焰的二维图像数据集和三维模型数据集；

步骤2，利用深度学习的方法，自动寻找火焰的二维图像和火焰三维模型的精确特征以及对输入单视角火焰图像进行分类；

步骤3，将步骤2提取的特征作为检索的依据，通过流形排序算法寻找二维图像与三维模型的近似对应关系，在三维模型数据集中查找与输入单视角火焰图像最为相似的三维火焰模型；

步骤4，提取计算步骤3中得到的三维火焰模型的多角度投影视图的特征，并计算上述特征与输入单视角火焰图像特征之间的欧式距离，取欧式距离最小时的投影视图作为三维火焰模型的最佳投影视图；

步骤5，通过锐化，提取前景，得到输入单视角火焰图像和三维火焰模型的最佳投影视图的外围轮廓；

步骤6，通过角点检测算法检测输入单视角火焰图像的特征点，然后利用比例关系寻找最佳投影视图轮廓中的特征点；

步骤7，特征点坐标的归一化，将像素坐标转化为物理坐标，确定目标特征点的坐标以及其相对应的源特征点在模型上的位置；

步骤8，使用归一化的特征坐标，通过三维薄板样条变形，实现三维火焰模型的重建。

优选地，所述步骤1中收集不同类型火焰，其火焰类型包括烛火、枪火和炉火。

优选地，所述步骤2中，利用深度学习的方法，自动寻找火焰图像和火焰三维模型的精确特征以及对输入单视角火焰图像进行分类，包括如下步骤：

步骤2.1，对于火焰三维模型数据集，采用固定视角的投影方式将每个火焰模型用102个投影视图来表示；

步骤2.2，生成卷积神经网络模型：将输入单视角火焰图像、火焰二维图像数据集和火焰三维模型投影视图作为模型的输入，输入火焰的预测分类概率结果作为输出，采用如表1所示的卷积神经网络结构进行特征训练，其中N表示火焰类型的类别数目，生成卷积神经网络模型；在特征训练过程中所有卷积运算的填充(Padding)参数均设置为“SAME”，目的是保持卷积操作的输出尺寸等于输入尺寸；池化运算均使用最大池化(max pool)操作，填充(Padding)参数设置为“VALID”且步长(stride)设置为(2，2)；

表1卷积神经网络结构

步骤2.3，利用步骤2.2生成的卷积神经网络模型计算得到输入火焰的分类信息以及所有火焰的二维图像的特征，包括输入单视角火焰图像、火焰二维图像数据集和火焰三维模型的投影视图的特征；将卷积神经网络中Layer11-fc2层的输出作为二维视图的特征描述符，即每个投影视图可以用128*1维的特征向量F_view表示；

步骤2.4，生成两种不同类型的三维火焰特征F_pool和F_3D，具体为：

首先，由于三维火焰模型可用102个投影视图表示，因此将每个模型用128*102的初级三维模型特征向量F_{3D_init}来表式；然后，通过最大池化(max>3D_init进行降维处理，生成128*1维的中级三维模型特征向量F_pool。最后，通过一个人工神经网络训练生成32*1维的高级三维模型特征向量F_3D，人工神经网络的结构如表2所示。

表2人工神经网络结构

优选地，所述步骤4中，提取计算步骤3中得到的三维火焰模型的多角度投影视图的特征，并计算上述特征与输入单视角火焰图像特征之间的欧式距离，取欧式距离最小时的投影视图作为三维火焰模型的最佳投影视图,包括如下步骤：

步骤4.1，将步骤3中得到的三维火焰模型进行多角度投影，生成102个投影视图；

步骤4.2，将步骤4.1生成投影视图送入步骤2.2生成的卷积神经网络模型，得到视图特征描述；

步骤4.3，分别计算输入图像的特征与投影视图之间的欧式距离，取欧式距离最小时的投影视图作为三维火焰模型的最佳投影视图。

优选地，所述步骤5中，通过锐化，提取前景，得到输入单视角火焰图像和三维火焰模型的最佳投影视图的外围轮廓，包括如下步骤：

步骤5.1，对输入单视角火焰图像和三维火焰模型的最佳投影视图进行锐化处理；

步骤5.2，使用GrabCut算法对锐化处理后的图像进行前景分割；

步骤5.3，使用Canny算子和Sobel算子对图像进行边缘检测，然后利用图像中像素的拓扑关系得到火焰图像的外围轮廓；

优选地，所述步骤6中，通过角点检测算法检测输入单视角火焰图像的特征点，然后利用比例关系寻找最佳投影视图轮廓中的特征点，包括如下步骤：

步骤6.1，对于输入单视角火焰图像，通过使用角点检测算法检测图像中的关键点；

步骤6.2，对于最佳投影视图，通过输入单视角火焰图像中关键点之间部分轮廓长度与总轮廓长度的比例关系，寻找关键点。

优选地，所述步骤6.2中，对于最佳投影视图，通过输入单视角火焰图像中关键点之间部分轮廓长度与总轮廓长度的比例关系，寻找关键点，具体为：

首先，计算输入单视角火焰图像中的火焰轮廓周长S₂，从轮廓质心画一条垂直线段与外围轮廓相交于两点，其中上面的相交点作为外围轮廓的起始点；其次，计算最佳视图中轮廓的周长S₁，同样从其轮廓质心画一条垂直线段与外围轮廓相交于两点，将上面的相交点视作外围轮廓的起始点；然后，统计计算外围轮廓的起始点到输入单视角火焰图像中轮廓的特征点集的长度T₂，在已知部分轮廓长度T₂、目标火焰图像轮廓长度S₂、模型火焰轮廓长度S₁的情况下，可以通过公式(1)计算出与目标火焰图像部分轮廓长度T₂唯一对应的模型火焰轮廓部分长度T₁；最后，利用长度T₁即可寻找最佳视图中轮廓的特征点。

优选地，所述步骤7中，特征点坐标的归一化，将像素坐标转化为物理坐标是通过公式(2)将像素坐标系O-UV转换成笛卡尔坐标系O-XY，实现像素坐标转换成物理坐标，其中w和h分别表示像素坐标系下的宽度和高度；u和v分别表示像素在像素坐标系O-UV的列数与行数；x和y分别表示像素在笛卡尔坐标系O-XY中的横坐标和纵坐标。

优选地，所述步骤8中，使用归一化的特征坐标，通过三维薄板样条变形，实现三维火焰模型的重建，具体为：

以薄板样条函数为指导，使用已知的部分控制点，使目标控制点也即火焰图像轮廓的特征点，与检索模型投影轮廓特征点，一一对应映射，构造出最小化能量函数，加入权重系数，拟合出薄板样条函数表达式：

把控制点C_i带入可求得函数系数a₁、a₂、a₃、a₄和b_i，再把求得系数的薄板样条函数作用于其他非控制点的模型点，实现整个模型的变形，就此实现火焰模型的重建。

与现有技术相比，本发明具有如下有益效果：

1、与现有的基于视图聚类、2D-3D对齐、傅里叶描述符、傅里叶光谱方法相比，本发明是一种相对稳定的三维模型检索方法。

2、与现有的基于视图聚类、2D-3D对齐、傅里叶描述符、傅里叶光谱方法相比，本发明是一种相对比较准确的三维模型检索方法。

3、与轮廓为基础构建控制盒来驱动变形相比，在选定相同的控制点时，本发明的时间复杂度更低。

4、现阶段三维重建方法大多是基于多视图的，本发明是是一种基于单视图的三维火焰重建方法，减少了三维重建过程设备方面的投入。

附图说明

图1是固定视角的投影角度设置示意图；

图2是本发明的方法流程图；

图3是检索结果的PR曲线；

图4是单视角火焰图像的输入；

图5是图4的火焰三维重建结果。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细描述。

如图1和2所示，本实施例中的基于深度学习和薄板样条的单视图三维火焰重建方法，其包括以下步骤：

步骤1，收集不同类型火焰的数据，构建火焰的二维图像数据集和三维模型数据集；

该步骤是在互联网中收集多种不同类型的火焰的二维图像和三维模型，其中火焰类型有烛火、枪火和炉火。

步骤2，利用深度学习的方法，自动寻找火焰的二维图像和火焰三维模型的精确特征以及对输入火焰进行分类；

该步骤提取火焰的二维图像和火焰三维模型的基于深度学习的特征描述符以及输入火焰的分类信息，可以通过步骤2.1至步骤2.5来实现；

步骤2.1，对于火焰三维模型数据集，采用固定视角的投影方式将每个火焰模型用102个投影视图来表示，固定视角的投影角度设置如图1所示。

步骤2.2，生成卷积神经网络模型；将输入单视角火焰图像、火焰二维图像数据集和火焰三维模型投影视图作为模型的输入，输入火焰的预测分类概率结果作为输出，采用如表1所示的卷积神经网络结构进行训练，其中N表示数据集中火焰的类别数目，生成卷积神经网络模型；在特征训练的过程中所有卷积运算的填充(Padding)参数均设置为“SAME”，目的是保持卷积操作的输出尺寸等于输入尺寸；池化运算均使用最大池化(max pool)操作，填充(Padding)参数设置为“VALID”且步长(stride)设置为(2，2)；

表1卷积神经网络结构

步骤2.3，利用步骤2.2生成的卷积神经网络模型计算得到输入火焰的分类信息以及所有火焰的二维图像的特征，包括输入图像，火焰二维图像数据集和火焰三维模型的投影视图的特征；将卷积神经网络中Layer11-fc2层的输出作为二维图像的特征描述符，即每个二维图像可以用128*1维的特征向量F_view表示；

步骤2.4，生成两种不同类型的三维火焰特征F_pool和F_3D，具体为：

首先，由于三维火焰模型可用102个投影视图表示，因此将每个模型用128*102的初级三维模型特征向量F_{3D_init}来表式；然后，通过最大池化(max>3D_init进行降维处理，生成128*1维的中级三维模型特征向量F_pool；最后，通过一个人工神经网络训练生成32*1维的高级三维模型特征向量F_3D，人工神经网络的结构如表2所示。

表2人工神经网络结构

步骤3，将步骤2提取的特征作为检索的依据，通过流形排序算法寻找二维视图与三维模型的近似对应关系，在三维模型数据集中查找与输入单视角火焰图像最为相似的三维火焰模型。

该步骤采用流形排序算法完成。其中，流形排序算法为现有技术，此处不再做具体阐述。

步骤4，提取计算步骤3得到的三维火焰模型的最佳投影视图；提取计算步骤3中得到的三维火焰模型的多角度投影视图的特征，并计算上述特征与输入单视角火焰图像特征之间的欧式距离，取欧式距离最小时的投影视图作为三维火焰模型的最佳投影视图；

该步骤是提取三维模型的最佳投影视图，具体的，该步骤可以通过如下步骤4.1至步骤4.3实现。

步骤4.1，将步骤3中得到的三维火焰模型按图1进行多角度投影，生成102个投影视图；

步骤4.2，将步骤4.1生成的投影视图送入步骤2.2生成的卷积神经网络模型，得到视图特征描述；

步骤4.3，分别计算输入图像的特征与投影视图之间的欧式距离，取欧式距离最小时的投影视图作为三维火焰模型的最佳投影视图。

步骤5，通过锐化，提取前景，得到输入单视角火焰图像和三维火焰模型的最佳投影视图的外围轮廓；

该步骤是提取二维图像的外围轮廓，具体的，该步骤可以通过如下步骤5.1至步骤5.3实现：

步骤5.1，对输入单视角火焰图像和三维火焰模型的最佳投影视图进行锐化处理；

步骤5.2，使用GrabCut算法对锐化处理后的图像进行前景分割；

步骤5.3，使用Canny算子和Sobel算子对图像进行边缘检测，然后利用图像中像素的拓扑关系得到火焰图像的外围轮廓；

其中，锐化处理、GrabCut算法、Canny算子和Sobel算子对图像进行边缘检测以及寻找图像外围轮廓为现有技术，此处不再做具体阐述。

步骤6，通过角点检测算法检测输入单视角火焰图像的特征点，然后利用比例关系寻找最佳投影视图轮廓中的特征点；

该步骤是提取二维图像中的特征点，可以通过如下步骤6.1至步骤6.2实现。

步骤6.1，对于输入单视角火焰图像，通过使用角点检测算法检测图像中的关键点；

步骤6.2，对于最佳投影视图，通过输入单视角火焰图像中关键点之间部分轮廓长度与总轮廓长度的比例关系，寻找关键点。具体为：

首先，计算输入单视角火焰图像中的火焰轮廓周长S₂，从轮廓质心画一条垂直线段与外围轮廓相交于两点，其中上面的相交点作为外围轮廓的起始点；其次，计算最佳视图中轮廓的周长S₁，同样从其轮廓质心画一条垂直线段与外围轮廓相交于两点，将上面的相交点视作外围轮廓的起始点；然后，统计计算外围轮廓的起始点到输入单视角火焰图像中轮廓的特征点集的长度T₂，在已知部分轮廓长度T₂、目标火焰图像轮廓长度S₂、模型火焰轮廓长度S₁的情况下，可以通过公式(1)计算出与目标火焰图像部分轮廓长度T₂唯一对应的模型火焰轮廓部分长度T₁；最后，利用长度T₁即可寻找最佳视图中轮廓的特征点。

步骤7，特征点坐标的归一化，将像素坐标转化为物理坐标，确定目标特征点的坐标以及其相对应的源特征点在模型上的位置；

该步骤通过公式(2)将像素坐标系O-UV转换成笛卡尔坐标系O-XY，实现像素坐标转换成物理坐标，其中w和h分别表示像素坐标系下的宽度和高度；u和v分别表示像素在像素坐标系O-UV的列数与行数；x和y分别表示像素在笛卡尔坐标系O-XY中的横坐标和纵坐标。

步骤8，使用归一化的特征坐标，通过三维薄板样条变形，实现三维火焰模型的重建。

该步骤是以薄板样条函数为指导，使用已知的部分控制点，使目标控制点也即火焰图像轮廓的特征点，与检索模型投影轮廓特征点，一一对应映射，构造出最小化能量函数，加入权重系数，拟合出薄板样条函数表达式：

把控制点C_i带入可求得函数系数a₁、a₂、a₃、a₄和b_i，再把求得系数的薄板样条函数作用于其他非控制点的模型点，实现整个模型的变形，就此实现火焰模型的重建。

将本发明与现有技术进行比较，进一步阐明本发明的优点。

分别利用现有的基于视图聚类、2D-3D对齐、傅里叶描述符、傅里叶光谱和本发明在SHREC13上的数据集上进行检索，同时在变形过程中，以轮廓为基础构建控制盒来驱动变形与本发明进行时间复杂度的对比。如图3至5所示，图3表示SHREC 13上数据集检索结果的PR曲线，表3表示检索结果的参数，表4表示不同方法的时间复杂度的对比，图4表示单视角火焰图像的输入，图5表示图4的火焰三维重建的效果。

在三维模型检索中普遍使用6种评价方法来衡量最终的检索性能，包括准确率-召回率(Precision-Recall，PR)曲线图、Nearest Neighbor(NN)、First Tier(FT)、SecondTier(ST)、E-Measure(E)以及Discounted Cumulative Gain(DCG)。

准确率-召回率(Precision-Recall)曲线体现总体检索效率，曲线越靠右上角代表结果越好。

Nearest Neighbor(NN)：第一个返回检索结果的平均准确性。

First Tier(FT)：返回的的前(C-1)(C为目标类模型的数量)个模型属于目标类的比例。

Second Tier(ST)：返回的的前2(C-1)(C为目标类模型的数量)个模型属于目标类的比例。

E-Measure(E)：检索准确率和召回率的加权平均值，值越大检索效果越好。

Discounted Cumulative Gain(DCG)根据检索结果的排序位置，计算不同检索结果的累积得分值，DCG值越高检索结果越好。

由图3可知，随着召回率的增加，本发明的准确率波动较小，说明本发明是一种相对稳定的三维模型检索方法。

表3检索结果的参数

由表3可知，本发明的各项参数都优于其他算法，是一种相对比较准确的三维模型检索方法。

表4不同方法的时间复杂度的对比

由表4可知，与轮廓为基础构建控制盒来驱动变形相比，在选定相同的控制点时，本发明的时间复杂度更低。

此外，阶段三维火焰重建过程中往往需要多视图，本发明结合三维模型检索技术和三维模型变形技术实现了单视图的三维火焰重建，减少了设备方面的投入，节约了成本。