一种基于L1-L2罚函数的深度图超分辨率重建方法

技术领域

本发明涉及计算机视觉和图像处理领域，尤其指一种基于L1-L2罚函数的深度图超分辨率重建方法，用于立体视觉或深度传感器获取图像的超分辨率增强。

背景技术

机器人导航、机器人自主抓取、手势识别、碰撞检测、3D重建、工业自动化及虚拟现实都依赖于高分辨率的深度信息。虽然随着深度相机的广泛普及，我们可实时获得3D场景的深度；但受传感器的限制，这些相机仅能获取低分辨率的深度图。这一局限性限制了深度相机在上述场合应用的性能。为此，人们提出各种方法用于深度图的分辨率增强；深度图超分辨率重建是指不改变深度相机硬件的前提下，通过算法提高深度图分辨率和质量的技术。

当前广泛采用的方法是基于图像引导的技术，即假设高分辨率彩色图像的边缘对应着深度图的边缘，将深度图的坐标映射到高分辨率的彩色图像平面，然后根据坐标点之间颜色或亮度的相似性进行深度插值。现有方法存在的问题是难以保持深度图的对象边缘，而对象边缘包含了深度图的主要能量，决定了其后续应用的效果。

发明内容

本发明所要解决的技术问题是针对现有技术的现状，提供重建效果好，能够在保持对象内部深度平滑过渡的同时，增强深度图的对象边缘的一种基于L1-L2罚函数的深度图超分辨率重建方法。

本发明解决上述技术问题所采用的技术方案为：

一种基于L1-L2罚函数的深度图超分辨率重建方法，其特征是：包括以下步骤：

步骤一、初始估计深度的计算：将低分辨率的深度图映射到高分辨率彩色图像坐标平面；

步骤二、掩模矩阵的计算：构造对角矩阵，若第i个像素点位于低分辨率深度图在高分辨率彩色图像的映射坐标之上，其第i个对角元素为1，否则该元素为0；

步骤三、近邻矩阵的计算：通过高分辨率彩色图像像素点之间在YCbCr空间上的颜色相似性构造近邻矩阵；

步骤四、构造深度超分辨率重建模型：建立深度超分辨率重建的能量模型，第一项为重建深度与初始深度之间的差异，即保真项，第二项为L1-L2罚函数正则项；

步骤五、能量模型求解：对于步骤四构造的能量模型，采用广义迭代重新加权最小二乘法予以求解，获得重建的高分辨率深度图。

为优化上述技术方案，采取的具体措施还包括：

上述的步骤一的初始估计深度的计算中，映射计算公式为：

其中B为初始深度图的矩阵表示，Y为低分辨率深度图的矩阵表示，(r,c)表示空间坐标，s为分辨率增大倍数。

上述的步骤三的近邻矩阵的计算中，相似性计算公式为：

其中为近邻矩阵第i行第j列的元素；和分别表示高分辨率彩色图像上第i个像素点与第j个像素点归一化的YCbCr值；和分别表示第i个像素点与第j个像素点的空间坐标；和为参数，分别控制颜色差异与空间距离对近邻相似性度量的影响。

上述的步骤四的构造深度超分辨率重建模型中，能量模型定义为：

其中为待重建的高分辨率深度图；为步骤一中获取的初始深度图的列向量表示；为步骤三获得的近邻矩阵；为L1-L2罚函数形成的正则化矩阵；表示所有元素均为1的列向量；表示矩阵的Hadamard积；为常数，用于控制正则项对重建深度的影响程度。

上述的正则化矩阵的第i行第j列的元素的计算公式为：

其中表示待重建深度列向量表示的第i个元素，即第i个像素点的深度值。

上述的步骤五的能量模型求解，包括以下步骤：

步骤1）、初始化，为迭代变量分配初值；

步骤2）、为能量模型构造凸上界函数；

步骤3）、计算最小化凸上界函数的解作为当前迭代估计的高分辨率深度图；

步骤4）、更新迭代变量值，判断是否达到终止条件，若达到则退出，否则跳到步骤2）。

上述的凸上界函数的函数定义为：

其中表示第k次迭代获得的重建深度图；表示所有元素均为1的列向量；为近邻矩阵；表示第k次迭代中L1-L2罚函数形成的正则化矩阵；为K×K的拉普拉斯矩阵。

上述的凸上界函数的求解计算公式为：

。

上述的步骤4）中的终止条件为迭代次数达到5或相邻两次迭代解之间的绝对差小于设定的阈值。

与现有技术相比，本发明一种基于L1-L2罚函数的深度图超分辨率重建方法，其利用L1-L2罚函数正则化、高分辨率彩色图像引导的深度图超分辨率重建模型，可得到对象边缘保持的高质量深度图，不像传统深度超分辨率重建方法抑制深度图对象边缘，丢失深度图的不连续过渡。深度图与彩色图像相比，具有分段平滑的特点，其不连续过渡主要发生在对象边缘，这表明深度的对象边缘具有稀疏性。本发明采用非凸的L1-L2罚函数对重建深度进行正则化，有助于保持深度图这些稀疏的结构性信息，从而达到保持重建深度图对象边缘，并保证对象内部深度平滑过渡的目的。

附图说明

图1是本发明的流程图；

图2是本发明的具体实现过程图；

图3是本发明的L1-L2罚函数曲线图；

图4是本发明的迭代收敛图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

如图1至图4所示，

本发明一种基于L1-L2罚函数的深度图超分辨率重建方法，包括以下步骤：

步骤一、初始估计深度的计算：将低分辨率的深度图映射到高分辨率彩色图像坐标平面。假设输入的低分辨率深度图为，对应的高分辨率彩色图像为，的大小为m×n，的大小为M×N，其中，这里s为分辨率扩大倍数。则其过程为：首先，将所在平面的坐标扩大s倍，如坐标点映射为；其次，构造与高分辨率彩色图像大小相同的初始估计深度图，其中，这里和分别表示和在坐标点处的深度值；最后，将大小为M×N的转换成向量表示形式，即，其中表示高分辨率彩色图像的像素点个数。

步骤二、掩模矩阵的计算：构造K×K的对角矩阵，若第i个像素点位于低分辨率深度图在高分辨率彩色图像的映射坐标之上，其第i个对角元素为1，否则该元素为0；即第i个对角元素，若；否则；这里表示向量的第i个元素。

步骤三、近邻矩阵的计算：构造K×K的近邻矩阵，其第i行第j列的元素定义为。这里表示彩色图像第i个像素点的YCbCr值；表示第i个像素点的空间坐标，即，，其中和分别表示第i个像素点的纵坐标和横坐标。

步骤四、构造深度超分辨率重建模型：以L1-L2罚函数作为正则项建立深度图超分辨率重建的能量模型。该能量模型为：

上式中为矩阵的Hadamard积；表示待重建超分辨率深度图的向量表示；为所有元素均为1的K×1列向量；为步骤三构造的近邻矩阵；K×K的表示L1-L2罚函数形成的正则化矩阵，其第i行第j列的元素定义为，这里表示的第i个元素。上述能量模型的第一项为保真项，使重建深度尽量逼近经低分辨率深度图放大获得的初始估计深度图；第二项为正则项，使重建深度保持深度图对象边缘对应的稀疏结构。常数用于平衡保真项和正则项对重建深度的影响。

步骤五、能量模型求解：对于步骤四构造的能量模型，采用广义迭代重新加权最小二乘法予以求解，通过能量函数的最小化获得重建的高分辨率深度图。具体过程如下所述：

步骤1）初始化。将迭代次数变量k设为0，为能量模型中的分配合适的值，将第0次迭代中重建深度图初始化为。

步骤2）构造能量模型的上界凸函数，即找到一个大于或等于步骤四能量模型的凸函数:

上式中表示第k次迭代获得的重建深度图；表示第k次迭代中L1-L2罚函数形成的正则化矩阵，其第i行第j列的元素定义为，这里表示的第i个元素；为K×K的拉普拉斯矩阵，其定义为，这里表示K×K的对角矩阵，其第i个对角元素定义为，表示第i个像素点的局部邻域。K×K矩阵第i行第j列的元素定义为。且当时取等号。

步骤3）将对求导并令其为0，得到

步骤4）求解步骤3）获得的稀疏线性方程组，获得第k次迭代重建的深度图，即。

步骤5）将迭代变量设为。如达到终止条件，退出；否则跳到步骤2）。

由于，因而上述过程可确保随着迭代，获得的解将逐步减小，即趋近于无穷大时可获得最优解。实际应用中达到5时上述过程即可达到收敛状态。

本发明的最佳实施例已被阐明，由本领域普通技术人员做出的各种变化或改型都不会脱离本发明的范围。