平行直线簇在三维空间中的视觉跟踪导航方法

技术领域

本发明涉及计算机视觉、目标跟踪和导航领域，特别涉及一种平行直线簇在三维空间中的视觉跟踪导航方法。

背景技术

当今，无人机的应用越来越广泛，其便捷、机动性强、成本低等特点使其在推广中有着极大的优势。而无人机进行巡线跟踪技术可以使无人机在更加广泛的领域中应用。目前，基于视觉的直线跟踪技术应用于汽车自动驾驶，其跟踪的目标直线为单条直线，并未利用多条直线间的关系，且摄像头是在一个平面内运动，且摄像头距离所要跟踪的直线所在平面很近。缺点是此技术无法运用于在三维空间中运动的控制对象，跟踪所得到的位置信息只是在二维平面内，无法确定摄像头相对于所要跟踪直线的高度，无法同时对多条平行直线簇进行跟踪。 

公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。

发明内容

本发明的目的在于提供一种平行直线簇在三维空间中的视觉跟踪导航方法，从而克服现有的直线跟踪技术无法同时对多条平行直线簇进行跟踪的缺点。

本发明的另一目的在于提供一种平行直线簇在三维空间中的视觉跟踪导航方法，从而克服现有的直线跟踪技术只是在二维平面内，无法运用于在三 维空间中运动的控制对象，跟踪所得到的位置信息只是在二维平面内，无法确定摄像装置相对于所要跟踪直线的高度的缺点。

为实现上述目的，本发明提供了一种平行直线簇在三维空间中的视觉跟踪导航方法，包括以下步骤：1)选定平行直线在三维空间中的参数空间Θ_L；确定所述平行直线在帧图像中的参数在所述参数空间Θ_L中的参数点的函数关系F，并通过所述函数关系F确定函数参数空间Θ_F；2)通过摄像装置采集视频，选定初始帧图像I₀，通过线检测得到所述初始帧图像I₀中所有直线的参数在所述参数空间Θ_L的参数点，选定所要跟踪的多条平行直线的参数点作为种子点集U₀，通过所述函数关系F对所述种子点集U₀做函数检测，检测得到的函数f₀为种子函数，将所述种子函数f₀的参数在所述函数参数空间Θ_F中的坐标点a₀定为参数种子点；3)以时间间隔T，对初始帧图像之后的帧图像进行行抽取，并进行线检测得到所有直线在该帧图像中的参数点集U₁，以步骤2)选定的所述种子点集U₀作为种子，根据所述种子函数f₀对该帧图像中所有直线的参数点集U₁进行跟踪，得到多条平行直线的参数点集U₂；4)通过所述函数关系F对步骤3)中所跟踪到的多条平行直线的参数点集U₂进行函数检测，检测得到函数f_n，以坐标点a₀为参数种子点，对得到的函数f_n的参数在函数参数空间Θ_F中的坐标点进行跟踪，得到多条平行直线对应的参数点集U₃；5)利用所述函数f_n的参数和参数点集U₃确定所述摄像装置相对于所述多条平行直线在三维空间中的位置。

上述技术方案中，步骤1)还包括在三维空间中建立平行线坐标系、图像坐标系以及相机坐标系，根据所述相机坐标系和所述平行线坐标系确定所述平行线坐标系和所述图像坐标系的转换关系W。

上述技术方案中，步骤1)还包括通过所述转换关系W确定所述平行直线在帧图像中的参数在所述参数空间Θ_L中的参数点的函数关系F。

上述技术方案中，所述多条平行直线为2条或2条以上相互平行的直线。

与现有技术相比，本发明具有如下有益效果：本发明的平行直线簇在三 维空间中的视觉跟踪导航方法，可以在三维空间中对多条平行直线进行跟踪导航，可以得到摄像装置相对于所要跟踪平行直线簇在三维空间中的位置信息，特别是高度信息。

附图说明

图1是根据本发明的摄像装置与平行直线平面参考坐标关系示意图。

图2是根据本发明的平行直线在三维空间中的视觉跟踪导航方法的示意图。

图3是根据本发明的平行直线在图像中的实例示意图。

图4是根据本发明的平行直线在图像的参数在参数空间Θ_L中的参数点的仿真图。

具体实施方式

下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。

如图2所示，根据本发明具体实施方式的一种平行直线簇在三维空间中的视觉跟踪导航方法，包括以下步骤：

步骤S100：确定平行直线在帧图像中的参数在参数空间Θ_L中的参数点的函数关系F；

首先，如图1所示，建立相机坐标系，并以其作为基准坐标系，将其转换，使得与平行直线所在平面重合，得到与平行直线所在平面的坐标系，即平行线坐标系，将平行线坐标系与相机坐标系同步移动，以确定平行线坐标系与图像坐标系的转换关系W；

然后，选定平行直线在三维空间中的参数空间Θ_L，参数空间Θ_L为一个二维的参数空间；

最后，通过转换关系W确定平行直线在帧图像(摄像装置获取的视频图像)中的参数在参数空间Θ_L中的参数点的函数关系F，并通过函数关系F确定函数参数空间Θ_F，此时，函数关系F的参数未知；

步骤S102：通过摄像装置采集视频，选定初始帧图像I₀，通过线检测得到初始帧图像I₀中所有直线的参数在参数空间Θ_L的参数点，选定所要跟踪的多条平行直线的参数点作为种子点集U₀，通过函数关系F对种子点集U₀做函数检测，检测得到的函数f₀作为种子函数，将种子函数f₀的参数在函数参数空间Θ_F中的坐标点a₀定为参数种子点；

其中，多条平行直线为2条或2条以上相互平行的直线。

步骤S104：以时间间隔T，对初始帧图像之后的帧图像进行行抽取，并进行线检测得到所有直线在该帧图像中的参数点集U₁，以步骤S102选定的种子点集U₀作为种子，根据种子函数f₀对该帧图像中所有直线的参数点集U₁进行跟踪，得到多条平行直线的参数点集U_2；

步骤S106：通过函数关系F对步骤S104中所跟踪到的多条平行直线的参数点集U₂进行函数检测，检测得到函数f_n，以坐标点a₀为参数种子点，对得到的函数f_n的参数在函数参数空间Θ_F中的坐标点进行跟踪，得到多条平行直线对应的参数点集U₃；

步骤S108：利用函数f_n的参数和参数点集U₃确定摄像装置相对于多条平行直线在三维空间中的位置。

下面对本发明实施例平行直线簇在三维空间中的视觉跟踪导航方法进行实例分析，具体为对平行直线在三维空间内的视觉跟踪导航的实例，步骤如下：

步骤200：建立平行线坐标系，确定平行线坐标系与图像坐标系的转换关系W；详细步骤为：

相机坐标系经过旋转和平移变换得到与平行直线所在平面重合或相交的 坐标系，其转换关系为：

$\left(\begin{array}{c}X\\ Y\\ Z\end{array}\right)=(R,T)\left(\begin{array}{c}{X}_W\\ Y_W\\ Z_W\\ 1\end{array}\right),R=\left(\begin{array}{ccc}{R}_1& R_2& R_3\\ R_4& R_5& R_6\\ R_7& R_8& R_9\end{array}\right)\text{,T=}\left(\begin{array}{c}{T}_1\\ T_2\\ T_3\end{array}\right)$

再将相机坐标转换为图像坐标:

$Z\left(\begin{array}{c}{X}_U\\ Y_v\\ 1\end{array}\right)=\left(\begin{array}{ccc}F& 0& 0\\ 0& F& 0\\ 0& 0& F\end{array}\right)\left(\begin{array}{c}X\\ Y\\ Z\end{array}\right)$

相机坐标系与平行线坐标系的位置关系为：x轴旋转α度，y轴旋转β度，平移向量为T＝(T₁,T₂,T₃)^T。平行直线与其图像的坐标转换关系为：

$R=\left(\begin{array}{ccc}C& S_{\beta }{S}_{\alpha }& S_{\beta }{C}_{\alpha }\\ 0& C_{\alpha }& -S_{\alpha }\\ -S_{\alpha }& C_{\beta }{S}_{\alpha }& C_{\beta }{C}_{\alpha }\end{array}\right),(R,T)=\left(\begin{array}{cccc}{C}_{\beta }& S_{\beta }{S}_{\alpha }& S_{\beta }{C}_{\alpha }& T_1\\ 0& C_{\alpha }& -S_{\alpha }& T_2\\ -S_{\alpha }& C_{\beta }{S}_{\alpha }& C_{\beta }{C}_{\alpha }& T_3\end{array}\right)$

$\left(\begin{array}{c}X\\ Y\\ Z\end{array}\right)=\left(\begin{array}{cccc}{C}_{\beta }& S_{\beta }{S}_{\alpha }& S_{\beta }{C}_{\alpha }& T_1\\ 0& C_{\alpha }& -S_{\alpha }& T_2\\ -S_{\beta }& C_{\beta }{S}_{\alpha }& C_{\beta }{C}_{\alpha }& T_3\end{array}\right)\left(\begin{array}{c}{X}_{W_1}\\ {\mathrm{KX}}_{W_1}+b_1\\ 0\\ 1\end{array}\right),l:\left(\begin{array}{c}X\\ Y=\mathrm{KX}+B\\ Z=0\end{array}\right)$

$\left(\begin{array}{c}X=C_{\beta }{X}_{W_1}+S_{\beta }{S}_{\alpha }({\mathrm{KX}}_{W_1}+b_1)+T_1\\ Y=C_{\alpha }({\mathrm{KX}}_{W_1}+b_1)+T_2\\ Z=-S_{\beta }{X}_{W_1}+C_{\beta }{S}_{\alpha }({\mathrm{KX}}_{W_1}+b_1)+T_3\end{array}\right)$

$\frac{Z}{F_v}\left(\begin{array}{c}{X}_u\\ Y_v\\ 1\end{array}\right)=\left(\begin{array}{c}{C}_{\beta }{X}_{W_1}+S_{\beta }{S}_{\alpha }({\mathrm{KX}}_{W_1}+b_1)+T_1\\ C_{\alpha }({\mathrm{KX}}_{W_1}+b_1)+T_2\\ -S_{\beta }{X}_{W_1}+C_{\beta }{S}_{\alpha }({\mathrm{KX}}_{W_1}+b_1)+T_3\end{array}\right)=\left(\begin{array}{c}{X}_{W_1}(C_{\beta }+S_{\beta }{S}_{\alpha }K)+S_{\beta }{S}_{\alpha }b+T_1\\ C_{\alpha }{\mathrm{KX}}_{W_1}+C_{\alpha }b+T_2\\ -S_{\beta }{X}_{W_1}+C_{\beta }{S}_{\alpha }{\mathrm{KX}}_{W_1}+C_{\beta }{S}_{\alpha }b\end{array}\right)$

以b为参数，得到X_u与Y_v的关系，即A(b)Y_v+B(b)X_u＝C(b)。

选定平行直线的参数空间Θ_L为(θ，ρ)，即，直线方程为ρ＝sin(θ)*y+cos(θ)*x，设，A(b)＝sin(θ),B(b)＝cos(θ),C(b)＝ρ，通过中间参数b并结合仿真结果得到θ与ρ的关系为：ρ＝M*sin(θ+G)+N，为一个正弦函数关系，函数的参数包含M、N、G，并引出待检测函数的函数参数空间Θ_F。

步骤202：通过摄像装置采集视频，选定初始帧图像I₀，如图3，对初始帧图像I₀经行直线检测，检测到图像中所有直线的参数ρ和θ在参数空间Θ_L中的参数点，如图4，并选定对应于所要跟踪的平行直线的参数点集作为种子点集U₀，对此种子点集U₀做正弦函数检测，检测到的函数m₀*sin(θ+g₀)+n₀为种子函数，得到的函数参数m₀、n₀和g₀在函数参数空间Θ_F中为点a₀，a₀为函数参数种子点；

步骤204：以时间间隔T，对初始帧之后的帧图像经行抽取，并对其进行线检测，以步骤202选定的种子点集U₀为种子，对所要跟踪的平行直线簇在图像中所呈直线的参数点集U₁利用粒子滤波跟踪算法进行跟踪，得到多条平行直线的参数点集U₂；

步骤206：对步骤204所跟踪到的平行直线的参数点集U₂进行正弦函数检测，检测得到的函数为M*sin(θ+G)+N，以a₀为种子点，利用卡尔曼滤波算法对得到的函数M*sin(θ+G)+N的参数在函数参数空间Θ_F中的坐标点进行跟踪，最终得到多条平行直线所对应的参数点集U₃；

步骤208：采集一组数据作为BP神经网络的训练数据，包括摄像装置相对于多条平行直线的位置和多条平行直线在图像中所呈直线的参数点集。对数据进行训练，经过测试得到合适的BP网络，再利用此网络对步骤206跟踪检测到的多条平行线所对应的参数点集U₃进行计算，最终得到摄像装置相对于所述多条平行直线的位置信息。

前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。