一种双传感器激光视觉三维测量系统校准方法

具体实施方式

下面对本发明方法做进一步详细说明。本发明首次使用未知运动的平面靶标，对双传感器激光视觉三维测量系统的全部参数进行了校准。

双传感器激光视觉三维测量数学模型：

如图2所示，双传感器激光视觉测量系统由两个传感器2和传感器3、工作台11、图像采集卡、校准软件以及计算机组成。结构光视觉传感器由摄像机和激光投射器组成，激光投射器可以投射出单线结构光、多线结构光、网格结构光等模式，本发明特指单线结构光。

如图2所示，o_c1-x_c1y_c1z_c1为传感器2中摄像机4的摄像机坐标系，o_c2-x_c2y_c2z_c2为传感器3中摄像机6的摄像机坐标系，o_w-x_wy_wz_w为全局测量坐标系。设空间任意点在o_w-x_wy_wz_w坐标系中的世界坐标矢量为X_w＝[x_w，y_w，z_w]^T，在o_c1-x_c1y_c1z_c1坐标系中的摄像机坐标矢量为X_c1＝[x_c1，y_c1，z_c1]^T，在o_c2-x_c2y_c2z_c2坐标系中的摄像机坐标矢量为X_c2＝[x_c2，y_c2，z_c2]^T，则o_c1-x_c1y_c1z_c1坐标系和o_c2-x_c2y_c2z_c2坐标系与o_w-x_wy_wz_w坐标系的变换关系分别为

$>>>X>w>>=>>>(>>R>>c>1>>wsup>>)>>>->1>>>>X>>c>1>>>->>>(>>R>>c>1>>wsup>>)>>>->1>>>>T>>c>1>>wsup>>->->->[>1>]>$>

$>>>X>w>>=>>>(>>R>>c>2>>wsup>>)>>>->1>>>>X>>c>2>>>->>>(>>R>>c>2>>wsup>>)>>>->1>>>>T>>c>2>>wsup>>->->->[>2>]>$>

其中R_c1^w和T_c1^w为o_w-x_wy_wz_w到o_c1-x_c1y_c1z_c1的变换，分别表示3×3的旋转矩阵和3×1的平移矢量；R_c2^w和T_c2^w为o_w-x_wy_wz_w到o_c2-x_c2y_c2z_c2的变换。

由摄像机和激光投射器组成的线结构光传感器的数学模型如图3所示。o_c-x_cy_cz_c为三维摄像机坐标系，o_w-x_wy_wz_w为三维世界坐标系，o_u-x_uy_u为无畸变图像坐标系，o_n-x_ny_n为投影坐标系。π_n为投影平面，π_u为无畸变图像平面，π_s为光平面。o_p为主点。定义o_cx_c//o_ux_u//o_nx_n，o_cy_c//o_uy_u//o_ny_n，o_cz_c⊥π_u和π_n//π_u。任意空间点P_i在π_u上的投影点p_i是直线与π_u的交点。设P_i的三维世界坐标为X_wi＝[x_wi，y_wi，z_wi]^T，摄像机坐标为X_ci＝[x_ci，y_ci，z_ci]^T，则o_w-x_wy_wz_w到o_c-x_cy_cz_c的变换表示为

$>>>X>ci>>=>>R>c>wsup>>>X>wi>>+>>T>c>wsup>>->->->[>3>]>$>

其中R_c^w为3×3的正交旋转矩阵，T_c^w为3×1的平移矢量。

设点p_i的投影坐标为X_ni＝[x_ni y_ni]^T，无畸变图像坐标为X_ui＝[x_ui y_ui]^T，摄像机在x、y方向上的有效焦距为f_x和f_y，摄像机的主点坐标为(u₀，v₀)，则有

X_ui＝[x_ci/z_ci y_ci/z_ci]^T                          [4]

X_ui＝[f_xx_ni+u₀ f_yy_ni+v₀]^T                        [5]

若考虑摄像机镜头的一次和二次径向畸变，设点p_i的畸变图像坐标为X_di＝[x_di y_di]^T，则有

$>>>X>di>>=>[>1>+>>k>1>>>(>>x>ui>2sup>>+>>y>ui>2sup>>)>>+>>k>2>>>>(>>x>ui>2sup>>+>>y>ui>2sup>>)>>2>>]>>X>ui>>->->->[>6>]>$>

其中k₁，k₂为径向畸变系数。

设n＝[n₁，n₂，n₃]^T为光平面的单位法向矢量，X_ci为光平面上控制点P_i的三维摄像机坐标，则光平面π_s在o_c-x_cy_cz_c下的方程为

n·X_ci＝c                                       [7]

其中c为常数项。

公式[3]～[6]表示了空间点到实际图像坐标的投影模型，空间任意点P_i可以确定惟一图像投影点p_i。反之，如果已知摄像机内部参数，根据公式[4]～[6]，由实际图像坐标可以求得空间点的投影坐标，从而获得投影点在o_c-x_cy_cz_c下的坐标，由此可以确定射线在o_c-x_cy_cz_c下的方程，称为投影视线，由和光平面的交点可以惟一确定光平面上点的摄像机三维坐标。

根据双传感器激光视觉三维测量系统的数学模型，双传感器激光视觉三维测量系统的校准分为三步：一是摄像机校准，二是测量系统全局校准，三是光平面校准。

本发明摄像机校准的具体步骤如下：

1、设定靶标1，靶标上有预先设置的特征点，靶标为一个二维平面，在靶标平面上有成矩阵排列的黑色方块，方块数量为4～100个，黑色方块的边长为3～50mm，其边长精度为0.001～0.01mm。选取靶面上方块的顶点作为特征点，特征点的数量为16～400个。

2、首先在摄像机的视场范围内，自由、非平行地移动靶标1至少3个位置，每移动一个位置，拍摄一幅图像，称为摄像机校准图像，靶标1的特征点应包含在拍摄图像内。

然后提取所有摄像机校准图像的特征点的图像坐标，并与特征点的世界坐标对应。特征点图像坐标自动提取算法参见周富强著《双目立体视觉检测的关键技术研究》，北京航空航天大学博士后研究工作报告，2002。

最后利用提取的所有特征点的图像坐标及对应的世界坐标来校准摄像机，包括摄像机有效焦距、主点以及畸变系数。

根据公式[3]～[6]表示的摄像机实际模型，利用特征点的世界坐标X_wi，得到特征点的计算图像坐标X′_di＝[x′_di y′_di]^T。若摄像机参数不够准确，则X′_di与X_di存在误差，由此可以建立摄像机校准的优化目标函数

$>>f>>(>>f>x>>,>>f>y>>,>>u>0>>,>>v>0>>,>>k>1>>,>>k>2>>,>>R>c>wsup>>,>>T>c>wsup>>)>>=>>\Sigma >>i>=>1>>N>>>d>2>>>(>>>X>\prime >>di>>,>>X>di>>)>>->->->[>8>]>$>

其中d(X′_di，X_di)表示计算投影点到实际投影点的距离。摄像机参数的初始值估计参见周富强著《双目立体视觉检测的关键技术研究》，北京航空航天大学博士后研究工作报告，2002。

根据公式[8]可以估算出全部摄像机内部参数，包括摄像机的两个焦距f_x、f_y、主点(u₀，v₀)，径向畸变k₁、k₂和摄像机外部参数(R_c^w，T_c^w)。若摄像机内部参数已知，则根据公式[8]，采用Levenberg-Marquardt非线性优化方法可以直接估计摄像机的外部参数(R_c^w，T_c^w)。Levenberg-Marquardt算法参见《最优化理论与方法》，(袁亚湘、孙文瑜著，科学出版社，1999年)。

3、采用步骤2的方法，分别校准传感器2中摄像机4和传感器3中摄像机6的内部参数，包括有效焦距、主点以及畸变系数。

校准好摄像机内部参数后，进行测量系统的全局校准，具体步骤如下：

4、在测量系统的摄像机4和摄像机6的公共视场范围内，放置靶标1，两个传感器的摄像机分别拍摄一幅靶标图像，称为全局校准图像，要求靶标平面的全部特征点应该包含在两幅全局校准图像内。

5、在靶标1的平面上定义全局世界坐标系o_w-x_wy_wz_x，选取靶标1左上角为原点o_w，x_w、y_w轴分别与靶标的行列方块方向一致，z_w轴垂直靶标平面向上。提取全局校准图像的特征点的图像坐标，特征点提取方法同步骤2。根据公式[8]表示的优化目标函数，利用特征点的图像坐标和对应全局世界坐标，采用非线性优化方法估计公式[1]和[2]表示的摄像机4和摄像机6的摄像机坐标系到全局世界坐标系的变换。

摄像机内部参数和测量系统全局校准后，进行两个光平面的校准，具体步骤如下：

6、打开激光投射器的电源，在摄像机的视场内，放置靶标1，要求投射光平面能够投射到靶标平面上形成投射光条，摄像机拍摄一幅图像，称为光平面校准图像，靶标1上的特征点和投射光条应该包含在光平面校准图像内。

7、根据公式[6]表示的摄像机畸变模型，校正光平面校准图像的畸变，得到无畸变光平面校准图像。畸变校正算法参见周富强著《双目立体视觉检测的关键技术研究》，北京航空航天大学博士后研究工作报告，2002。

8、提取无畸变光平面校准图像的所有特征点的图像坐标，特征点提取方法同步骤2。根据公式[4]和公式[5]，计算特征点的投影坐标。

如图3所示，π_w为校准靶标平面，其上分布有至少6个已知世界坐标的校准特征点。已知摄像机的内部参数，利用特征点的投影坐标及对应的靶标平面上的世界坐标，根据公式[8]，采用非线性优化方法，可以得到π_w在o_c-x_cy_cz_c下的平面方程。

9、提取无畸变光平面校准图像中光条的图像坐标，根据摄像机模型和内部参数，计算光条的投影坐标，并利用光条投影坐标拟合光条直线方程。

光条图像坐标提取算法参见Carsten Steger的文章“一种对称曲线结构探测器”[An Unbiased Detector of Curvilinear Structures]，IEEE期刊《模式分析及机器智能》，第20卷第2期，第113～125页，1998年。[IEEE Transactions on PatternAnalysis and Machine Intelligence，Vol.20，No.2，1998]。

如图3所示，光条直线l_c为靶标平面π_w和光平面π_s的交线，直线l_u为l_c在π_u上的无畸变投影。任意选取拟合光条直线l_c上的一点p_i，称为光平面上的控制点，控制点和摄像机坐标系原点确定的直线称为投影视线，计算得到控制点p_i的投影视线在摄像机坐标系o_c-x_cy_cz_c下的直线方程l_c。

10、在摄像机坐标系下，计算靶标平面与控制点对应投影视线的交点，得到控制点在摄像机坐标系下的三维坐标，称为控制点的摄像机坐标。根据步骤5计算的摄像机坐标系到全局世界坐标系的变换，利用控制点的摄像机坐标计算光平面上控制点在全局世界坐标系下的三维坐标，称为控制点的全局世界坐标。

11、采用步骤9～10相同的方法，计算更多位于同一光条上的控制点的全局世界坐标，同一光条上控制点的数量为2～20。

12、将靶标1放置在不同的位置，采用步骤6～11相同的方法，计算光平面上的非共线控制点的全局世界坐标。靶标放置位置的数量为2～10，光平面上非共线的控制点总数为4～200。

13、利用所有的非共线控制点的全局世界坐标，拟合平面得到光平面在全局世界坐标系下如公式[7]所表示的方程。

14、采用步骤6～13叙述的方法，分别得到测量系统的光平面8和光平面9在全局世界坐标系的方程。

15、将校准的摄像机4和摄像机6的内部参数、摄像机4的摄像机坐标系到全局坐标系的变换、摄像机6的摄像机坐标系到全局世界坐标系的变换以及光平面8和光平面9的方程系数保存到系统参数文件中，以备测量调用。

实施例

采用两个Mintron MS368P CCD摄像机、焦距为12mm和16mm的日本精工镜头以及两个线结构光投射器构成双传感器激光视觉三维测量系统。传感器的工作距离在600mm以内。

按照上面叙述的步骤，利用图1所示的平面靶标对双传感器激光视觉三维测量系统的模型参数进行了校准。在每个传感器的测量空间范围内，随机移动5个位置，用CCD摄像机获取的图像，提取特征点来校准摄像机内部参数。打开激光投射器电源，保证投射的光条都通过靶标的特征区域，随机移动三个位置，获取图像，采用前面所述方法获得光平面上的控制点，用来校准两个光平面。将平面靶标置于两个传感器的公共视场，将全局世界坐标系建立在平面靶标上，分别采集一幅图像，提取特征点，用于校准传感器到全局世界坐标系的变换。校准的双传感器激光视觉三维测量系统的全部参数如表1所示。

                                 表1  双传感器激光视觉测量系统模型参数

为了验证传感器校准的精度，以传感器3为例，在传感器3的测量范围，随机移动平面靶标到3个不同位置，采集带有投射光条的图像，按本发明叙述的方法获取校准特征点的图像坐标及对应的三维摄像机坐标，并利用这些数据校准光平面，校准参数如表1所示。以直线和靶标平面π_w的交点作为近似标准值，以直线和校准光平面π_s的计算交点为测量值，通过比较两种情况下的三维摄像机坐标来评价传感器的校准精度。数据如表2所示，可以看出，RMS误差为：Δx＝0.011mm，Δy＝0.008mm，Δz＝0.115mm。表3为校准后的传感器3测量随机位置的靶标上光条数据，采用类似的方法，作为传感器的测量精度。

                                                                         表2  传感器3校准精度评估数据

                                                          表3  传感器3测量精度评估数据