一种基于图像靶标的目标位姿识别方法

技术领域

本发明涉及位姿测量及自动化技术领域，是一种基于图像靶标的目标位姿识别方法。

背景技术

当飞机降落或准备起飞的时候，需要到指定的位置降落或起飞。选择依靠飞机发动机的方式，操作稳定性差且又危险。后来人们发明了一种通过牵引车拖动飞机到达指定位置的方法，已被大多数国家所使用。而实际中有两种类型的拖车，分别为有杆牵引车和无杆牵引车，带推拉杆的牵引车为有杆牵引车，进行牵引任务时需要一根牵引杆与飞机相连,而牵引杆的挂接作业则需要由一人负责，相对于有杆牵引车来说，无牵引杆抱轮车直接抱住飞机的轮胎来移动飞机，采取抱轮拖拉的方式能够更好地融合先进的技术，极大提高了其自动化水平，十分经济灵活，根据北京卫星制造厂飞机自动抱轮项目，重点研究其中的飞机轮毂位姿测量方法。

当飞机降落或准备起飞的时候，需要到指定的位置降落或起飞。选择依靠飞机发动机的方式，操作稳定性差且又危险。

后来人们发明了一种通过牵引车拖动飞机到达指定位置的方法，已被大多数国家所使用。现阶段被广泛使用的中有两种类型的拖车，分别为有杆牵引车和无杆牵引车，带推拉杆的牵引车为有杆牵引车，进行牵引任务时需要一根牵引杆与飞机相连，而牵引杆的挂接作业则需要由一人负责，该方法安全可靠，但耗费人力、效率不高。

在对目标物体进行识别时，通常以其本身具有的特征为依据，拟合其本身特殊图案、形状、轮廓等，直接利用目标物体本身特性进行特征点二维像素坐标识别，操作较为简单灵活，但缺点是无明显标志物不易识别，识别算法复杂，且算法针对性强、普适性差，不同形状、纹路轮毂识别需依赖不同的目标识别算法，即使识别成功准确性也无法保证，二维像素点识别引起的误差将进一步影响位姿测量的准确性。

发明内容

本发明为了提高目标识别的稳定性和精度，本发明提供了一种基于图像靶标的目标位姿识别方法，本发明提供了以下技术方案：

一种基于图像靶标的目标位姿识别方法，包括以下步骤：

步骤1：通过相机采集飞机轮毂图像，并对飞机轮毂图像进行转换，得到灰度图像；

步骤2：对灰度图像进行阈值分割与形态学变换，将靶标与背景分离；

步骤3：根据经过阈值分割与形态学变换后的图像，进行轮廓拟合与轮廓筛选，筛选出靶标；

步骤4：统计筛选出的靶标数量，根据靶标数量确定是否识别到完整的飞机轮毂；

步骤5：当识别到完整的飞机轮毂后，采用相机标定获取二维像素坐标，根据二维像素坐标进行位姿测量。

优选地，所述步骤2具体为：

采用二值化对灰度图像进行图像分割，设置阈值为40，将目标图像与剩余部分分成两个不同的灰度集合；

根据图像分割后的图像，进行形态学变换，对二值化后图像进行膨胀操作，扩大高亮区域，减小无关像素的干扰，将靶标与背景分离。

优选地，所述步骤3具体为：

根据经过阈值分割与形态学变换后的图像，进行轮廓拟合，检测出的轮毂保存在一个向量中，向量元素的个数就是检测出的轮廓组的个数，向量中每个元素都是每一组点集，每一组轮廓就由这些连续的点集构成；

采用检测轮廓面积的方法，从中筛选出目标轮廓面积大小的轮廓，检测出来的轮廓形状拟合，提取出多边形，返回外部矩形边界、寻找最小包围矩形、找最小包围圆形的方法拟合出来的多边形具有了一定的属性，叫作其成员变量，矩形的成员变量有矩形的长、矩形的宽、矩形的四个角点的横纵坐标的成员变量，根据成员变量，进行轮廓筛选，最终得到所需要的目标轮廓；

第一轮筛选，根据输出靶标各种属性，分析总结筛选条件，通过比较，初步筛选出符合轮廓面积、可旋转矩形长宽比、矩形面积与轮廓面积之比、可旋转矩形面积与轮廓面积之比在一定范围内的轮廓；

第二轮筛选，根据靶标间的相对关系，将识别到的靶标依次作为基准靶标，分析其余靶标与基准靶标之间的关系，通过比较，构建出与基准矩形的边长比、可旋转矩形间角度差在一定范围内的筛选语句，进行筛选。

优选地，所述步骤4具体为：

统计筛选出的靶标数量，当靶标数量为四个时，确定识别到完整的飞机轮毂，当靶标数量不满足四个时，返回步骤重新识别。

优选地，所述步骤5具体为：

步骤5.1：当识别到完整的飞机轮毂后，采用相机标定获取二维像素坐标，采用张正友标定法称棋盘格标定法选择标定:板，所述标定板采用每个小方格尺寸为30mm；采集数据，选择的标定数量为16张，当图片符合要求时，将角点用不同颜色标识出来；

采用matlab中自带的工具箱来标定摄像头，通过下式确定相机内参矩阵M的标定结果：

确定径向畸边参数矩阵K、切向畸边参数矩阵P的标定结果，通过下式表示所述标定结果：

K＝[-0.0426920009452731 0.06350077106690202 0]

P＝[-0.000552247267 -0.000222686379396]

步骤5.2：建立三维点坐标系，相机坐标系建系：其中O点为摄像机光心，X

步骤5.3：进行二维像素坐标排序，为了使输入的特征点二维像素坐标与飞机轮毂在世界坐标系中的三维坐标一一对应，以靶标间相对位置不变为原则结合在像素中的绝对位置等为依据设计出了较为稳定的二维像素坐标的排序，对识别到四个矩形的中心点的像素的纵坐标排序，挑选出纵坐标最小的二维像素点，并以此为基准；对剩下三个中心点与此基准之间的中心点相对距离再次进行排序，筛选出两个相对距离较小的矩形中心点；将两个距离相对较小矩形的中心点的横坐标进行排序，小的中心点的二维像素坐标放入第二个位置，大的放入第三个位置；最后将距基准中心点距离最大的矩形中心点坐标放入第四个位置，由此便得到了固定顺序排列的二维点坐标；

步骤5.4：根据欧拉角解算角度，根据ZYZ的旋转方式下对旋转矩阵R进行角度分解，通过下式表示旋转矩阵R进行角度分解：

α＝tan 2(R

γ＝tan 2(R

其中，R

根据旋转矩阵解算角度，旋转矩阵R是一个3×3的正交矩阵，有3个自由度，三维旋转变换是矩阵乘法运算，得到旋转后的三维坐标：

其中，[x y z]为原始三维坐标；[x

当轮毂所在平面z轴向量为oz＝(0，0，1)；则相机所在平面的z轴向量为oz′＝oz*R，设空间两任意三维向量

解算得到角度θ，根据角度θ得到位姿测量结果。

本发明具有以下有益效果：

本发明为了提高位姿识别的稳定性和精度，在靶标数量、粘贴位置、靶标形状等都进行了多种分析与尝试。在靶标数量上，可选择基于EPNP算法的四个或五个矩形靶标识别定位，但四个靶标对于靶标共面性要求较高。由于飞机轮毂转动，在粘贴位置上，为了防止因飞机轮毂转动导致靶标位置改从而影响位姿测量精度和稳定性，在实际实验过程中，应在轮毂上对称的粘贴靶标。在靶标形状的选择上，圆形靶标经霍夫圆变换识别率低，最终选择矩形靶标，靶标应考虑防水设计，平整地粘贴在轮毂表面。

本发明针对于视觉靶标的目标识别算法，充分利用了矩形靶标形状统一、轮廓易于拟合的特点，在轮廓筛选时可根据靶标特定的长宽比进行提取，且通过选择与目标轮毂颜色相差较大视觉靶标，使得靶标可较为容易的与图像背景分割，从而极大的降低了算法的识别难度，降低了计算量，提高了开发效率。

附图说明

图1为前轮靶标示意图；

图2为后轮靶标示意图；

图3为基于图像靶标的目标位姿识别方法流程图；

图4为后轮二值化结果图；

图5为前轮二值化结果图；

图6为后轮形态学处理结果图；

图7为前轮形态学处理结果图；

图8为后轮轮廓拟合结果图；

图9为前轮轮廓拟合结果图；

图10为后轮靶标识别结果图；

图11为前轮靶标识别结果图；

图12为标定板示意图；

图13为用于标定的照片组图；

图14为棋盘格三维还原示意图；

图15为棋盘格二维坐标的重投影误差示意图；

图16为轮毂真实特征点位置示意图；

图17为拟合的多边形示意图；

图18为后轮靶标识别示意图；

图19为前轮靶标识别示意图；

图20为基于单目视觉的位姿测量系统总体框图。

具体实施方式

以下结合具体实施例，对本发明进行了详细说明。

具体实施例一：

选择靶标时尽量选择与背景轮毂颜色对比度强的靶标。其示意图如下：图1为前轮，背景颜色在黑白相机中趋近于白色，因此我们选择黑色靶标。图2为后轮，背景颜色在黑白相机中趋近于黑色，因此我们选择白色靶标。

为了提高位姿识别的稳定性和精度，在靶标数量、粘贴位置、靶标形状等都进行了多种分析与尝试。在靶标数量上，可选择基于EPNP算法的四个或五个矩形靶标识别定位，但四个靶标对于靶标共面性要求较高。由于飞机轮毂转动，在粘贴位置上，为了防止因飞机轮毂转动导致靶标位置改从而影响位姿测量精度和稳定性，在实际实验过程中，应在轮毂上对称的粘贴靶标。在靶标形状的选择上，圆形靶标经霍夫圆变换识别率低，最终选择矩形靶标，靶标应考虑防水设计，平整地粘贴在轮毂表面。

我们通过识别检测靶标间接识别飞机轮毂位姿，当认为摄像机视野中存在完整的轮毂时，解算飞机轮毂距离角度信息，其中在判断轮毂完整性时我们可以根据识别到的靶标个数来进行判断，如认为识别到一个、两个、三个时轮毂不完整。

根据图3所示，本发明提供一种基于图像靶标的目标位姿识别方法，具体为：

一种基于图像靶标的目标位姿识别方法，包括以下步骤：

步骤1：通过相机采集飞机轮毂图像，并对飞机轮毂图像进行转换，得到灰度图像；

步骤2：对灰度图像进行阈值分割与形态学变换，将靶标与背景分离；

优选地，所述步骤2具体为：

形态学处理的基本运算包括：腐蚀和膨胀、位置开闭运算、顶帽和黑帽等。采用二值化对灰度图像进行图像分割，设置阈值为40，前轮和后轮轮毂图像二值化结果如图4、5所示。将目标图像与剩余部分分成两个不同的灰度集合；

根据图像分割后的图像，进行形态学变换，对二值化后图像进行膨胀操作，如图6、7所示，扩大高亮区域，减小无关像素的干扰，将靶标与背景分离。

步骤3：根据经过阈值分割与形态学变换后的图像，进行轮廓拟合与轮廓筛选，筛选出靶标；

所述步骤3具体为：

根据经过阈值分割与形态学变换后的图像，进行轮廓拟合，检测出的轮毂保存在一个向量中，向量元素的个数就是检测出的轮廓组的个数，向量中每个元素都是每一组点集，每一组轮廓就由这些连续的点集构成；图8与图9展示了对前轮和后轮进行轮廓拟合的结果。

采用检测轮廓面积的方法，从中筛选出目标轮廓面积大小的轮廓，检测出来的轮廓形状拟合，提取出多边形，返回外部矩形边界、寻找最小包围矩形、找最小包围圆形的方法拟合出来的多边形具有了一定的属性，叫作其成员变量，矩形的成员变量有矩形的长、矩形的宽、矩形的四个角点的横纵坐标的成员变量，根据成员变量，进行轮廓筛选，最终得到所需要的目标轮廓；

第一轮筛选，根据输出靶标各种属性，分析总结筛选条件，通过比较，初步筛选出符合轮廓面积、可旋转矩形长宽比、矩形面积与轮廓面积之比、可旋转矩形面积与轮廓面积之比在一定范围内的轮廓；

第二轮筛选，根据靶标间的相对关系，将识别到的靶标依次作为基准靶标，分析其余靶标与基准靶标之间的关系，通过比较，构建出与基准矩形的边长比、可旋转矩形间角度差在一定范围内的筛选语句，进行筛选。

步骤4：统计筛选出的靶标数量，根据靶标数量确定是否识别到完整的飞机轮毂；

所述步骤4具体为：

统计筛选出的靶标数量，当靶标数量为四个时，确定识别到完整的飞机轮毂，当靶标数量不满足四个时，返回步骤重新识别。两轮筛选到的结果如图10-图11所示，可见四个靶标被识别。

步骤5：当识别到完整的飞机轮毂后，采用相机标定获取二维像素坐标，根据二维像素坐标进行位姿测量。前面已经完成了对飞机轮毂特征点的识别，得到了特征点的二维像素坐标。为了利用PnP原理求解其位姿，首先要对相机进行标定获得其内参。

张正友标定法称棋盘格标定法，是介于传统标定方法和自标定方法之间的一种方法，它的优点是较自标定方法精度高，角点识别准确，又较传统方法操作较为简单，且对设备要求低，仅需要一张棋盘照片，不需要高精度的标定板。缺点是专业性要求比较高。权衡利弊，最终选用精度高、操作简单且应用广泛的张正友标定法进行标定

所述步骤5具体为：

步骤5.1：当识别到完整的飞机轮毂后，采用相机标定获取二维像素坐标，采用张正友标定法称棋盘格标定法选择标定:板，所述标定板采用每个小方格尺寸为30mm，如图12所示；采集数据，选择的标定数量为16张，当图片符合要求时，将角点用不同颜色标识出来；图13所示为拍摄的一组用于相机标定的照片，理论上，标定的图片越多，标定的精度越高。

采用matlab中自带的工具箱来标定摄像头，通过下式确定相机内参矩阵M的标定结果：

确定径向畸边参数矩阵K、切向畸边参数矩阵P的标定结果，通过下式表示所述标定结果：

K＝[-0.0426920009452731 0.06350077106690202 0]

P＝[-0.000552247267 -0.000222686379396]

步骤5.2：建立三维点坐标系，相机坐标系建系：其中O点为摄像机光心，X

如图14所示是摄像机拍摄的不同位置的棋盘格的三维位姿还原示意图，图15是用于摄像机标定的棋盘格的二维像素坐标重投影误差示意图，其误差保持在13％左右。

步骤5.3：进行二维像素坐标排序，为了使输入的特征点二维像素坐标与飞机轮毂在世界坐标系中的三维坐标一一对应，以靶标间相对位置不变为原则结合在像素中的绝对位置等为依据设计出了较为稳定的二维像素坐标的排序，对识别到四个矩形的中心点的像素的纵坐标排序，挑选出纵坐标最小的二维像素点，并以此为基准；对剩下三个中心点与此基准之间的中心点相对距离再次进行排序，筛选出两个相对距离较小的矩形中心点；将两个距离相对较小矩形的中心点的横坐标进行排序，小的中心点的二维像素坐标放入第二个位置，大的放入第三个位置；最后将距基准中心点距离最大的矩形中心点坐标放入第四个位置，由此便得到了固定顺序排列的二维点坐标；

步骤5.4：根据欧拉角解算角度，根据ZYZ的旋转方式下对旋转矩阵R进行角度分解，通过下式表示旋转矩阵R进行角度分解：

α＝tan 2(R

γ＝tan 2(R

其中，R

根据旋转矩阵解算角度，旋转矩阵R是一个3×3的正交矩阵，有3个自由度，三维旋转变换是矩阵乘法运算，得到旋转后的三维坐标：

其中，[x y z]为原始三维坐标；[x

当轮毂所在平面z轴向量为oz＝(0，0，1)；则相机所在平面的z轴向量为oz′＝oz*R，设空间两任意三维向量

解算得到角度θ，根据角度θ得到位姿测量结果。

比较在轮毂表面粘贴靶标间接的识别飞机轮毂与直接识别轮毂特征点轮廓的两种方法，轮毂真实特征点位置如图16所示。由于轮毂表面特征图案形状不规则，直接对轮毂特征点进行多边形拟合，识别到的多边形的面积、位置相对于真实情况均不准确，识别情况如图17所示，而对二维像素点识别相对不准确，位姿测量也随之产生较大的误差。本专利针对这一问题进行优化改进，通过识别靶标来测量目标物体位姿，因选择的矩形靶标形状规则，且覆盖轮毂面积大，相对易识别且识别准确，如图18、19所示，通过一定的图像处理算法能够得到精确的飞机轮毂特征点的二维像素坐标，从而能够精准的对轮毂进行识别定位。

具体实施例二：

为了解算出飞机轮毂间的距离和角度信息，提高抱轮过程中的自动化水平，设计出一套基于单目视觉的位姿测量系统。基于单目视觉的位姿测量系统由CCD传感器、显示系统、嵌入式处理系统和主控系统组成，测量系统总体框图如图20所示。

视觉辅助测量系统由CCD传感器采集图像，经图像嵌入式处理系统完成目标识别和轮毂定位，与主控系统通信，发送解算出的距离和角度信息，主控系统从而控制牵引车转运平台对其轮组进行抱夹，最终实现抱轮过程中的快速对准。本专利仅完成上位机图像处理识别定位的模块。

位姿测量系统拟解决的关键问题有以下三点：

(1)飞机完整轮毂识别转运平台车倒车入位过程中，对摄像头采集的图像经图像预处理，轮廓拟合、轮廓筛选等对完整轮毂进行目标识别定位，判断摄像机采集的图像中是否存在完整轮毂，飞机表面粘贴视觉靶标的方式，通过判断识别到的视觉靶标的个数来判断是否识别到了完整轮毂，当识别到飞机完整轮毂时，返回特征点像素坐标用于测量位姿。

(2)飞机轮毂位姿识别获得轮毂特征点二维像素坐标后，需要将拍摄轮毂的摄像机进行标定，获得相机内参矩阵与畸变参数。OpenCV中的PnP模型将接受相机内参、相机畸变矩阵、二维像素坐标、特征点的三维世界坐标等四个参数，输出一个代表目标物体相对相机的位姿的旋转向量和平移矩阵。用PnP位姿测量原理解算飞机轮毂在三维世界中的坐标后，再采用一定的算法解算出飞机轮毂与转运平台间的距离和角度信息。

(3)基于嵌入式系统的实现前期在PC进行开发，Visual Studio可作为本项目的集成开发环境，在该IDE上完成整个程序框架后，了解Linux系统的基本构成，进行内核的配置、编译和移植，在Linux系统上搭建C++开发环境，实现一个cpp源文件在ARM架构的Linux系统上的编译运行，实现最终的基于视觉的位姿测量系统。

本发明开发的针对于视觉靶标的目标识别算法，充分利用了矩形靶标形状统一、轮廓易于拟合的特点，在轮廓筛选时可根据靶标特定的长宽比进行提取，且通过选择与目标轮毂颜色相差较大视觉靶标，使得靶标可较为容易的与图像背景分割，从而极大的降低了算法的识别难度，降低了计算量，提高了开发效率。

以上所述仅是一种基于图像靶标的目标位姿识别方法的优选实施方式，一种基于图像靶标的目标位姿识别方法的保护范围并不仅局限于上述实施例，凡属于该思路下的技术方案均属于本发明的保护范围。应当指出，对于本领域的技术人员来说，在不脱离本发明原理前提下的若干改进和变化，这些改进和变化也应视为本发明的保护范围。