一种用于复杂光照环境的激光视觉融合的高精度对接方法

技术领域

本发明涉及一种高精度对接方法，特别涉及一种用于复杂光照环境的激光视觉融合的高精度对接方法，属于零部件对接技术领域。

背景技术

零件是机器组成的基本要素。机器一般包括一个或几个用来接受外界能源的传动部分，实现机器生产职能的执行部分(如机床中的刀具)，把原动机的运动和动力传递给执行部分的传动部分(如机床中的齿轮与螺旋传动机构)，保障机器中各部分协调工作的检测与控制系统(如机床中的数控系统)构成(即机器由原动部分，传动部分，执行部分，测控部分构成)，将机器进行进一步分解，可以得到各类零件。

传统的大型空间六自由度零部件对接和装配通常依靠人工完成，花费的人力和时间成本高，对接和装配的效率低，近年来有研究者开发出用于室内环境的大型零部件的自动对接和装配系统，常使用激光跟踪仪、iGPS、计算机视觉等作为自动对接中的位姿检测设备，前两者成本高昂，无法应用于室外空旷、移动的工作环境，而现有的基于计算机视觉的自动对接系统对于环境光照条件的要求都很高，无法在户外等复杂光照环境下工作。

发明内容

本发明的目的在于提供一种用于复杂光照环境的激光视觉融合的高精度对接方法，以解决上述背景技术中提出的传统的大型空间六自由度零部件对接和装配通常依靠人工完成，花费的人力和时间成本高，对接和装配的效率低的问题。

为实现上述目的，本发明提供如下技术方案：包括自动对接系统，所述自动对接系统包括主动对接机构、被动对接机构，所述主动对接机构与被动对接机构对接；

所述主动对接机构包括位姿检测系统、控制系统和运动执行机构组成，所述位姿检测系统由双目相机A、双目相机B，激光位移传感器A、激光位移传感器B、伺服电缸、力传感器A、力传感器B和视觉模块组成，所述运动执行机构由并联机构定平台和并联机构动平台组成，所述被动对接机构由自动锁紧机构组成，所述并联机构定平台固定安装于移动平台安装面，所述并联机构动平台的两边侧分别安装有力传感器A和力传感器B，所述力传感器A和力传感器B承托主动对接体，所述主动对接体与自动锁紧机构位置对正，所述并联机构动平台的两侧分别安装有固定安装有立柱A和立柱B，所述立柱A的顶端安装有双目相机A，所述立柱B的顶端安装有双目相机B、激光位移传感器A、和激光位移传感器B，所述激光位移传感器A与立柱B固定，所述激光位移传感器B的一侧与伺服电缸的输出端连接。

作为本发明的一种优选技术方案，所述高精度对接方法包括以下步骤：

S1：将主动对接机构送至对接实施区域范围，并启动控制系统；

S2：双目相机B和激光位移传感器A开始工作，双目相机B获取图像，进行方位试探和特征提取，激光位移传感器A获取深度信息；

S3：位姿检测系统的视觉模块准确提取双目相机B视野内的被动对接机构的特征与激光位移传感器A获得的距离信息融合，计算出被动对接机构和主动对接机构的相对位姿信息，经雅可比矩阵转换为并联机构动平台的运动控制量，驱动并联机构动平台带动主动对接机构接近被动对接机构；

S4：主动对接机构与被动对接机构的已达到对准状态时，伺服电缸推动立柱B上方的激光位移传感器B，检测并计算出两者之间的位置偏差，伺服电缸收回激光位移传感器B后，控制系统驱动并联机构动平台带动主动对接机构运动完成对接，同时双目相机A开始工作，通过双目相机A(8)、激光位移传感器A(10)、力传感器A(3)、力传感器B(4)的信息特征提取判断对接过程中主动对接机构与被动对接机构间是否出现角度偏差，并及时修正并联机构动平台的运动控制量；

S5：控制系统给被动对接机构上的自动锁紧机构发送远程控制指令，完成锁紧，收到锁紧完成的信号后则控制并联机构动平台安全收回并移走。

作为本发明的一种优选技术方案，所述视觉模块中封装视觉算法和特征提取算法，所述视觉算法为：

第一步：记双目相机的左右视野间的基线长度为b，焦距均为f，图像中某个特征点在双目相机左右视野中的视差为δ

第二步：取出三个从图像中获得的特征点，分别获取其视差，计算出三点的深度信息，通过相机内参将像素坐标转换至相机坐标系，获得三点在相机坐标系下的坐标，分别记为

aX+bY+cZ+d＝0

其中：

c＝(X

第三步：根据第二步被观察物体表面的平面方程，记激光位移传感器与双目相机基线中点在相机坐标系下的安装位置偏差为δ＝(δX

第四步：将点p代入平面方程：

aδX

得点p在相机坐标系中的深度：

第五步：记点p由激光位移传感器测得的深度为d

d

记双目相机估计的特征点深度置信度为c，则：

作为本发明的一种优选技术方案，所述特征点深度置信度c高于设定的阈值，将特征点的坐标用于计算对接机构的相对位姿，所述特征点深度置信度c低于设定的阈值，丢弃此次获得的数据。

作为本发明的一种优选技术方案，所述特征提取算法包括以下步骤：

第一步：将获取的图像灰度化和畸变校正，作为原始输入；

第二步：根据视野中图像的特点，在干扰较小的方向进行全画幅的平均像素梯度获取；

第三步：根据对接机构的最大倾斜角度预先设定的窗口尺寸，以粗边界的范围为中心，按行找出每一行像素的最大梯度点，对这些点进行直线拟合，获取大致的边界直线方程；

第四步：根据新的直线方程划分新的窗口，并按边界的斜率设定横向边界寻找所需的滑动窗口高度，使滑动窗口在此区域内沿着提取的竖直边界滑动，按行寻找端部的上下边界；

第五步：在范围内划分窗口，排除背景物体的干扰，并按列找出像素梯度最大点，以获取的点拟合直线，获得上下边界；

第六步：将获取的四条边界进行交点计算获取对接机构端部的4个顶点，用于下一步的位姿计算。

作为本发明的一种优选技术方案，所述自动锁紧机构包括横杆、被动对接体、锁柱、U型连接块、滑块和电动滑轨，所述横杆底端的一侧固定安装有被动对接体，所述被动对接体的一侧开设有通孔，所述横杆底端的另一侧固定安装有电动滑轨，所述电动滑轨的表面滑动连接有滑块，所述滑块的底端固定安装有U型连接块，所述U型连接块的底部安装有锁柱，所述锁柱的一端与通孔插接。

与现有技术相比，本发明的有益效果是：

本发明一种用于复杂光照环境的激光视觉融合的高精度对接方法，基于计算机视觉、激光位移传感器、力传感器等传感器数据融合的高精度对接方法，解决了传统自动对接系统中设备成本高、无法应用于移动作业、无法应用于复杂光照环境作业等问题，系统设备成本低，系统的环境适应能力强，作业精度高，稳定性好。

附图说明

图1为本发明的结构示意图；

图2为本发明的自动对接系统框图；

图3为本发明的自动对接流程框图；

图4为本发明的视觉算法流程框图；

图5为本发明的特征提取算法流程框图；

图6为本发明自动锁紧机构结构示意图。

图中：1、并联机构定平台；2、并联机构动平台；3、力传感器A；4、力传感器B；5、主动对接体；6、立柱A；7、立柱B；8、双目相机A；9、双目相机B；10、激光位移传感器A；11、激光位移传感器B；12、伺服电缸；13、自动锁紧机构；1301、横杆；1302、被动对接体；1303、通孔；1304、锁柱；1305、U型连接块；1306、滑块；1307、电动滑轨。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-6，本发明提供了一种用于复杂光照环境的激光视觉融合的高精度对接方法的技术方案：

根据图1、图2和图6所示，包括自动对接系统，自动对接系统包括主动对接机构、被动对接机构，主动对接机构与被动对接机构对接；

主动对接机构包括位姿检测系统、控制系统和运动执行机构组成，位姿检测系统由双目相机A8、双目相机B9，激光位移传感器A10、激光位移传感器B11、伺服电缸12、力传感器A3、力传感器B4和视觉模块组成；

运动执行机构由并联机构定平台1和并联机构动平台2组成；

被动对接机构由自动锁紧机构13组成；

并联机构定平台1固定安装于移动平台安装面，并联机构动平台2的两边侧分别安装有力传感器A3和力传感器B4，力传感器A3和力传感器B4承托主动对接体5，主动对接体5与自动锁紧机构13位置对正，并联机构动平台2的两侧分别安装有固定安装有立柱A6和立柱B7，立柱A6的顶端安装有双目相机A8，立柱B7的顶端安装有双目相机B9、激光位移传感器A10、和激光位移传感器B11，激光位移传感器A10与立柱B7固定，激光位移传感器B11的一侧与伺服电缸12的输出端连接。

对接机构分为主动对接机构和被动对接机构，被动对接机构相对空间静止，主动对接机构由运动执行机构运送至对接实施区域范围内后完成对接动作，主动对接机构分为位姿检测系统、运动执行机构、控制系统三部分，精准对接对于位姿检测的精度、运动控制的稳定性有较高的要求，采用双目相机、激光位移传感器、力传感器等多传感器融合技术，精确地完成对接机构的空间6自由度位姿检测，使用6自由度并联机构作为运动执行机构，通过计算位姿信息到运动控制的雅可比矩阵，将对接机构的位姿信息映射为运动执行机构的运动控制量，驱动主动对接机构与被动对接机构的精准对接。

根据图3所示：高精度对接方法包括以下步骤：

S1：将主动对接机构送至对接实施区域范围，并启动控制系统；

S2：双目相机B9和激光位移传感器A10开始工作，双目相机B9获取图像，进行方位试探和特征提取，激光位移传感器A10获取深度信息；

S3：位姿检测系统的视觉模块准确提取双目相机B9视野内的被动对接机构的特征与激光位移传感器A10获得的距离信息融合，计算出被动对接机构和主动对接机构的相对位姿信息，经雅可比矩阵转换为并联机构动平台2的运动控制量，驱动并联机构动平台2带动主动对接机构接近被动对接机构；

S4：主动对接机构与被动对接机构的已达到对准状态时，伺服电缸12推动立柱B7上方的激光位移传感器B11，检测并计算出两者之间的位置偏差，伺服电缸12收回激光位移传感器B11后，控制系统驱动并联机构动平台2带动主动对接机构运动完成对接，同时双目相机A8开始工作，通过双目相机A8、激光位移传感器A10、力传感器A3、力传感器B4的信息特征提取判断对接过程中主动对接机构与被动对接机构间是否出现角度偏差，并及时修正并联机构动平台2的运动控制量；

S5：控制系统给被动对接机构上的自动锁紧机构13发送远程控制指令，完成锁紧，收到锁紧完成的信号后则控制并联机构动平台2安全收回并移走。

根据图4所示：视觉模块中封装视觉算法和特征提取算法，视觉算法为：

第一步：记双目相机的左右视野间的基线长度为b，焦距均为f，图像中某个特征点在双目相机左右视野中的视差为δ

第二步：取出三个从图像中获得的特征点，分别获取其视差，计算出三点的深度信息，通过相机内参将像素坐标转换至相机坐标系，获得三点在相机坐标系下的坐标，分别记为

aX+bY+cZ+d＝0

其中：

c＝(X

第三步：根据第二步被观察物体表面的平面方程，记激光位移传感器与双目相机基线中点在相机坐标系下的安装位置偏差为δ＝(δX

第四步：将点p代入平面方程：

aδX

得点p在相机坐标系中的深度：

第五步：记点p由激光位移传感器测得的深度为d

d

记双目相机估计的特征点深度置信度为c，则：

特征点深度置信度c高于设定的阈值，将特征点的坐标用于计算对接机构的相对位姿，特征点深度置信度c低于设定的阈值，丢弃此次获得的数据，当一侧的双目相机经过多次尝试都无法提取出足够的信息时，启动另一侧相机进行特征提取工作，对于室外作业环境，由于光线的方向性，当一侧的相机视野中光照环境较为恶劣时，另一侧的相机视野往往可以获得较好光照环境，而室内的光照环境造成的光斑往往体积小，特征明显，易于剔除，因此该视觉算法方案可以很好地适应光照复杂的工作环境。

根据图5所示：特征提取算法包括以下步骤：

第一步：将获取的图像灰度化和畸变校正，作为原始输入；

第二步：根据视野中图像的特点，在干扰较小的方向进行全画幅的平均像素梯度获取；

第三步：根据对接机构的最大倾斜角度预先设定的窗口尺寸，以粗边界的范围为中心，按行找出每一行像素的最大梯度点，对这些点进行直线拟合，获取大致的边界直线方程；

第四步：根据新的直线方程划分新的窗口，并按边界的斜率设定横向边界寻找所需的滑动窗口高度，使滑动窗口在此区域内沿着提取的竖直边界滑动，按行寻找端部的上下边界；

第五步：在范围内划分窗口，排除背景物体的干扰，并按列找出像素梯度最大点，以获取的点拟合直线，获得上下边界；

第六步：将获取的四条边界进行交点计算获取对接机构端部的4个顶点，用于下一步的位姿计算。

通过该特征提取算法，取代原有的通过使用OpenCV等开源视觉库中的通用特征提取算法进行开发，获取的特征点会非常不稳定，且难以从中区分出目标特征提取对接机构端部的边界和顶点的问题，该特征提取算法其速度快、精度高、稳定性好、抗干扰能力强，能够满足精准对接的技术要求。

根据图6所示：自动锁紧机构13包括横杆1301、被动对接体1302、锁柱1304、U型连接块1305、滑块1306和电动滑轨1307，横杆1301底端的一侧固定安装有被动对接体1302，被动对接体1302的一侧开设有通孔1303，横杆1301底端的另一侧固定安装有电动滑轨1307，电动滑轨1307的表面滑动连接有滑块1306，滑块1306的底端固定安装有U型连接块1305，U型连接块1305的底部安装有锁柱1304，锁柱1304的一端与通孔1303插接。

通过控制系统控制电动滑轨1307的工作，通过电动滑轨1307带动滑块1306移动，通过滑块1306移动带动U型连接块1305移动，通过U型连接块1305移动带动锁柱1304移动，使锁柱1304插入至通孔1303中，进行自锁。

工作原理：本发明一种用于复杂光照环境的激光视觉融合的高精度对接方法，首先主动对接机构由运动执行机构运送至对接实施区域范围，控制系统启动，立柱B7上方的双目相机B9和固定的激光位移传感器A10开始工作，位姿检测系统的视觉模块准确提取双目相机B9视野内的被动对接机构的特征，与激光位移传感器A10获得的距离信息融合，计算出被动对接机构和主动对接机构的相对位姿信息，经雅可比矩阵转换为运动执行机构的运动控制量，驱动运动执行机构带动主动对接机构接近被动对接机构，当完成接近动作后，主动对接机构与被动对接机构的已达到对准状态，此时伺服电缸12推动立柱B7上方的活动激光位移传感器B11，检测并计算出两者之间的位置偏差，伺服电缸12收回活动激光位移传感器B11后，控制系统驱动运动执行机构带动主动对接机构运动完成对接过程，在完成对接的过程中，立柱A6的上的双目相机A8开始工作，通过特征提取判断对接过程中主动与被动对接机构间是否出现角度偏差，并及时修正并联机构的运动控制量，此外，控制系统监测位激光位移传感器B11的数据，确保对接准确和安全，不会出现因数据出错导致的对接机构损坏情况，对接完成后，控制系统给被动对接机构上的自动锁紧机构13发送远程控制指令，完成锁紧，收到锁紧完成的信号后则控制运动执行机构安全收回并联机构动平台2，并移走并联机构动平台2。

在本发明的描述中，需要理解的是，指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明中，除非另有明确的规定和限定，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。