一种视觉识别的香蕉断蕾方法、仿生香蕉断蕾机构、香蕉断蕾机器人及应用

技术领域

本发明属于农业智能机械领域，具体涉及一种视觉识别的香蕉断蕾方法、仿生香蕉断蕾机构、香蕉断蕾机器人及应用。

背景技术

在香蕉种植过程中，当香蕉抽蕾后，如果让香蕉自然生长，会消耗植株养分，降低产量。这种情况下需要对香蕉进行断蕾，即抽蕾的每株香蕉留7-9梳果，在所留的最后一梳果往花穗(即花序轴)方向约10厘米处把花序轴末端割断，以便让养分集中供应果实；同时，断蕾后需要对断面进行消毒，而且要求断面要呈现出水平的圆型截面而非倾斜的椭圆形状。目前，香蕉断蕾的方法主要是通过人工对花序轴中心进行目测定位，然后用镰刀进行断蕾；但此人工断蕾方法无法对花序轴最优的断蕾位置进行精确定位，而且劳动强度大，需要的人工成本高，无法得到最小损伤的圆形截面。在香蕉断蕾过程中，最关键的环节是对香蕉、花蕾与花序轴进行准确的识别和定位，目前存在的技术仅能对香蕉串果实进行识别，而不能同时检测花蕾及花蕾上部花序轴，加上香蕉生长环境复杂，场景有绿叶、枯叶、天空等噪声影响图像处理和识别，无法达到精确断蕾的要求。

发明内容

本发明的目的在于克服现有技术中存在的缺点，提供一种自动识别分类、定位准确、检测精度高的异形几何目标立体视觉识别方法，用于复杂背景的香蕉断蕾过程的视觉识别，并通过开发软件程序嵌入机器人视觉控制检测系统，实现视觉的识别定位。

本发明的另一目的在于提供一种视觉识别的香蕉断蕾方法。

本发明的再一目的在于提供一种仿生香蕉断蕾机构、香蕉断蕾机器人及应用。

本发明的目的通过下述技术方案实现：

一种用于香蕉、花蕾与花序轴的异形几何多目标立体视觉识别方法，是首先采用双目立体相机，获取视野范围内的图像和深度图；其次，采用改进参数的Mask R-CNN实例分割网络对香蕉串、花蕾和花序轴进行图像分割；再次，通过创新设计几何算法(包括三维点云重构、Hough变换、质心及断蕾位置的几何确定)与图像边缘检测(包括图像二值化、阈值分割)相融合的方法，求得香蕉串、花蕾及花序轴在三维空间中的点云坐标和颜色共六个维度的信息(x,y,z,r,g,b)，得到花序轴轴线的三维空间位姿(即位置和姿态)，从而得到香蕉断蕾机构作业行为的位姿。

更为具体的，如图5所示，上述异形几何多目标立体视觉识别方法，包括下述步骤：

(1)数据集的采集与制作：首先用双目立体相机采集大量的香蕉串、花蕾和花序轴的彩色图像和深度图像；然后使用标注工具对彩色图像进行标注，即将香蕉串、花蕾和花序轴的区域分别标注出来，形成数据集合；

(2)图像分割：设计改进参数的Mask R-CNN实例分割网络对样本素材进行训练，样本图片首先通过特征提取网络得到特征图，对特征图的每一个像素位置设定固定个数的Anchor，用于获取不同尺度的候选框；然后将候选框送入RPN(Region Proposal Network)网络，判断该区域是前景还是背景(也即二分类)并进行坐标回归，以获得更加精确的ROI(Region of Interest)区域；由于这些ROI区域尺度不同，对其执行ROI Align(一种区域特征聚集方式)操作，从而得到固定7×7大小的Feature Maps(特征图)，再通过上述采样得到香蕉串、花蕾和花序轴的掩模图像及其bounding box；

(3)获取目标的三维空间点云：通过步骤(2)获得的掩模图像，结合深度图像，即可得到香蕉串、花蕾和花序轴在图像上的位置(u,v)以及对应的深度值d，根据针孔相机和三角测距原理，求得香蕉串、花蕾和花序轴在相机坐标系下的三维点云，再结合彩色图像即可得到香蕉串、花蕾和花序轴的(x,y,z,r,g,b)六个维度的信息；

(4)香蕉断蕾机构作业行为的位姿计算：对样本彩色图像中的花序轴和花蕾部分独立剪切，分别根据Mask R-CNN中检测结果得出的bounding box对其进行剪裁，以便后面对花序轴和花蕾精确分割：首先对花蕾图像进行边缘检测，获取图像边缘，再通过设计边缘图像与几何算法融合的新方法，即通过Hough变换计算图像的可能对称轴，然后利用最小二乘法确定花序轴最优对称轴，同时获取到花序轴的轴线方向向量

步骤(2)中，所述改进参数的Mask-R-CNN实例分割网络，是通过设计掩模评分，对预测的掩模和真实的IoU进行评分，因为在Mask-R-CNN中，用实例分类的置信度作为掩模的质量度量，掩模的分割质量直接关系到所预测的掩模与背景真值之间的IoU，而与分类置信度无关，为了解决这一不匹配问题，通过设计新的拼接掩模头和RoI-Align的输出特征映射，对预测的掩模和真实的IoU进行评分；新的掩模(MaskIoU)头在评分R-CNN网络利用完全卷积网络，为了更好地结合图像的浅层和深层特征，它融合了U-Net网络；MaskIoU头部的U-Net由编码路径和解码路径组成，包括10个卷积层和连接的层，具体结构如附图7所示。

一种视觉识别的香蕉断蕾方法，包括下述步骤：

(1)首先，采用上述异形几何多目标立体视觉识别方法来识别香蕉串、花蕾和花序轴，然后计算得到香蕉断蕾机构的位姿(x,y,z,a,b,c)；

(2)利用得到的位姿，通过运动学反解得到香蕉断蕾机器人的机械臂关节电机的转动量和机械臂末端夹持机构的转动量，通过控制系统对机械臂关节电机进行调整，同时控制机械臂末端夹持机构进行旋转，使切刀平面与花序轴垂直即实现花蕾与花序轴的法平面切割分离，并对切口进行杀菌消毒，完成香蕉断蕾。

一种仿生香蕉断蕾机构，包括仿生定导向夹指3、仿生动导向夹指11、切割部件、仿章鱼爪导向环形夹指2和夹指底盘1；仿章鱼爪导向环形夹指2具有变形和伸缩能力，仿生定导向夹指3与仿章鱼爪导向环形夹指2固定在夹指底盘1上；仿生动导向夹指11与切割部件分别通过固定在夹指底盘1的仿生动导向夹指滑台导轨22和切割机构滑台导轨10与仿生定导向夹指3相连接。

所述仿章鱼爪导向环形夹指2由弹性材料制成；仿章鱼爪导向环形夹指2包括仿章鱼爪主体、通管和仿章鱼吸盘9；仿章鱼爪主体的外形为圆锥体沿着母线分开，即含有一个平面和一个圆锥面，圆锥面上有直径不同的圆环包围，平面侧开有圆柱孔，圆柱孔内有螺纹用于连接通管的一端；在仿章鱼爪主体的内部设置有两条气体通道，其中一条气体通道轴向延伸至仿章鱼爪导向环形夹指的末端，径向开有小的气体通道用于使得仿章鱼爪导向环形夹指在径向大小变化，另一条气体通道与平面侧圆柱孔相连用于给仿章鱼吸盘进行充气与吸气；通管的外形为圆柱，圆柱两端有螺纹，用于连接仿章鱼爪主体和仿章鱼吸盘，在圆柱的轴向开有通孔用于实现仿章鱼爪主体和仿章鱼吸盘之间的气体流通；仿章鱼吸盘9有一个以上，安装在仿章鱼爪导向环形夹指2的平面侧的轴线上且均匀分布，仿章鱼吸盘9的外形为碗状，其碗边的厚度略大于碗底的厚度以保证吸附期间不漏气，其碗底的位置开有圆柱孔，在圆柱孔内开有螺纹，用于连接通管的另一端从而与仿章鱼爪主体相连接，在圆柱孔的底端开有通孔用于控制仿章鱼吸盘内部的气压。

所述仿生定导向夹指3固定在夹指底盘1上，在与花序轴接触的位置设计有圆弧结构，增加夹持的稳定性；在中间的位置有类刀口凹槽，使得切割更加完整；在下部设置有一个以上的喷药口8，喷药口为椭圆形孔，分布在仿生定导向夹指的下侧圆弧结构位置以及圆弧结构的两侧，椭圆形孔的角度为30～60°斜角，以便切断花序轴后对横断表面进行消毒，而且所有椭圆形孔的横向总长度略大于香蕉直径，以保证在断蕾完成后可以对花序轴的整个截面进行消毒。

所述仿生动导向夹指11包括动夹指4、动夹指滑台7、力传感器；动夹指4由上下两个夹指组成，上下两个夹指通过铰链分别与动夹指滑台7相连接，在一定的阻力状况下，动夹指4可绕动夹指滑台7旋转；动夹指4的中间部分设置有圆弧结构，使得夹持花序轴更加稳定；力传感器安装在动夹指4的圆弧结构位置，用于对仿生动导向夹指与仿生定导向夹指对花序轴进行夹持的夹持力进行控制，通过力传感器来控制夹紧力的大小；动夹指滑台7通过仿生动导向夹指滑台导轨22与仿生定导向夹指3相连接。

所述切割部件包括刀片5与刀片滑台6；刀片5与刀片滑台6垂直固定连接，刀片滑台6通过切割机构滑台导轨10与仿生定导向夹指3相连接。

所述仿生香蕉断蕾机构的工作原理是：仿生定导向夹指3、仿生动导向夹指11和仿章鱼爪导向环形夹指2用于定位和夹紧花序轴；对花序轴进行夹紧的过程中，六自由度机械臂12带动仿生香蕉断蕾机构运动到花序轴附近，夹指底盘1旋转使得仿生定导向夹指3与刀片5所组成平面与花序轴相垂直，然后通过仿生定导向夹指3的圆弧结构部分与花序轴相接触，然后气缸15作用，使得仿生动导向夹指11对花序轴进行夹持，仿生动导向夹指11中的动夹指4与花序轴是柔性接触，在力传感器的控制下，对花序轴进行无损柔性夹持；由于仿生动导向夹指与仿生定导向夹指都在接触花序轴的位置设有圆弧结构，提高了夹持的稳定性，而且仿生动导向夹指11的两个动夹指4之间有一定的距离，与仿生定导向夹指配合以实现在夹持过程中能保证花序轴是垂直的，从而间接保证了切口是圆形的而非椭圆形；在力传感器的控制下，仿生动导向夹指11与仿生定导向夹指3所形成的夹持力并不大，仿章鱼爪导向环形夹指2对花序轴进行环形夹持，并且在气缸15的作用下，仿生章鱼吸盘9对花序轴进行吸附，从而达到稳定夹持的效果，在进行花蕾切割后尽量保持切口是圆形，并通过仿生定导向夹指3上的喷药口8对切口进行消毒。

一种基于视觉识别的香蕉仿生断蕾机器人：包括上述仿生香蕉断蕾机构、六自由度机械臂12、气缸15、视觉检测机构、移动机构和总处理器18；所述仿生香蕉断蕾机构安装在六自由度机械臂12的末端；移动机构包括小车16，六自由度机械臂12固定在小车16上；视觉检测机构包括双目立体相机13和相机平行支架14；双目立体相机13安装在相机平行支架14的顶端，相机平行支架14安装在小车16上，且位于机械臂的后面；双目立体相机13与总处理器18相连接，并将图像信息传给总处理器18，采用上述异形几何目标立体视觉识别方法来进行香蕉断蕾过程的视觉识别；小车16内部装有总处理器18、气缸15和电源，所述气缸15与香蕉仿生断蕾机构相连接，为切割部件、仿生动导向夹指和仿章鱼爪导向环形夹指2提供动力。

上述基于视觉识别的香蕉仿生断蕾机器人的应用，是移动机构带动整个香蕉仿生断蕾机器人运动；通过视觉检测机构对视野范围内香蕉串、花序轴和花蕾的相关图像信息进行捕获；同时总处理器18接收视觉检测机构传输过来的图像信息，采用上述异形几何目标立体视觉识别方法进行处理计算，得到进行花序轴切割的六自由度机械臂12末端的姿态(x,y,z,a,b,c)；根据计算出来的姿态信息，总处理器18驱动气缸15和六自由度机械臂12，使得仿生香蕉断蕾机构对香蕉进行断蕾与消毒。

优选的，基于视觉识别的香蕉仿生断蕾机器人的应用，包括下述步骤：

(1)移动机构带动视觉检测机构移动，视觉检测机构对视野范围内香蕉串、花序轴和花蕾的相关图像信息进行捕获，驱动小车向香蕉树方向移动；

(2)香蕉仿生断蕾机器人靠近香蕉串时，双目立体相机13对香蕉进行多组图像获取并传输到总处理器18，总处理器18对香蕉、花蕾20和花序轴19进行识别并对图像进行处理，计算花序轴的位置和姿态，同时通过运动学反解得到六自由度机械臂12上各关节电机和位于机械臂末端的香蕉仿生断蕾机构上的夹指底盘所要转动的量；

(3)六自由度机械臂末端的夹指底盘转动使仿生定导向夹指3所在的面与花序轴轴线垂直，然后移动仿生定导向夹指的圆弧结构部分与花序轴相接触，气缸15推动仿生动导向夹指11对花序轴进行夹持，在力传感器的控制下，仿生动导向夹指11与仿生定导向夹指3对花序轴进行无损夹持；

(4)在气缸15的作用下，仿章鱼爪导向环形夹指2先伸长，然后根据花序轴轴线所在的位置对花序轴进行环形夹持，加上仿生章鱼吸盘9的吸附，增加了对花序轴的夹持稳定性；

(5)在气缸15的作用下，切割部件对花序轴进行切割，然后从喷药口8中喷出杀菌药物对切口进行消毒。

本发明与现有技术相比具有如下优点和效果：

(1)本发明通过异形几何目标立体视觉识别方法准确识别出香蕉串、花序轴和花蕾，可较好地实现准确自动化香蕉断蕾，无须人工操作，而且所切割出来的切口是水平的，没有与水平面成一定角度，从而避免感染。

(2)本发明通过仿生动导向夹指、仿生定导向夹指和仿章鱼爪导向环形夹指相配合对花序轴进行夹持，使得夹持更有效，保证切口平面为圆形切割面；同时，本发明的仿生动导向夹指与仿生定导向夹指相配合进行夹持，让视觉检测的计算有容错性，进一步提高断蕾操作的准确性；由于仿生定导向夹指与仿生动导向夹指在夹持过程中对花序轴的接触有较大的轴向距离，保证夹持时花序轴是垂直的，进一步间接保证了切口是圆形。

(3)本发明在香蕉仿生断蕾机构中装有力传感器以及仿章鱼爪导向环形夹指中设计有仿生章鱼吸盘，使得夹持过程中对香蕉花序轴进行无损柔性夹持。

(4)本发明的香蕉仿生断蕾机构同时具有切断与消毒的多功能。

附图说明

图1为本发明的仿生香蕉断蕾机构的结构示意图。

图2为本发明的仿生香蕉断蕾机构的工作示意图。

图3为本发明的仿生香蕉断蕾机器人的工作示意图。

图4为本发明的仿章鱼爪导向环形夹指的工作示意图。

图5为本发明的异形几何目标立体视觉识别方法的流程图。

图6为本发明的仿生香蕉断蕾机器人的工作流程图。

图7为本发明的掩模头网络结构图。

图中：1、夹指底盘；2、仿章鱼爪导向环形夹指；3.仿生定导向夹指；4、动夹指；5、刀片；6、刀片滑台；7、动夹指滑台；8、喷药口；9、仿章鱼吸盘；10、切割机构滑台导轨；11、仿生动导向夹指；12、六自由度机械臂；13、双目立体相机；14、相机平行支架；15、气缸；16、小车；17、车轮；18、总处理器；19、花序轴；20、花蕾；21、花序轴横截面；22、仿生动导向夹指滑台导轨。

具体实施方式

为了便于理解本发明，下面将结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但是，不以任何形式限制本发明。应该指出的是，对本领域的技术人员来说，在不脱离本发明构思的前提下，本发明还可以做出若干变形和改进，这些都属于本发明的保护范围。

实施例1

如图3所示，一种基于视觉识别的香蕉仿生断蕾机器人，包括：仿生香蕉断蕾机构、六自由度机械臂12、气缸15、视觉检测机构、移动机构和总处理器18；所述仿生香蕉断蕾机构安装在六自由度机械臂12的末端；移动机构包括小车16，六自由度机械臂12固定在小车16上；视觉检测机构包括双目立体相机13和相机平行支架14；双目立体相机13安装在相机平行支架14的顶端，相机平行支架14安装在小车16上，且位于机械臂的后面；双目立体相机13与总处理器18相连接，并将图像信息传给总处理器18，采用上述异形几何目标立体视觉识别方法来进行香蕉断蕾过程的视觉识别；小车16内部装有总处理器18、气缸15和电源，所述气缸15与香蕉仿生断蕾机构相连接，为切割部件、仿生动导向夹指和仿章鱼爪导向环形夹指2提供动力。

所述移动机构包括小车16和车轮17，小车16与车轮17之间连接装有缓震弹簧，使得机器人在香蕉种植地中运动时保持相对平衡。

如图1和图2所示，所述仿生香蕉断蕾机构，包括仿生定导向夹指3、仿生动导向夹指11、切割部件、仿章鱼爪导向环形夹指2和夹指底盘1；仿章鱼爪导向环形夹指2具有变形和伸缩能力，仿生定导向夹指3与仿章鱼爪导向环形夹指2固定在夹指底盘1上；仿生动导向夹指11与切割部件分别通过固定在夹指底盘1的仿生动导向夹指滑台导轨22和切割机构滑台导轨10与仿生定导向夹指3相连接。

所述仿章鱼爪导向环形夹指2可以对花序轴进行吸附，提高夹持能力。整个仿章鱼爪导向环形夹指2通过气压进行控制，与气缸15相连接，其大小由内部气压来确定，充入气体使得仿章鱼爪导向环形夹指的体积变大且在水平方向伸长，同时半圆横截面的面积也随之增大。根据内部气压的大小决定仿章鱼爪导向环形夹指的弯曲角度大小，即内部气压越大，仿章鱼爪导向环形夹指的弯曲角度越大，所围成的圆弧所对应的半径越小。仿章鱼爪导向环形夹指2在充气前后的大小变化并不大，控制在能够环绕香蕉花序轴圆周长度，同时也保证在充气后不同的弯曲程度上所对应的圆的圆心尽量保持在仿章鱼爪导向环形夹指轴向的同一个位置。仿章鱼爪导向环形夹指2的工作过程为：气缸通过一条气体通道充气使得仿章鱼爪导向环形夹指2弯曲从而使得仿章鱼吸盘9与花序轴相接触，气缸15通过另一条气体通道吸气，仿章鱼吸盘9内的气压降低，仿章鱼爪导向环形夹指对花序轴的夹持力增加，待夹持结束后，气缸15给仿生章鱼吸盘9充气，吸盘内部气压升高，夹持力降低。仿章鱼爪导向环形夹指2的作用是类似于章鱼爪，对花序轴进行环形夹持；在气缸的作用下，仿章鱼爪导向环形夹指实现伸缩功能，在充气的过程中，仿章鱼爪导向环形夹指2在径向和轴向增大，同时以花序轴为中心进行环形夹持，其上的仿章鱼吸盘9接触花序轴表面，再降低仿章鱼吸盘内部气压从而完成对花序轴的吸附作用；完成吸附后，仿章鱼爪导向环形夹指以相反的过程对花序轴松开。

如图3所示，所述六自由度机械臂12，包括三个关节电机和三个机械臂；所述相机平行支架14固定在移动机构上，并在支架14上装有缓震装置，保证双目立体相机13处于相对稳定水平的拍摄环境；所述六自由度机械臂12固定在小车16上，仿生香蕉断蕾机构通过转盘固定在六自由度机械臂12的末端。

图4为仿章鱼爪导向环形夹指对花序轴夹持时的水平切面图，夹持时仿章鱼爪导向环形夹指对花序轴进行吸附夹紧，图标21为花序轴横截面。利用仿章鱼爪导向环形夹指对花序轴夹持的步骤如下；

(1)打开双目立体相机，机器人自动靠近香蕉树，通过传感器调整小车机架与轮子的间距，使移动装置的上平面与水平面平行，保证双目立体相机水平放置；

(2)通过双目立体相机香蕉串、花序轴和花蕾的彩色图像和深度图像，并对其进行处理，计算得到裁剪时机械臂末端的位置姿态(x,y,z,a,b,c)，并通过运动学反解得到各个关节电机的转动量，控制系统控制机械臂末端到达花序轴截断的位置；

(3)在仿生动导向夹指与仿生定导向夹指对花序轴进行预夹紧后，仿章鱼爪导向环形夹指开始工作；

(4)气缸对仿章鱼爪导向环形夹指进行充气，仿章鱼爪导向环形夹指轴向伸长，而且向内弯曲，使得仿章鱼吸盘与花序轴环形接触，气缸吸走仿章鱼吸盘内部的气体，降低内部气压，增大吸力；

(5)气缸推动刀片滑台带动刀片对花序轴进行切割。

如图6所示，仿生香蕉断蕾机器人的工作步骤如下：

(1)打开双目立体相机，机器人自动靠近香蕉树，通过传感器调整小车机架与轮子的间距，使移动装置的上平面与水平面平行，保证双目立体相机水平放置；

(2)通过双目立体相机获取香蕉串、花序轴和花蕾的彩色图像和深度图像，利用Mask R-CNN网络对图像进行处理，得到香蕉串、花序轴和花蕾的掩模图像，再结合深度图像即可得到他们在图像上的位置(u,v)以及对应的深度值d，根据针孔相机和三角测距原理即可求得香蕉串、花序轴和花蕾在相机坐标系下的三维点云。再根据相机的颜色信息即可以获取香蕉串、花序轴和花蕾的(x,y,z,r,g,b)六个维度的信息。

(3)对花蕾图像进行边缘检测，获取图像边缘点，通过Hough变换计算图像的可能对称轴，然后利用最小二乘法确定最优对称轴，同时获得花序轴的轴线方向向量n，由于裁剪过程需要沿着垂直花序轴方向进行，因此计算垂直于n的方向向量v，将此方向分解为欧拉角(a,b,c)，然后花序轴点云的质心(x,y,z)，构成的(x,y,z,a,b,c)即为裁剪时机器末端的位置姿态；

(4)通过得到的位姿进行运动学反解得出各个关节电机的转动量，将各个关节电机的转动量输入到控制系统，控制系统控制机械臂运动将机械臂末端移动花序轴质心处，旋转转盘使夹持装置所在平面平行于方向向量v，气缸推动仿生导向夹指11完成对花序轴的夹持，同时仿生章鱼爪导向环形夹指7对花序轴进行柔性夹持，然后控制系统控制气动装置使刀片运动，完成断蕾切割，最后对切口进行杀菌药水的喷洒，完成断蕾的过程。

以上所述仅为本发明的实施例，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均为等效的置换方式，都包含在本发明的保护范围之内。