一种植物三维形态自适应测量方法及系统

技术领域

本发明涉及三维重建领域，特别是涉及一种植物三维形态自适应测量方法及系统。

背景技术

随着自动化技术在农业生产应用中逐渐推广，农业生产智能化、自动化水平越来越高，温室或植物工厂植物表型自动化检测的应用逐渐广泛。植物三维模型的建立和表型信息的快速检测与解析，是精细农业信息获取的核心问题。

在测量过程中，目前国内外对植物进行三维重建的常见方法有，采用高精度激光扫描仪获取植物点云数据并进行重建和使用单幅或多幅图像进行重建。这些方法共同的问题是所需设备价格昂贵、数据处理复杂。

在植物表型信息检测与三维模型的建立的过程中，选取合适的视角和采样点位有助于获取更全面的植物表型信息。但是长期以来植物三维点云信息获取主要依靠低效的人工选取采样点位。这种采样机构只属于具有传感器能获取外部信息的第二代工业机器人，且仪器操作门槛较高，需要人工控制机械臂和选取采样点，仅适用于实验室科研环境，难以广泛地实地指导生产实践。

因此，需要一种新的方法或系统能够实现植物三维点云图像的重建。

发明内容

本发明的目的是提供一种植物三维形态自适应测量方法及系统，能够快速、准确地实现植物三维点云图像的重建。

为实现上述目的，本发明提供了如下方案：

一种植物三维形态自适应测量方法，包括：

将RGB-D相机固定在机械臂工具端，并根据设定的机械臂的采集点位及设定的采样姿态获取植物的RGB图像和深度图像；

对所述RGB图像和所述深度图像进行预处理；所述预处理包括：背景去除、降噪以及滤波；

对预处理后的RGB图像和深度图像确定三维点云集合；

对所述三维点云集合进行自适应采样，确定目标采样点；根据所述目标采样点确定RGB-D相机位置和相机姿态，进而根据RGB-D相机位置和相机姿态确定机械臂的采样位姿；

根据机械臂的采样位姿和所述目标采样点获取植物的目标RGB图像和目标深度图像；

利用植物的目标RGB图像和目标深度图像和植物的初步轮廓确定三维点云图像。

可选地，所述对所述RGB图像和所述深度图像进行预处理，具体包括：

利用Opencv识别算法对所述RGB图像进行平面分割，确定去除背景的植物RGB图像；

利用离群点分离和条件滤波对去除背景的植物RGB图像进行点云降噪；

利用直通滤波算法对所述深度图像进行滤波。

可选地，所述对预处理后的RGB图像和深度图像确定三维点云集合，具体包括：

对预处理后的RGB图像和深度图像进行计算匹配生成对应点位的局部点云；

对所述局部点云进行降采样处理后，并利用平面分割、离散点去除、条件滤波算法进行降噪处理，得到降噪后的局部点云；

将降噪后的局部点云从相机坐标系转换到机械臂基座坐标系下，确定粗配准后的局部点云；

基于迭代最近点算法，对粗配准后的局部点云进行配准重建，确定三维点云集合。

可选地，所述对所述三维点云集合进行自适应采样，确定目标采样点；根据所述目标采样点确定RGB-D相机位置，进而根据RGB-D相机位置和相机姿态确定机械臂的采样位姿，具体包括：

对所述三维点云集合进行聚类；

根据聚类后的三维点云集合建立植株圆柱体模型，并根据植株圆柱体模型确定待确定采样点，并根据待确定采样点确定三维点云模型；

对三维点云模型进行聚类，确定叶片，并根据叶片确定目标采样点；

根据叶片三维点云确定叶片每个点的法向量和对应的主向量；

根据叶片每个点的法向量和对应的主向量确定相机初始位置和相机姿态；

根据相机初始位置和相机姿态确定机械臂的采样位姿。

可选地，所述对三维点云模型进行聚类，确定叶片，并根据叶片确定目标采样点，之后还包括：

利用凸优化对所述目标采样点进行优化。

一种植物三维形态自适应测量系统，包括：

RGB图像和深度图像获取模块，用于将RGB-D相机固定在机械臂工具端，并根据设定的机械臂的采集点位及设定的采样姿态获取植物的RGB图像和深度图像；

预处理模块，用于对所述RGB图像和所述深度图像进行预处理；所述预处理包括：背景去除、降噪以及滤波；

三维点云集合确定模块，用于对预处理后的RGB图像和深度图像确定三维点云集合；

机械臂的采样位姿确定模块，用于对所述三维点云集合进行自适应采样，确定目标采样点；根据所述目标采样点确定RGB-D相机位置和相机姿态，进而根据RGB-D相机位置和相机姿态确定机械臂的采样位姿；

目标RGB图像和目标深度图像获取模块，用于根据机械臂的采样位姿和所述目标采样点获取植物的目标RGB图像和目标深度图像；

三维点云图像确定模块，用于利用植物的目标RGB图像和目标深度图像和植物的初步轮廓确定三维点云图像。

可选地，所述三维点云集合确定模块具体包括：

局部点云确定单元，用于对预处理后的RGB图像和深度图像进行计算匹配生成对应点位的局部点云；

降噪后的局部点云确定单元，用于对所述局部点云进行降采样处理后，并利用平面分割、离散点去除、条件滤波算法进行降噪处理，得到降噪后的局部点云；

粗配准后的局部点云确定单元，用于将降噪后的局部点云从相机坐标系转换到机械臂基座坐标系下，确定粗配准后的局部点云；

三维点云集合确定单元，用于基于迭代最近点算法，对粗配准后的局部点云进行配准重建，确定三维点云集合。

可选地，所述机械臂的采样位姿确定模块具体包括：

第一聚类单元，用于对所述三维点云集合进行聚类；

三维点云模型确定单元，用于根据聚类后的三维点云集合建立植株圆柱体模型，并根据植株圆柱体模型确定待确定采样点，并根据待确定采样点确定三维点云模型；

第二聚类单元，用于对三维点云模型进行聚类，确定叶片，并根据叶片确定目标采样点；

向量确定单元，用于根据叶片三维点云确定叶片每个点的法向量和对应的主向量；

相机初始位置和相机姿态确定单元，用于根据叶片每个点的法向量和对应的主向量确定相机初始位置和相机姿态；

机械臂的采样位姿确定单元，用于根据相机初始位置和相机姿态确定机械臂的采样位姿。

可选地，所述机械臂的采样位姿确定模块还包括：

优化单元，用于利用凸优化对所述目标采样点进行优化。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明所提供的一种植物三维形态自适应测量方法及系统，基于机械臂和RGB-D相机自动识别植物并确定合理拍摄位点，获取能够充分反映植物形态信息的若干图像，为后续植物表型信息检测与解析提供数据支持。基于RGB-D相机获取的点云信息和机械臂选取点位的位姿信息，对同一植物多视角点云的配准和融合，从而快速高效地获取植物表面三维点云数据。过相机拍摄的图像自动选取合适的采样位点，控制机械臂直接移动到合适的位点进行采样。从而实现对植物的自适应采样，更加高效便捷，助力于农业智能化和信息化。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供的一种植物三维形态自适应测量方法流程示意图；

图2为本发明所提供的一种植物三维形态自适应测量方法对应的装置示意图；

图3为根据三维点云集合的初步定点三维重建示意图；

图4为三维点云模型确定过程示意图；

图5为目标采样点确定过程示意图；

图6为三维点云图像示意图；

图7为本发明所提供的一种植物三维形态自适应测量系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种植物三维形态自适应测量方法及系统，能够快速、准确地实现植物三维点云图像的重建。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明所提供的一种植物三维形态自适应测量方法流程示意图，如图1所示，本发明所提供的一种植物三维形态自适应测量方法，包括：

S101，将RGB-D相机固定在机械臂工具端，并根据设定的机械臂的采集点位及设定的采样姿态获取植物的RGB图像和深度图像；基于UR5机械臂SDK(C++)、Azure Kinect RGB-D相机SDK(C++)共同开发的自动化数据采集程序采集RGB-D帧并记录机械臂位姿信息。

S102，对所述RGB图像和所述深度图像进行预处理；所述预处理包括：背景去除、降噪以及滤波；

S102具体包括：

利用Opencv识别算法对所述RGB图像进行平面分割，确定去除背景的植物RGB图像；

利用离群点分离和条件滤波对去除背景的植物RGB图像进行点云降噪；

利用直通滤波算法对所述深度图像进行滤波。

S103，对预处理后的RGB图像和深度图像确定三维点云集合，并如图3所示；

S103具体包括：

对预处理后的RGB图像和深度图像进行计算匹配生成对应点位的局部点云；

对所述局部点云进行降采样处理后，并利用平面分割、离散点去除、条件滤波算法进行降噪处理，得到降噪后的局部点云；

将降噪后的局部点云从相机坐标系转换到机械臂基座坐标系下，确定粗配准后的局部点云；

基于迭代最近点算法，对粗配准后的局部点云进行配准重建，确定三维点云集合。

作为一个具体的实施例，假设在w个点位进行图像采集。在初步定点三维点云重建过程中，w＝5，为正方体的5个侧面中心。

将采集到的RGB图像和深度图进行计算匹配生成对应点位的局部点云I

根据I

上述w个点位降噪后的点云I

转换矩阵

在已知相机位姿信息的前提下基于迭代最近点算法(Iterative Closest Point，ICP)对I′

首先利用SAC-IA采样一致性初始配准算法(Sample Consensus InitialAlignment)进行粗配准得到初始刚性变换矩阵T，已知T时配准问题可转化为以下公式，其中ps和pt是源点云I′

k

找最近对应点：利用初始k

求解最优变换：在已知点的对应关系的情况下，设

迭代：重复以上两个步骤得到当前最优变换参数K

由此，在1～w点位，得到I

S104，对所述三维点云集合进行自适应采样，确定目标采样点；根据所述目标采样点确定RGB-D相机位置和相机姿态，进而根据RGB-D相机位置和相机姿态确定机械臂的采样位姿；

S104具体包括：

对所述三维点云集合

I.R

遍历该点云中的每个点，找到其中XYZ坐标的最大和最小值，分别记为x

II.初步确定空间中某点p

III.遍历n个点，计算每个点到中心点的欧式距离：

设距离阈值r，将n个点中ρ

IV.重复步骤I、II，在R′

V.重复步骤III，找到n″个点归入类R″

VI.当子类中的点数与父类中点数之比

如图5所示，根据聚类后的三维点云集合建立植株圆柱体模型，并根据植株圆柱体模型确定待确定采样点，并根据待确定采样点确定三维点云模型；

I.计算类S中每个点到p

确定圆柱半径R，使得满足p

II.计算类S中每个点与p

找出其中的最大值，确定圆柱高h＝2*l

在植株圆柱体模型周围选取粗采样点：以圆柱底面圆心为原点，建立柱坐标系，坐标系中点位可表示为P(ρ，θ，z)；

选择坐标为

根据粗选采样点，可以得到植物的粗采样后的大体三维点云模型R

对三维点云模型R

I.对粗采样后的点云模型R

II.将其中k个类分别预设中心点：P

III.建立叶片索引，第j片叶片在基准坐标系(点云R

IV.设点数阈值A，计算出第j片叶片L

V.如果总共有k’片叶片，总共需要k’个大叶片得出k’个精细化采样位点Pj(j＝1，2，……k′)

根据叶片三维点云确定叶片每个点的法向量和对应的主向量；

I.构建叶片三维点云

根据判定大叶片的结果，已知叶片中心点p

II.求每个点的法向量

对该某个点p

将N个点的三维点云坐标信息用N*3矩阵A

求每个维度的均值：

去中心化(将A

求协方差矩阵H

对H

最小奇异值对应的特征向量即为此微平面的法向量

III.求叶片参数主要法向量

依照II中步骤，计算该叶片上所有微平面的法向量

通过与II相同的方式，算出叶片中心点p

由此求出叶片L

根据叶片每个点的法向量和对应的主向量确定相机初始位置和相机姿态；

I.相机初始位置在叶片的中心点p

根据

f为镜头的焦距，H

II.相机在轴上的转角

相机姿态为垂直于主要法向量

对于任意的采样位姿P

其中，a

a

所以可以以f

III.移动到相机初始位置

已知精选采样点处相机的姿态R＝(R

IV.在精选采样点P

根据相机初始位置和相机姿态确定机械臂的采样位姿。

所述对三维点云模型进行聚类，确定叶片，并根据叶片确定目标采样点，之后还包括：

利用凸优化对所述目标采样点进行优化。

I、优化采样点

由于可能存在叶片被遮挡或卷曲的情况，需要移动相机和改变相机视角采样。

将当前相机法向量

已知叶片中心点p

II、移动相机到相应位置

III、采样获得该叶片点云Pic

IV、选择下一优化位点

分别计算Pic

重复步骤D直到

重复BCD步骤对每片叶片进行采样，直到k’片叶片采样完成。

S105，根据机械臂的采样位姿和所述目标采样点获取植物的目标RGB图像和目标深度图像；

S106，利用植物的目标RGB图像和目标深度图像和植物的初步轮廓确定三维点云图像，并如图6所示。

如图2所示，上位机通过控制柜控制机械臂，RGB-D相机由3D打印的连接件固定在机械臂工具端，机械臂能够环绕盆栽植株进行数据采集。

图7为本发明所提供的一种植物三维形态自适应测量系统结构示意图，如图7所示，本发明所提供的一种植物三维形态自适应测量系统，包括：

RGB图像和深度图像获取模块701，用于将RGB-D相机固定在机械臂工具端，并根据设定的机械臂的采集点位及设定的采样姿态获取植物的RGB图像和深度图像；

预处理模块702，用于对所述RGB图像和所述深度图像进行预处理；所述预处理包括：背景去除、降噪以及滤波；

三维点云集合确定模块703，用于对预处理后的RGB图像和深度图像确定三维点云集合；

机械臂的采样位姿确定模块704，用于对所述三维点云集合进行自适应采样，确定目标采样点；根据所述目标采样点确定RGB-D相机位置和相机姿态，进而根据RGB-D相机位置和相机姿态确定机械臂的采样位姿；

目标RGB图像和目标深度图像获取模块705，用于根据机械臂的采样位姿和所述目标采样点获取植物的目标RGB图像和目标深度图像；

三维点云图像确定模块706，用于利用植物的目标RGB图像和目标深度图像和植物的初步轮廓确定三维点云图像。

所述三维点云集合确定模块703具体包括：

局部点云确定单元，用于对预处理后的RGB图像和深度图像进行计算匹配生成对应点位的局部点云；

降噪后的局部点云确定单元，用于对所述局部点云进行降采样处理后，并利用平面分割、离散点去除、条件滤波算法进行降噪处理，得到降噪后的局部点云；

粗配准后的局部点云确定单元，用于将降噪后的局部点云从相机坐标系转换到机械臂基座坐标系下，确定粗配准后的局部点云；

三维点云集合确定单元，用于基于迭代最近点算法，对粗配准后的局部点云进行配准重建，确定三维点云集合。

所述机械臂的采样位姿确定模块704具体包括：

第一聚类单元，用于对所述三维点云集合进行聚类；

三维点云模型确定单元，用于根据聚类后的三维点云集合建立植株圆柱体模型，并根据植株圆柱体模型确定待确定采样点，并根据待确定采样点确定三维点云模型；

第二聚类单元，用于对三维点云模型进行聚类，确定叶片，并根据叶片确定目标采样点；

向量确定单元，用于根据叶片三维点云确定叶片每个点的法向量和对应的主向量；

相机初始位置和相机姿态确定单元，用于根据叶片每个点的法向量和对应的主向量确定相机初始位置和相机姿态；

机械臂的采样位姿确定单元，用于根据相机初始位置和相机姿态确定机械臂的采样位姿。

所述机械臂的采样位姿确定模块704还包括：

优化单元，用于利用凸优化对所述目标采样点进行优化。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。