一种植株水分亏缺程度获取方法及装置

技术领域

本发明涉及数字图像处理技术领域，更具体地，涉及一种植株水分亏缺程度获取方法及装置。

背景技术

对于植株来说，水分亏缺是指水分散失超过水分吸收。植株存在水分亏缺问题时，会出现细胞组织含水量下降、膨压降低、正常代谢失调的现象。而这些现象会直接影响植株的生理生化过程和形态结构，进而影响植株的生长。对于作物而言，还会影响作物的产量和果实的品质，造成经济损失。

现有技术中，水分亏缺程度主要通过测量土壤水分、叶水势或叶片相对含水量等方法获取。其中，土壤水分的获取主要通过采用土壤水分测量仪插入土壤进行测量；叶水势和叶片相对含水量的获取通过选取叶片并进行实验获取数据，进而根据数据计算而得。

但是，土壤水分仅仅反映了植株的水分供应情况，并不能直接反映出植株水分亏缺程度；叶水势和叶片相对含水量等生理指标，虽能体现出植株水分亏缺程度，但在测量过程中对植株叶片具有破环性，且在实际应用中难以实时获得水分亏缺程度，不利于及时制定浇灌策略。

发明内容

本发明提供一种植株水分亏缺程度获取方法及装置以克服现有技术在植株水分亏缺程度的获取过程中，对植株叶片造成破环以及获取的水分亏缺程度准确性差、实时性差的问题。

根据本发明的一个方面，提供一种植株水分亏缺程度获取方法，包括：

步骤1，获取叶片灰度图像；

步骤2，基于所述叶片灰度图像的矩形图像块，利用混合深度学习网络，获取植株的水分亏缺程度。

根据本发明的另一个方面，提供一种植株水分亏缺程度获取装置，包括：叶片灰度图像获取模块和植株水分亏缺程度获取模块；

所述叶片灰度图像获取模块，用于获取叶片灰度图像；

所述植株水分亏缺程度获取模块，用于基于所述灰度图像的矩形图像块，利用混合深度学习网络，获取植株水分亏缺程度。

本发明提出的植株水分亏缺程度获取方法及装置，通过获取叶片灰度图像，基于所述叶片灰度图像的矩形图像块，利用混合深度学习网络，获取所述植株水分亏缺程度。由于采用了图像处理和模式识别技术对植株叶片的图像直接进行自动分析，本发明可以在不损坏植株叶片的前提下，快速、准确地获取植株水分亏缺程度。

进一步地，根据植株水分亏缺程度及时采取合适的精准灌溉措施，可以保证植株的健康生长。对于作物而言，还能够进一步保证作物的产量和产物的品质。此外，通过将本发明应用于智能手机等移动终端，可对小面积植株现场进行水分亏缺程度的实时检测；通过将本发明应用于计算机，还可对视频监控内的大面积植株进行水分亏缺程度的实时检测。

附图说明

图1为根据本发明实施例的一种植株水分亏缺程度获取方法流程图；

图2为根据本发明实施例的一种植株水分亏缺程度获取方法流程图；

图3为根据本发明实施例的一种植株水分亏缺程度获取装置示意图；

图4为根据本发明实施例的六层混合深度学习网络结构示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

目前，植株水分亏缺程度主要通过测量土壤水分、叶水势或叶片相对含水量等方法获取。但土壤水分仅仅反映了植株的水分供应情况，并不能直接反映出植株水分亏缺程度；叶水势和叶片相对含水量等生理指标，虽能体现出植株水分亏缺程度，但在测量过程中对植株叶片具有破环性，且在实际应用中难以实时获得水分亏缺程度，不利于及时制定浇灌策略。

针对上述问题，根据本发明的一个方面，本发明实施例提供一种植株水分亏缺程度获取方法。参见图1，该方法包括：步骤1，获取叶片灰度图像；步骤2，基于所述叶片灰度图像的矩形图像块，利用混合深度学习网络，获取植株水分亏缺程度。

本发明实施例提出的方法，通过获取叶片灰度图像，基于所述叶片灰度图像的矩形图像块，利用混合深度学习网络，获取所述植株水分亏缺程度。由于采用了图像处理和模式识别技术对植株叶片的图像直接进行自动分析，本发明可以在不损坏植株叶片的前提下，快速、准确地获取植株水分亏缺程度。

作为一种可选实施例，所述获取叶片灰度图像进一步包括：基于包含植株叶片的彩色图像，获取灰度图像；对所述灰度图像进行轮廓检测，获取叶片灰度图像。

作为一种可选实施例，所述基于包含植株叶片的彩色图像，获取灰度图像进一步包括：利用插值方法对所述包含植株叶片的彩色图像进行归一化处理；基于所述归一化后的彩色图像在红、绿、蓝三个颜色通道上子图像，获取灰度图像。

作为一种可选实施例，所述对所述灰度图像进行轮廓检测，获取叶片灰度图像进一步包括：基于所述灰度图像，获取边缘图像；基于所述灰度图像和所述边缘图像，获取叶片前景灰度图像；基于所述叶片前景灰度图像，获取所述叶片灰度图像。

作为一种可选实施例，所述基于所述灰度图像，获取边缘图像进一步包括：利用八方向Sobel模板和四方向Sobel模板，分别对所述灰度图像进行边缘提取；基于所述边缘提取得到的图像，获取边缘图像。

作为一种可选实施例，所述基于所述叶片前景灰度图像，获取所述叶片灰度图像进一步包括：对所述叶片前景灰度图像进行阈值化处理；基于阈值化后的所述叶片前景灰度图像，采用水平集算法，获取叶片边缘包含的像素点在所述叶片前景灰度图像中的位置；基于所述叶片边缘包含的像素点在所述叶片前景灰度图像中的位置，从所述灰度图像中提取所述叶片灰度图像。

作为一种可选实施例，在所述基于所述灰度图像的矩形图像块，利用混合深度学习网络，获取植株的水分亏缺程度之前还包括：由深度信念网络(DBN)与深度玻尔兹曼机(DBM)结合构建所述混合深度学习网络；基于训练样本图像块，依次采用无监督的预训练和有监督的微调，所述混合深度学习网络进行训练。

作为一种可选实施例，所述基于训练样本图像块，依次采用无监督的预训练和有监督的微调，所述混合深度学习网络进行训练进一步包括：建立预设数目的训练样本图像块；其中，所述训练样本图像块标注有水分亏缺程度；将所述训练样本图像块的灰度特征值直接输入DBM中，对灰度特征值进行训练、降维；将训练、降维后的灰度特征值输入到DBN中进行更深度特征的提取与训练，得到性能更好的权值；将得到的性能更好的权值作为初始权值，根据所述初始权值从六层到第一层，利用反向传播网络，依次对所述混合深度学习网络进行微调。

作为一种可选实施例，所述基于所述灰度图像的矩形图像块，利用混合深度学习网络，获取植株的水分亏缺程度进一步包括：基于所述灰度图像的矩形图像块，采用已训练好的、由深度信念网络(DBN)与深度玻尔兹曼机(DBM)结合构建所得的混合深度学习网络，获取所述叶片的水分亏缺程度；基于所述植株不同叶片的水分亏缺程度，获取所述植株水分亏缺程度。

上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。

基于上述图1对应实施例提供的方法，本发明实施例提供了一种植株水分亏缺程度获取方法。参见图2，该方法包括：101，获取包含植物叶片的彩色图像；102，基于所述包含植株叶片的彩色图像，获取灰度图像；103，对所述灰度图像进行轮廓检测，获取叶片灰度图像；104，基于所述叶片灰度图像的矩形图像块，利用混合深度学习网络，获取所述植株的水分亏缺程度。

其中，101，获取包含植物叶片的彩色图像。

在本步骤中，对于待获取水分亏缺程度的植株，为了保证其水分亏缺程度的准确性，可以获取其不同高度和不同方向上的不同叶片各自对应的一幅彩色图像。其中，一幅彩色图像中包括一片叶片。对于这些彩色图像中任意一张彩色图像包含的叶片，本实施例对该叶片在植株上的位置不做具体限制，包含但不限于：植株叶片覆盖范围内，顶部、中部和底部三个高度和前、后、左、右四个方向构成的十二处位置处的叶片。对于彩色图像的获取方式，本实施例在此也不做限定，包括但不限于：通过手机、平板电脑、相机等图像拍摄功能获取，或者通过监控系统、DV、手机、平板电脑的视频拍摄功能拍摄的视频获取。获取的彩色图像数目可以根据实际情况决定，在此不做限定。假设获取的彩色图像数目为N。

其中，102，基于所述包含植株叶片的彩色图像，获取灰度图像。

当步骤1中获取的包含植株叶片的彩色图像数目N较大时，对应的数据量也较大，不利于后续快速处理。因此，需将包含植株叶片的彩色图像转换成灰度图像以加快后续处理速度。此外，由于获取的包含植株叶片的彩色图像可能来源于不同的拍摄设备，其尺寸大小各异，为了保证后续处理图像的方法的通用性，需对包含植物叶片的彩色图像进行归一化处理已调整图像的尺寸。本实施例对彩色图像进行归一化和灰度化的顺序与方式在此不做限定，包含但不限于：利用插值方法对所述包含植株叶片的彩色图像进行归一化处理；基于所述归一化后的彩色图像在红、绿、蓝三个颜色通道上子图像，获取灰度图像。

对步骤1中获取的N幅包含植株叶片的彩色图像中的每一幅彩色图像，利用插值方法进行归一化处理时，可处理为L*H大小的彩色图像。其中，L、H分别为放缩后图像的宽度和高度，单位为像素。L和H的值在此不做限定，可根据实际应用情况设定，例如：包含植株叶片的彩色图像大小为4160×3120，利用插值方法进行归一化处理时，可处理为4000×3000大小的彩色图像，其中，L＝4000，H＝3000。本实施例对插值方法在此也不做限定，包含但不限于：双线性插值、最接近原则插值、双三次插值或者不规则碎片形插值。

将N幅归一化处理后的彩色图像中的每一幅彩色图像转换成灰度图像时，本实施例对基于所述归一化后的彩色图像在红、绿、蓝三个颜色通道上子图像，获取灰度图像的方式在此也不做限定，包含但不限于：

其中，I_g(x,y)为绿色通道上子图像中(x,y)处像素点的像素值，I_r(x,y)为红色通道上子图像中(x,y)处像素点的像素值，I_b(x,y)为蓝色通道上子图像中(x,y)处像素点的像素值，θ₁为绿色通道上子图像像素值与红色通道上子图像像素值间的阈值，θ₂为绿色通道上子图像像素值与蓝色通道上子图像像素值间的阈值，I₁(x,y)为灰度图像中(x,y)处像素点的像素值。

此外，θ₁和θ₂取值可根据经验在区间(0,20]内进行设定，其中，在中具体设定阈值θ₁＝10，θ₂＝15。θ₁和θ₂取值还可以根据叶片中绿色的像素值范围进行设定。具体设定方法包括：

(a)采集n(n＞50)幅包含植株叶片的彩色图像建立叶片样本库；

(b)选择叶片样本库中任意一幅不重复的彩色图像，获取该彩色图像的红色、绿色、蓝色三个颜色通道上的子图像；

(c)选择该彩色图像中任意不重复的10处叶片区域，计算该叶片区域绿色与红色通道上的像素值绝对值的平均值绿色与蓝色通道上的像素的绝对值的平均值

(d)重复步骤(b)～(c),将n幅图像的的平均均值记为θ₁，n幅图像的的平均均值记为θ₂；

由此，便得到了N幅灰度图像。

其中，103，对所述灰度图像进行轮廓检测，获取叶片灰度图像。

由于步骤102中获取的灰度图像中还包含除了叶片以外的对象，如:植株的枝干、花朵以及背景。这些对象会对植株水分亏缺程度的准确度造成影响。因此，为了保证后续获取的植株水分亏缺程度的准确度，需对N幅灰度图像中的每一幅灰度图像进行轮廓检测以获取仅包含叶片的叶片灰度图像。本实施例对轮廓检测的方式在此不做限定，包含但不限于：基于所述灰度图像，获取边缘图像；基于所述灰度图像和所述边缘图像，获取叶片前景灰度图像；基于所述叶片前景灰度图像，获取所述叶片灰度图像。

进一步地，本实施例对基于所述灰度图像，获取边缘图像的方式在此不做限定，包含但不限于：利用八方向Sobel模板和四方向Sobel模板，分别对所述灰度图像进行边缘提取；基于所述边缘提取得到的图像，获取边缘图像。本实施例对进行边缘提取所采用的八方向Sobel模板和四方向Sobel模板不做限定，包含但不限于：所述八方向分别为0°，22.5°，45°，67.5°，90°，112.5°，135°，157.5°，模板向量依次为：[0,-1,-2,-1,0；-1,-2,-4,-2,-1；0,0,0,0,0；1,2,4,2,1；0,1,2,1,0]；[0,-2,-1,0,0；-1,-2,-1,-2,0；-1,-2,0,2,1；0,1,2,4,1；0,0,1,2,0]；[-1,-2,-2,1,1；-1,-2,-2,0,0；1,4,0,2,1；0,0,2,4,1；0,0,1,1,2]；[0,-1,-1,0,0；-2,-4,-2,1,0；-1,-2,0,2,1；0,-1,2,4,2；0,0,1,1,0]；[0,-1,0,1,0；-1,-2,0,2,1；-1,-4,0,2,2；-1,-2,0,2,1；0,-1,1,1,0]；[1,1,2,1,0；0,-1,2,1,4；-1,-2,1,2,1；-2,-4,-2,1,0；0,-1,2,0,0]；[0,0,1,1,2；0,0,2,4,1；-1,-2,0,2,1；-1,-4,-2,0,0；-2,1,-1,0,0]；[2,2,1,1,0；0,1,2,4,1；-2,-1,0,2,1；-4,-1,-2,-2,0；0,-2,-2,-1,0]；所述的4方向分别为0°，45°，90°，135°,模板向量依次为：[0,-1,-2,-1,0；-1,-2,-4,-2,-1；0,0,0,0,0；1,2,4,2,1；0,1,2,1,0]；[-1,-2,-2,1,1；-1,-2,-2,0,0；1,4,0,2,1；0,0,2,4,1；0,0,1,1,2]；[0,-1,0,1,0；-1,-2,0,2,1；-1,-4,0,2,2；-1,-2,0,2,1；0,-1,1,1,0]；[0,0,1,1,2；0,0,2,4,1；-1,-2,0,2,1；-1,-4,-2,0,0；-2,1,-1,0,0]。

对于步骤102中获取的N幅灰度图像中每一幅灰度图像，在获取灰度图像的边缘图像时，本实施例采用八方向Sobel模板对灰度图像进行提取，得到八方向边缘图像；采用四方向Sobel模板对灰度图像进行提取，得到四方向边缘图像；将八方向边缘图像与四方向边缘图像对应位置处像素点的像素值相减，并将相减都的结果取绝对值，得到边缘图像。获取边缘图像之后，在灰度图像中，将边缘图像内的前景图像设置为背景图像，具体方式包含但不限于：将与边缘图像内像素值为1的像素点对应的像素点的像素值置换为0，完成置换后的灰度图像即为叶片前景灰度图像。由此，便得到了N幅叶片前景灰度图像。

为了保证用于获取植株水分亏缺程度尽可能准确，需根据获取的叶片前景灰度图像，获取图像内容仅为叶片的叶片灰度图像。本实施例对基于叶片前景灰度图像，获取所述叶片灰度图像的方式在此不做限定，包含但不限于：对所述叶片前景灰度图像进行阈值化处理；基于阈值化后的所述叶片前景灰度图像，采用水平集算法，获取叶片边缘包含的像素点在所述叶片前景灰度图像中的位置；基于所述叶片边缘包含的像素点在所述叶片前景灰度图像中的位置，从所述灰度图像中提取所述叶片灰度图像。进一步，本实施例对具体采用的阈值化方法在此不做限定，包含但不限于：自适应阈值化。本实施例对于具体采用的水平集算法在此也不做限定，包含但不限于：距离规则水平集演化(Distance RegularizedLevel Set Evolution,DRLSE)算法。

在对叶片前景灰度图像进行阈值化并采用水平集算法后，便可获取叶片边缘包含的像素点在所述叶片前景灰度图像中的位置。将所述灰度图像中与这些位置对应位置围成区域内的像素点按原有位置关系提取出来，便可得到叶片灰度图像。由此，便根据N幅叶片前景灰度图像，得到了N幅叶片灰度图像。

其中，104，基于所述叶片灰度图像的矩形图像块，利用混合深度学习网络，获取所述植株的水分亏缺程度。

在基于所述灰度图像的矩形图像块，利用混合深度学习网络，获取植株的水分亏缺程度之前还包括：由深度信念网络(DBN)与深度玻尔兹曼机(DBM)结合构建所述混合深度学习网络；基于训练样本图像块，依次采用无监督的预训练和有监督的微调，对所述混合深度学习网络进行训练。

本实施例对由DBN与DBM结合构建所得的混合深度学习网络的具体结构在此不做限定，包含但不限于：由输入层、两层DBM、两层DBN以及输出层构成的六层混合深度学习网络。如图4所示，图4为根据本发明实施例的六层混合深度学习网络的结构示意图。其中，输入层的输入为定维度向量；第二层h₁为由DBM组成的无向图全连接；第三层h₂为由DBM组成的无向图全连接；第四层h₃为由DBN组成的有向图连接；第五层h₄为由DBN组成的有向图连接；第六层为预测层，通过逻辑斯特回归输出预测结果；上述各层间通过权值向量w₁、w₂、w₃、w₄、w_class进行连接。为了更准确地获取植株水分亏缺程度，可以构建更多层的DBM和DBN，即DBM的层数和DBN的层数可以根据实际需要选取。

对于构建好的混合深度学习网络，为了提高获取的植株水分亏缺程度，需对混合深度学习网络进行训练。本实施例对基于训练样本图像块，依次采用无监督的预训练和有监督的微调，对所述混合深度学习网络进行训练的具体过程为：建立预设数目的训练样本图像块；其中，所述训练样本图像块标注有水分亏缺程度；将所述训练样本图像块的灰度特征值直接输入DBM中，对灰度特征值进行训练、降维；将训练、降维后的灰度特征值输入到DBN中进行更深度特征的提取与训练，得到性能更好的权值；将得到的性能更好的权值作为初始权值，根据所述初始权值从六层到第一层，利用反向传播网络，依次对所述混合深度学习网络进行微调。本实施例对反向传播网络在此不做限定，包括但不限于：contrastivewake-sleep。

其中，预设数目以及训练样本图像块大小可以根据具体需要设置。例如，建立总数为num的大小为M*N的训练样本图像块。其中，num＞10000，num的值越大，混合深度学习网络学习效果越好。训练样本图像块大小一致。大小为M*N的训练样本图像块，通过截取其对应的叶片灰度图像而得。其叶片灰度图像的获取过程与步骤101至步骤103所述的叶片灰度图像获取过程相同。由于获取的叶片灰度图像为叶片形状的图像，为了便于后续对图像块对应矩阵进行分析，此处截取叶片灰度图像以得到矩形图像块。本实施例对矩形图像块的截取方式在此不做限定，包含但不限于：以叶片灰度图像的中心为矩形的中心点，提取该叶片灰度图像中大小为M*N的矩形图像块。其中，M、N的大小可根据叶片的大小进行设定，如M＝200，N＝200。每个训练样本图像块均已标注水分亏缺程度。对于水分亏缺程度，该程度可以根据具体需要设置。本实施例对该程度的设置方式在此不做限定，包括但不限于：正常、轻度缺水、中度缺水和重度缺水。

在获取已训练好的、由DBN与DBM结合构建所得的混合深度学习网络之后，基于与截取叶片灰度图像获取训练样本图像块同样的截取方式，对于步骤103中获取的N幅叶片灰度图像中的任意一幅叶片灰度图像进行截取，获取矩形图像块。之后，采用已训练好的、由DBN与DBM结合构建所得的混合深度学习网络，对矩形图像块进行分析，获取矩形图像块对应叶片的水分亏缺程度。步骤103中获取的N幅叶片灰度图像对应N个矩形图像块，N个矩形图像块可分别获取对应的N片叶片的水分亏缺程度。基于N片叶片的水分亏缺程度，获取所述植株的水分亏缺程度。本实施例对基于N片叶片的水分亏缺程度，获取所述植株的水分亏缺程度的方式在此不做限定。例如：可以为投票法，即将获取的叶片水分亏缺程度中出现次数最多的程度作为该植株的水分亏缺程度；还可以根据应用的需要，将获取的叶片水分亏缺程度中最高程度作为该植株水分亏缺程度。

根据本发明的另一个方面，提供一种植株水分亏缺程度获取装置。参见图3，该装置包括：叶片灰度图像获取模块和植株水分亏缺程度获取模块；所述叶片灰度图像获取模块，用于获取叶片灰度图像；所述植株水分亏缺程度获取模块，用于基于所述灰度图像的矩形图像块，利用混合深度学习网络，获取所述植株叶片的水分亏缺程度。

本发明提出的植株水分亏缺程度获取装置，通过叶片灰度图像获取模块，获取叶片灰度图像，通过植株水分亏缺程度获取模块，基于所述叶片灰度图像的矩形图像块，利用混合深度学习网络，获取所述植株水分亏缺程度。由于采用了图像处理和模式识别技术对植株叶片的图像直接进行自动分析，本发明可以在不损坏植株叶片的前提下，快速、准确地获取植株水分亏缺程度。

进一步地，根据植株水分亏缺程度及时采取合适的精准灌溉措施，可以保证植株的健康生长。对于作物而言，还能够进一步保证作物的产量和产物的品质。此外，通过将本发明应用于智能手机等移动终端，可对小面积植株现场进行水分亏缺程度的实时检测；通过将本发明应用于计算机，还可对视频监控内的大面积植株进行水分亏缺程度的实时检测。

作为一种可选实施例，所述叶片灰度图像获取模块包括：灰度图像获取单元和轮廓检测单元；所述灰度图像获取单元，用于基于包含植株叶片的彩色图像，获取灰度图像；所述轮廓检测单元，用于对所述灰度图像进行轮廓检测，获取叶片灰度图像。

作为一种可选实施例，所述灰度图像获取单元具体用于利用插值方法对所述包含植株叶片的彩色图像进行归一化处理；所述灰度图像获取单元具体还用于基于所述归一化后的彩色图像在红、绿、蓝三个颜色通道上子图像，获取灰度图像。

作为一种可选实施例，所述轮廓检测单元具体用于基于所述灰度图像，获取边缘图像；所述轮廓检测单元具体还用于基于所述灰度图像和所述边缘图像，获取叶片前景灰度图像；所述轮廓检测单元具体还用于基于所述叶片前景灰度图像，获取所述叶片灰度图像。

作为一种可选实施例，所述轮廓检测单元进一步具体用于利用八方向Sobel模板和四方向Sobel模板，分别对所述灰度图像进行边缘提取；所述轮廓检测单元进一步具体还用于基于所述边缘提取得到的图像，获取边缘图像。

作为一种可选实施例，所述轮廓检测单元具体用于对所述叶片前景灰度图像进行阈值化处理；所述轮廓检测单元具体还用于基于阈值化后的所述叶片前景灰度图像，采用水平集算法，获取叶片边缘包含的像素点在所述叶片前景灰度图像中的位置；所述轮廓检测单元具体还用于基于所述叶片边缘包含的像素点在所述叶片前景灰度图像中的位置，从所述灰度图像中提取所述叶片灰度图像。

作为一种可选实施例，所述轮廓检测单元进一步具体用于基于所述灰度图像的矩形图像块，采用由深度信念网络(DBN)与深度玻尔兹曼机(DBM)结合构建所得的混合深度学习网络，获取所述叶片的水分亏缺程度；所述轮廓检测单元进一步具体还用于基于所述植株不同叶片的水分亏缺程度，获取所述植株水分亏缺程度。

作为一种可选实施例，所述装置还包括：训练模块，用于建立预设数目的所述第二预设大小的训练样本图像块；其中，所述训练样本图像块标注有水分亏缺等级；所述训练模块，还用于将所述训练样本图像块的灰度特征值输入所述输入层，进行无监督的网络预训练；所述训练模块，还用于利用反向传播网络从六层到第一层依次进行有监督的微调。

最后，本发明的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。