一种玉米三叶期与七叶期的自动检测方法

技术领域

本发明属于数字图像处理和农业气象观测交叉领域，具体涉及一种玉米三叶 期与七叶期的自动检测方法，即以拍摄的田间玉米下视图像序列为对象，利用图 像特征来检测玉米是否到达三叶期与七叶期的方法。

背景技术

玉米是我国主要的粮食作物之一，种植面积十分广泛。为了提高玉米的产量 和质量，需要对其发育速度和进程进行了解，并分析其各发育期与气象条件之间 的关系，从而鉴定玉米生长的农业气象条件。然而长期以来，对于玉米各发育期 的观测主要是通过人工观测的方式，受观测人员主观因素的影响较大；同时由于 玉米种植地域广、观测周期长，利用人力进行观测也不够经济。因此，通过拍摄 的玉米下视序列图像，借助图像处理的手段，对其发育期进行自动观测就显得十 分必要。玉米三叶期与七叶期是玉米营养生长阶段二个重要的发育期环节，有效 而准确的识别这两个时期，是农业气象观测的两个重要内容，本发明即是利用玉 米下视序列图像对两个发育期进行自动识别。

2007年刘洪见等在《农业网络信息》上发表的论文“图像处理技术在提取 玉米图像骨架上的应用”中利用图像处理技术对玉米株型骨架的提取技术进行了 研究，但该论文的方法仅对单一背景下的单株玉米适合，而对复杂的田间条件并 不适用；2010年李荣春等在《玉米科学》上发表的论文“基于图像处理技术的 夏玉米群体长势监测研究”中通过提取地面覆盖度的方法对夏玉米的群体叶面积 指数(LAI)和干物质积累(DMA)值进行估测，建立了覆盖度与叶面积指数(LAI) 和干物质积累(DMA)的回归关系模型，从而完成对夏玉米群体长势的估计， 但是仅仅利用覆盖度这一图像特征并不能对玉米的发育期进行准确地观测；2010 年马彦平在硕士论文“基于数字图像的冬小麦、夏玉米长势远程动态监测技术研 究”中提出基于双目立体视觉的大田玉米生长参数的测量方法，对冬小麦和夏玉 米的一些生长参数进行了测量，但该方法的硬件成本较高，而且由于大田作物实 际遮挡严重，环境影响因素较多，图像的分辨率也有限，因此在实际应用中很难 对大田玉米进行株型进行三维重建，所以该方法在发育期的观测上不可行。综上 所述，尽管目前在作物生长监测方面已有许多相关单元技术出现，但都因某种局 限性，很难将其应用到实际大田环境的作物发育期自动观测上来。

发明内容

本发明目的在于提供一种玉米三叶期与七叶期的自动检测方法，以实际农田 采集的玉米下视图像为对象，利用获取的玉米苗图像特征点，准确地检测出玉米 到达三叶期与七叶期的时间。

一种玉米三叶期的自动检测方法，具体为：

(1)对出苗后的待测玉米图像分割提取n个玉米苗连通区域，统计各连通 域的末端点数EndNum_j，j＝1...n；

(2)依据玉米株数与末端点数的映射关系得到各连通域的玉米株数 StemNum_j，所述玉米株数与末端点数的映射关系是利用玉米三叶期的历史样本 图像分析统计得到；

(3)计算各连通域的平均末端点数${\mathrm{MeanEndNum}}_j=\frac{{\mathrm{EndNum}}_j}{{\mathrm{StemNum}}_j};$

(4)计算待测玉米图像的平均末端点数$\mathrm{MeanEndNum}=\frac{\underset{j=1}{\overset{n}{\Sigma }}{\mathrm{MeanEndNum}}_j}{n};$

(5)若MeanEndNum≥三叶期判断阈值，则表明玉米已到达三叶期。

进一步地，所述三叶期判断阈值的取值范围为[2，3]。

一种玉米七叶期的自动检测方法，按照前述的玉米三叶期的自动检测方法确 定玉米进入三叶期，利用玉米三叶期图像按照如下方式进行七叶期检测：播种方 式为穴播时选用方案A，播种方式为条播时选用方案B；

方案A：

(A1)确定重点观测区域、三叶期图像的特征点总数和七叶期判断阈值；

所述重点观测区域是以玉米三叶期图像的n个玉米苗连通区域的质心 M₁，...，M_n为中心，R为边长的n个正方形区域；

所述图像的特征点总数为图像中各连通区域的特征点数之和，所述连通区域 的特征点数为连通区域的末端点数与三叉点数之和；

所述七叶期判断阈值包含七叶期到达之后定苗阈值T₁和七叶期到达之前定 苗阈值T₂，其中EndJunctionNum_j为第j个连通区 域的特征点数，k∈[2，3]；T₂＝k*M*N，M为三叶期图像中的穴数，N为三叶 期图像的平均特征点数$N=\frac{\underset{j=1}{\overset{n}{\Sigma }}{\mathrm{EndJunctionNum}}_i}{\underset{j=1}{\overset{n}{\Sigma }}{\mathrm{StemNum}}_j};$

(A2)统计待检测图像的特征点总数B，并判断待检测图像中的玉米是否 已定苗，若没有定苗，则进入步骤(A3)，否则，进入步骤(A4)；

(A3)若B＞T₁，则表明待检测图像中的玉米到达七叶期，结束；

(A4)若B＞T₂，则表明待检测图像中的玉米到达七叶期，结束；

所述定苗按照如下方式进行：记玉米在第i-1和i时刻的图像分别为P_i-1和 P_i，计算j＝1...n，为P_i-1中的第j个重点观测区域内的玉 米叶像素面积，为P_i中的第j个重点观测区域内的玉米叶像素面积，统计 ΔH_j＞T₃的重点观测区域个数J，若则表明P_i中的玉米已定苗， T₃∈[0.3，0.6]，T₄∈[0.2，0.4]；

方案B：

(B1)按照步骤(A1)的方式确定重点观测区域和三叶期图像的特征点总 数$C=\underset{i=1}{\overset{n}{\Sigma }}{\mathrm{EndJunctionNum}}_i;$

(B2)统计待检测图像中各重点观测区域内的特征点数之和D，所述重点 观测区域内的特征点数为重点观测区域内的末端点和三叉点数之和；

(B3)判断待检测图像中的玉米是否已定苗，若没有定苗，则进入步骤 (B4)，否则，进入步骤(B5)；

(B4)若D＞k*C，则表明待检测图像中的玉米到达七叶期，结束；

(B5)剔除满足ΔH_j＞T₅的重点观测区域，统计保留的重点观测区域内的特 征点数之和E以及保留的重点观测区域在玉米三叶期图像中对应的连通域的特 征点数之和F；

(B6)若E＞k*F，则表明待检测图像中的玉米到达七叶期，结束。

进一步地，所述穴数按照如下方式确定：获取图像每个连通域的质心 M₁，...，M_n，计算质心距离dis_i，j，i，j＝1...n，若dis_i，j小于阈值α，则剔除质心M_i与M_j，并将M_i与M_j间的中点记为质心，重新计算质心距离，再将其与阈值α 比较，如此循环，直到所有质心距离都大于α为止，最终保留的质心数即为穴数。

本发明的技术效果体现在：本发明自动对所采集的田间玉米下视图像进行分 割，并对图像特征进行自动提取，利用所提取的图像特征，判断该图像区域中的 玉米是否进入三叶期，进而利用三叶期初始图像的特征，针对不同的播种方式对 玉米是否进入七叶期进行自动判断。该方法以表征玉米叶片数的图像特征参数作 为判断依据，实时地对玉米生长期进行判断，检测结果准确率高，对分析玉米发 育期与气象条件之间的关系，鉴定玉米生长的农业气象条件以及对玉米的农事活 动都具有重要的指导意义。

附图说明

图1是本发明的整体流程图；

图2是玉米三叶期自动检测训练阶段流程图；

图3是玉米三叶期历史图像示例图；

图4是对图3进行分割提取后的结果图；

图5是图4经过形态学处理后的骨架图；

图6是对图5进行骨架末端点提取后的结果图；

图7是玉米三叶期株数与末端点数函数曲线拟合图；

图8是玉米三叶期自动检测检测阶段流程图；

图9穴播时七叶期自动检测流程图；

图10穴播时重点观测区域确定流程图；

图11穴播时重点观测区域示意图；

图12穴播时三叶期初始图像特征点标记示意图；

图13穴数确定流程图；

图14穴播时三叶期图像的平均特征点数确定流程图；

图15穴播时定苗判断流程图；

图16条播时七叶期自动检测流程图；

图17条播时定苗判断与更新重点观测区流程图。

具体实施方式

本发明提供一种玉米三叶期与七叶期的自动检测方法，以实际农田采集的玉 米下视图像为对象，利用提取的图像特征点，来准确地检测出玉米到达三叶期与 七叶期的时间。下面结合附图来详细说明本发明的具体实施方式和实施步骤。

图1是本发明的整体流程图，分为两个部分，第一个部分通过对出苗后的图 像进行特征提取，以图像的平均末端点数为判断依据，自动识别出三叶期发生的 时间，然后再进入第二个部分，即通过将三叶期开始的图像特征作为重要指标， 依次对三叶期后的图像进行特征提取，识别七叶期发生时间。因此，本发明中三 叶期的开始图像是成功识别七叶期的必要条件。

下面分别介绍三叶期与七叶期的检测方法：

1.三叶期的检测，分为训练和检测两个阶段：

(1)训练阶段：该阶段的主要目的是通过玉米三叶期的历史图像数据，建立 玉米三叶期株数与末端点数的函数关系，其流程如图2所示，具体步骤如下：

a.首先获取若干张玉米三叶期的历史图像，如图3所示，然后对图像进行 分割提取其中的玉米苗，得到只含有苗的二值图像，如图4所示；分割 方法可采用环境自适应分割方法(Lei F.Tian.Environmentally adaptive  segmentation algorithm for outdoor image segmentation.Computers and  electronics in agriculture，1998，21：153～168)、超绿算子分割方法(D.M. Woebbecke，G.E.Meyer，K.Von Bargen，D.A.Mortensen.Color Indices for  weed identification under various soil，residue，and lighting conditions. Transactions of the ASAE，1995，38(1)：259～269)、基于Mean Shift的作物 图像分割方法(Zheng L，Zhang J，Wang Q.Mean-shift-based color  segmentation of images containing green vegetation.Computers and  Electronics in Agriculture，2009，65：93-98)等等。

b.对步骤a得到的二值图像进行形态学处理，将图像中的连通域进行细化， 获得其骨架，如图5所示。再通过Cecilia Di Ruberto，Recognition of shapes  by attributed skeletal graphs，Pattern Recognition 37，21-31，2004中的方法， 提取并统计每个连通域骨架的末端点(end points)数量，如图6所示， 图中小方块代表末端点。假设某幅图像共有m个连通域，统计得到其中 编号为i的连通域末端点数为EndNum_i，i＝1...m；

c.对步骤b中的每个连通域人工统计其对应的株数StemNum_i，i＝1...m，从 而可以得到株数与末端点数的映射(x，y)，即当StemNum为x(x＞0)时， 末端点数EndNum为y＝{EndNum_i|StemNum_i＝x，i＝1...m}。

a.最后，利用二次曲线拟合出株数x与末端点数y之间的函数映射关系 y＝F(x)，本实施例拟合函数关系式为：y＝1.5891x²-3.773x+5.0172； 如图7所示。

(2)检测阶段：通过训练获得的函数关系，对出苗后的玉米图像进行自动检 测，其流程如图8所示，具体步骤如下：

a.首先，对出苗后的待检测玉米图像进行自适应分割提取玉米苗，并统计 每个连通域的末端点数，方法同训练阶段。假设图像共有n个连通域， 经过统计，可以得到所有连通域的末端点数EndNum_j，j＝1...n；

b.再将步骤a所统计的末端点数EndNum_j，j＝1...n分别代入到训练阶段拟 合得到的函数关系式y＝F(x)＝ax²+bx+c中，通过公式：

$x=\frac{-b\pm \sqrt{b^2-4a(c-{\mathrm{EndNum}}_j)}}{2a},$j＝1...n求出每个连通域的株数 x＝StemNum_j，x＞0，j＝1...n；

c.接着，将步骤a获得的每个连通域的末端点数EndNum_j，j＝1...n与步骤b 计算出的各连通域株数StemNum_j，j＝1...n对应相除，即可求出每个连通 域的平均末端点数，即${\mathrm{MeanEndNum}}_j=\frac{{\mathrm{EndNum}}_j}{{\mathrm{StemNum}}_j};$j＝1...n；

d.将步骤c求出的所有连通域平均末端点数求和，再除以连通域个数，计 算式为：即可得到整幅图像的平均末端点数 MeanEndNum；

e.最后，若步骤d求出的整幅图像平均末端点数MeanEndNum＞三叶期判 断阈值，则表示该图像到达三叶期，将该图像的拍摄时间记为三叶期到 达时间，三叶期判断结束；否则表示还未到达三叶期，继续处理下一时 刻图像。三叶期判断阈值需根据相机参数与相机高度通过实验确定，本 实施例的取值为2.4，图像分辨率为1824×1368像素，相机高度为5米。

玉米七叶期的自动检测，由于播种方式的不同，将分为穴播与条播两种情况。 同时，因为在七叶期到达前后会有定苗的农事活动，此时玉米的苗数将发生变化， 为了适应这种情况，本发明将对定苗的发生进行自动识别，使七叶期的自动检测 算法具有更好的鲁棒性。下面将分两类情况，分别介绍本发明七叶期自动检测的 具体技术方案与实现流程：

(1)当玉米的播种方式为穴播时，按照以下步骤进行自动检测，其流程如图 9所示：

a.首先确定图像的重点观测区域、获得三叶期图像的特征点总数A以及确 定七叶期的判断阈值。

进一步地，所述确定重点观测区域的流程如图10所示，具体过程为：先将 三叶期图像进行分割，并对其连通域进行标记，获取每个连通域的质心 M₁，...，M_n，再分别以该质心M_i，i＝1...n为中心、以阈值R为边长作正方形，该 方形区域即为重点观测区域，用于对该区域苗的叶像素面积进行观测，最终将获 得n个重点观测区域，记为Ω₁，...，Ω_n。其中，阈值R的取值以该方形区域能够覆 盖苗长到七叶期为准，同时考虑到该值还与相机高度和图片大小有关，因此需要 通过实验设定。本实施例各参数为：相机高度为5米、图像大小为309×609像 素、R取80个像素，如图11所示为观测区示意图，以截取局部区域的某株玉米 苗为例，正方形框为观测区范围，圆点表示该连通区的质心；

进一步地，所述三叶期图像的特征点总数A的获取，具体过程为：将确定重 点观测区域时获得的分割结果二值图像进行形态学处理，对图像中的连通域进行 细化，获得其骨架。再通过Cecilia Di Ruberto，Recognition of shapes by attributed  skeletal graphs，Pattern Recognition 37，21-31，2004中的方法，提取并统计每个连 通域骨架的末端点(end points)与三叉点(junction points)总数，如图12所示， 图中小方块代表所有特征点。假设某幅图像共有n个连通域，统计得到其中编号 为i的连通域特征点数为EndJunctionNum_i，i＝1...n，则该图像的特征点总数为 $\underset{i=1}{\overset{n}{\Sigma }}{\mathrm{EndJunctionNum}}_i;$

进一步地，所述七叶期判断阈值的确定，具体为：根据定苗时间的不同而分 为七叶期到达之后定苗阈值T₁和七叶期到达之前定苗阈值T₂，其中七叶期到达之 后定苗阈值为三叶期图像的特征点总数A的k倍，即而 七叶期到达之前定苗阈值为k*M*N，其中M为三叶期图像中的穴数，N为三 叶期图像的平均特征点数，k∈[2，3]。

所述三叶期图像中穴数M的确定，流程如图13所示，具体过程为：利用确 定重点观测区域时获得的分割结果二值图，进行连通域标记，假设有n个连通域； 然后获取每个连通域的质心M₁，...，M_n，通过距离公式： 计算质心M_i(x_i，y_i)与M_j(x_j，y_j)，i，j＝1...n之间 的距离，得到一个距离对称方阵DIS，其中方阵中的元素dis_i，j即表示质心 M_i(x_i，y_i)与M_j(x_j，y_j)之间的距离；判断方阵中的元素值dis_i，j与阈值α之间的 关系，若小于α，则将其元素对应的两个质心M_i与M_j进行合并为一个质心M_ij， 该质心的坐标为再将该质心重新加入到质心序列中，重新计 算矩阵DIS，如此循环，直到矩阵元素值都大于α为止，最后剩下的质心数即为 穴数。其中α的取值根据实际播种时穴与穴在图像中的距离来设定，本实施例α 取值为50个像素；

所述三叶期图像的平均特征点数N的确定，流程如图14所示，具体过程为： 首先对三叶期图像进行分割，并统计每个连通域的末端点数EndNum_j，j＝1...n， 再将每个连通域的末端点代入到三叶期拟合函数关系式y＝F(x)中，求出每个 连通区域的株数StemNum_j，j＝1...n，以上方法同三叶期检测阶段步骤a和步骤b； 再利用三叶期图像的特征点总数A除以所有连通域株数之和，表达式为 即可求出三叶期图像的平均特征点数N。

b.再获取下一时刻的待观测作物图像，并统计该图像的特征点总数B，统 计方法与步骤a中获取三叶期图像的特征点总数A相同；

c.判断图像是否进行了定苗；若没有定苗，则进入步骤d；若发生了定苗， 则进入步骤e；

所述定苗的判断，流程如图15所示，具体过程为：首先，对三叶期过后第i-1 时刻的图像进行分割，并统计重点观测区域内的作物苗的叶像素面积，记为 再取下一时刻i的图像，同样对重点观测区域内的作物苗的叶像素 面积进行统计，记为将以上两个时刻对应观测区域的叶像素面积相减， 再除以上一时刻i-1的面积面积，即j＝1...n；统计满足条件 ΔH_j＞T₃的连通域个数J，T₃∈[0.3，0.6]；最后，当时，T₄∈[0.2，0.4]，则 判断i时刻已经定苗，否则i时刻还未定苗。

d.若当前图像的特征点总数B大于七叶期到达之后定苗阈值，即 则表示该图像到达七叶期，将该图像的拍摄时间记为七 叶期到达时间，七叶期判断结束；否则进入步骤b；

e.若当前图像的特征点总数B大于七叶期到达之前定苗阈值，即k*M*N， 则表示该图像到达七叶期，将该图像的拍摄时间记为七叶期到达时间，七叶期判 断结束；否则进入步骤b；

(2)当玉米的播种方式为条播时，按照以下步骤进行自动检测，其流程如 图16所示：

a.确定图像中的重点观测区域、获得三叶期图像的特征点总数C以及各连 通域的特征点数；

进一步地，所述确定重点观测区域Ω₁，...，Ω_n、获得三叶期图像的特征点总数 以及各连通域的特征点数EndJunctionNum_i，i＝1...n，都 与穴播方式流程a中的方法相同；

b.获取下一时刻的待观测作物图像，并统计图像重点观测区域内的特征点 数之和D；

进一步地，所述图像重点观测区域内的特征点数之和，是指获取当前整幅图 像中各连通域的特征点EndJunction_i(x_i，y_i)，i＝1...k之后，再统计属于图像重点观 测区域Ω₁，...，Ω_n内的特征点数之和，即统计特征点编号i的个数，其中i满足条件 EndJunction_i(x_i，y_i)∈Ω_j，i＝1...k，j＝1...n。

c.判断当前图像是否进行了定苗；若没有定苗，则进入步骤d；若发生了定 苗，则进入步骤e；

进一步地，所述定苗的判断流程与穴播步骤c中的定苗流程相同，如图17 所示；

d.若当前图像重点观测区域内的总特征点数D大于k*C，则表示该图像到 达七叶期，将该图像的拍摄时间记为七叶期到达时间，七叶期判断结束；否则进 入步骤b；

e.重新确定重点观测区域，流程如图17所示，在发生定苗以后，重点观测 区域Ω₁，...，Ω_n中某些区域的玉米苗的叶像素面积骤减，即满足ΔH_j＞T₅，其中 j＝1...n，T₅∈[0.3，0.6]，因此将满足以上条件的区域剔除，剩 下的观测区域作为新的重点观测区域，记为Ω′。

f.获取当前图像中新重点观测区域Ω′内的特征点数之和E和三叶期图像中 与重点观测区编号相同的连通域的特征点数之和F；

进一步地，所述特征点总数E的统计是在更新后的重点观测区域Ω′内进行， 具体步骤与步骤b相同。

进一步地，特征点总数F的统计，是通过对三叶期图像连通域的特征点总数 和进行计算得到的，其中k∈{1...n}且满足 {k|k＝i，Ω_i∈Ω′}。

g.若当前图像的特征点总数E大于k*F，则表示该图像到达七叶期，将该 图像的拍摄时间记为七叶期到达时间，七叶期判断结束；否则进入步骤b。