基于深度学习的豚草监测方法

技术领域

本发明属于农业技术技术领域，具体为基于深度学习的豚草监测方法。

背景技术

豚草类属毒草，是一年生草本植物，高20-150厘米，生命力极强，原产于北美。它对环境危害极大，其所到之外，可以遮盖和压抑原来的土生植物，消耗土地中的水分和营养，使地力下降，对农作物的生长构成了极大的威胁，会严重破坏生态平衡。其次豚草所散发出的花粉，会对人体产生敏感性反应，在我国很多省份发生了豚草入侵的事件。

通常人们通过拨除的方式亲手去根除豚草，但是一般豚草发生的面积较大，而且该毒草具有很强健的根部，所以拨除时会需要很大的人力投入。由此能否结合现代化技术帮助人们去清除豚草成为了一种实际需求。

发明内容

本发明的目的在于：为了解决上述提出的问题，提供基于深度学习的豚草监测方法。

本发明采用的技术方案如下：基于深度学习的豚草监测方法，其特征在于：所述基于深度学习的豚草监测方法包括以下步骤：

S1：操作大疆无人机在豚草采集区域飞行，用大疆无人机采集豚草发生区域的多张图像作为原始训练样本；

S2：对步骤S1中采集得到的数据预处理与制作训练样本：

S3：将采集到的训练样本按照每张分辨率为1024*1024的尺寸切割，然后利用标注工具将豚草发生区域和非豚草发生区域使用不同的颜色值进行标注形成标签文件，由此制作完成训练数据样本集；

S4：网络模型选型与豚草分割模型训练测试：对于豚草监测任务，我们选择D-linknet语义分割网络；

S5：采用了linknet作为主干网(backbone)，整体呈现U型结构，主体采用了Encoder-Decoder思想；左侧由浅到深从图像中抽取语义信息，右侧由深到浅做上采样空间信息恢复，最终生成热力图；

S6：为了能增强上采样过程中上下文信息的融合，中间层采用了孔洞卷积组串并联模型结构，五条串行孔洞卷积组的rate参数分别为1,2,4,8,16；

S7：使用D-linknet网络对3.1中的训练数据样本集进行训练学习，由此得到豚草分割模型；将该模型应用到实际图像测试中，可实时、精确的分割出农耕区域的豚草发生区域。

在一优选的实施方式中，所述步骤S2中，使用大疆“御”无人机展开对内蒙古地区某一区域的豚草监测。通过无人机设备实时获取植被区域勘察视频流，将视频流输入无人机设备主控制器中进行分割计算并得到分割结果，最后将分割结果传输回终端从而实现对豚草的监测。

在一优选的实施方式中，所述步骤S4中的D-LinkNet使用带有预编码器的Linknet作为backbone，并且在中心部分使用空洞卷积层；Linknet是一种高效的语义分段神经网络，它具有跳接、残差块和编码器-解码器体系结构的优势；原始的Linknet使用ResNet18作为其编码器，这是一个相当轻巧但性能不错的网络；Linknet在多个基准测试中均显示出很高的精度，并且运行速度非常快。

在一优选的实施方式中，所述步骤S7中的D-LinkNet使用在ImageNet数据集上预训练的ResNet34作为其编码器；ResNet34最初是为256×256尺寸的中分辨率图像分类而设计的，但在这一挑战中，任务是从1024×1024的高分辨率卫星图像中分割道路；考虑到狭窄性、连通性、复杂性和道路跨度长等方面，重要的是增加网络中心部分的特征的感受范围，并保留详细信息；使用池化层可以成倍增加特征的感受范围，但可能会降低中心特征图的分辨率并降低空间信息；空洞卷积层可能是池化层的理想替代方案；D-LinkNet使用几个空洞卷积层，中间部分带有skip-connection。

在一优选的实施方式中，所述步骤S5中的Encoder-Decoder不是一种模型，而是一种框架，一种处理问题的思路，最早应用于机器翻译领域，输入一个序列，输出另外一个序列。机器翻译问题就是将一种语言序列转换成另外一种语言序列，将该技术扩展到其他领域，比如输入序列可以是文字，语音，图像，视频，输出序列可以是文字，图像，可以解决很多别的类型的问题。这一大类问题就是上图中的sequence-to-sequence问题。

在一优选的实施方式中，所述步骤S6中的孔洞卷积组串并联模型尽量保留内部数据结构和避免下采样，就是增大感受野的情况下保留更多信息，代替pooling卷积前的下采样可以增大卷积核的感受野，广泛应用于语义分割与目标检测等任务中，语义分割中经典的deeplab系列与DUC对空洞卷积进行了深入的思考。目标检测中SSD与RFBNet，同样使用了空洞卷积，作用的每一点就相当于以前的两个点。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1、本发明中，本方法借助无人机平台，设计出高效且实时的深度神经网络D-linknet来完成对农耕区豚草的监测。整个系统的作业流程为：首先通过无人机采集豚草发生区域的图像作为训练样本，然后基于Pytorch深度学习框架设计高效且实时的D-linknet语义分割网络并对其训练样本进行模型训练，最后将生成的模型应用于对豚草的实时监测。

2、本发明中，我们使用大疆“御”无人机展开对内蒙古地区某一区域的豚草监测。通过无人机设备实时获取植被区域勘察视频流，将视频流输入无人机设备主控制器中进行分割计算并得到分割结果，最后将分割结果传输回终端从而实现对豚草的监测，从而保证了对豚草的检测效果，使得工作人员不需要实时的对豚草区域进行检测，从而降低了工作人员的劳动负担。

附图说明

图1为本发明的D-linknet网络模型结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

参照图1，

基于深度学习的豚草监测方法，其特征在于：所述基于深度学习的豚草监测方法包括以下步骤：

S1：操作大疆无人机在豚草采集区域飞行，用大疆无人机采集豚草发生区域的多张图像作为原始训练样本；

S2：对步骤S1中采集得到的数据预处理与制作训练样本，步骤S2中，使用大疆“御”无人机展开对内蒙古地区某一区域的豚草监测。通过无人机设备实时获取植被区域勘察视频流，将视频流输入无人机设备主控制器中进行分割计算并得到分割结果，最后将分割结果传输回终端从而实现对豚草的监测：

S3：将采集到的训练样本按照每张分辨率为1024*1024的尺寸切割，然后利用标注工具将豚草发生区域和非豚草发生区域使用不同的颜色值进行标注形成标签文件，由此制作完成训练数据样本集；

S4：网络模型选型与豚草分割模型训练测试：对于豚草监测任务，我们选择D-linknet语义分割网络，步骤S4中的D-LinkNet使用带有预编码器的Linknet作为backbone，并且在中心部分使用空洞卷积层；Linknet是一种高效的语义分段神经网络，它具有跳接、残差块和编码器-解码器体系结构的优势；原始的Linknet使用ResNet18作为其编码器，这是一个相当轻巧但性能不错的网络；Linknet在多个基准测试中均显示出很高的精度，并且运行速度非常快；

S5：采用了linknet作为主干网(backbone)，整体呈现U型结构，主体采用了Encoder-Decoder思想；左侧由浅到深从图像中抽取语义信息，右侧由深到浅做上采样空间信息恢复，最终生成热力图，步骤S7中的D-LinkNet使用在ImageNet数据集上预训练的ResNet34作为其编码器；ResNet34最初是为256×256尺寸的中分辨率图像分类而设计的，但在这一挑战中，任务是从1024×1024的高分辨率卫星图像中分割道路；考虑到狭窄性、连通性、复杂性和道路跨度长等方面，重要的是增加网络中心部分的特征的感受范围，并保留详细信息；使用池化层可以成倍增加特征的感受范围，但可能会降低中心特征图的分辨率并降低空间信息；空洞卷积层可能是池化层的理想替代方案；D-LinkNet使用几个空洞卷积层，中间部分带有skip-connection，本方法借助无人机平台，设计出高效且实时的深度神经网络D-linknet来完成对农耕区豚草的监测。整个系统的作业流程为：首先通过无人机采集豚草发生区域的图像作为训练样本，然后基于Pytorch深度学习框架设计高效且实时的D-linknet语义分割网络并对其训练样本进行模型训练，最后将生成的模型应用于对豚草的实时监测；

S6：为了能增强上采样过程中上下文信息的融合，中间层采用了孔洞卷积组串并联模型结构，五条串行孔洞卷积组的rate参数分别为1,2,4,8,16，步骤S6中的孔洞卷积组串并联模型尽量保留内部数据结构和避免下采样，就是增大感受野的情况下保留更多信息，代替pooling卷积前的下采样可以增大卷积核的感受野，广泛应用于语义分割与目标检测等任务中，语义分割中经典的deeplab系列与DUC对空洞卷积进行了深入的思考。目标检测中SSD与RFBNet，同样使用了空洞卷积，作用的每一点就相当于以前的两个点；

S7：使用D-linknet网络对3.1中的训练数据样本集进行训练学习，由此得到豚草分割模型；将该模型应用到实际图像测试中，可实时、精确的步骤S5中的Encoder-Decoder不是一种模型，而是一种框架，一种处理问题的思路，最早应用于机器翻译领域，输入一个序列，输出另外一个序列。机器翻译问题就是将一种语言序列转换成另外一种语言序列，将该技术扩展到其他领域，比如输入序列可以是文字，语音，图像，视频，输出序列可以是文字，图像，可以解决很多别的类型的问题。这一大类问题就是上图中的sequence-to-sequence问题分割出农耕区域的豚草发生区域。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。