公开/公告号CN114936664A
专利类型发明专利
公开/公告日2022-08-23
原文格式PDF
申请/专利权人 桂林电子科技大学;
申请/专利号CN202210269761.1
申请日2022-03-18
分类号G06Q10/04(2012.01);G06Q50/26(2012.01);G06N3/04(2006.01);G06N3/08(2006.01);G06V10/77(2022.01);G06V10/82(2022.01);
代理机构深圳市诺正鑫泽知识产权代理有限公司 44689;
代理人罗华
地址 541000 广西壮族自治区桂林市七星区金鸡路1号
入库时间 2023-06-19 16:26:56
法律状态公告日
法律状态信息
法律状态
2022-09-09
实质审查的生效 IPC(主分类):G06Q10/04 专利申请号:2022102697611 申请日:20220318
实质审查的生效
技术领域
本申请涉及环境领域,特别涉及一种基于混合深度学习模型的流域非点源污染预测方法。
背景技术
非点源污染是影响水环境的重要来源,其通过水质的变化预测提供解决方案。在中国重点流域,为数众多的水质在线监测站被构建,形成了连续时序的水质数据,提供了基础条件为人工智能的深度学习技术应用。然而,由于历史的数据中未出现过的极值条件,针对历史数据进行训练,在极值条件下,超出训练范围后的深度学习模型难以有效预测,使得深度学习模型预测精度会较低。
发明内容
有鉴于此,本申请提供一种基于混合深度学习模型的流域非点源污染预测方法。
本申请的基于混合深度学习模型的流域非点源污染预测方法包括:
获取预定流域在预定时间段的流域空间图像、水文气象数据以及污染物数据;
通过图像处理模型对所述流域空间图像处理,得到关于所述流域空间图像的空间特征值,所述图像处理模型由卷积神经网络训练得到;
对所述空间特征值、所述水文气象数据和所述污染物数据拼接处理,以得到数据集;
通过误差预测模型对所述数据集处理以得到目标站点在目标时间段内的目标污染物误差,所述误差预测模型由循环神经网络训练得到;和
根据所述目标污染物误差与所述污染物数据进行预测,得到所述目标站点在所述目标时间段的预测结果。
在某些实施方式中,所述通过图像处理模型对所述流域空间图像处理,得到关于所述流域空间图像的空间特征值,包括:
对所述流域空间图像进行图像分割处理,以得到所述目标站点的汇流单元的局部流域空间图像,所述局部流域空间图像包括土地利用图像、植被图像以及坡度图像;
对所述土地利用图像、所述植被图像以及所述坡度图像预处理,以生成满足所述图像处理模型输入格式要求的预处理图像;
根据所述图像处理模型对所述预处理图像进行处理,以生成所述空间特征值。
在某些实施方式中,所述根据所述图像处理模型对所述预处理图像进行处理,以生成所述空间特征值,包括:
对所述预处理图像进行卷积、池化以及全连接处理,生成时序高维特征值;
对所述时序高维特征值进行降维处理,得到所述空间特征值。
在某些实施方式中,所述对所述空间特征值、所述水文气象数据和所述污染物数据拼接处理,以得到数据集,包括:
根据其它检测站点的所述污染物数据对所述目标站点进行扩散模拟得到所述目标站点的模拟结果;
通过所述模拟结果与所述目标站点的所述污染物数据构建所述目标站点在所述预定时间段的历史污染物误差;
将所述空间特征值、所述水文气象数据、所述污染物数据和所述历史污染物误差进行拼接处理,以得到所述数据集。
在某些实施方式中,在将所述空间特征值、所述水文气象数据、所述污染物数据和所述历史污染物误差进行拼接处理,以得到所述数据集之前,所述水质预处方法还包括:
删除所述污染物数据中的错误数据和全天缺失数据;
利用所述污染物数据的平均值填充局部缺失数据;及
采用拉依达准则剔除所述污染物数据中的异常数据。
在某些实施方式中,在所述通过误差预测模型对所述数据集处理以得到目标站点在目标时间段内的目标污染物误差,所述误差预测模型由循环神经网络训练得到之前,所述基于混合深度学习模型的流域非点源污染预测方法还包括:
归一化处理所述数据集。
在某些实施方式中,所述水文气象数据包括电导率、氢离子浓度指数值、浊度值、流量值、水温和降雨。
在某些实施方式中,所述污染物数据包括总磷、总氮、高锰酸盐、氨氮和溶解氧的一种或多种。
本申请实施方式的基于混合深度学习模型的流域非点源污染预测方法,通过获取流域空间图像、水文气象数据以及污染物数据,并使用图像处理模型提取流域空间图像的空间特征特值,得到具备空间特征的时序多维数据,再将水文气象数据、污染物数据相结合形成数据集,输入至误差预测模型中,得到目标站点在目标时间段内的目标污染物误差,最后,再根据目标污染物误差与污染物数据进行预测,得到目标站点在目标时间段的预测结果,如此,在考虑流域空间信息的同时,兼顾了水质物理传输机理,有利于在非点源模拟方向的解释,并且通过计算出目标站点在目标时间段内的目标污染物误差完善了极值问题,从而有效地提升了水质预测精度。
本申请的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1是本申请某些实施方式的基于混合深度学习模型的流域非点源污染预测方法的流程示意图;
图2是本申请某些实施方式的水质预测装置的模块示意图;
图3是本申请某些实施方式的基于混合深度学习模型的流域非点源污染预测方法的场景示意图;
图4-7是本申请某些实施方式的基于混合深度学习模型的流域非点源污染预测方法的流程示意图;
图8是本申请某些实施方式的水质预测装置的模块示意图;
图9是本申请某些实施方式的基于混合深度学习模型的流域非点源污染预测方法的流程示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
请参阅图1,本申请提供一种基于混合深度学习模型的流域非点源污染预测方法,包括:
01,获取预定流域在预定时间段的流域空间图像、水文气象数据以及污染物数据;
02,通过图像处理模型对流域空间图像处理,得到关于流域空间图像的空间特征值,图像处理模型由卷积神经网络训练得到;
03,对空间特征值、水文气象数据和污染物数据拼接处理,以得到数据集;
04,通过误差预测模型对数据集处理以得到目标站点在目标时间段内的目标污染物误差,误差预测模型由循环神经网络训练得到;和
05,根据目标污染物误差与污染物数据进行预测,得到目标站点在目标时间段的预测结果。
请参阅图2,本申请实施方式提供了一种水质预测装置100。水质预测装置100包括获取模块110、第一处理模块120、拼接模块130、第二处理模块140和预测模块150。
其中,步骤01可以由获取模块110实现,步骤02可以由第一处理模块120实现,步骤03可以由拼接模块130实现,步骤04可以由第二处理模块140实现,步骤05可以由预测模块150实现。或者说,获取模块110可以用于获取预定流域在预定时间段的流域空间图像、水文气象数据以及污染物数。第一处理模块120可以用于通过图像处理模型对流域空间图像处理,得到关于流域空间图像的空间特征值,图像处理模型由卷积神经网络训练得到;拼接模块130可以用于对空间特征值、水文气象数据和污染物数据拼接处理,以得到数据集;第二处理模块140可以用于通过误差预测模型对数据集处理以得到目标站点在目标时间段内的目标污染物误差,误差预测模型由循环神经网络训练得到;预测模块150可以用于根据目标污染物误差与污染物数据进行预测,得到目标站点在目标时间段的预测结果。
本申请还提供了一种电子设备,包括存储器和处理器,存储器存储有计算机程序,当计算机程序被处理器执行时,使得处理器实现上述基于混合深度学习模型的流域非点源污染预测方法。也即是,处理器用于获取预定流域在预定时间段的流域空间图像、水文气象数据以及污染物数据,并通过图像处理模型对流域空间图像处理,得到关于流域空间图像的空间特征值,图像处理模型由卷积神经网络训练得到;以及对空间特征值、水文气象数据和污染物数据拼接处理,以得到数据集;再通过误差预测模型对数据集处理以得到目标站点在目标时间段内的目标污染物误差,误差预测模型由循环神经网络训练得到;最后根据目标污染物误差与污染物数据进行预测,得到目标站点在目标时间段的预测结果。
本申请的基于混合深度学习模型的流域非点源污染预测方法、水质预测装置和电子设备中,通过获取流域空间图像、水文气象数据以及污染物数据,使用图像处理模型提取流域空间图像的空间特征特值,得到具备空间特征的时序多维数据,再将水文气象数据、污染物数据相结合形成数据集,输入至误差预测模型中,得到目标站点在目标时间段内的目标污染物误差,最后,再根据目标污染物误差与污染物数据进行预测,得到目标站点在目标时间段的预测结果,如此,在考虑流域空间信息的同时,兼顾了水质物理传输机理,有利于在非点源模拟方向的解释,并且通过计算出目标站点在目标时间段内的目标污染物误差完善了极值问题,从而有效地提升了水质预测精度。
在一些实施方式中,水质预测装置100可以是电子设备的一部分。或者说,电子设备包括水质预测装置100。
在一些实施方式中,水质预测装置100可以是一定方式组装以具有前述功能的分立元件、或者是以集成电路形式存在具有前述功能的芯片、又或者是在计算机上运行时使得计算机具有前述功能的计算机软件代码段。
在一些实施方式中,作为硬件,水质预测装置100可以是独立或者作为额外增加的外围元件加装到电子设备。水质预测装置100也可以集成到电子设备上,例如,水质预测装置100是电子设备的一部分时,水质预测装置100可以集成到处理器上。
需要说明的是,预定流域包括多个水质检测站点,水质检测站点可连续监测到污染物数据以及水文气象数据,目标站点为可以为多个水质检测站点中的任意一个。预定流域的流域空间图像可以从地理空间数据云获取。
水文气象数据包括但不限于电导率(EC)、氢离子浓度指数(PH)、浊度(TB)、流量(Q)、水温(WT)和降雨(PCP),污染物数据包括但不限于总磷(TP)、总氮(TN)、高锰酸盐(CODMn)、氨氮(NH3-N)和溶解氧(DO)。流域空间图像包括土地利用图像、植被图像以及坡度图像。
还需要说明的是,预定时间段与目标时间段为相邻两段时间,例如,预定时间段为某日0-12时这个时间段,目标时间段为该日12-14时这个时间段,又例如,预定时间段为今年1月份到3月份期间的时间段,目标时间段为4月份期间的时间段。
卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络,卷积神经网络,能够按其阶层结构对输入信息进行平移不变分类(shift-invariant classification)。可以理解地,水质污染变化受地形、植被及坡度等空间因素的影响而具有非线性趋势,而卷积神经网络在解决非线性结构数据的问题上具有很好的效果,特别是图像特征提取方面,因此,可以由卷积神经网络训练得到的图像处理模型对流域空间图像进行特征提取,得到空间特征值。在本申请实施方式中,卷积神经网络可以为VGG网络,也即是,图像处理模型可以由VGG网络通过训练得到。
循环神经网络(Recurrent Neural Network,RNN)是一类以序列数据为输入,在序列的演进方向进行递归(recursion)且所有节点(循环单元)按链式连接的递归神经网络(recursive neural network)。在本实施方式中,循环神经网络可以为长短期记忆(LongShort-Term Memory,LSTM)网络。也即是,误差预测模型由LSTM网络训练得到。
例如,请结合图3,在一些实施方式中,为了验证本申请中的基于混合深度学习模型的流域非点源污染预测方法的预测性能,采用本申请的基于混合深度学习模型的流域非点源污染预测方法预测了某个目标站点在300小时内关于溶解氧的浓度预测值,并与在目标站点实际监测得到的溶解氧的浓度实际值作比较,可以得出,在300小时内,目标站点的溶解氧浓度预测值与实际浓度值趋势表现一致。因此,本申请的基于混合深度学习模型的流域非点源污染预测方法具有较好的预测性能。
请参阅图4,在某些实施方式中,步骤02包括子步骤:
021,对流域空间图像进行图像分割处理,以得到目标站点的汇流单元的土地利用图像、植被图像以及坡度图像;
022,对土地利用图像、植被图像以及坡度图像预处理,以生成满足图像处理模型输入格式要求的预处理图像;
023,根据图像处理模型对预处理图像进行处理,以生成空间特征值。
请进一步结合图2,在某些实施方式中,子步骤021-023可以由第一处理模块120实现。或者说,第一处理模块120可以用于对流域空间图像进行图像分割处理,以得到目标站点的汇流单元的土地利用图像、植被图像以及坡度图像,并对土地利用图像、植被图像以及坡度图像预处理,以生成满足图像处理模型输入格式要求的预处理图像,以及根据图像处理模型对预处理图像进行处理,以生成空间特征值。
在某些实施方式中,处理器可以用于对流域空间图像进行图像分割处理,以得到目标站点的汇流单元的土地利用图像、植被图像以及坡度图像,并对土地利用图像、植被图像以及坡度图像预处理,以生成满足图像处理模型输入格式要求的预处理图像,以及根据图像处理模型对预处理图像进行处理,以生成空间特征值。
需要说明的是,由于目标站点是预定流域中的某个水质监测站点,因此,需要对流域空间图像进行分割,而得到目标站点的汇流单元的局部流域空间图像,即得到关于目标站点的汇流单元的土地利用图像、植被图像以及坡度图像。
在本申请中,将土地利用图像、植被图像以及坡度图像转换图像大小为224x224x3的预处理图像,再输入至图像处理模型处理,得到空间特征值。
如此,得到的空间特征值包含了目标站点的汇流单元的土地利用率、植被以及坡度特征。
请参阅图5,在某些实施方式中,步骤023包括子步骤:
0231,对预处理图像进行卷积、池化以及全连接处理,生成时序高维特征值;
0232,对时序高维特征值进行降维处理,得到空间特征值。
请进一步结合图2,在某些实施方式中,子步骤0231-0232可以由第一处理模块120实现。或者说,第一处理模块120可以用于对预处理图像进行卷积、池化以及全连接处理,生成时序高维特征值,以及对时序高维特征值进行降维处理,得到空间特征值。
在某些实施方式中,处理器可以用于对预处理图像进行卷积、池化以及全连接处理,生成时序高维特征值,以及对时序高维特征值进行降维处理,得到空间特征值。
需要说明的是,图像处理模型中,卷积层采用的是连续的3x3的卷积核,最大池化尺寸为2x2。其中,采用堆积的小卷积核优于大的卷积核,因为多层非线性层可以增加网络深度来保证学习更复杂的模式。并且,卷积层中,每一层的输入是上一层输出的小部分,这一小部分的尺寸与卷积核大小相同,卷积层对每上一层的小部分进行再分析,从而得到更加抽象的图像特征。
卷积层的数学表达式(1)可以为:
l表示网络的第l层;M
池化层的作用是缩小输入特征图的尺寸,以简化卷积神经网络计算的复杂度,其中,最大池化方法输出输入特征的最大值。
池化层的数学表达式(2)可以为:
其中,p(·)为池化函数;β为权重;b为偏置。
进一步地,在对预处理图像进行卷积、池化以及全连接处理得到时序高维特征值后,由于高维冗余特征会带来的噪音影响,因此,可对高维特征进行降维处理,从而得到空间特征值。其中,降维处理方法可以为主成分分析方法(Principal Component Analysis,PCA)。如此,得到的空间特征值可以避免噪音干扰。
另外,还需要说明的是,在对VGG网络进行训练以得到图像处理模型的过程中,训练图像可以是从地理空间数据云获取的历史流域空间图像。并且可以采用ReLU函数作为激活函数,从而可以有效避免梯度消失的问题,加快训练速度。
激活函数的数学表达式(3)可以为:
f(x)=max(0,x) (3)
请参阅图6,在某些实施方式中,步骤03包括子步骤:
031,根据其它检测站点的污染物数据对目标站点进行扩散模拟得到目标站点的模拟结果;
032,通过模拟结果与目标站点的污染物数据构建目标站点在预定时间段的历史污染物误差;
033,将空间特征值、水文气象数据、污染物数据和历史污染物误差进行拼接处理,以得到数据集。
请进一步结合图2,在某些实施方式中,子步骤031-032可以由拼接模块130实现。或者说,拼接模块130可以用于根据其它检测站点的污染物数据对目标站点进行扩散模拟得到目标站点的模拟结果,并通过模拟结果与目标站点的污染物数据构建目标站点在预定时间段的历史污染物误差,以及将空间特征值、水文气象数据、污染物数据和历史污染物误差进行拼接处理,以得到数据集。
在某些实施方式中,处理器可以用于根据其它检测站点的污染物数据对目标站点进行扩散模拟得到目标站点的模拟结果,并通过模拟结果与目标站点的污染物数据构建目标站点在预定时间段的历史污染物误差,以及将空间特征值、水文气象数据、污染物数据和历史污染物误差进行拼接处理,以得到数据集。
需要说明的是,污染物在河流中的迁移和扩散过程可以描述为:
其中,C(x,t)为其它水质检测站的污染物通过迁移和扩散之后到达目标站点的污染物浓度(理论浓度),x为距离,t为时间;u为断面平均流速;E为水流方向上的纵向扩散系数,根据经验公式推求而来;k为污染物衰减系数。
可通过公式(4)计算出在预定时间段内,各个水质检测站迁移和扩散至目标站点的污染物浓度,从而得到目标站点在预定时间段内的模拟结果。
进一步地,由于目标站点在预定时间段内的污染物数据已经获取得到,可将计算得到的目标站点在预定时间段内的模拟结果与实际监测的污染物数据计算出均方根RMSE,即可得到目标站点在预定时间的历史污染物误差。均方根RMSE的计算公式可以为:
式中,
另外,为了减少极值预测误差,还可利用模拟-观测差异来稳定水质时间序列,模拟-观测差异实现的数学表达式如下:
X
其中,X
更进一步地,在得到目标站点在预定时间段的历史污染物误差后,可依据时间顺序对预定时间段在不同时刻的数据进行排列,再对历史污染物误差、水文气象数据、污染物数据以及空间特征值进行拼接处理得到数据集。
例如,历史污染物误差E{E
如此,将数据集输入误差预测模型中,即可得到目标站点在目标时间段的目标污染物误差。
请参阅图7,在某些实施方式中,在步骤03之前,基于混合深度学习模型的流域非点源污染预测方法还包括:
06,删除污染物数据中的错误数据和全天缺失数据;
07,利用污染物数据的平均值填充局部缺失数据;及
08,采用拉依达准则剔除污染物数据中的异常数据。
请结合图8,在某些实施方式中,水质预测装置100还包括预处理模块160,步骤06至步骤08可以由预处理模块160实现。或者说,预处理模块160可以用于删除污染物数据中的错误数据和全天缺失数据,利用污染物数据的平均值填充局部缺失数据,采用拉依达准则剔除污染物数据中的异常数据。
在某些实施方式中,处理器用于删除污染物数据中的错误数据和全天缺失数据,利用污染物数据的平均值填充局部缺失数据,采用拉依达准则剔除污染物数据中的异常数据。
如此,通过对污染物数据进行删除、填充以及剔除异常等预处理,使得根据预处理后污染物数据得到的预测结果更准确,从而有效提高了预测精度。
请结合图9,在某些实施方式中,在步骤04之前,基于混合深度学习模型的流域非点源污染预测方法还包括:
09,归一化处理数据集。
请进一步参与图8,在某些实施方式中,步骤09可以由预处理模块160实现。或者说,预处理模块160可以用于归一化处理数据集。
在某些实施方式中,处理器可用于归一化处理数据集。
在本实施方式中,可选用Z-score标准化方法归一化数据集,需要说明的是,z-score标准化是将数据按比例缩放,使之落入一个特定区间。如此,将归一化处理后的数据集输入值误差预测模型中,可以提高误差预测模型的预测精度。从而得到更为准确的预测结果。
本申请实施方式还提供了一种非易失性计算机可读存储介质,计算机读存储介质存储有计算机程序,当计算机程序被处理器执行时,使得处理器执行上述的基于混合深度学习模型的流域非点源污染预测方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其他任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc,DVD))、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
机译: 滤膜污染重要因素计算装置、污染发生预测装置、重要因素计算方法、污染发生预测方法、程序、训练模型、存储介质、训练模型创建方法
机译: 一种预测牛奶产量,TMR以实现目标乳产量或TMR以实现基于深度学习预测模型的最大牛奶产率
机译: 基于深度学习方法建立的光伏组件加速退化模型及预测光伏组件寿命的方法