基于分位数回归的短期负荷概率密度预测方法、装置及系统

技术领域

本发明属于智能电网电力负荷预测领域，具体涉及一种基于分位数回归的短期负荷概 率密度预测方法、装置及系统。

背景技术

相比于传统的电力负荷点预测过程，负荷的概率密度预测能给出分位数、预测区间或 概率密度函数等特征来描述电力负荷中的不确定性，受到学界和业界的持续关注。另外从 时间跨度上看，预测的范围可以从分钟、小时到天月年等。电网中不同的需求所对应的预 测时间跨度也不一样。由于短期电力负荷预测能够提供精确地电力负荷预测因而受到了广 泛的关注。

对于电力负荷短期概率密度预测，一般分为两步，第一步采用分位数回归分析获得电 力负荷的分位数，第二步采用核密度估计获得概率密度函数。线性分位数回归利用线性函 数描述电力负荷与参数间的关系，是较为基础的方法。由于电力负荷通常呈现非线性的特 征，线性函数所预测的结果并不是很优越。现阶段非线性的预测方法，如基于SVM模型、 基于CNN-GRU模型的方法等不能有效描述复杂时序数据的高阶特征，预测精度有待提高。 因此，提高电力负荷预测精度是亟需解决的问题。

发明内容

针对上述问题，本发明提出一种基于分位数回归的短期负荷概率密度预测方法、装置 及系统，能够提供更为精确的长期电力负荷概率密度预测。

为了实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：

第一方面，本发明提供了一种基于分位数回归的短期负荷概率密度预测方法，包括：

获取DL-LSTM-A深度网络模型，所述DL-LSTM-A深度网络模型包括若干个双层LSTM网络元胞和注意力机制模块，各双层LSTM网络元胞的输出端分别与所述注意力机 制模块相连；所述注意力机制模块将各双层LSTM网络元胞的输出进行加权求和；所述双 层LSTM网络元胞包括顺次相连的两个LSTM元胞；

利用训练数据训练获得DL-LSTM-A网络中待优化的各个参数，获得优化后的 DL-LSTM-A深度网络模型；

将获取到的电力负荷消耗的影响因素输入至优化后的DL-LSTM-A深度网络模型，获 得分位数；

采用非参数密度估计方法对分位数进行处理，获得最终的负荷概率密度函数，完成基 于分位数回归的短期负荷概率密度预测。

可选地，所述分位数的获取方法包括：

定义电力负荷预测值Y的计算公式为：

Y＝f(h,d,ty,s,te,n,l,Y

其中，h∈{1,2,…,24}为一天中的小时数，d∈{1,2,…,365}指一年中的某一天；ty是天 的类型，ty＝1指工作日，ty＝0指休息日；s指季节，用{1,2,3,4}分别代表春夏秋冬四个季 节，te指当前时刻的温度，用摄氏度来描述；n指当前终端所服务的用户数，Y

定义电力负荷预测值Y的分布函数为：

F(y)＝P(Y≤y)

则满足F(y)≥τ的最小y的值为变量y的第τ分位数，第τ分位数的表示形式为：

Q(τ)＝inf(y|F(y)≥τ)。

可选地，所述注意力机制模块的输出表达式为：

其中，n+1指所提注意力机制中元胞序列的长度，β

其中，||·||

可选地，假设经过DL-LSTM-A网络后，电力负荷预测值Y与网络参数W，V，b和 输入X＝[h,d,ty,s,te,n,l,Y

设计优化目标函数为：

其中||·||

其中，τ为在分位数，N为样本数量，Y

基于所述优化目标函数，结合adam优化算法进行参数优化，获得DL-LSTM-A网络中待优化的各个参数。

可选地，所述概率密度函数为：

其中，

可选地，各LSTM元胞包括4个门，第一个称为遗忘门，第一个门的输出f

f

sigmoid(·)为sigmoid函数；第二层和第三层分别称为输入层和tanh层，Tanh层引入 一个新的候选值，第二层i

i

tanh(·)为tanh函数，有了

O

h

其中W

第二方面，本发明提供了一种基于分位数回归的短期负荷概率密度预测装置，包括：

获取模块，用于获取DL-LSTM-A深度网络模型，所述DL-LSTM-A深度网络模型包 括若干个双层LSTM网络元胞和注意力机制模块，各双层LSTM网络元胞的输出端分别与 所述注意力机制模块相连；所述注意力机制模块将各双层LSTM网络元胞的输出进行加权 求和；所述双层LSTM网络元胞包括顺次相连的两个LSTM元胞；

优化模块，用于利用训练数据训练获得DL-LSTM-A网络中待优化的各个参数，获得优化后的DL-LSTM-A深度网络模型；

执行模块，用于将获取到的电力负荷消耗的影响因素输入至优化后的DL-LSTM-A深 度网络模型，获得分位数；

预测模块，用于采用非参数密度估计方法对分位数进行处理，获得最终的负荷概率密 度函数，完成基于分位数回归的短期负荷概率密度预测。

第三方面，本发明提供了一种基于分位数回归的短期负荷概率密度预测系统，包括处 理器和存储介质；

所述存储介质用于存储指令；

所述处理器用于根据所述指令进行操作以执行根据第一方面中任一项所述方法的步 骤。

与现有技术相比，本发明的有益效果：

本发明提出双层的LSTM元胞结构以更好地提取短期电力负荷预测的高阶特征，同时 引入注意力(attention)机制解决长序列问题中各部分的重点问题，得出不同分位点下电 力负荷预测结果。最后利用高斯核函数非参数估计方法，得到电力负荷概率密度预测。通 过本发明能够提供更为精确的长期电力负荷概率密度预测。

附图说明

为了使本发明的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本发 明作进一步详细的说明，其中：

图1为本发明一种实施例的DL-LSTM-A元胞结构示意图；

图2为本发明一种实施例的每一层LSTM结构示意图；

图3为本发明一种实施例的DL-LSTM-A网络模型示意图；

图4为本发明一种实施例的DL-LSTM-A分位数回归流程图；

图5为本发明一种实施例的DL-LSTM-A模型概率密度函数预测性能示意图；

图6不同模型下的中位数预测性能示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进 行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于 限定本发明的保护范围。

下面结合附图对本发明的应用原理作详细的描述。

实施例1

本发明实施例中提供了一种基于分位数回归的短期负荷概率密度预测方法，包括：

获取DL-LSTM-A深度网络模型，所述DL-LSTM-A深度网络模型包括若干个双层LSTM网络元胞和注意力机制模块，各双层LSTM网络元胞的输出端分别与所述注意力机 制模块相连；所述注意力机制模块将各双层LSTM网络元胞的输出进行加权求和；所述双 层LSTM网络元胞包括顺次相连的两个LSTM元胞，具体参见图3；

利用训练数据训练获得DL-LSTM-A网络中待优化的各个参数，获得优化后的 DL-LSTM-A深度网络模型；

将获取到的电力负荷消耗的影响因素输入至优化后的DL-LSTM-A深度网络模型，获 得分位数；

采用非参数密度估计方法对分位数进行处理，获得最终的负荷概率密度函数，完成基 于分位数回归的短期负荷概率密度预测。

下面结合一具体实施方式对本发明实施例中的方法进行详细说明。

首先对影响电力负荷消耗的影响因素进行分析。通过对特征的分析，提取电力负荷消 耗的因素主要受表I所示的因素影响。将电力负荷预测值Y建模为如下公式：

Y＝f(h,d,ty,s,te,n,l,Y

其中，h∈{1,2,…,24}为一天中的小时数，d∈{1,2,…,365}指一年中的某一天；ty是天 的类型，ty＝1指工作日，ty＝0指休息日；s指季节，用{1,2,3,4}分别代表春夏秋冬四个季 节，te指当前时刻的温度，用摄氏度来描述；n指当前终端所服务的用户数，Y

表1电力负荷的特征因素

定义电力负荷预测值Y的分布函数为：

F(y)＝P(Y≤y) (2)

那么满足F(y)≥τ的最小y的值为变量y的第τ分位数，可写成如下形式

Q(τ)＝inf(y|F(y)≥τ) (3)

在实际电网中，电力负荷与其影响因素是非线性的关系，且与以往的电力负荷存在关 联，因而存在记忆特性。以LSTM网络为基础，提出一种双层LSTM网络(double layerLSTM network with attention,DL-LSTM-A)的深度网络结构，并将其引入到分位数回归分析中。 附图1描述了所提的DL-LSTM-A模型中的元胞结构，在每一个元胞中，将两个LSTM单元进行连接，并将前一个LSTM层的输出作为后一个LSTM层的输入，该双层的结构能够 更好地提取出长序列的信息，从而提升模型的性能。另外，引进注意力机制，如图1所示， 每一个元胞有一个注意力模块，该模块将输入当前的输入和当前时刻的输出通过tanh层， 并经过归一化获得该时刻的注意力值，该注意力机制用于分析每一个元胞的重要程度，从 而进一步提升模型的有效性。

对于DL-LSTM-attention网络元胞中每一个LSTM层由传统的LSTM元胞构成，其主要结构如图2所示。每一层LSTM中有4个门，每一个门的输入输出关系可由下面的式 子表示。第一个称为遗忘门，第一个门的输出f

f

第二层和第三层分别称为输入层和tanh层，输入层的sigmoid函数决定要更新哪些信 息。Tanh层引入一个新的候选值，第二层输出和第三层输出与输入和网络参数之间的关系 分别用下式描述：

i

此时将旧状态更新为新状态，此时LSTM元胞的输出h

O

h

虽然上述LSTM网络具有记忆特性，但是其无法检测到哪个是影响电力负荷的序列的 重要部分。为解决此问题，在LSTM网络中设计了一种注意力机制，以在不同时间自动利用电力负荷序列中各个部分的重要性。附图3描述了所设计的注意力机制。在DL-LSTM-A 网络的注意力机制中，网络的输出是每一个DL-LSTM-A网络元胞的加权和，其表达式如 下式所示，

其中n+1指所提注意力机制中元胞序列的长度，β

其中，||·||

其中，

y＝f

得到上述模型以后，参数还是未知的，需要根据现有的数据对参数进行训练，即训练 参数(X,W,V,b)以使输出尽可能的精确。利用深度网络经典的Adam算法进行参数的优化。 在训练过程中为了防止模型过拟合，设计代价函数时考虑正则化，训练各参数W,V,b的优 化目标函数为：

其中||·||

其中，τ为在分位数，N为样本数量，Y

对于式(18)的优化问题，可以用传统的优化方法进行求解，本发明通过传统的adam 算法进行求解，可以获得参数W,V,b。求得参数以后，便可以获得电力负荷的分位数模型。 由上可知，经过DL-LSTM-A模型后可获得电力负荷分位数。此时采用非参数密度估计方法对电力负荷的分位数进行处理，可以获取最后的负荷的概率密度函数。由于高斯核函数非参数密度估计方法具有好的数学特征和广适性，本发明采用高斯核函数非参数密度估计方法获取用电负荷的概率密度函数。具体过程如下，定义概率密度函数可由高斯函数表示为

其中K(·)为高斯核函数，其表示为：

其中，σ为平滑参数，又称为带宽。那么找到各个平滑参数即可获得概率密度函数。得到平滑参数对负荷的密度函数的形状影响较大，当平滑参数带宽过小时，计算系统参数的点减少，导致高斯核函数偏差降低，方差增大，估计结果不稳定。而当带宽过大使得用 于计算的点增多，方差降低，偏差可能增大，但方法本质上要求带宽趋近于0，因此，带 宽的选择需要考虑到偏差－方差均。参数的选择对于负荷概率密度函数影响较大，并采用 交叉验证准则来获取参数。

主要思想及逻辑思路如图4所示。

利用安徽某一个县的电力数据作为样本,里面存在多个所的电力负荷数据，并分析各个 所的电力负荷数据。利用Tensorflow框架执行所提的DL-LSTM-A模型。采用Inteli7-8700 处理器和Nvidia GeForce RTX 2080Ti图形处理器。在训练模型时，批量大小为128，时间 序列长度为48，即把提前48个小时的数据作为一次训练数据。为了更快地获得训练结果， 首先对数据进行归一化，将X

将所提的DL-LSTM-A和常见的概率负荷预测算法如支持向量机分位数回归和CNN-GRU分位数回归这两种模型进行对比，所有方法中选取的分位点从0.01到0.99，为 间隔0.01的99个分位点。为了更好地验证所提方案的有效性，采用平均绝对百分比误差(mean absolute percentage error，MAPE)和最大相对百分比误差(maximal relativepercentage error，MRPE)为指标进行比较，其分别计算为

安徽2021年2月和3月两个月的历史负荷数据为基础。采用的数据集经过数据预处理操作如有效性检测、缺失值插补，归一化等以保证数据质量。在该数据集中，记录了每 一天每一个小时的电力负荷数据。在2月和3月两个月中，天气通常较冷。以2月1日到 3月20日的历史负荷数据为训练数据，对3月21日和3月22日的两天48小时的电力负 荷做出预测。运用DS-LSTM-A模型预测得到了3月21日和3月22日48个小时的的预 测结果，如附图5所示，附图5给出了四个时间点的模型所预测的概率密度函数、中位数 值以及实际电力负荷值，这四个时间点分别为5、10、15、20小时。从这四个图中可以看 出，实际的电力负荷值始终处于所提出的DL-LSTM-A模型的概率密度函数上面，在第5、 10、20小时时，电力负荷的实际值与DL-LSTM-A模型预测的概率密度函数最大所对应的 的值较接近。在第15个小时的时候，概率密度函数最大对应的负荷值与实际值存在一定 偏差，但仍处在概率密度线以上。另外，比较四个图中模型预测的中位数值和实际值可以 发现，中位数与实际值相近。因此可知，上述分析可得，L-LSTM-A模型所得到的预测值 与预测误差能够为电网工作人员提供较好地短期电力负荷预测方法，从而为做出电网控制 策略等提供可靠的信息。

附图6比较了DL-LSTM-A、SVM以及CNN-GRU模型预测的中位数。图6显示，与 SVR以及CNN-GRU模型相比，DL-LSTM-A模型所预测出的中位数更加接近于实际电荷 值，CNN-GRU比SVM模型具备更优的性能。由于DL-LSTM-A模型利用双层的LSTM结 构更好地利用了电荷序列间的高阶特征。同时，引入了注意力机制判别了序列各个部分的 重要性，从而能够提供比其他模型更加精确的预测结果，验证了DL-LSTM-A模型的有效 性。

为了更好地描述所提模型的有效性，表II描述了DL-LSTM-A、SVM以及CNN-GRU 模型所预测的电力负荷的误差统计，包括MAPE和MRPE。由表2可知，DL-LSTM-A模 型中的平均绝对误差为3.07％，其最大相对误差为4.58％，而CNN-GRU模型的平均绝对 误差为4.66％，其最大相对误差为6.83％；SVM模型的平均相对误差和最大相对误差最大， 分别为6.09％和9.46％。可以看出，DL-LSTM-A具有最小的相对误差，能够提供较高的预 测精度，较其他模型具有更优越的预测性能。

表2不同模型预测误差统计

实施例2

基于与实施例1相同的发明构思，本发明实施例中提供了一种基于分位数回归的短期 负荷概率密度预测装置，包括：

获取模块，用于获取DL-LSTM-A深度网络模型，所述DL-LSTM-A深度网络模型包 括若干个双层LSTM网络元胞和注意力机制模块，各双层LSTM网络元胞的输出端分别与 所述注意力机制模块相连；所述注意力机制模块将各双层LSTM网络元胞的输出进行加权 求和；所述双层LSTM网络元胞包括顺次相连的两个LSTM元胞；

优化模块，用于利用训练数据训练获得DL-LSTM-A网络中待优化的各个参数，获得优化后的DL-LSTM-A深度网络模型；

执行模块，用于将获取到的电力负荷消耗的影响因素输入至优化后的DL-LSTM-A深 度网络模型，获得分位数；

预测模块，用于采用非参数密度估计方法对分位数进行处理，获得最终的负荷概率密 度函数，完成基于分位数回归的短期负荷概率密度预测。

实施例3

本发明实施例中提供了一种基于分位数回归的短期负荷概率密度预测系统，包括处理 器和存储介质；

所述存储介质用于存储指令；

所述处理器用于根据所述指令进行操作以执行根据实施例1中任一项所述方法的步 骤。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员 应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明 的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化 和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等 效物界定。