一种基于迭代聚集网格搜索算法的支持向量回归模型

技术领域

本发明涉及短期电力负荷预测技术领域，尤其涉及一种基于迭代聚集网格搜索算法的支持向量回归模型。

背景技术

短期电力负荷预测是全球关注的问题，因为世界各地的电力公司都有责任满足其用户的电力需求。准确的负荷预测不仅是制定电价的基础，也是规划、管理和运营供电系统的必要条件。由于电能的产生和消耗是同步完成的，这就要求两者必须处于平衡状态。若供电不足，则会导致小面积停电概率；若供电过量，则会导致电能的浪费。因此，准确的电力负荷预测节约了不必要的用电浪费，减少了电力系统相关资源的浪费，符合经济的可持续发展。短期负荷预测为电力公司的有效管理和社会的稳定运行提供了有力的保障。因此，提高短期电力负荷预测的准确性具有重要的现实意义。

电力负荷预测是指综合考虑各种因素(经济、政治、环境、历史负荷和日类型等)对负荷消耗行为的影响，从而分析未来负荷消耗行为的发展趋势。一般地，电力负荷预测大概有两种主要方法，包括统计方法和人工智能方法。统计方法，如自回归移动平均(ARMA)、自回归差分移动平均(ARIMA)、指数平滑、线性回归等，与人工智能方法相比，这些方法建模相对简单，不需要复杂的参数选择过程，或者可以使用默认参数来获得良好的效果。统计方法基于统计分析技术，对于样本量小、关系简单的数据，可以快速获得良好的预测效果。如今，电力负荷受多种因素的影响而呈现出非线性和随机性模式，这使在建立预测模型时增加了模型的复杂度。因此，简单的统计方法逐渐不适合现代社会的负荷预测。

人工智能方法的独特特点使它们能够充分了解电力负荷与其建模中使用的变量之间的潜在的非线性关系。人工智能方法包括基于知识的专家系统、模糊推理、人工神经网络(ANN)和支持向量回归(SVR)。其中，ANN和SVR因其处理非线性数据的强大能力而受到广泛关注。因此，ANN和SVR被许多学者所采用，并与其他技术相结合来提高预测性能。Khwaja等人提出了一种将bagging和boosting技术相结合的神经网络模型，并证明该方法与现有的负荷预测方法相比，减少了预测误差。一些研究人员基于特定的建筑物将神经网络的性能与ARIMA模型进行了比较，发现神经网络的预测精度比ARIMA高22.6％。神经网络得到了进一步发展，Chitalia等人提出了一个用于不同国家的不同类型的商业建筑负荷预测的递归神经网络框架。Huang等人提出了一个用于新英格兰地区的卷积神经网络概率预测模型。然而，神经网络中有许多参数需要确定，如层数、隐藏层的神经元数、激活函数和学习率等，如果这些参数选择不当，可能存在欠拟合或者过拟合的风险。

SVR作为人工智能方法的主要代表，与神经网络相比，它具有更好的泛化能力。SVR的最初版本是支持向量机(SVM)，为了用于回归，从而扩展出了回归版本。SVR已被广泛应用于现实生活中，并在渗透率估计，风速预测，空气质量预测，COVID-19病例预测等方面表现出色。SVR的最优性能和非线性核变换在很大程度上取决于其参数设置，但该过程的复杂度为O(N^3)(N是训练数据的个数)。因此，在许多研究中，SVR参数是研究的关键，这也是本发明的主要发明内容之一。学者们将一些参数优化技术与SVR相结合进行建模，从而取得了较好的效果。Wang等人提出了一种结合差分进化(DE)算法的SVR模型用于年负荷预测，结果表明该模型的性能优于bp神经网络模型和回归模型。Yang等人提出了一种基于支持向量回归的序列网格方法(SGA-SVR)，证明了该模型比默认参数的SVR模型具有更高的性能。

目前，除了上述学者提出的参数优化技术外，还有一些典型的参数优化技术，包括遗传算法(GA)、粒子群优化(PSO)、蚁群优化(ACO)、模拟退火(SA)等等。通过将这些技术应用到实际问题中，Akande等人使用PSO算法去选择用于油气藏渗透率预测的SVR模型的参数。Hong等人利用PSO算法对SVR模型的参数组合进行优化，可以有效地保证所提出的SVR-PSO模型具有可接受的预测精度。Wen利用ACO算法对用于风力发电机的极限学习机网络的初始权重和阈值进行优化。这些优化算法大多为元启发式算法，通常使用乱数搜寻技巧。它们可以应用在非常广泛的问题上，但不能保证每次优化的可靠性。针对这个问题，一个很好的替代方法是常用的参数优化方法，即网格搜索法(GS)。网格搜索法是一种常规的参数优化方法。但是，由于其网格设置是均匀分布的，所有网格点都必须经过细化才能实现精细的搜索，这使得在参数优化过程中浪费了大量的网格设置，大大降低了计算效率。因此，针对网格搜索计算效率低和元启发式算法不能保证优化的可靠性这两个问题，本发明提出了一种迭代聚集网格搜索(IFGS)算法，它通过检查每个子区域的性能来搜索最优子区域，从而避免了网格设置的大量浪费。其主要思想是：在首次迭代中，算法在一个相对较大的网格区域内搜索最优子区域。然后，在最优子区域中再次搜索最优子区域，从而实现了网格区域的动态聚集。由于这种搜索策略没有在整个网格范围内执行精细搜索，因此可以显著降低算法的时间复杂度又保证了优化的可靠性。

发明内容

本发明的目的就在于为了解决上述问题而提供一种基于迭代聚集网格搜索算法的支持向量回归模型。

本发明通过以下技术方案来实现上述目的：

本发明包括以下步骤：

S1：支持向量回归的函数定义为：

f(x)＝ωψ(x)+b (1)

其中，ω为权重向量,b为常数，以下表达式被定义为优化函数；

上述优化函数是一个二次规划问题，根据前面的算法，将此二次规划问题引入Lagrange乘子，并转化为其对偶空间进行求解：

因此，原优化问题可以转化为无约束形式，优化目标满足KKT条件，即利用Lagrange对偶将优化问题转化为等价对偶问题，求解过程是：首先求优化函数L对ω,b,ξ,ξ

S2：使用径向基(RBF)核函数：K(x

在建模之前需要确定三个参数(C，γ，ε)；

S3：网格搜索法：在网格搜索法中，设网格中参数C、γ和ε的所有可能取值的数量为K、L和M，则三维网格点的数目为K*L*M，因此，网格搜索法的参数优化的时间复杂度可由以下表达式给出：

T

假设K＝L＝M,则等式(8)可以转换为：

T

为了得到一个好的参数组合，K，L，M通常设置得非常大，因此网格搜索法的时间复杂度是一个非常大的值；

S4：迭代聚集网格搜索：在首次迭代中，算法在一个相对较大的网格区域内搜索最优子区域。然后，随着算法的迭代，在最优子区域中再次搜索最优子区域，从而实现了有网格区域的动态聚集。由于这种搜索策略没有在整个网格范围内执行精细搜索，因此可以显著降低算法的时间复杂度；

进一步，所述步骤S4的迭代聚集网格搜索算法包括以下步骤：

输入：

训练数据集：D；

参数搜索区间：a

每个维度的网格点数：g；停止条件：δ

输出：

SVR模型的全局最优参数组合：(C

算法的总迭代次数：T

步骤1：计算参数的取值间隔(步长)：λ

步骤2：生成参数的所有取值；

步骤3：以三个参数的所有取值构建一个三维网格；

步骤4：使用网格中的点建立SVR模型；

步骤5：计算适应度；

步骤6：获取最优适应度；

步骤7：获取最优适应度对应的参数组合；

步骤8：计算误差变化量：e；

步骤9：If e＜δ,Then返回全局最优参数组合(C

进一步，所述迭代聚集网格搜索算法中需要确定网格搜索区域中的网格点个数，即g参数的值，那么整个网格搜索区域中的网格点总数为g

T

其中，T是算法的总迭代次数；一般来说，g＜＜K；这样本发明就可以得到：

T

因此，迭代聚集网格搜索可以大大降低时间复杂度，并且得到最优解；假设在第h次迭代中，搜索区间如下：

根据给定的g参数，本发明可以计算参数的取值间距(步长)，如下式所示：

根据步长可以生成参数的所有取值，分别保存到数组里；参数的所有取值如下所示：

这样，以参数γ的所有取值为x轴，参数C的所有取值为y轴，参数ε的所有取值为z轴建立一个三维网格，这样每个网格点代表一个参数组合。网格中的每个参数组合均被用来建立SVR模型，然后计算其适应度。当遍历了所有的网格点后，也就得到了一个g×g×g的三维适应度矩阵。为了方便展示，我们在此只以参数C和参数γ的二维矩阵为例。经过一次迭代，我们可以得到一个适应度矩阵，用M表示；

上标h表示第h次迭代；这样，通过函数min()就可以得到适应度矩阵中的最优适应度，用minMAE表示。当前最优适应度对应的参数组合用(C′,γ′,ε′)表示，称为局部最优参数组合。也就是说，在本次迭代中，用该参数组合所建立的SVR模型的性能最好，则表明(C′,γ′,ε′)是本次迭代中最好的参数。获取矩阵中最小的值可以用式(16)表示；min()函数由Python自带的工具包提供；min()计算机领域常用术语，min()是Python自带的一个函数，括号内为需要获取最小值的容器，函数返回该容器中的最小值。

minMAE

同理，再经过一次迭代，可以得到在该次迭代中的最优适应度。这样，误差变化量可以由式(17)给出；注意，算法在第二次迭代后才开始计算误差变化量；

e＝|minMAE

更新搜索区间：

在计算出误差变化量后，需要判断是否满足停止条件。如果满足停止条件，则全局最优参数组合，用(C

(C

如果不满足停止条件，则需要更新搜索区间。分为三种情况：假如C′刚好落于搜索区间的上界，则参数C的搜索区间上界b

同理，参数γ和参数ε的新的搜索区间也可以得到，如式所示；

这样，随着算法的迭代，网格区域朝着全局最优参数组合的方向逐渐聚集。因为g参数是一个常数，所以步长将会变得越来越小，从而实现精细的搜索。

本发明的有益效果在于：

本发明是一种基于迭代聚集网格搜索算法的支持向量回归模型。具体地说，提出了一种迭代聚集网格搜索的SVR参数选择方法。其基本原理是：在首次迭代中，算法在一个相对较大的网格区域内搜索最优子区域。然后，在最优子区域中再次搜索最优子区域，从而实现了有网格区域的动态聚集。为此，提出了一种基于迭代聚集网格搜索的支持向量回归(IFGS-SVR)模型，并将该模型应用于短期电力负荷预测。理论上，该IFGS-SVR模型可以显著减少参数优化时间和计算开销，实验结果证明了这一点。同时，实验结果也表明IFGS-SVR模型比基准模型具有更高的精度。

附图说明

图1是本发明的迭代聚集网格搜索的流程图；

图2是日常负荷曲线和每日温度变化图；

图3是最优适应度和步长的变化情况图；

图4是迭代聚集网格搜索算法在迭代过程中网格搜索区域的变化图，阴影部分为最优子区域；

图5是不同的g参数下的最优适应度和优化时间图；

图6是IFGS-SVR模型的预测结果及点预测误差图；

具体实施方式

本发明提出了一种迭代聚集网格搜索的SVR参数选择方法。其基本原理是：在首次迭代中，算法在一个相对较大的网格区域内搜索最优子区域。然后，在最优子区域中再次搜索最优子区域，从而实现了有网格区域的动态聚集。为此，提出了一种基于迭代聚焦网格搜索的支持向量回归(IFGS-SVR)模型，并将该模型应用于短期电力负荷预测。理论上，该IFGS-SVR模型可以显著减少参数优化时间和计算开销，在国家自然科学基金(GrantNo.71971105),国家统计科学研究项目(Grant No.2020LZ03)，江西省双千计划项目(GrantNo.jxsq2019201064)进行实验，实验结果证明了这一点。同时，实验结果也表明IFGS-SVR模型比基准模型具有更高的精度。

下面结合附图对本发明作进一步说明：

支持向量回归：支持向量回归的函数可以被定义为：

f(x)＝ωψ(x)+b (1)

其中，ω为权重向量,b为常数。以下表达式被定义为优化函数。

上述优化函数是一个二次规划问题。根据前面的算法，将此二次规划问题引入Lagrange乘子，并转化为其对偶空间进行求解。

因此，原优化问题可以转化为无约束形式。本发明的优化目标满足KKT条件，即利用Lagrange对偶将优化问题转化为等价对偶问题。求解过程是：首先求优化函数L对ω,b,ξ,ξ

核函数：

支持向量回归理论上只考虑高维特征空间中的点积运算K(x

表1一些常见的核函数

综上所述，在建模之前需要确定三个参数(C，γ，ε)，这对于SVR能否获得良好的性能至关重要。惩罚因子C起着平衡模型复杂度和训练误差的作用。参数γ控制RBF核函数的宽度。ε表示训练数据点的近似精度。在下一节中，将详细介绍本发明提出的用于选择这三个参数(C，γ，ε)的方法。

SVR的参数选择：

网格搜索法是一种蛮力方法，又称枚举法，在参数优化中得到了广泛的应用。网格搜索法通过将所有可能的解组合成一个网格区域，即网格中的一个点代表一个解，然后遍历网格中所有的点来搜索最佳参数。当网格区域足够大、步长足够小时，该方法一般都能得到全局最优解，但是以耗时较长为代价。在支持向量回归中，假设网格中参数C、γ和ε的所有可能取值的数量分别为K、L和M，则三维网格的点数量为K*L*M。因此，网格搜索法的参数优化的时间复杂度可由以下表达式给出：

T

假设K＝L＝M,则等式(7)可以转换为：

T

一般来说，为了得到一个好的解，K，L，M通常设置得非常大，因此网格搜索法的时间复杂度是一个非常大的值。换句话说，网格搜索法需要大量的执行时间和计算开销。

迭代聚集网格搜索：

基于以上原因，我们提出了一种迭代聚集网格搜索来解决支持向量回归的参数优化问题。在首次迭代中，算法在一个相对较大的网格区域内搜索最优子区域。然后，在最优子区域中再次搜索最优子区域，从而实现了有网格区域的动态聚集。由于这种搜索策略没有在整个网格范围内执行精细搜索，因此可以显著降低算法的时间复杂度。

迭代聚集网格搜索工作可以总结如下。首先，给定搜索区域R∈{(C,γ,ε)|a≤(C,γ,ε)≤b}，其中a是搜索区间的下界，b是搜索区间的上界；给定每个维度的网格点数，用g表示；给定停止阈值，用δ表示。算法通过检查每个子区域的性能来搜索最优子区域，然后通过更新搜索区间的上下界将最优子区域作为下一次迭代的网格搜索区域。每个子区域的性能通过适应度函数来衡量。在此，本发明使用10则交叉验证平均绝对误差作为适应度函数，它的数学模型为：

算法1迭代聚集网格搜索

算法1给出了迭代聚集网格搜索的具体实施步骤。其主要思想是：在算法迭代过程中逐步聚集网格区域，步长也相应地减小，从而使搜索精度变得越来越精细。此外，与元启发式算法相似，通过给定不同的适应度函数，本发明所提出的算法也可以推广到其他的参数优化问题，例如ANN和随机森林。

在本发明中，需要确定网格搜索区域中的网格点个数，即g参数的值，则整个网格搜索区域中的网格点总数为g

T

其中，T是算法的总迭代次数。一般来说，g＜＜K。这样本发明就可以得到：

T

因此，迭代聚集网格搜索可以大大降低时间复杂度，并且得到最优解。假设在第h次迭代中，搜索区间如下：

根据给定的g参数，本发明可以计算参数的取值间距(步长)，如下式所示。

根据步长可以生成参数的所有取值，分别保存到数组里。参数的所有取值如下所示。

以参数γ的所有取值为x轴，参数C的所有取值为y轴，参数ε的所有取值为z轴建立一个三维网格，这样每个网格点代表一个参数组合。网格中的每个参数组合均被用来建立SVR模型，然后计算其适应度。当遍历了所有的网格点后，也就得到了一个g×g×g的三维适应度矩阵。为了方便展示，我们在此只以参数C和参数γ的二维矩阵为例。经过一次迭代，我们可以得到一个适应度矩阵，用M表示。

上标h表示第h次迭代。这样，通过min()函数就可以得到适应度矩阵中的最优适应度。当前最优适应度对应的参数组合用(C′,γ′,ε′)表示，称为局部最优参数组合。也就是说，在本次迭代中，用该参数组合所建立的SVR模型的性能最好，则表明(C′,γ′,ε′)是最好的参数。获取矩阵中最小的值可以用式(16)表示。min()函数由Python自带的工具包提供。

minMAE

同理，再经过一次迭代，可以得到在该次迭代中的最优适应度。这样，误差变化量可以由式(17)给出。注意，算法在第二次迭代后才开始计算误差变化量。

e＝|minMAE

更新搜索区间：

在计算出误差变化量后，需要判断是否满足停止条件。如果满足停止条件，则全局最优参数组合，用(C

(C

如果不满足停止条件，则需要更新搜索区间。分为三种情况：假如C′刚好落于搜索区间的上界，则参数C的搜索区间上界b

同理，参数γ和参数ε的新的搜索区间也可以得到，如式所示。

这样，随着算法的迭代，网格区域朝着全局最优参数组合的方向逐渐聚集。因为g参数是一个常数，所以步长将会变得越来越小，从而实现精细的搜索。图1展示了迭代聚焦网格搜索的流程。

实施例：

案例研究：

这部分演示了基于迭代聚集网格搜索算法的支持向量回归模型(IFGS-SVR)在一个真实案例下的性能评估。评估是在Python进行的。

数据集说明：

本发明以江西省某县的一年电力负荷数据为例。江西省是中国的农业大省，截止2020年全省常住人口为4666.1万人，对其进行电力负荷预测有着重要的现实意义。电力负荷数据包含了从2013年1月1日到2013年12月31日期间365天的日负荷序列和日最高温度、最低温度序列。用前七天的负荷来预测未来一天的负荷需求，因此可以将日负荷序列转换为输入-输出模式的数据集。随机抽取85％作为训练集，用于训练模型和选择参数。剩下的15％作为测试集，用于评估模型的性能。数据集的划分如表2所示。

表2划分数据集

图2显示了江西省某县的日常电力负荷消耗和每日温度情况。如图2所示，电力负荷曲线从6月份开始上升，到8月中旬达到峰值，然后开始下降。一个可能的原因是这期间的温度相对较高，人们需要使用空调等制冷电器设备来降低室内温度，使耗电量增加。从9月到次年的1月，电力负荷曲线缓慢上升。这是因为江西省的温度从9月份开始降低，人们需要打开制暖工具来维持舒适的室内温度。电力负荷曲线中的几个突变值可能是由于停电、政治等因素引起的。

数据标准化和预测评估标准：

一般情况下，为了避免输入特征的取值范围数据差异较大带来的影响，通常对数据进行标准化处理。以下公式用于标准化数据：

其中μ和σ分别是原始数据x的均值和标准差。

本发明选取了五个评价标准评估提出模型的性能，即MAE、RMSE、MAPE、R

表3评价标准

基于迭代聚集网格搜索的SVR参数选择：

这部分演示了迭代聚集网格搜索算法的迭代过程。文献说明了C和γ是影响SVR性能的关键因素。因此，为了提高建模效率，本发明仅使用迭代聚集网格搜索算法来优化C和γ，参数ε的值设置为0.05。由于C和γ均要大于零，所以它们的初始点设置为0.001。在本发明中，设置SVR参数的范围，C∈[0.001,1000]，γ∈[0.001,1]，g参数的值设置为10，停止阈值δ为0.001。

参数选择结果：

表4给出了算法在迭代过程中的详细信息。图3展示了最优适应度、λ

表4迭代聚集网格搜索算法的迭代过程

为了更直观地分析算法的优点，本发明以可视化的方式展示了迭代聚集网格搜索的参数优化过程，如图4所示。在给定的搜索区域中，通过检查每个子区域的性能来搜索最优子区域(红色阴影部分)。然后，在图(b)中(即第二次迭代)，算法仅在最优子区域中进一步搜索，而不是在给定的搜索区域中执行精细搜索。因此，迭代聚集网格搜索可以显著减少执行时间和计算开销。

如图4所示，迭代聚集网格搜索的搜索策略可以概括为：首先，利用网格中的每个点进行SVR建模，接着计算其适应度值，从而每个网格点都对应着一个适应度(不同的颜色表示适应度的大小)。然后，找到最优适应度及其对应的网格点，将该网格点及其邻域作为下一次迭代的搜索区域。例如，在图(a)中，网格搜索区域为R∈{(C,γ)|0.001≤C≤1000,0.001≤γ≤1}，相应地，步长λ

敏感性检验：

在这部分说明搜索区域和g参数的设置对迭代聚集网格搜索算法的敏感性。

表5比较了基于不同的搜索区域的参数优化敏感性检验。从表5中可以看出，如果搜索区域选择合理，算法总是可以找到合适的C和γ，这使得SVR模型发挥了最佳性能。如果搜索区域太小，虽然优化时间会减少，但是可能会陷入局部最优；如果搜索区域太大，则优化时间将会变长。由于搜索区域的选择包含更多的经验成分，因此在实践中可以多次尝试不同的搜索区域为了选择全局最优参数组合。

表5基于不同的搜索区域的参数优化敏感性检验

表6基于不同的g参数的参数优化敏感性检验

图5和表6展示了基于不同的g参数的参数优化敏感性检验。从结果来看，尽管g参数取不同的值，算法也总能找到相似的参数组合，且当g参数增大，算法的优化时间也增大。因此需要衡量优化精度和优化时间以选择一个合适的g参数。从优化精度和优化时间两方面考虑，在本研究中我们将g参数设置为10。

总的来说，本发明提出的算法是有效可行的。在实际应用中，只要给定合适的搜索区域，本发明的算法总能在短时间内找到最优参数组合。

案例研究结果：

图6展示了IFGS-SVR模型的预测结果，图6(a)为电力负荷的预测结果，图6(b)为相应的点平均绝对误差，图6(c)为相应的点均方根误差，图6(d)为相应的点平均绝对百分比误差。在大多数样本下，IFGS-SVR模型的点平均绝对百分比误差小于10。一般认为MAPE小于10时，预测精度较高。在少数情况下，可能由于原始序列包含噪声因子，导致预测误差较大。

与基准模型的比较：

为了凸显IFGS-SVR模型的优势，6个基准模型(GS-SVR、PSO-SVR、SA-SVR、DE-SVR、ACO-SVR和GA-SVR)被用来比较。在这些基准模型的建模中，GS、PSO、SA、DE、ACO和GA算法的主要参数列于表7中，其中PSO、DE、ACO和GA算法的最大迭代次数max_iter为40，个体数量popsize为20。SVR参数的范围，C∈[0.001,1000]，γ∈[0.001,1]。表8给出了这些算法的参数优化结果。

表7算法的主要参数

表8参数优化结果

首先将IFGS-SVR模型与GS-SVR模型进行比较。表9给出了两个模型在MAE、RMSE、MAPE、R

然后，我们将IFGS算法与目前的几种典型的元启发式算法做了详细的对比研究，并以MAE、RMSE、MAPE、R

总体而言，我们的算法能以更少的时间实现了更高的精度。而且，与元启发式算法相似，通过给定不同的适应度函数还可以将它扩展到其他模型的参数优化中。因此，我们的算法的优点是具有低复杂性、准确性和易扩展性。

表9 IFGS-SVR模型与GS-SVR模型的比较结果

表10 IFGS-SVR模型与基于元启发式算法的基准模型的比较结果

本发明的主要贡献概括在以下几个方面：

1)提出了一种迭代聚集网格搜索算法，该算法通过检查每个子区域的性能来搜索最优子区域，从而避免了网格设置的大量浪费。实验结果表明了该方法的有效性。

2)利用迭代聚集网格搜索算法对SVR模型的超参数进行了优化，目的是提高短期电力负荷预测的性能。

3)通过江西省某县的真实电力数据说明了IFGS-SVR模型的优越性。

4)将形成的IFGS-SVR模型与其他的SVR模型进行比较，这些模型的参数是通过网格搜索(GS-SVR)、粒子群优化(PSO-SVR)、模拟退火(SA-SVR)、差分进化(DE-SVR)、蚁群优化(ACO-SVR)和遗传算法(GA-SVR)获得的。

以上显示和描述了本发明的基本原理和主要特征及本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。