基于BP神经网络非线性组合的SARIMA-GRU时序预测模型

技术领域

本发明提供了一种基于BP神经网络非线性组合的SARIMA-GRU时序预测模型，属于计算机技术的时间序列预测技术领域。

背景技术

时间序列是指某一类统计指标的数值按照发生时间的先后顺序排列形成的序列，时间序 列预测是根据已有历史数据来预测未来可能的变化趋势，从而为理论研究和工程应用等提供 科学的决策支持。常用的时序预测方法有：统计学中的ARMA、ARIMA、SARIMA模型以 及深度学习中的RNN、LSTM、GRU等。由于时间序列受到多方面因素的影响，通常同时包含线性成分和非线性成分，并且具有非平稳性和快速变换等特点，因此在实际预测工作中，单个模型在某些特定的时间或状态下有很好的预测效果，但面对复杂的环境变化时单项 预测模型的准确性可能会降低。例如SARIMA模型在应对平稳且线性的时间序列预测问题 中已经很好效果，但在应对非线性数据时预测精度较低；GRU网络在学习数据长期依赖关 系并挖掘其中隐藏的关联信息方面具有独特优势，但在分析时间序列时会忽略线性因素造成 的影响，对线性成分的挖掘效果欠佳。

对于同一预测问题往往可以采用多种方法进行求解，这些方法表现出不同的特点，适用 于具有不同特征的时间序列。因此，可以按照一定规则将多个模型进行组合，综合利用这些 方法所提供的有效信息，从多个角度分析数据，突出各个方法的优点，避免各个方法的缺 点，从而提高模型的预测精度及稳定性，取得更好的预测结果。作为统计学和深度学习中经 典的时序预测模型，SARIMA和GRU的组合模型已被广泛使用，但当前学者对于SARIMA 和GRU的组合方式都是通过最小二乘估计法或误差倒数法来实现的，这些方法只是通过简 单线性相加的方式求解单项模型的预测值在组合中的最优权重，无法及时反应复杂环境的动 态变化从而影响到犯罪预测模型的鲁棒性以及预测结果的准确率。

为解决上述问题，本发明提出一种基于BP神经网络非线性组合的SARIMA-GRU时序预测模型，综合利用了GRU网络在非线性特征挖掘上的优势和SARIMA模型在线性时序预 测中的优势，可以很好的捕捉时序数据的复合特征并及时反应环境的动态变化，从而获得更好的预测结果。

发明内容

本发明为了克服现有技术中存在的不足，所要解决的技术问题为：提供一种结构的改 进。

为了解决上述技术问题，本发明采用的技术方案为：基于BP神经网络非线性组合的SARIMA-GRU时序预测模型，包括如下步骤：

步骤1：数据预处理：对原始时序数据进行预处理，并划分训练集和测试集；

步骤2：搭建SARIMA时序预测模型：对训练集数据进行平稳性检测，确定SARIMA 模型的参数，得到SARIMA时序预测模型；

步骤3：搭建GRU时序预测模型：通过智能优化算法搜索GRU网络超参数，通过梯度下降算法训练GRU网络，得到GRU时序预测模型；

步骤4：搭建BP-SARIMA-GRU时序预测模型：构造BP神经网络的训练集，拟合BP 神经网络，得到BP-SARIMA-GRU时序预测模型；

步骤5：评估BP-SARIMA-GRU模型：将SARIMA和GRU模型在测试集上的预测结果 作为输入，得到BP-SARIMA-GRU模型的组合预测结果，计算组合预测结果与真实值间的 误差从而评估组合模型的效果。

所述步骤2中搭建SARIMA时序预测模型的具体步骤如下：

首先对原始的时序数据进行平稳化处理，然后进行模型定阶和参数估计操作，找到最佳 的(p,d,q)×(P,D,Q)

Φ

上式中：Φ(B)表示p阶自回归多项式，Θ(B)表示q阶移动平均多项式；U(B

找到最佳参数(P,D,Q)

上式中：Δ

所述步骤3中搭建GRU时序预测模型的具体步骤如下：

通过智能优化算法搜索GRU网络的最佳隐藏层结构和时间步长超参数，并基于梯度下 降算法来模型的权重参数，GRU主要由更新门z

z

r

上式中：h

所述步骤4中BP—SARIMA-GRU时序预测模型中的BP神经网络的输入数据为SARIMA和GRU模型在训练集上的预测结果，输出为真实值，隐藏层节点数j，BP神经网 络的结构为2-j-1，采用MAE作为损失函数，ReLU为激活函数，采用Adam算法进行训练 拟合，将各层神经元所确定的权重矩阵作为两种方法组合预测中的比重。

本发明相对于现有技术具备的有益效果为：本发明提出的BP—SARIMA-GRU模型可以 从多个角度分析数据，获取全面的动态信息从而提高模型的预测精度及稳定性。具体而言， 该模型通过BP神经网络将GRU和SARIMA模型的预测结果进行非线性组合，综合利用了GRU网络在非线性特征挖掘上的优势和SARIMA模型在线性时序预测中的优势，可以很好 的捕捉时序数据的复合特征并及时反应环境的动态变化，从而获得更好的预测结果。

附图说明

下面结合附图对本发明做进一步说明：

图1为本发明的BP-SARIMA-GRU时序预测模型构建的流程图；

图2为本发明GRU的内部结构示意图。

具体实施方式

如图1-2所示，本发明要解决的问题：在时间序列预测中，“如何综合利用多种预测方 法所提供的有效信息，通过多个角度分析数据从而获得更好的预测结果”。当前的时序预测 模型都是基于单一算法或简单线性组合的方式来实现，此类模型无法捕捉到数据中的复合特 征或无法及时反应环境的动态变化，在预测结果的准确率和稳定性方面都存在缺陷。因此本 发明通过BP神经网络非线性组合的SARIMA-GRU模型重新执行时序预测问题，该模型将 GRU和SARIMA模型的预测结果通过BP网络非线性组合，采用反向传播算法进行权重学 习，将各层神经元所确定的权重矩阵作为两种方法在组合预测中的比重，综合利用GRU网 络在非线性特征挖掘上的优势和SARIMA模型在线性时序预测中的优势，突出各个方法的 优点，避免各个方法的缺点，从而获得更好的预测结果。

本发明解决其技术问题所采用的技术方案包括以下步骤：

步骤1：数据预处理。对原始数据进行预处理操作，以保证模型的拟合效果。

步骤2：搭建SARIMA模型。首先对原始的时序数据进行平稳化处理，然后进行模型定 阶和参数估计等操作，找到最佳的(p,d,q)×(P,D,Q)

Φ

参数P、D、Q分别表示季节性自回归阶数、季节性差分阶数和季节性移动平均阶数，S 为季节周期数。具体计算公式如式(2)所示。其中B为滞后算子，B

步骤3：搭建GRU模型。通过智能优化算法搜索GRU网络的最佳隐藏层结构和时间步长等超参数，并基于梯度下降算法来模型的权重参数。GRU是改进版的LSTM，具有结构 简单、参数少、训练速度快等优点，GRU主要由更新门z

z

r

步骤4：搭建BP-SARIMA-GRU模型。本发明中BP神经网络的输入数据为SARIMA 和GRU模型在训练集上的预测结果，输出为真实值，通过实验测试最佳的隐藏层节点数J， 即BP神经网络的结构为2-j-1，选用MAE作为损失函数，ReLU为激活函数，采用Adam 算法进行训练拟合，将各层神经元所确定的权重矩阵作为两种方法在组合预测中的比重。

步骤5：评估BP-SARIMA-GRU模型。将SARIMA和GRU模型在测试集上的预测结果 作为输入，得到BP-SARIMA-GRU模型的预测值

下面结合附图和实施例对本发明进一步说明。

1.数据预处理。本发明使用某市的真实案件数据进行验证，首先将案发记录中的离群值 和无效数据进行剔除，然后对案件类型和时空信息都相同的重复记录进行去重，最后对案件 时空信息不完整不精确的记录进行修补，得到完整且格式统一的案件时序数据以保证模型的 训练效果。取75％的数据作为训练集，剩余25％用于测试。

2.搭建SARIMA模型。首先通过单位根检验案件时序数据中是否存在单位根，由ADF的检测结果可知d＝1，D＝1；然后通过BIC准则评估性能最优的模型，遍历参数p、q、P、 Q所有可能的组合情况，选取BIC值最小的SARIMA(0,1,1)×(0,1,1)

3.搭建GRU模型。本实验搭建含两个隐藏层和一个全连接层的GRU模型，通过智能优 化算法来搜索模型的最佳隐藏层单元数和时间步长，选用MAE作为损失函数，ReLU为激活函数，以Adam为优化器对每个候选结构训练1000次。两个隐藏层的神经元个数最终稳 定在35和22，时间步长的最终取值为7，即根据之前7天的数据来预测未来一天的案件数 量可以取得最好的效果，最终得到性能最优的GRU案件预测模型。

4.搭建BP-SARIMA-GRU模型。本发明中BP神经网络的输入数据为SARIMA和GRU 模型在训练集上的预测结果，输出为案件数量的真实值，选用MAE作为损失函数，ReLU 为激活函数，采用Adam算法进行训练拟合，将各层神经元所确定的权重矩阵作为两种方法 在组合预测中的比重。通过消融实验可知，当BP神经网络的最佳隐藏层节点数j＝8时可以 得到最好的案件预测效果，即BP神经网络的拓扑结构为2-8-1。

5.评估BP-SARIMA-GRU模型。本实验采用RMSE作为评估标准，将SARIMA和GRU 模型在测试集上的预测结果作为输入，得到BP-SARIMA-GRU模型对案件数量的预测值

关于本发明具体结构需要说明的是，本发明采用的各部件模块相互之间的连接关系是确 定的、可实现的，除实施例中特殊说明的以外，其特定的连接关系可以带来相应的技术效 果，并基于不依赖相应软件程序执行的前提下，解决本发明提出的技术问题，本发明中出现 的部件、模块、具体元器件的型号、连接方式除具体说明的以外，均属于本领域技术人员在 申请日前可以获取到的已公开发明、已公开的期刊论文、或公知常识等现有技术，无需赘 述，使得本案提供的技术方案是清楚、完整、可实现的，并能根据该技术手段重现或获得相 应的实体产品。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参 照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以 对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替 换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范 围。