基于Mo-S-LSTMs模型的时间序列多步预测方法

技术领域

本发明属于时间序列数据分析技术领域，具体涉及一种基于 Mo-S-LSTMs模型的时间序列多步预测方法。

背景技术

时间序列是一类重要的结构化数据形式，在金融、医学、工业、气象、航空航天等领域有着重要应用。尤其在航天测控领域，大量测控数据以时间序列的形式呈现，直观反映了各部件的工作状态和运行模式。通过时间序列数据挖掘和分析技术对测控数据进行预测，有助于实时掌握航天器的健康状况并进行健康管理，是保障航天器正常运行和提高效能的有效手段。

时间序列预测一直是许多领域的研究热点，尤其是多步预测。提前一步预测是指，预测器使用全部或部分观测结果来预测紧随最新观测结果之后的时间步长的数据。提前预测两步或多步，称为多步预测。与一步预测方法不同，多步预测方法面临着许多不确定因素的影响，而且，误差的累积和信息的缺乏使得多步预测更加困难。因此，针对不同的时间序列数据，选择合适的建模策略进行提前多步时间序列预测是一个具有重要现实意义的研究课题。

最早，文献[1]的作者提出了迭代策略用于多步预测，该方法是通过最小化样本内提前一步残差的平方和，构建预测模型，然后将预测值作为同一模型的输入，对后续点进行预测，并以此种方式一直预测到设定的预测长度。此后，学者们基于不同的方法建立了各种迭代预测模型，广泛应用于各个领域。在工作[2]中，作者们提出了一种非线性学习集成的方法EnsemLSTM用于长期风速时间序列多步预测。EnsemLSTM方法是将长短期记忆(LongShort-Term Memory,LSTM)神经网络、支持向量回归机(Support Vector RegresssionMachine,SVRM)和极值优化算法(Extremal Optimization,EO)三种集成构建而成。该方法利用具有不同隐层和不同个神经元的LSTM簇来学习时间序列特征，然后将LSTM神经网络预测的结果聚合送入由SVRM组成的非线性学习回归顶层，并使用EO算法优化顶层参数。实验表明，该方法具有较好的预测性能。文献[3]提出了一种名为MARNN的深度学习模型，用于交通流多步预测。具体来说，将递归神经网络视为动态神经网络，用于模拟交通时间序列中的动态特征，并将多输出策略用于随着步长的增加而减少累积误差。此外，还引入了注意力机制，用于在交通时间序列中自适应地寻找重要信息，以提高预测性能。实际交通数据的实验表明，MARNN模型在交通流量预测中具有较好的预测性能。文献[4]的作者利用一种新的自进化递归神经模糊推理系统对股票市场指数等高度波动和不规则的金融时间序列数据进行有效预测。该方法采用改进的差分和谐搜索(Modifified Differential HarmonySearch,MDHS)技术对模型进行参数优化，从而提高传统神经模糊系统处理动态金融时间序列数据的预测能力。虽然迭代预测在长期时间序列数据预测中起到了关键作用，但是迭代策略的预测方法会使得未来输入数据的分布发生变化，从而导致生成较大的累积误差。迭代预测的模型训练过程本质属于单步模型预测，因此在模型优化过程中也就是单步误差优化。

相对于构建单一模型的迭代策略，Cox等人[5]最早提出了直接策略用于多步时间序列预测。采用直接策略的多步预测方法也很丰富。工作[6]提出了一种基于决策树、梯度增强树和随机森林组合的集成方法，通过加权最小二乘法计算集成方法的权值，采用直接策略对风速时间序列数据进行多步预测。工作[7]提出了一种多输出深度LSTM神经网络模型用于时间序列多步预测。该模型包括小批量梯度下降法、dropout算法和L2正则化算法，解决了深度网络训练的过拟合问题，减少了多步提前预测中误差的积累和传播。工作[8]提出了一种具有自编解码结构的深度网络模型用于时间序列多步预测。该模型的基本结构是由卷积神经网络和LSTM神经网络组成，卷积网络用于学习变量之间的相关性，LSTM神经网络用于学习时间序列特征。工作 [9]提出了一种基于生成式对抗网络的股市数据预测方法，采用LSTM和卷积神经网络进行对抗性训练来预测高频股票市场的通用框架。实验结果表明，该方法能有效地提高股价方向预测的准确性，减少预测误差。工作[10] 提出了一种基于集成的机器学习框架对地区供热系统(District Heat Systems, DHS)热负荷进行多步提前预测。其中集成框架采用SVR、深度神经网络和 XGBoost三种机器学习算法来生成第二天的热负荷曲线，从而为地区供热系统供热充足和优化运行提供了重要依据。工作[11]提出了一种基于最优特征提取、深度学习和误差修正策略的混合风速预测模型，该模型利用变分模式分解、Kullback-Leibler散度、能量测度和样本熵等最优特征提取方法捕获风速波动的最优特征，利用LSTM神经网络学习时序特征，并对每个特征信号建立合适的预测模型；采用基于广义自回归条件异方差模型的误差修正策略修正内在相关性和异方差性。该方法在三个实际预测案例中验证了模型的性能和有效性。尽管有许多研究关于多步提前时间序列预测的方法，但大多数方法采用简单的集成方法对各分量的预测值进行汇总来修正误差，从而提高预测精度。它们并未对预测结果产生的误差进行深入分析，来从本质上改善预测方法的性能。针对这些问题，工作[12]利用误差值所隐含的信息，提出了一种基于误差因子、非线性集成方法和多目标灰太狼优化算法的两阶段预测模型。该方法在从加拿大和西班牙收集的三个真实世界的风电数据集进行仿真实验，预测结果表明，该模型在精度和稳定性方面均优于其它参考模型。工作[13]提出了一种基于条件生成对抗网络(Conditional Generative Adversarial Network,C-GAN)的数据扩充模型来提高直接预测模型的预测性能。上述模型采用直接多步提前预测策略，在不同程度上提高了预测精度。但是采用直接预测策略的模型没有考虑预测值之间的相关性，因此随着预测长度的增加，预测精度会越来越差。

一般来说，对于时间序列数据，传统的多步提前预测技术主要以迭代预测策略和直接预测策略为主。采用迭代预测策略的模型在多步提前预测中会产生误差的累积和传播，而采用直接预测策略的模型没有考虑预测值之间的相关性，因此随着预测长度的增加，预测精度会越来越差。

发明内容

本发明的目的是提供一种基于Mo-S-LSTMs模型的时间序列多步预测方法，预测精度高，对长期时间序列数据具有较好的预测性能。

本发明所采用的技术方案是，一种基于Mo-S-LSTMs模型的时间序列多步预测方法，其特征在于，具体按照以下步骤实施：

步骤1、堆叠LSTM单元，采用Dropout结构，建立多输出堆叠LSTM 模型的多输出堆叠LSTM模型Mo-S-LSTMs；

步骤2、建立基于Mo-S-LSTMs模型的时间序列多步预测算法，

本发明的特点还在于，

步骤1具体如下：

步骤1.1、构建Mo-S-LSTMs模型：

LSTM单元由两种状态和三个门组成，状态c

步骤1.2、构建Dropout算法：

对于神经网络层x＝f(Ad(y)+s)，引入丢弃函数b(·)使得x＝f(Ad(y)+s)，丢弃函数b(·)的定义为：

公式(7)中m∈{0,1}

步骤1.3、Mo-S-LSTMs模型的建立：

建立具有三层结构的Mo-S-LSTMs模型，模型结构如下：

第1层LSTM包含64个神经元，第2层LSTM包含128个神经元，第三层包含32个神经元。

步骤1.1具体如下：

输入门i

i

公式(1)和(2)中，A

遗忘门f

f

公式(3)中，A

通过输入门i

公式(4)中，

输出门o

o

公式(5)中，A

当前时刻的时间序列特征为：

公式(6)中，u

步骤2包含以下步骤：

步骤2.1、数据预处理；

步骤2.2、Mo-S-LSTMs模型的训练；

步骤2.3、多输出迭代预测策略。

步骤2.1具体如下：

步骤2.1.1、数据归一化处理：

设T＝{y

公式(8)中，Max＝max{y

当使用Mo-S-LSTMs模型进行预测时，预测的值是0到1之间的数值，对于预测过程的输出，需要进行反归一化，以恢复输出结果的物理意义，其数学表达式如下：

公式(9)中，y

步骤2.1.2、数据切片：

采用滑动窗口函数Slicing(·)切分归一化后的时间序列数据集 T′＝{y

公式(4-10)中M和N是超参数。

步骤2.2具体如下：

将训练数据集{train_y,train_z}送入Mo-S-LSTMs模型中，采用Dropout 算法和Adam优化器更新模型参数，实施过程如下：

步骤2.2.1、初始化模型参数：设置最大迭代数、隐藏层数、神经元个数和批处理大小；

步骤2.2.2、根据时间序列数据的特点，确定M与N之间的大小对应关系；

步骤2.2.3、更新Mo-S-LSTMs模型的参数：

(a)检查所有训练样本训练一次的过程是否已完成，如果未完成，则根据Dropout概率p调整隐含层神经元数量；

(b)根据损失函数MSE计算损失值，然后，使用Adam优化器更新权重A和偏差s，并利用下一个批处理重复步骤2.2.3，如果一个迭代已经完成，则进行下一步；

步骤2.2.4、通过终止条件结束计算过程，包括提前停止early stoping和最大迭代次数E

最后，保存优化后的模型参数，包括Dropout算法概率p、权重矩阵A和偏置s。

步骤2.3具体如下：

将多步迭代与多步直接预测相结合，形成多输出迭代预测模型。

本发明的有益效果如下：

(1)本发明提供了一种基于Mo-S-LSTMs模型的时间序列多步预测方法，其中包括多输出堆叠LSTM(Multi-output Stacked LSTM,Mo-S-LSTMs) 模型的建立，和基于Mo-S-LSTMs模型的时间序列数据多步预测方法。

(2)本发明提供的Mo-S-LSTMs模型由多个隐藏的LSTM单元和 dropout结构堆叠组成，这种堆叠结构改善了单个LSTM神经网络的非线性表示能力，解决了单个LSTM神经网络结构在训练过程中难以保持样本间时序特征的问题。

(3)本发明将dropout算法引入到Mo-S-LSTMs模型中，提高了模型的泛化能力和鲁棒性，并对各LSTM单元的内存状态进行重置，提高了LSTM 神经网络模型的记忆性能。

(4)本发明利用Mo-S-LSTMs模型，建立了一种针对时间序列数据的多步提前预测方法。该方法采用多输出迭代预测的策略来减少长期时间序列数据预测的误差累积和误差传播，从而降低了迭代策略的计算复杂度。

附图说明

图1为Mo-S-LSTMs模型结构示意图；

图2为LSTM单元结构示意图；

图3为Dropout算法在全连接神经网络中的示意图；

图4为基于Mo-S-LSTMs模型的时间序列连续多步预测算法流程图；

图5为多输出迭代预测策略示意图；

图6(a)为在数据集Dataset1上不同模型的RMSE精度；

图6(b)为在数据集Dataset1上不同模型的MAE精度；

图6(c)为在数据集Dataset1上不同模型的MAPE精度；

图6(d)为在数据集Dataset1上不同模型的R精度；

图7(a)为在数据集Dataset2上不同模型的RMSE精度；

图7(b)为在数据集Dataset2上不同模型的MAE精度；

图7(c)为在数据集Dataset2上不同模型的MAPE精度；

图7(d)为在数据集Dataset2上不同模型的R精度；

图8为在数据集Dataset1上Mo-S-LSTMs模型的预测结果，其中，图8 (a)为Mo-S-LSTMs模型的预测值，图8(b)为Mo-S-LSTMs模型的绝对误差，图8(c)为LSTM模型的预测值，图8(d)为LSTM模型的绝对误差，图8(e)为LS-SVM模型的预测值，图8(f)为LS-SVM模型的绝对误差，图8(g)为BP模型的预测值，图8(h)为BP模型的绝对误差，图 8(i)为AR模型的预测值，图8(j)为AR模型的绝对误差；

图9为在数据集Dataset2上Mo-S-LSTMs模型的预测结果，其中，图9 (a)为Mo-S-LSTMs模型的预测值，图9(b)为Mo-S-LSTMs模型的绝对误差，图9(c)为LSTM模型的预测值，图9(d)为LSTM模型的绝对误差，图9(e)为LS-SVM模型的预测值，图9(f)为LS-SVM模型的绝对误差，图9(g)为BP模型的预测值，图9(h)为BP模型的绝对误差，图 9(i)为AR模型的预测值，图9(j)为AR模型的绝对误差。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明一种基于Mo-S-LSTMs模型的时间序列多步预测方法，具体按照以下步骤实施：

步骤1、堆叠LSTM单元，采用Dropout结构，建立多输出堆叠LSTM 模型的多输出堆叠LSTM模型Mo-S-LSTMs，模型结构示意图如图1所示；

步骤1具体如下：

步骤1.1、构建Mo-S-LSTMs模型：

LSTM单元由两种状态和三个门组成，如图2所示，状态c

步骤1.2、构建Dropout算法：

对于神经网络层x＝f(Ad(y)+s)，引入丢弃函数b(·)使得x＝f(Ad(y)+s)，丢弃函数b(·)的定义为：

公式(7)中m∈{0,1}

步骤1.3、Mo-S-LSTMs模型的建立：

建立具有三层结构的Mo-S-LSTMs模型，模型结构示意图如图1所示，模型结构如下：

第1层LSTM包含64个神经元，第2层LSTM包含128个神经元，第三层包含32个神经元。

其中步骤1.1具体如下：

输入门i

i

公式(1)和(2)中，A

遗忘门f

f

公式(3)中，A

通过输入门i

公式(4)中，

输出门o

o

公式(5)中，A

当前时刻的时间序列特征为：

公式(6)中，u

步骤2、建立基于Mo-S-LSTMs模型的时间序列多步预测算法，算法流程如图4所示。

步骤2包含以下步骤：

步骤2.1、数据预处理；

步骤2.2、Mo-S-LSTMs模型的训练；

步骤2.3、多输出迭代预测策略。

步骤2.1具体如下：

步骤2.1.1、数据归一化处理：

设T＝{y

公式(8)中，Max＝max{y

当使用Mo-S-LSTMs模型进行预测时，预测的值是0到1之间的数值，对于预测过程的输出，需要进行反归一化，以恢复输出结果的物理意义，其数学表达式如下：

公式(9)中，y

步骤2.1.2、数据切片：

采用滑动窗口函数Slicing(·)切分归一化后的时间序列数据集 T′＝{y

公式(4-10)中M和N是超参数。

步骤2.2具体如下：

将训练数据集{train_y,train_z}送入Mo-S-LSTMs模型中，采用Dropout 算法和Adam优化器更新模型参数，实施过程如下：

步骤2.2.1、初始化模型参数：设置最大迭代数、隐藏层数、神经元个数和批处理大小；

步骤2.2.2、根据时间序列数据的特点，确定M与N之间的大小对应关系；

步骤2.2.3、更新Mo-S-LSTMs模型的参数：

(c)检查所有训练样本训练一次的过程是否已完成，如果未完成，则根据Dropout概率p调整隐含层神经元数量；

(d)根据损失函数MSE计算损失值，然后，使用Adam优化器更新权重 A和偏差s，并利用下一个批处理重复步骤2.2.3，如果一个迭代已经完成，则进行下一步；

步骤2.2.4、通过终止条件结束计算过程，包括提前停止early stoping和最大迭代次数E

最后，保存优化后的模型参数，包括Dropout算法概率p、权重矩阵A和偏置s。

步骤2.3具体如下：

将多步迭代与多步直接预测相结合，形成多输出迭代预测模型。

有两种多步预测策略，迭代预测和直接预测。迭代预测方法将预测值作为输入，预测后续的预测值。当预测序列的长度L过大时，迭代预测方法在多步预测中会产生较大的累积误差。所以这种预测方法不适用于长序列的预测。直接预测方法倾向于建立多个预测模型，其数量与预测长度相同，每个模型预测相应的分量。为了生成具有L长度的预测值，直接预测方法需要建立L个模型。如果L过大，会存在较大的计算量。另外，直接预测法忽略了预测值之间的相关性，预测精度会随着预测长度的增加越来越差。为了准确预测较长的时间序列，本发明的方法将迭代预测与直接预测相结合，提出了多输出迭代预测模型。图5展示了预测策略的示意图。

本发明方法的仿真实验结果：

在本发明中，使用航天设备控制系统的陀螺仪温度数据(数据集1)和飞轮转速数据(数据集2)来测试提出方法的性能。首先介绍了模型评价指标的选择，然后对提出的方法进行了性能测试。使用TensorFlow 1.10.0、 anacoda3-5-1.0和keras2.22实现和测试的。用i7-6800K CPU、GTX1080Ti GPU、32.00GB内存在计算机上运行程序。

1.评价指标：

使用四个统计指标，平均绝对误差(Mean Absolute Error,MAE)，均方根误差(Root Mean Square Error,RMSE)，平均绝对误差百分比(Mean AbsolutePercent Error,MAPE)和R相关系数(Correlation Coeficient)来定量评估提出的方法的性能。这些指标可以描述如下：

公式((11)与(14))中，K表示数据的总数，y

2.实验结果：

2.1参数M和N的确定：

本发明方法的Mo-S-LSTMs模型中参数M和N分别表示输入样本的维度和输出样本的维度。因此M和N的大小关系会影响模型的预测性能。为了获得良好的预测性能，根据实验数据的特点，取M＝72和144，N＝6、12和24。对数据集1和数据集2进行了大量的实验，结果分别如表1和表2所示。

表1本发明的方法在数据集1的预测结果

表2本发明的方法在数据集2的预测结果

表1和表2分别展示了M和N取不同值时，本发明方法的预测结果。从表1可以看出，模型在M＝72比M＝144的预测性能好。在所有的测试结果中，在M＝72和N＝6时，模型的RMSE、MAE和MAPE三个度量指标的值都最低，R的值最大，从而说明模型预测性能最好。表2可以看出，在N＝12时，模型在M＝72和144的预测性能比其他取值更好。而在M＝144和N＝12时模型表现性能最好。上面的大量实验说明参数M和N的取值对模型的预测性能有很大影响。通过实验，确定了适应本文实验数据M和N的值，即模型在数据集1上M＝72和N＝6，模型在数据集2上M＝144和N＝12。

2.2性能评估：

为了验证本发明方法的性能，将Mo-S-LSTMs模型与LSTM神经网络模型、最小二乘支持向量机(LS-SVM)模型、反向传播神经网络(BP-NN)模型和自回归(AR)模型进行了比较。计算了数据集1和数据集2上不同时间序列数据预测模型的RMSE、MAE、MAPE和R的评价指标。

表3不同方法在数据集1上的预测结果

表3和图6展示了不同模型在数据集1的预测结果。从图6可以看出，整体上来说，神经网络模型优于机器学习模型，因为神经网络更强的非线性表示性能。其中本发明方法在RMSE、MAE和MAPE中的精度远远优于比较方法。原因是我们构建的Mo-S-LSTMs模型集成了多层LSTM神经网络模型和Dropout算法的特性，具有较好的时间序列数据特征表示性能，为长期多步预测提供了良好的预测模型，同时在预测阶段采用多输出迭代策略，对长期多步预测减少了误差的积累和传播。

因此，本发明方法是一种有效的多步提前时间序列预测方法。

为了进一步验证本发明方法的预测性能，在数据集2上进行实验。实验结果展示在表4和图7中。表4展示了不同模型的四个度量指标的结果，图 7以直方图的形式直观的展示了不同预测模型的性能。可以看出，与比较模型相比，本发明方法的RMSE、MAE和MAPE指标最小。

结果表明，本发明方法具有较好的多步时间序列预测性能。再次证明本发明方法对于多步提前时间序列预测具有较好的预测性能。

表4不同方法在数据集2上的预测结果

图8和图9分别展示了不同预测模型在数据集1和数据集2上的预测值和绝对误差的曲线图，直观反映了不同模型的预测性能。其中，图8(a)为本发明方法的预测值，图8(b)为本发明方法的绝对误差，图8(c)为LSTM 模型的预测值，图8(d)为LSTM模型的绝对误差，图8(e)为LS-SVM 模型的预测值，图8(f)为LS-SVM模型的绝对误差，图8(g)为BP模型的预测值，图8(h)为BP模型的绝对误差，图8(i)为AR模型的预测值，图8(j)为AR模型的绝对误差，图9(a)为本发明方法的预测值，图9(b) 为本发明方法的绝对误差，图9(c)为LSTM模型的预测值，图9(d)为 LSTM模型的绝对误差，图9(e)为LS-SVM模型的预测值，图9(f)为LS-SVM模型的绝对误差，图9(g)为BP模型的预测值，图9(h)为BP 模型的绝对误差，图9(i)为AR模型的预测值，图9(j)为AR模型的绝对误差。从图4-8中可以看出，本发明方法在数据集1上预测值和真实值拟合效果最好，并且绝对误差仅仅在[0,2.5]。而LSTM模型的绝对误差在[0,4]之间，相比于LS-SVM、BP和AR模型，也具有较好的预测性。从图8中可以看出，本发明方法在数据集2上预测值和真实值拟合效果也最好。再次验证了本发明方法对长期时间序列数据预测具有较好的预测性能。

本发明一种基于Mo-S-LSTMs模型的时间序列多步预测方法，首先利用堆叠LSTM神经网络建立多输出预测模型，称为Mo-S-LSTMs模型，该模型采用Dropout结构，由多个LSTM单元堆叠组成，用来学习时间序列数据的时序特征，Dropout结构的作用是提高模型的泛化能力和鲁棒性，同时对各LSTM单元的内存状态进行重置，提高了LSTM神经网络模型的记忆性能。基于提出的Mo-S-LSTMs模型，建立了一种针对时间序列数据的多步提前预测方法。该方法包括三个阶段：数据预处理、模型训练和多步预测。数据预处理主要包括数据归一化和数据切片；在训练阶段完成特征提取，最后进行多步提前预测。仿真实验结果表明，本发明方法的预测精度高，对长期时间序列数据具有较好的预测性能。

参考文献

[1]Chevillon G.Direct multi-step estimation and forecasting[J].Journal of Economic Surveys,2007,21(4):746-785.

[2]Chen J,Zeng G Q,Zhou W,et al.Wind speed forecasting usingnonlinear-learning ensemble of deep learning time series prediction andextremal optimization[J].Energy Conversion and Management,2018,165:681-695.

[3]Yang D,Yang H,Wang P,et al.Multi-Step Traffic Flow PredictionUsing Recurrent Neural Network[C].2019 IEEE International Conferences onUbiquitous Computing and Communications(IUCC)and Data Science andComputational Intelligence(DSCI) and Smart Computing,Networking and Services(SmartCNS).IEEE,2019:803-808.

[4]Dash R,Dash P K.Efficient stock price prediction using a selfevolving recurrent neuro-fuzzy inference system optimized through a modifieddifferential harmony search technique[J].Expert Systems with Applications,2016,52:75-90.

[5]Cox D R.Prediction by exponentially weighted moving averages andrelated methods[J]. Journal of the Royal Statistical Society:Series B(Methodological),1961,23(2): 414-422.

[6]Galicia A,Talavera-Llames R,Troncoso A,et al.Multi-stepforecasting for big data time series based on ensemble learning[J].Knowledge-Based Systems,2019,163:830-841.

[7]Zhou Y,Chang F J,Chang L C,et al.Explore a deep learning multi-output neural network for regional multi-step-ahead air quality forecasts[J].Journal of Cleaner Production,2019, 209:134-145.

[8]Petersen N C,Rodrigues F,Pereira F C.Multi-output bus travel timeprediction with convolutional LSTM neural network[J].Expert Systems withApplications,2019,120: 426-435.

[9]Zhou X,Pan Z,Hu G,et al.Stock market prediction on high-frequencydata using generative adversarial nets[J].Mathematical Problems inEngineering,2018,2018:1-11. [10]Xue P,Jiang Y,Zhou Z,et al.Multi-step aheadforecasting of heat load in district heating systems using machine learningalgorithms[J].Energy,2019,188:116085.

[11]Wang J,Li Y.Multi-step ahead wind speed prediction based onoptimal feature extraction, long short term memory neural network and errorcorrection strategy[J].Applied Energy, 2018,230:429-443.

[12]Hao Y,Tian C.A novel two-stage forecasting model based on errorfactor and ensemble method for multi-step wind power forecasting[J].AppliedEnergy,2019,238:368-383.

[13]Koesdwiady A,El Khatib A,Karray F.Methods to Improve Multi-StepTime Series Prediction[C].2018 International Joint Conference on NeuralNetworks(IJCNN).IEEE, 2018:1-8。