回声状态网络

摘要： 为了提高可燃气体异常检测的预测精度,针对回声状态网络中权值的随机初始化会造成实际值和预测值之间误差较大的问题,提出一种改进回声状态网络的权值初始化方法.首先利用Xavier初始化方法使得各层激活值的方差、状态梯度的方差分别在传播过程中保持一致,从而确保网络中信息更好地流动,然后采用改进回声状态网络对时间序列数据进行学习,建立预测模型,最后分别在三类不同的数据集上对模型性能进行仿真测试.结果表明,与原回声状态网络相比,改进后模型的均方误差、归一化均方根误差和平均绝对百分比误差明显降低,可以对可燃气体信息进行更准确的预测,根据预测值和实际值的残差实现对可燃气体的异常检测,具有更好的应用价值.

摘要： 为提高径流时间序列预测精度,提出小波包分解(WPD)与奇异谱分解(SSA)-鼠群优化(RSO)算法-回声状态网络(ESN)相混合的径流时间序列预测方法。分别利用WPD和SSA将非平稳径流时间序列分解为若干子序列,有效降低径流时间序列的复杂性;介绍RSO算法原理,在不同维度条件下选取6个典型函数对RSO算法进行仿真测试;利用RSO算法对ESN储备池规模、稀疏度等超参数进行优化,建立WPD-RSO-ESN、SSA-RSO-ESN模型,并分别构建WPDRSO-SVM、WPD-ESN、WPD-SVM和SSA-RSO-SVM、SSA-ESN、SSA-SVM作对比分析模型;利用云南省江边街水文站1957-2014年逐月径流时间序列数据对8种模型进行检验及对比分析。结果表明:RSO算法在不同维度条件下均具有较好的寻优精度和全局搜索能力。WPD-RSO-ESN、SSA-RSO-ESN模型对实例后10年120个月月径流时间序列预测的平均绝对百分比误差分别为2.73%、3.90%,预测精度优于同一分解条件下的其他模型。RSO算法能有效优化ESN网络超参数,提高ESN网络的预测性能。WPD对径流时间序列数据的分解效果优于SSA方法。

摘要： 行星齿轮箱是风电机组中的重要部件,对风电机组的安全可靠运行具有重要意义。为此,提出一种基于深度特征融合网络的行星齿轮箱故障诊断方法,用于实现变速工况、样本不足和强噪声场景下的故障诊断。首先将原始信号扩展到多个特征域。其次利用多维堆栈稀疏自编码器提取各域特征。最后针对传统Softmax分类器对融合信息分类能力不足的问题,提出基于竞争粒子群算法优化的回声状态网络进行特征融合并输出诊断结果。经多场景不同故障诊断方法对比实验,所提方法在行星齿轮箱变速工况下分类效果良好,并对训练样本的减少和外界噪声有很强的鲁棒性。

摘要： 为提高小世界回声状态网络(SWESN)的非线性拟合能力,提出一种基于MCP正则化SWESN的时间序列预测方法(MCP-SWESN),优化小世界回声状态网络的输出权值,解决常规回归方法计算权值时出现的过拟合问题,提高预测精度。仿真实现ESN、SWESN、Ridge-SWESN、Lasso-SWESN、SCAD-SWESN和MCP-SWESN六种预测方法对Lorenz混沌时间序列、Mackey-Glass混沌时间序列和实际PM2.5浓度时间序列的预测,结果显示:基于MCP-SWESN的时间序列预测方法具有更强的预测能力。

摘要： 由于边坡失稳是一个循序渐进的过程,利用时间序列分析的方法来预测边坡未来变形,有利于实现边坡的稳定性评价。相比于传统的时间序列分析方法,多簇回声状态网络(MCESN)采用动态储备池将输入信号转换为高维状态向量,选择一组最优的状态向量来表示与任务相关的输入动态。为了验证模型的有效性,采用差分整合移动平均自回归模型(ARIMA)、回归支持向量机(SVM)、长短期记忆网络(LSTM)和传统的回声状态网络(ESN)以及MCESN对三峡船闸高边坡位移进行建模与分析,通过对比均方根误差(RMSE)和复相关系数,发现MCESN的预测精度和模型泛化能力更好。结果表明,MCESN在边坡变形预测具有良好的应用前景。

摘要： 提出一种基于自编码器的小世界回声状态网络的故障预测方法,以此来应对风电机组变桨系统可能产生的故障,提高故障响应速度。通过分析系统中的监测参数和数据,建立基于自编码器的小世界回声状态网络系统模型。实例表明该方法可在故障发生前提前作出预警,验证了方法的可行性,有效降低了机组的运维成本。

摘要： 深度回声状态网络是回声状态网络与深度学习思想的结合,合理选取不同谱半径的内部状态矩阵和弱积分参数能有效增强深度回声状态网络的多尺度时域特性。利用数据可视化分析输出矩阵在不同网络层中的分布关系,发现高层网络中部分神经元处于饱和工作状态且该状态抑制了网络动态预测能力。提出一种深度回声状态网络的输入矩阵自适应算法,在对网络内部状态的均值和方差进行递推估计的基础上判断神经元饱和状态,通过自适应调整各层输入权重的值来增强神经元动态性。数值计算结果表明,基于输入尺度自适应算法的深度回声状态网络相对同等规模的单层回声状态网络对于动态系统的预测精度有成倍提升。

摘要： 为了准确预测水质参数的变化趋势,基于回声状态网络(Echo state networks,ESN)对地表水质预测进行了试验。首先根据ESN的特点和训练步骤对ESN网络的重要参数进行分析;然后采用网格搜索(Grid Search,GS)算法对ESN的储备池规模、谱半径、泄漏率、正则化系数进行寻优;在此基础上,结合福建省某水库的真实监测数据建立GS-ESN水质预测模型,对该水库的溶解氧及高锰酸盐指标进行短期预测。结果表明,GS-ESN水质预测模型的准确性相对于经验调参方法有明显提高。

摘要： 气候问题是全人类始终关注的问题,因此有必要对其进行预测研究。本文采用广州市黄埔区的气象数据作为研究对象,分析的数据包括当地的风速、平均气温、降水量等多个不同指标。以气温(即气候温度,单位°C)作为因变量,其余变量视作影响气温的自变量。在数据预处理方面,选择主成分分析方法(PCA)对样本进行降维处理,从中选出影响权重最大的自变量,以筛选过后的数据作为基础,采用回声状态网络预测气温的变化。实验结果表明,预测值和实际值的总体偏差较小,均保持在较低水平,绝对预测误差普遍处于15%以下,预测效果良好。采用对比模型(LSTM模型和ARIMA模型)对同样的数据进行预测。在实验中,我们发现对比模型的预测效果并不理想,在均方误差(MSE)的计算中,预测值和实际值的拟合精度较低。验证了ESN预测效果的优越性。

摘要： 为解决黄河特大桥团雾出现无法预测、团雾分布状态难以估测、团雾影响范围难以测量对影响黄河特大桥发布交通管控措施的问题,针对黄河特大桥气象条件,设计出一种基于回声状态网络(ESN)预测算法的高速公路黄河特大桥团雾预警系统;预警系统采用分布式结构,由主站和子站构成,利用主站和子站连接的气象传感器、雷视一体等设备,主站和子站都能获取实现团雾预测相关的测量信息;子站通过Zigbee网络将获取的数据信息发送给主站,主站中的边缘计算终端利用主站获取的数据和子站传送的数据结合ESN预测算法对是否出现团雾进行预测,并利用雾端路测终端将预警信息发送到云端或指定服务器上;将团雾预警系统部署在黄河特大桥进行实验测试,结果表明:该系统能准确预警黄河特大桥是否出现团雾。

摘要： 以钢铁企业高炉煤气系统为背景,针对其产生量和消耗量的预测问题,提出一种改进回声状态网络时间序列方法进行系统仿真预测,并根据最小均方差准则,以最小化网络训练误差为目标,采用随机梯度下肇法对网络参数进行优化。该方法对于不同预测对象,可计算出合适的网络连接权值、储备池谱半径等参数,避免了传统回声状态网络方法中单凭经验选择网络参数的现状,提高了预测精度。采用该方法对高炉煤气系统现场实际产耗数据进行了仿真预测,仿真结果表明所提出方法的有效性。

摘要： 以冶金企业氧气系统为研究背景，针对其流量时间序列的实时预测问题，提出了一种基于滤波的回声状态网络预测方法，充分利用了回声状态网络在系统动态建模方面以及滤波算法在参数估计方面的优势。该方法采用滤波过程来估计回声状态网络储备池神经元的状态和输出权值，能够有效的避免参数求解过程导致的异常解问题，且滤波算法的引入考虑了工业数据存在噪声情况下神经元状态更新和输出更新存在的不确定性，有效的提高了模型的鲁棒性和精度。采用上海宝钢能源中心的现场实际数据预测结果表明本文方法具备有效性，为制定氧气系统平衡调度方案提供科学依据。

摘要： 回声状态网络是近年来新兴的一种递归神经网络，独特而简单的训练方式以及高精度的训练结果已使其成为当前研究的热点之一。在该网络中，引入了储备池计算模式这一新的神经网络的建设方案，克服了之前网络模型基于梯度下降的学习算法所难以避免的收敛慢和容易陷入局部极小等问题。围绕这种新型网络结构，国内外许多学者开展了多样的研究。本文全面深入介绍了回声状态网络这一新兴技术，讨论了回声状态网络的优缺点，并综合近年的研究现状，总结了回声状态网络的主要研究工作进展和未来的研究方向。

摘要： 针对基于Raptor30的微小型直升机悬停点附近水平线运动建模困难的问题，建立了基于回声状态网络的线运动黑盒模型，并与状态空间的角运动模型组合成一个4自由度的混合模型。利用遥控实验数据进行系统辨识，模型检验的结果表明，该模型基本能够预测该微小型直升机悬停点附近的运动趋势。该模型可以用于优化参数化控制器。闭环仿真进一步对模型进行了验证。

摘要： 针对回声状态网络在作为机器人控制器进行路径规划时无法进行监督学习的问题，利用(μ+λ)-ES进化策略对回声状态网络的输出权进行优化设计，提出了一种基于(μ+λ)-ES进化策略的回声状态网络路径规划算法，变异操作采用高斯变异，交叉采用加权平均交叉，选择操作采用(μ+λ)选择方法。仿真结果表明，在动态环境中基于回声状态网络的路径规划方法比前馈神经网络方法具有更好的适应性。

摘要： 以钢铁企业高炉煤气系统这一复杂生产过程为背景,针对高炉煤气发生量的预测问题,提出一种基于数据的网络模型预测方法。鉴于生产数据含噪高的特点,采用经验模态分解将历史数据分解为若干独立的固有模态函数,将小尺度函数经低通滤波器自适应去噪后,再对数据重构以建立预测模型.在建模过程中提出一种改进的回声状态网络,通过奇异值分解求取网络输出权值,克服了线性回归算法出现的病态问题,提高了模型的预测精度.现场实际数据预测结果表明所提出方法的有效性,为制定煤气管网平衡调度方案提供科学的决策支持.

摘要： 为了对振动台承等试验设备的健康状态展开实时监测及预测,提出了一种基于小波包能量熵和回声状态网络(ESN)的设备健康状态监测与预测方法.首先,对多种故障状态数据进行小波包分解,计算每个频带上的相对能量并求和;然后,根据小渡包能量熵的概念计算其小波包能量熵;最后,将小波包能量熵值作为输入训练ESN网络对设备未来健康状态进行预测.研究结果表明:小波包能量熵是一种描述设备健康状态的优良指标,可以实现对设备健康状态实时监测;回声状态网络可以有效预测小波包能量熵值,进而实现对设备健康状态预测效果.

摘要： 以聚氯乙烯(PVC)聚合生产过程中的氯乙烯(VCM)转化速率为预测对象，提出一种基于回声状态网络(ESN)的软测量建模方法。通过对PVC聚合工艺的分析选取了软测量模型的辅助变量，并采用核主元分析方法(KPCA)对高维输入向量进行降维；人工鱼群算法(AFSA)被用来优化回声状态网络的结构参数，实现软测量模型输入输出变量之间的非线性映射。仿真结果表明该模型能够显著提高PVC聚合过程中经济技术指标的预测精度，可以满足聚合生产过程的实时控制要求。

摘要： 为了对匹配决策问题进行建模与预测，提出了一种具有更多神经生理学特征的稀疏回声状态网络(ESN)，并基于在线监督学习方法对网络进行训练。为了评估网络的匹配决策性能，设计了三组测试数据集对网络性能进行测试，并提出了一种基于网络期望输出与实际输出序列最大相关系数的评价方法。仿真结果表明，新模型只需要较少的训练时间即可获得较好的决策性能，且对发放时间间隔、平移和网络噪声具有较好的鲁棒性。

摘要： 回声状态网络(ESN)是一种新型的递归神经网络,可有效处理非线性时间序列预测问题。平滑异同移动平均线(MACD)是所有技术指标里最经典的一个,正确运用这个指标可以达到较好的买卖效果。将二者结合起来,构建了基于ESN和MACD的多变量时间序列预测模型。该方法将时间序列数据进行相空间重构,然后作为ESN网络的输入进行建模,并用来进行股票预测,将预测的结果进行MACD处理,给出具体的交易建议。针对微软公司的股票开盘价及收盘价做了实验,并与BP网络模型预测结果做了对比。

摘要： 本发明公开了一种基于泄露积分回声网络和深度残差神经网络的变压器健康状态评估方法，包括以下步骤：采集各变电站中的监测信息；对采集到的监测信息进行数据滤波、数据清洗和数据归一化处理，得到输入矩阵；将输入矩阵输入泄露积分回声网络，生成可训练的人工数据，将人工数据按比例划分为训练集和验证集；构建基于压缩激励网络的深度残差神经网络，输入训练集和验证集进行网络训练；结合实际测试数据进行健康状态评估和网络更新。本发明考虑深度学习神经网络需要大量数据，利用泄露积分回声网络生成人工训练数据。并引入深度残差网络和压缩激励网络构建深度学习神经网络，提高神经网络的特征提取能力。该评估方法具备较高的准确率和较强的鲁棒性。

摘要： 本发明提供基于回声状态网络分类的卷积神经网络算法，主要包括:用ESN代替CNN模型中的全连接层，并推导出了新的残差迭代公式，在此基础上该模型继续沿用CNN的反向传播算法训练CNN的隐藏层参数，以及使用线性回归法则训练ESN的输出权重。通过在MNIST手写数字识别数据集、Fashion MNIST物体识别数据集和ORL人脸识别数据集上的仿真实验证明了本发明的可行性，同时实验结果反映出该模型既保留了CNN多层次特征提取的能力，又通过引入ESN模块减少了算法的训练时间以及提升了其在小样本数据集上的性能。

摘要： 本发明涉及机器学习领域，具体涉及一种基于状态投影的回声状态网络前向传播加速算法。本发明的目的在于针对回声状态网络(ESN)内部储备池占用存储空间大、前向传播计算速度慢的问题，提出一种加速ESN前向传播的算法。该算法基于适当正交分解(POD)的投影方法用低维状态近似替代ESN的高维状态，使网络前向传播计算量减少，加速网络前向传播。通过该算法生成的网络比原始ESN占用的存储空间小，具有较低的计算复杂度。生成的过程不需要原始的训练数据，只需要训练原始网络时对内部储备池单元的状态进行采样，利用这些事先存储的样本就可以生成用户指定大小的网络。

摘要： 本发明公开了一种基于回声状态网络的光网络多信道传输质量预测方法，收集并加载广域光骨干网络中的用于传输质量试验的多条信道的Q因子数据，设置包含信道状态和Q因子特征的组合向量表达每一条信道中Q因子状态；选择组合向量中需要同时进行预测的多条信道数据进行归一化处理，作为训练样本，对构建的CESN神经网络结构进行训练，用训练好的CESN预测模型进行预测，再对预测结果进行反归一化得到预测的多信道Q因子数据值。该方法可以克服传统机器学习方法中存在的低时效问题，提供高准确度和高时间效率的光网络传输质量预测模型；同时，该方法可以同时预测多条光路的传输质量，减少网络损耗并提高效率。

摘要： 一种基于多层回声状态网络的网络流量异常检测方法，对原始数据进行包聚合特征提取、特征编码、归一化处理，并对回声状态网络增加多个储备池来提高线性组合的复杂度，大大降低模型的检测时间，提高了检测效率。该方法能够有效地检测到异常数据，且具有较低的假阳率，极大地降低了误报情况的出现，具有较高的实用价值。

摘要： 本发明提供基于回声状态网络分类的卷积神经网络算法，主要包括:用ESN代替CNN模型中的全连接层，并推导出了新的残差迭代公式，在此基础上该模型继续沿用CNN的反向传播算法训练CNN的隐藏层参数，以及使用线性回归法则训练ESN的输出权重。通过在MNIST手写数字识别数据集、Fashion MNIST物体识别数据集和ORL人脸识别数据集上的仿真实验证明了本发明的可行性，同时实验结果反映出该模型既保留了CNN多层次特征提取的能力，又通过引入ESN模块减少了算法的训练时间以及提升了其在小样本数据集上的性能。

摘要： 本申请提供一种基于回声状态网络的时间序列预测方法及设备，本申请基于多层ESN网络的基本结构和逻辑映射的机理，提出一种可以有效初始化多层ESN输入权重和储存池层之间连接权重的LM初始化机制，LM可以增加多层ESN的层与层之间的连接权重的混沌动力学特性，而且还可以增加多层ESN的泛化性能，从而降低模型的复杂度，同时通过一种较新的剪枝方法‑偏置随机失活算法对每个储存池层的冗余神经元进行精准剪枝，有效地提高多层ESN的性能，而且可以使每个储存池层更加稀疏，从而提高时间序列预测精确度和效率。

摘要： 本发明公开了一种基于链式回声状态网络的多建筑能源负荷端对端预测方法，步骤为：1)获取历史能耗数据；2)每个建筑物的历史能耗数据排为纵列，得到多个建筑物的历史能耗数据矩阵；3)对历史能耗数据矩阵按列计算相关性矩阵；4)将该建筑物与其余建筑物按照相关性进行排列，确定链式回声状态网络的输入数据；5)将输入数据折叠，一部分是建筑物某个时间点的历史能耗，一部分是建筑物对应时间点的未来能耗；6)将输入数据输入链式回声状态网络的每一个子模块中，训练链式回声状态网络；7)将训练好的链式回声状态网络输入对应建筑物新的能耗数据，得到建筑物未来能耗的预测结果；8)重复步骤4)‑7)，得到所有建筑物未来能耗数据，实现端对端预测。

摘要： 本发明公开了一种基于改进多存储池回声状态网络的行业用电量预测方法，将ESN网络中间的存储池层数量扩展为L(L＝1,2,3,...,M)，得到MRESN网络，可提高大量数据预测时的准确性以及增强特征提取能力；并且针对原始BAS算法的缺陷，提出一种IBAS算法，采用天牛种群的最优化，同时将精英选择和保留策略加入天牛群搜索的迭代中，之后在天牛须搜索算法中引入莱维飞行策略，并采用自适应步长策略更新天牛的当前位置。上述所提方法能够取得比原始ESN网络更好的数据预测效果，更加有利于对行业用电量进行准确预测。

摘要： 本发明涉及一种基于回声状态网络的多维时间序列缺失补全方法，包括：步骤S1：构建回声状态网络模型；步骤S2:按照时间顺序，向回声状态网络模型的输入层提供每个时刻的外生变量，向输出层提供对应时刻的多维时间序列的观测值，若缺失的观测值尚未预补，则利用基于方向的最近邻策略进行暂时性预补;步骤S3:分别构建具有双向反馈的前向或双向回声状态网络，并更新所有时刻的内部状态；步骤S4:根据无需预补时刻的输入、内部状态和真实输出训练出网络的输出权重；步骤S5:根据需要预补时刻的输入、内部状态和步骤S4得到的输出权重计算输出估计值，并用于对预补值进行更新；步骤S6:重复步骤S3‑S5，用最后的预补值填补原始序列的缺失值。本发明考虑更加全面的数据相关性来提升多维时间序列的补全精度。