一种新的具有多个储备池的回声状态网

回声状态网是一种新型的递归神经网络,仅需要训练输出权值,克服了传统递归神经网络存在训练算法过于复杂、收敛速度慢、易于陷入局部最小等问题.为进一步提高回声状态网的建模能力,特别是面临实现多个正弦函数叠加(MSO)等任务时的逼近能力,提出了由泄露积分型神经元构建一种新型的多储备池回声状态网,称为多储备池泄露积分回声状态网(MLESN). MLESN是采用由顶向下和由底向上相结合的思路构建回声状态网.首先采用由顶向下的思路构建回声状态网,假设其储备池由P类相异泄露积分型神经元构成,每一类神经元的群体将构成一个子储备池.然后采用由底向上方式构建回声状态网,生成P个相异中心神经元,分别代表P个子储备池,每个子储备池的神经元状态要与其中心神经元状态相同或相近,P个中心神经元之间通过随机稀疏连接构成了一个新的虚拟子储备池.在储备池状态更新过程中,仍需保持各子储备池内部神经元之间的差异性小,不同子储备池神经元状态之间的差异性大的特点.最后,利用Matlab仿真软件进行实现,并与泄露积分型回声状态网(Leaky-ESN)预测性能进行比较.仿真结果表示,本文提出的方法具有更高的预测精度和预测误差波动性小等特点.     

基于小世界无标度特征的回声状态小波网络

针对储备池的适应性问题,提出了一种复合回声状态网络模型(CESN).CESN依据增量生长准则构建小世界无标度进化状态储备池,解除了储备池谱半径的限制.同时,CESN将离散小波函数作为神经元的激活函数,用Symlets小波函数替代部分储备池神经元的S型函数,Symlets小波函数的伸缩和平移变换特征丰富了动态储备池的状态空间.将CESN应用于一些非线性时间序列逼近问题中,即NARMA系统、Henon映射和二氧化碳浓度预测.实验结果表明,在逼近高度复杂的非线性系统方面,CESN明显优于注入Symlets小波的经典回声状态网络(S-ESN)和具有高聚类系数的无标度回声状态网络(SHESN).      

基于回声状态网络优化的宽间隔混沌跳频码预测研究

传统宽间隔混沌跳频码预测方法无反馈结构,记忆能力差;且训练过程烦琐,泛化性能差,对预测精度产生不好的影响。为此,提出一种新的基于回声状态网络优化的宽间隔混沌跳频码预测方法。设计回声状态网络,其由输入层、递归层以及输出层三个部分构成。在递归层内部各神经元间引入连接权值稀疏矩阵,使递归层内部存在动态记忆。回声状态网络储备池规模、储备池内部连接权谱半径、储备池稀疏度、储备池输入单元尺度对宽间隔混沌跳频码预测准确性产生不同的影响。通过和声搜索方法对四种储备池参数进行优化,实现回声状态网络的改进。确定优化回声状态网络输入输出数据,建立优化回声状态网络。确定储备池参数,通过训练数据激活储备池,计算回声状态网络输出连接权矩阵,对宽间隔混沌跳频码进行预测。实验结果表明,所提方法预测结果可靠,和其他方法相比有很高的预测精度。     

基于回声状态网络优化的宽间隔混沌跳频码预测

传统宽间隔混沌跳频码预测方法无反馈结构,记忆能力差;且训练过程烦琐,泛化性能差,对预测精度产生不好的影响。为此,提出一种新的基于回声状态网络优化的宽间隔混沌跳频码预测方法。设计回声状态网络,其由输入层、递归层以及输出层三个部分构成。在递归层内部各神经元间引入连接权值稀疏矩阵,使递归层内部存在动态记忆。回声状态网络储备池规模、储备池内部连接权谱半径、储备池稀疏度、储备池输入单元尺度对宽间隔混沌跳频码预测准确性产生不同的影响。通过和声搜索方法对四种储备池参数进行优化,实现回声状态网络的改进。确定优化回声状态网络输入输出数据,建立优化回声状态网络。确定储备池参数,通过训练数据激活储备池,计算回声状态网络输出连接权矩阵,对宽间隔混沌跳频码进行预测。实验结果表明,所提方法预测结果可靠,和其他方法相比有很高的预测精度。     

基于生物进化的可恢复回声状态网络模型

为解决回声状态网络储备池在遭受随机故障和蓄意攻击等复杂情况下的适应性问题,提出了一种具有生物进化特征的可恢复回声状态网络—3DP-RESN.基于优先匹配的复制、新增加连接的变异和新增加连接的死亡进化策略,3DP-RESN能够实现从被破坏的网络拓扑中自恢复.将3DP-RESN、传统ESN（CESN）和被破坏的ESN（DESN）应用于NARMA系统、Henon映射和figure8这3种非线性时间序列逼近任务.实验结果表明,当储备池发生故障时,3DP-RESN对于3种时间序列的预测精度明显优于DESN,接近甚至高于未遭受储备池故障的CESN,尤其在figure8实验中,3DP-RESN与CESN、DESN相比,预测精度分别提高了30.56%和7.01%.此外,3DP-RESN的短期记忆能力也接近于CESN,因此,3DP-RESN具有强大的自适应恢复能力.      

基于改进黑洞算法优化ESN的网络流量短期预测

网络流量数据序列具有混沌特性.相空间重构后,采用一种改进黑洞算法优化回声状态网络的非线性模型对网络流量进行预测.改进黑洞算法是在现有工作的基础上提出一种新的新解生成机制,可以提高算法的收敛速度和精度;相比于遗传算法、和声搜索算法等其他优化算法,所提出的改进黑洞算法不依赖自身相关参数的准确设定;将其应用于回声状态网络4个重要参数的优化选取,使得预测模型具有较好的预测稳定性.通过Mackey-Glass混沌时间序列和网络流量公共数据集的仿真实验,结果表明所提出的方法具有较好的预测性能.     

基于优化回声状态网络的混沌时间序列预测

基于多种群遗传算法(multiple population genetic algorithm,MPGA)优化回声状态网络(echo state networks,ESN)的储备池参数设置方案,建立MPGA-ESN模型,并将其用于上证指数开盘价预测的仿真实验.通过与BP神经网络、Elman神经网络、PSO-ESN模型、GA-ESN模型的对比,发现MPGA-ESN模型的预测精度更佳.     

太阳黑子数平滑月均值的混合预测模型

提出一种太阳黑子数平滑月均值的混合预测模型.通过最大Lyapunov指数得到太阳黑子数平滑月均值时间序列的最大可预测周期,结果表明太阳黑子数平滑月均值序列的最大可预测周期为42个月.太阳黑子数平滑月均值时间序列中包含着线性与非线性的成分,利用自回归滑动平均模型对线性成分进行预测,将太阳黑子数平滑月均值的实际值与自回归滑动平均模型的预测值作差值得到仅含有非线性成分的残差序列,利用具有良好非线性预测能力的回声状态网络预测残差序列,并通过人工蜂群算法来确定回声状态网络预测模型的最佳参数.将自回归滑动平均模型预测值与回声状态网络预测的残差相加,得到太阳黑子数平滑月均值的最终预测值.通过第23太阳活动周的太阳黑子数平滑月均值的预测表明提出的预测模型具有较高的预测精度.同时,对第24太阳活动周的太阳黑子数平滑月均值进行了预测,结果表明第24太阳活动周将在2020年2月结束.     

基于PLESN和LESQRN概率预测模型的短期电力负荷预测

针对现有电力负荷预测不能很好反映负荷数据的周期性和趋势性以及残差的波动性特征,提出一种考虑周期性建模的泄露积分型回声状态网络点预测模型和泄露积分型回声状态分位数回归网络概率预测模型组合的短期电力负荷预测方法。首先,为了捕捉负荷的多重特征,定义了周期性和趋势性损失函数,辅助优化点预测模型;然后,为克服残差的波动问题,利用概率预测模型对点预测值与真实值的残差进行建模预测;最后整合同时刻的点预测值与残差预测区间得到概率预测模型结果。实际算例结果表明,与其他模型相比,所提模型不仅有效抑制尖端振荡现象,而且能够生成可靠的概率密度分布。     

基于相似日搜索的改进LMD与ESN相结合的短期电力负荷预测模型

短期电力负荷容易受到自然因素及社会因素的影响,这使得负荷预测比较困难.为了提高短期负荷的预测精度,提出了基于相似日搜索的改进局部均值分解(ILMD)和回声状态网络(ESN)相结合的短期电力负荷预测模型.首先用模糊聚类分析将与预测日最相似的多个日期筛选出来.然后把这些相似日的整点负荷数据按照时间先后排成一组数据序列,用改进的LMD进行分解,对分解出的各个分量分别建立一个ESN网络,对每一个网络分别训练并进行预测.最后把每个网络的预测结果累加起来就是最终的预测值.实验证明此方法能有效提高预测精度.