基于回声状态网络优化的宽间隔混沌跳频码预测研究

传统宽间隔混沌跳频码预测方法无反馈结构,记忆能力差;且训练过程烦琐,泛化性能差,对预测精度产生不好的影响。为此,提出一种新的基于回声状态网络优化的宽间隔混沌跳频码预测方法。设计回声状态网络,其由输入层、递归层以及输出层三个部分构成。在递归层内部各神经元间引入连接权值稀疏矩阵,使递归层内部存在动态记忆。回声状态网络储备池规模、储备池内部连接权谱半径、储备池稀疏度、储备池输入单元尺度对宽间隔混沌跳频码预测准确性产生不同的影响。通过和声搜索方法对四种储备池参数进行优化,实现回声状态网络的改进。确定优化回声状态网络输入输出数据,建立优化回声状态网络。确定储备池参数,通过训练数据激活储备池,计算回声状态网络输出连接权矩阵,对宽间隔混沌跳频码进行预测。实验结果表明,所提方法预测结果可靠,和其他方法相比有很高的预测精度。     

基于改进回声状态网的时间序列预测

为了提高回声状态网对时间序列的预测精度,将改进的小世界网络和泄露积分型回声状态网结合,提出了一种新型时间序列预测方法.泄露积分型回声状态网储备池神经元采用随机网络进行连接,首先利用改进的小世界网络替代随机网络,提高了储备池的适应性,从而改善回声状态网的泛化能力和稳定性.然后将利用改进的回声状态网预测典型的非线性时间序列.最后利用Matlab仿真软件进行验证,仿真结果表明,该方法较传统回声状态网预测模型具有更高的效率和预测精度.     

基于小世界无标度特征的回声状态小波网络

针对储备池的适应性问题,提出了一种复合回声状态网络模型(CESN).CESN依据增量生长准则构建小世界无标度进化状态储备池,解除了储备池谱半径的限制.同时,CESN将离散小波函数作为神经元的激活函数,用Symlets小波函数替代部分储备池神经元的S型函数,Symlets小波函数的伸缩和平移变换特征丰富了动态储备池的状态空间.将CESN应用于一些非线性时间序列逼近问题中,即NARMA系统、Henon映射和二氧化碳浓度预测.实验结果表明,在逼近高度复杂的非线性系统方面,CESN明显优于注入Symlets小波的经典回声状态网络(S-ESN)和具有高聚类系数的无标度回声状态网络(SHESN).      

基于回声状态网络优化的宽间隔混沌跳频码预测

传统宽间隔混沌跳频码预测方法无反馈结构,记忆能力差;且训练过程烦琐,泛化性能差,对预测精度产生不好的影响。为此,提出一种新的基于回声状态网络优化的宽间隔混沌跳频码预测方法。设计回声状态网络,其由输入层、递归层以及输出层三个部分构成。在递归层内部各神经元间引入连接权值稀疏矩阵,使递归层内部存在动态记忆。回声状态网络储备池规模、储备池内部连接权谱半径、储备池稀疏度、储备池输入单元尺度对宽间隔混沌跳频码预测准确性产生不同的影响。通过和声搜索方法对四种储备池参数进行优化,实现回声状态网络的改进。确定优化回声状态网络输入输出数据,建立优化回声状态网络。确定储备池参数,通过训练数据激活储备池,计算回声状态网络输出连接权矩阵,对宽间隔混沌跳频码进行预测。实验结果表明,所提方法预测结果可靠,和其他方法相比有很高的预测精度。     

回声状态网络的研究进展

回声状态网络是近年来新兴的一种递归神经网络,独特而简单的训练方式以及高精度的训练结果已使其成为当前研究的热点之一.在该网络中,引入了储备池计算模式这一新的神经网络的建设方案,克服了之前网络模型基于梯度下降的学习算法所难以避免的收敛慢和容易陷入局部极小等问题.围绕这种新型网络结构,国内外许多学者开展了多样的研究.本文全面深入介绍了回声状态网络这一新兴技术,讨论了回声状态网络的优缺点,并综合近年的研究现状,总结了回声状态网络的主要研究工作进展和未来的研究方向.     

Review on echo state networks

回声状态网络是近年来新兴的一种递归神经网络,独特而简单的训练方式以及高精度的训练结果已使其成为当前研究的热点之一.在该网络中,引入了储备池计算模式这一新的神经网络的建设方案,克服了之前网络模型基于梯度下降的学习算法所难以避免的收敛慢和容易陷入局部极小等问题.围绕这种新型网络结构,国内外许多学者开展了多样的研究.本文全面深入介绍了回声状态网络这一新兴技术,讨论了回声状态网络的优缺点,并综合近年的研究现状,总结了回声状态网络的主要研究工作进展和未来的研究方向.     

基于回声状态网络的船舶横摇运动预报

针对普通的递归神经网络训练过程较复杂,而且存在记忆渐消等问题,提出一种基于回声状态网络的船舶横摇运动预报方法.该网络将隐层设计成一个巨大的动态记忆库,具有记忆功能,隐层中的神经元在学习过程中不进行权值调整,而通过线性回归的方式训练网络,使网络记忆功能加强,学习速度加快.运用该网络对某型船舶在海浪遭遇角为90°海况下的横摇运动进行预报.结果表明:回声状态网络训练简单,加速了网络的训练速度,有更好的记忆性能,以预报60步为例,回声状态网络和对角递归神经网络预报的均方根误差分别为0.003 9和0.024 9,提高了近8倍,在相同的预报精度下,回声状态网络的预报时长明显增长,验证了该方法的可行性与有效性.     

基于生物进化的可恢复回声状态网络模型

为解决回声状态网络储备池在遭受随机故障和蓄意攻击等复杂情况下的适应性问题,提出了一种具有生物进化特征的可恢复回声状态网络—3DP-RESN.基于优先匹配的复制、新增加连接的变异和新增加连接的死亡进化策略,3DP-RESN能够实现从被破坏的网络拓扑中自恢复.将3DP-RESN、传统ESN（CESN）和被破坏的ESN（DESN）应用于NARMA系统、Henon映射和figure8这3种非线性时间序列逼近任务.实验结果表明,当储备池发生故障时,3DP-RESN对于3种时间序列的预测精度明显优于DESN,接近甚至高于未遭受储备池故障的CESN,尤其在figure8实验中,3DP-RESN与CESN、DESN相比,预测精度分别提高了30.56%和7.01%.此外,3DP-RESN的短期记忆能力也接近于CESN,因此,3DP-RESN具有强大的自适应恢复能力.      

基于PLESN和LESQRN概率预测模型的短期电力负荷预测

针对现有电力负荷预测不能很好反映负荷数据的周期性和趋势性以及残差的波动性特征,提出一种考虑周期性建模的泄露积分型回声状态网络点预测模型和泄露积分型回声状态分位数回归网络概率预测模型组合的短期电力负荷预测方法。首先,为了捕捉负荷的多重特征,定义了周期性和趋势性损失函数,辅助优化点预测模型;然后,为克服残差的波动问题,利用概率预测模型对点预测值与真实值的残差进行建模预测;最后整合同时刻的点预测值与残差预测区间得到概率预测模型结果。实际算例结果表明,与其他模型相比,所提模型不仅有效抑制尖端振荡现象,而且能够生成可靠的概率密度分布。     

基于优化回声状态网络的混沌时间序列预测

基于多种群遗传算法(multiple population genetic algorithm,MPGA)优化回声状态网络(echo state networks,ESN)的储备池参数设置方案,建立MPGA-ESN模型,并将其用于上证指数开盘价预测的仿真实验.通过与BP神经网络、Elman神经网络、PSO-ESN模型、GA-ESN模型的对比,发现MPGA-ESN模型的预测精度更佳.     

基于回声状态网络的声环境中目标信号增强方法

基于声信道特点和回声状态神经网络建模,提出了一种通过抑制环境回声而相应增强目标语音的信号处理方法.仿真实验表明,对应于模型最好的泛化能力,其储备池规模(N)及其稀疏连接度(p)的N×p取值(为储备池中互相连接的神经元数量)是极值;其训练数据量(即足够的训练时间)存在一个下限值.训练建模后,该模型不仅达到通过抑制环境回声而相应增强输出目标语音信号的目的,而且麦克风接收信道改变时,也保持有效的处理效果.     

基于回声状态网络模型的短时交通流混沌预测

为了提高短时交通流预测的准确度,提出基于回声状态网络模型的短时交通流混沌预测方法;利用C-C法计算相空间重构的延迟时间和嵌入维数;利用遗传算法对回声状态网络模型进行参数寻优,进而构建基于遗传算法的回声状态网络模型;采用城市快速路实测数据进行实验验证和对比分析.结果表明,所提出方法的预测效果明显优于支持向量机模型、小波神...     

进口关税对中国制造业企业生产率的影响研究

进口关税的调整对于中国制造业企业生产率的影响是经济领域中的重要问题.本文构建了一个回声状态网络模型,将进口关税调整作为输入层神经元,将制造业企业生产率变化作为输出层神经元.选取了2000-2014年8类制造业企业的相关数据展开实证研究,实证分析的结果显示,无论是中间品进口关税的降低,还是最终品进口关税的降低,对于中国制造业企业生产率的提升都有正向的促进作用.     

基于LTC-RNN模型的中长期电力负荷预测方法

针对中长期电力负荷预测受限于天气、温度、节假日等多重不确定性因素影响而精度不高的难题,本文采用一种基于液体时间常数的递归神经网络,实现了中长期电力负荷的精准预测,为电力系统规划设计奠定较好基础．基于液体时间常数的递归神经网络使用膜积分器改进了神经元的状态方程,并使用半隐式欧拉算法完成对神经元状态迭代更新,解决递归神经网络的自我修正能力弱和易陷入局部最优的问题．本文以天气、温度、节假日等外在影响因素作为网络输入,构建了以递归神经网络为基础架构的中长期电力负荷预测模型,并通过隐藏层的扩展计算获得输入-输出的映射关系,以通过时间的反向传播算法实现对模型的训练,完成对神经网络参数的优化．实验中,以北方某地区的实际电网数据为例,验证该预测方法的准确性与高效性．研究结果发现,基于液体时间常数的递归神经网络对中长期电力负荷的预测准确率可达到95.3%．本模型相较于长短期记忆和连续时间递归神经网络具有更稳定的训练结果与更高的预测准确度．     

一种基于神经网络的网络设备故障预测系统

引入基于状态的维修技术,构建了基于多状态的在网运行设备故障预测模型.根据故障的严重性将预警等级划分为四层,对于不同的预警级别,分别构建神经网络.该模型解决了设备故障预测精度不高的难题,提升了基于多状态的故障预测能力.     

基于脑电功能连接微状态序列递归分析的情绪解码模型

脑电微状态代表准稳定的全局神经元活动，被认为是大脑动力学的构建模块，而基于微状态概率统计的特征不能很好表征脑电的动态变化特性。针对该问题提出了基于脑电微状态序列递归分析的情绪解码模型。该模型通过聚类从脑电功能连接模式中提取出具有代表性的微状态典型模式，将原始脑电信号映射为微状态时间序列，构建递归图表征脑电动力学特性，并利用卷积神经网络对递归图实现情绪解码。在公开的脑电情绪数据集(DEAP)上的实验结果表明该模型实现了比传统微状态方法更好的情绪解码效果。     

基于主元分析的转炉终点ESN静态预测模型

以主元分析方法和新型ESN(回声状态网络)算法为核心,研究了转炉终点静态预测模型.通过对某钢厂转炉生产数据的主元分析,建立了ESN模型,同时将ESN模型与传统的BP 和RBF神经网络模型进行了对比研究.结果表明,使用ESN建立的模型比传统的BP网络模型和RBF网络模型,在钢水温度预测方面精度分别提高了0.85%和0.45%,在钢水碳质量分数预测方面精度分别提高了0.45%和0.19%,能够有效的对转炉终点碳含量和温度进行预测,从而为转炉炼钢过程提供更准确的操作指导.     

回声状态网络的递推训练算法

针对回声状态网络(ESN)传统的训练方法无法解决高维矩阵不可逆时的训练,以及无法应用于需要在线训练的建模当中等问题,提出了两种新的递推训练算法。分别将含遗忘因子递推最小二乘算法（FFRLS）和无先导卡尔曼滤波算法（UKF）应用到回声状态网络输出神经元为线性函数和非线性函数的权值训练中,进而直接对网络的输出权值进行递推更新。与传统的训练方法相比,所提新方法不仅具有在线更新、精度高的优点,而且还可以解决传统训练方法中批量数据构成的向量矩阵不可逆及输出神经元为非线性函数且其反函数不可求的题。通过对连续搅拌釜式反应器（CSTR）浓度和温度的预测仿真,结果证明了所提新方法的有效性。     

跨批使用缓冲区串行生产线的泛结构模块网络建模方法

把一类串行生产线的建模纳入一种泛结构模块网络建模框架.通过状态方程中父状态与各子状态之间的线性组合关系与块网中父状态结点和各子状态结点之间的带权父-子关联关系之间的等价转换,实现以工序的最早开工时刻为状态变量的系统状态模块和泛模块的接口与提取总网“划分子网”的关联矩阵得到状态空间模型的参数矩阵.     

基于改进黑洞算法优化ESN的网络流量短期预测

网络流量数据序列具有混沌特性.相空间重构后,采用一种改进黑洞算法优化回声状态网络的非线性模型对网络流量进行预测.改进黑洞算法是在现有工作的基础上提出一种新的新解生成机制,可以提高算法的收敛速度和精度;相比于遗传算法、和声搜索算法等其他优化算法,所提出的改进黑洞算法不依赖自身相关参数的准确设定;将其应用于回声状态网络4个重要参数的优化选取,使得预测模型具有较好的预测稳定性.通过Mackey-Glass混沌时间序列和网络流量公共数据集的仿真实验,结果表明所提出的方法具有较好的预测性能.