基于生物进化的可恢复回声状态网络模型

为解决回声状态网络储备池在遭受随机故障和蓄意攻击等复杂情况下的适应性问题,提出了一种具有生物进化特征的可恢复回声状态网络—3DP-RESN.基于优先匹配的复制、新增加连接的变异和新增加连接的死亡进化策略,3DP-RESN能够实现从被破坏的网络拓扑中自恢复.将3DP-RESN、传统ESN（CESN）和被破坏的ESN（DESN）应用于NARMA系统、Henon映射和figure8这3种非线性时间序列逼近任务.实验结果表明,当储备池发生故障时,3DP-RESN对于3种时间序列的预测精度明显优于DESN,接近甚至高于未遭受储备池故障的CESN,尤其在figure8实验中,3DP-RESN与CESN、DESN相比,预测精度分别提高了30.56%和7.01%.此外,3DP-RESN的短期记忆能力也接近于CESN,因此,3DP-RESN具有强大的自适应恢复能力.      

一种新的具有多个储备池的回声状态网

回声状态网是一种新型的递归神经网络,仅需要训练输出权值,克服了传统递归神经网络存在训练算法过于复杂、收敛速度慢、易于陷入局部最小等问题.为进一步提高回声状态网的建模能力,特别是面临实现多个正弦函数叠加(MSO)等任务时的逼近能力,提出了由泄露积分型神经元构建一种新型的多储备池回声状态网,称为多储备池泄露积分回声状态网(MLESN). MLESN是采用由顶向下和由底向上相结合的思路构建回声状态网.首先采用由顶向下的思路构建回声状态网,假设其储备池由P类相异泄露积分型神经元构成,每一类神经元的群体将构成一个子储备池.然后采用由底向上方式构建回声状态网,生成P个相异中心神经元,分别代表P个子储备池,每个子储备池的神经元状态要与其中心神经元状态相同或相近,P个中心神经元之间通过随机稀疏连接构成了一个新的虚拟子储备池.在储备池状态更新过程中,仍需保持各子储备池内部神经元之间的差异性小,不同子储备池神经元状态之间的差异性大的特点.最后,利用Matlab仿真软件进行实现,并与泄露积分型回声状态网(Leaky-ESN)预测性能进行比较.仿真结果表示,本文提出的方法具有更高的预测精度和预测误差波动性小等特点.     

基于改进回声状态网的时间序列预测

为了提高回声状态网对时间序列的预测精度,将改进的小世界网络和泄露积分型回声状态网结合,提出了一种新型时间序列预测方法.泄露积分型回声状态网储备池神经元采用随机网络进行连接,首先利用改进的小世界网络替代随机网络,提高了储备池的适应性,从而改善回声状态网的泛化能力和稳定性.然后将利用改进的回声状态网预测典型的非线性时间序列.最后利用Matlab仿真软件进行验证,仿真结果表明,该方法较传统回声状态网预测模型具有更高的效率和预测精度.     

小波回声状态网络的流量预测

网络流量是一种复杂、多变的非线性混沌系统,为了获得更加理想的网络流量预测结果,针对传统回声状态网络的不足,提出一种小波回声状态网络流量预测模型(WESN).首先采用小波分解将网络流量数据分解成高频和低频,然后将高频和低频的数据同时输入回声状态网络进行学习,从而解决了ESN模型中存在的病态矩阵问题,最后对模型性能进行仿真测试.结果表明,WESN可以很好地拟合网络流量变化,具有一定的实际应用价值.     

基于回声状态网络优化的宽间隔混沌跳频码预测研究

传统宽间隔混沌跳频码预测方法无反馈结构,记忆能力差;且训练过程烦琐,泛化性能差,对预测精度产生不好的影响。为此,提出一种新的基于回声状态网络优化的宽间隔混沌跳频码预测方法。设计回声状态网络,其由输入层、递归层以及输出层三个部分构成。在递归层内部各神经元间引入连接权值稀疏矩阵,使递归层内部存在动态记忆。回声状态网络储备池规模、储备池内部连接权谱半径、储备池稀疏度、储备池输入单元尺度对宽间隔混沌跳频码预测准确性产生不同的影响。通过和声搜索方法对四种储备池参数进行优化,实现回声状态网络的改进。确定优化回声状态网络输入输出数据,建立优化回声状态网络。确定储备池参数,通过训练数据激活储备池,计算回声状态网络输出连接权矩阵,对宽间隔混沌跳频码进行预测。实验结果表明,所提方法预测结果可靠,和其他方法相比有很高的预测精度。     

基于回声状态网络优化的宽间隔混沌跳频码预测

传统宽间隔混沌跳频码预测方法无反馈结构,记忆能力差;且训练过程烦琐,泛化性能差,对预测精度产生不好的影响。为此,提出一种新的基于回声状态网络优化的宽间隔混沌跳频码预测方法。设计回声状态网络,其由输入层、递归层以及输出层三个部分构成。在递归层内部各神经元间引入连接权值稀疏矩阵,使递归层内部存在动态记忆。回声状态网络储备池规模、储备池内部连接权谱半径、储备池稀疏度、储备池输入单元尺度对宽间隔混沌跳频码预测准确性产生不同的影响。通过和声搜索方法对四种储备池参数进行优化,实现回声状态网络的改进。确定优化回声状态网络输入输出数据,建立优化回声状态网络。确定储备池参数,通过训练数据激活储备池,计算回声状态网络输出连接权矩阵,对宽间隔混沌跳频码进行预测。实验结果表明,所提方法预测结果可靠,和其他方法相比有很高的预测精度。     

构建复杂回响状态网络的新方法

研究了人工神经网络混沌时间序列预测应用中的拓扑选择问题,受大脑皮层生长发育过程启发,提出一种类皮层网络--复杂回响状态网络(CESN)的构建方法.将影响皮层网络生长发育过程的依赖距离和依赖时间窗口的2个生长机制中的规模因子、距离敏感因子、密度敏感因子、种子神经元个数,以及时间窗宽度等调控因子,类比地定义为CESN构建过程中的构造参数.实验发现,CESN的拓扑结构能够被这些构造参数惟一地确定,并且当种子神经元个数取值约为网络规模的10%时,构建出的CESN几乎具有最优的预测精度.根据这个发现,仿真证实了CESN能够被更省时地构建,表明所提方法是一种高效的网络构建方法.     

一种用于非线性函数逼近的小波神经网络算法仿真

提出一种用于非线性函数逼近的小波神经网络算法,分析了网络的拓扑结构,给出了网络的参数估计方法.采用遗忘因子法训练网络的权值,利用具有优良渐近性质的递推预报误差算法训练尺度因子和平移因子,分析并给出两种小波元的个数选择方法.该算法用于非线性函数逼近时优于同等规模的BP神经网络.仿真研究表明,该方法具有收敛速度快,逼近精度高等优点,在为非线性系统建模提供一种新方法的同时,也为复杂非线性系统的辨识提供有益的参考.     

回声状态网络的递推训练算法

针对回声状态网络(ESN)传统的训练方法无法解决高维矩阵不可逆时的训练,以及无法应用于需要在线训练的建模当中等问题,提出了两种新的递推训练算法。分别将含遗忘因子递推最小二乘算法（FFRLS）和无先导卡尔曼滤波算法（UKF）应用到回声状态网络输出神经元为线性函数和非线性函数的权值训练中,进而直接对网络的输出权值进行递推更新。与传统的训练方法相比,所提新方法不仅具有在线更新、精度高的优点,而且还可以解决传统训练方法中批量数据构成的向量矩阵不可逆及输出神经元为非线性函数且其反函数不可求的题。通过对连续搅拌釜式反应器（CSTR）浓度和温度的预测仿真,结果证明了所提新方法的有效性。     

基于小波神经网络的股票预测

通过将Morlet母小波基函数作为神经网络隐含层神经元的激励函数,构建了Morlet小波神经网络,对网络结构进行了隐含层节点的优化,对股票收盘价的变化进行仿真和预测,实验结果表明,Morlet小波神经网络具有较好的逼近非线性映射的能力,其泛化性能和预测能力较优.     

一类神经网络观测器的设计及应用

为了减少小波神经网络(Wavelet Neural Network,WNN)的母小波与神经元数,在WNN模型修正的基础上提出了一种能够储存小波上一步信息由自反馈神经元组成的自回归小波神经网络(Self Recurrent Wavelet Neural Network,SRWNN);在分析了这种网络的结构形式后,提出了一类非线性系统的神经网络自适应状态观测器设计方法,并通过引入Lyapunov函数,证明了这种观测器设计方法的正确性;最后,将这种观测器设计方法用于航天器机械手的反演控制,根据SRWNN观测器的估计状态值,应用反演控制理论设计控制器,能够很好地实现系统状态观测,实现无需速度的信号跟踪。     

城市供水管网水量预测的小波神经网络方法

为提高城市供水优化调度的可靠性和实用性，对城市管网水量预测的方法进行了研究．提出了利用小波分解与人工神经网络相结合的小波神经网络管网水量预测模型，该模型以非线性小波基为神经元变换函数，通过伸缩因子和平移因子计算小波基函数合成的小波网络，并从理论上给出了严密的算法；同时通过逐步检验算法，科学地确定了网络结构，克服了普通人工神经网络难以确定网络结构、存在局部极小点等缺点．仿真结果表明，该模型比普通人工神经网络预测模型的预测精度高，并具有很强的适应能力．     

基于小波神经网络的一类非线性系统的故障检测

针对一类非线性系统,提出一种小波神经网络(wavelet neural network,WNN)自适应故障检测方法。WNN具有较强的泛化能力及不同的激活函数。通过设计自适应状态观测器技术,利用小波神经网络观测器良好的观测性能来观测系统的当前状态,并将其应用于一类非线性系统中,实现故障检测与诊断。利用Lyapunov直接方法从理论上证明了小波神经网络故障检测观测器的稳定性,仿真结果亦表明了该非线性系统故障检测观测器的可靠性和稳定性。     

基于数据挖掘的网络状态异常检测

针对目前网络状态异常行为检测正确率低的问题,提出一种基于数据挖掘的网络状态异常检测模型.首先提取网络状态信号,通过小波变换对信号进行预处理,并提取网络状态异常检测的特征;然后通过回声状态网络对网络状态异常检测进行建模,并通过遗传算法对回声状态网络的参数进行优化;最后采用网络状态异常数据集对模型的有效性进行测试.测试结果表明,数据挖掘技术可以准确检测各种网络状态异常行为.     

远程控制中的小波压缩

为解决远程控制系统中海量数据需要压缩的问题,采用小波压缩的方法对过程控制数据趋势进行分析,以Matlab为仿真工具,选取适当的小波基函数和分解层数及阈值,采用Symlets 8的小波分解可得到较好的压缩比率及较高的信号恢复质量.     

基于小波神经元网络模型的网损预测方法研究

提出了一种电力系统网损预测的新算法-小波神经元网络预测模型,它以非线性小波基为神经元函数,通过优化伸缩因子和平移因子确定对应务神经元的小波基函数,从而合成小波神经元网络,达到全局最优的拟合效果,克服了普通人工神经元网络学习速度慢、难以确定网络结构、存在局部极小点等方面的缺点,仿真结果表明,该方法准确,并可使学习速度大大提高。     

带正弦函数扰动的小波混沌神经网络研究

对小波混沌神经网络的内部状态进行改进,引入了三角函数扰动,提出了一种新型的带三角函数扰动的小波混沌神经网络模型,并把它应用到函数优化和组合优化问题中.仿真结果表明,在控制适当的扰动系数时,带三角函数扰动的小波混沌神经网络能有效地解决函数优化问题和组合优化问题,体现了小波混沌神经网络有很强的鲁棒性和抗干扰能力.