Review on echo state networks

回声状态网络是近年来新兴的一种递归神经网络,独特而简单的训练方式以及高精度的训练结果已使其成为当前研究的热点之一.在该网络中,引入了储备池计算模式这一新的神经网络的建设方案,克服了之前网络模型基于梯度下降的学习算法所难以避免的收敛慢和容易陷入局部极小等问题.围绕这种新型网络结构,国内外许多学者开展了多样的研究.本文全面深入介绍了回声状态网络这一新兴技术,讨论了回声状态网络的优缺点,并综合近年的研究现状,总结了回声状态网络的主要研究工作进展和未来的研究方向.     

基于回声状态网络的船舶横摇运动预报

针对普通的递归神经网络训练过程较复杂,而且存在记忆渐消等问题,提出一种基于回声状态网络的船舶横摇运动预报方法.该网络将隐层设计成一个巨大的动态记忆库,具有记忆功能,隐层中的神经元在学习过程中不进行权值调整,而通过线性回归的方式训练网络,使网络记忆功能加强,学习速度加快.运用该网络对某型船舶在海浪遭遇角为90°海况下的横摇运动进行预报.结果表明:回声状态网络训练简单,加速了网络的训练速度,有更好的记忆性能,以预报60步为例,回声状态网络和对角递归神经网络预报的均方根误差分别为0.003 9和0.024 9,提高了近8倍,在相同的预报精度下,回声状态网络的预报时长明显增长,验证了该方法的可行性与有效性.     

一种新的具有多个储备池的回声状态网

回声状态网是一种新型的递归神经网络,仅需要训练输出权值,克服了传统递归神经网络存在训练算法过于复杂、收敛速度慢、易于陷入局部最小等问题.为进一步提高回声状态网的建模能力,特别是面临实现多个正弦函数叠加(MSO)等任务时的逼近能力,提出了由泄露积分型神经元构建一种新型的多储备池回声状态网,称为多储备池泄露积分回声状态网(MLESN). MLESN是采用由顶向下和由底向上相结合的思路构建回声状态网.首先采用由顶向下的思路构建回声状态网,假设其储备池由P类相异泄露积分型神经元构成,每一类神经元的群体将构成一个子储备池.然后采用由底向上方式构建回声状态网,生成P个相异中心神经元,分别代表P个子储备池,每个子储备池的神经元状态要与其中心神经元状态相同或相近,P个中心神经元之间通过随机稀疏连接构成了一个新的虚拟子储备池.在储备池状态更新过程中,仍需保持各子储备池内部神经元之间的差异性小,不同子储备池神经元状态之间的差异性大的特点.最后,利用Matlab仿真软件进行实现,并与泄露积分型回声状态网(Leaky-ESN)预测性能进行比较.仿真结果表示,本文提出的方法具有更高的预测精度和预测误差波动性小等特点.     

基于ESN网络的航天器姿态跟踪鲁棒控制

为了研究具有外部干扰力矩和模型不确定性的多体航天器姿态快速跟踪控制问题,基于逆系统方法和回声状态网络(echo state network, ESN), 设计了鲁棒控制器,并利用Lyapunov稳定性理论证明了控制系统的渐近稳定性.采用"meta-learning"策略离线训练ESN网络,并应用遗传算法优化其主要参数,解决了动态递归神经网络训练困难及网络参数不易确定的问题.控制器的设计过程相对简单,不需要精确的动力学模型.该文还针对航天器中心体与天线同时跟踪不同目标的任务进行了数值仿真,结果表明所设计的鲁棒控制器对外部干扰与模型不确定具有很好的鲁棒性.     

利用免疫进化网络的镍氢电池组荷电状态预测

针对电池组建模困难的情况,利用计算智能算法训练的前馈神经网络来预测荷电状态,选择电池组放电电流、最小单体电池电压和最小电压的导数,以及电池组平均温度作为神经网络的输入,荷电状态为网络的输出.在训练网络权值时,为了克服BP算法的缺陷,采用自适应并行免疫进化策略训练网络权值,在变功率运行工况下,通过对预测的和实际的荷电状态的比较,验证了所提出的神经网络预测精度可达到5%.     

基于回声状态网络的声环境中目标信号增强方法

基于声信道特点和回声状态神经网络建模,提出了一种通过抑制环境回声而相应增强目标语音的信号处理方法.仿真实验表明,对应于模型最好的泛化能力,其储备池规模(N)及其稀疏连接度(p)的N×p取值(为储备池中互相连接的神经元数量)是极值;其训练数据量(即足够的训练时间)存在一个下限值.训练建模后,该模型不仅达到通过抑制环境回声而相应增强输出目标语音信号的目的,而且麦克风接收信道改变时,也保持有效的处理效果.     

基于改进回声状态网的时间序列预测

为了提高回声状态网对时间序列的预测精度,将改进的小世界网络和泄露积分型回声状态网结合,提出了一种新型时间序列预测方法.泄露积分型回声状态网储备池神经元采用随机网络进行连接,首先利用改进的小世界网络替代随机网络,提高了储备池的适应性,从而改善回声状态网的泛化能力和稳定性.然后将利用改进的回声状态网预测典型的非线性时间序列.最后利用Matlab仿真软件进行验证,仿真结果表明,该方法较传统回声状态网预测模型具有更高的效率和预测精度.     

基于神经网络多参数融合的钻井过程状态监测与故障诊断

复杂系统状态监测与故障诊断是系统安全运行过程中的重要保障,分析了钻井系统事故状态下特征参数的变化,给出了用神经网络进行故障诊断的流程,在利用样本数据对网络进行训练的基础上建立了稳定的神经网络诊断模型.输入各种状态下的新样本数据,能够得到正确的系统状态识别,通过改进网络算法改进了网络性能.对生产数据的处理结果表明,基于神经网络的多参数融合算法可以很好地识别钻井过程中的不同状态,能够实现状态检测与故障诊断.     

基于小波神经网络的风速预测及置信区间估计

小波神经网络是在小波变换理论和人工神经网络的基础上建立的一种新型网络模型,综合了两者的优点,克服了BP神经网络易陷入局部极小点和训练速度慢的缺点.本文建立了小波神经网络模型,采用最陡梯度下降法训练网络,将该网络用于对风电场小时风速的预测,并对预测置信区间进行计算.预测结果表明小波神经网络在训练速度和预测精度方面均优于BP神经网络.     

基于回声状态网络优化的宽间隔混沌跳频码预测研究

传统宽间隔混沌跳频码预测方法无反馈结构,记忆能力差;且训练过程烦琐,泛化性能差,对预测精度产生不好的影响。为此,提出一种新的基于回声状态网络优化的宽间隔混沌跳频码预测方法。设计回声状态网络,其由输入层、递归层以及输出层三个部分构成。在递归层内部各神经元间引入连接权值稀疏矩阵,使递归层内部存在动态记忆。回声状态网络储备池规模、储备池内部连接权谱半径、储备池稀疏度、储备池输入单元尺度对宽间隔混沌跳频码预测准确性产生不同的影响。通过和声搜索方法对四种储备池参数进行优化,实现回声状态网络的改进。确定优化回声状态网络输入输出数据,建立优化回声状态网络。确定储备池参数,通过训练数据激活储备池,计算回声状态网络输出连接权矩阵,对宽间隔混沌跳频码进行预测。实验结果表明,所提方法预测结果可靠,和其他方法相比有很高的预测精度。     

Structure Optimization for Echo State Network Based on Contribution

Echo State Network(ESN) is a recurrent neural network with a large, randomly generated recurrent part called the dynamic reservoir. Only the output weights are modified during training. However, proper balancing of the trade-off between the structure and performance for ESN remains a difficult task. In this paper, a structure optimized method for ESN based on contribution is proposed to simplify its network structure and improve its performance.First, we evaluate the contribution of reservoir neurons. Second, we present a pruning mechanism to remove the unimportant connection weights of reservoir neurons with low contribution. Finally, the new output weights are learned with the pseudo inverse method. The novel optimized ESN, named C-ESN, is tested on a Lorenz chaotic time-series prediction and an actual municipal sewage treatment system. The simulation results show that the C-ESN can have better prediction and generalization performance than ESN.     

Jordan神经网络的改进研究

针对Jordan神经网络的反馈网络的反馈信息表征能力不强的缺点,提出了一种新的反馈网络模型,对Jordan神经网络的缺点进行了改进,并且对原来的训练学习算法进行了改进,提出了一种提取绝对值最大权的训练学习算法来降低计算复杂性,最终给出了实验结果证明。     

基于动态递归神经网络的动态矩阵控制

给出了利用动态递归神经网络 (DRNN)重构一个非线性动态过程的方法 ,对权值调整算法进行了推导。采用的动态递归神经网络具有非线性系统状态观测器的结构特征 ,容易实现并进行稳定性分析。利用训练好的网络作为预估模型 ,设计了基于DRNN的动态矩阵控制算法。仿真结果表明了权值调整算法和控制策略的有效性     

Echo-state-network classification based multi-services awareness in high-speed optical passive networks

With the challenge of great growing of services diversity,service-oriented supporting ability is required by current high-speed passive optical network (PON).Aimed at enhancing the quality of service (QoS) brought by diversified-services,this study proposes an echo state network (ESN) based multi-service awareness mechanism in 10-Gigabite ethernet passive optical network (10G-EPON).In the proposed approach,distributed architecture is adopted to realize this ESN based multi-service awareness.According to the network architecture of 10G-EPON,where a main ESN is running in OLT and a number of ESN agents works in ONUs.The main-ESN plays the main function of service-awareness from the total view of various kinds of services in 10G-EPON system,by full ESN training.Then,the reservoir information of well-trained ESN in OLT will be broadcasted to all ONUs and those ESN agents working in ONUs are allowed to conduct independent service-awareness function.Thus,resources allocation and transport policy are both determined only in ONUs.Simulation results show that the proposed mechanism is able to better support the ability of multiple services.     

一种神经网络分类器样本数据选择方法

为了提高神经网络分类器的性能,提出一种基于阴影集的训练样本数据选择方法．在阴影集的基础上提出核数据和边界数据的概念．首先通过模糊c均值聚类（FCM）获取样本数据的最优模糊矩阵;然后诱导出相应的阴影集;样本数据结合阴影集构造核数据和边界数据;最后在核数据和边界数据中进行数据选择．利用该方法,结合Iris数据集分别对BP网络、LVQ网络和可拓神经网络（ENN）等分类器进行实验研究．结果表明：该方法能够保留典型的样本,减少训练样本数据的数量;利用该方法所选择的数据对神经网络分类器进行训练,保证了分类器的泛化能力,节约了训练时间,有效提高分类器的性能．     

基于神经网络的机器人运动模型辨识及实验验证

为提高机器人模型辨识时神经网络的学习速度，改进得到一种新的神经网络拓扑结构——状态延迟输入动态递归神经网络．以德国PowerCubeTM模块化机器人为研究对象，将机器人关节位置信息和OPTOTRAK 3020三维运动测量系统测得的机器人末端位置信息作为神经网络的学习样本，对包含各种影响因素的机器人运动模型进行了辨识．并以此模型为基础，输入验证样本进行验证，所得结果及误差分析说明了该神经网络在学习能力上的优越性及辨识模型的有效性．     

利用人工神经网络进行感应电动机解耦控制

为了使感应电动机具有象直流电动机一样优良的转矩与转速控制性能,提出了一种基于人工神经网络的感应电动机解耦控制方法。由于实时递归网络具有较强地表达和处理瞬态信息的能力,适合解决非线性动态系统问题,因此用递归网络构成的解耦控制器具有良好的动态特性。为减少这种神经网络解耦控制器的学习时间,提出了一种自适应学习算法,通过在网络学习的过程中不断地调整学习速率,从而加快了网络学习速度。仿真计算结果表明,这种神经网络解耦控制方式具有优良的动态响应特性。     

用简单动态递归网构造固体散料流量模型

提出了用简单动态递归网来建立固体散料流量模型，针对动态递归网结构复杂，训练算法收敛速度慢的缺点，采用一种结构十分简单的递归网，对RPE算法进行了改进和补充，使之适用于简单递归网，用来对网络的权值和阈值进行调整，建模结果表明此方法收敛速度快，精度高。     

直接转矩控制系统定子电阻的神经网络辨识

在研究异步电机直接转矩控制的基础上 ,提出了基于神经网络方法的定子电阻辨识 为了缩短学习时间 ,保证系统收敛 ,采用了自适应调整学习率 选取实时递归网络 ,对不同隐含层单元数和训练次数进行比较 ,获得合适的单元数和训练次数 仿真结果证明 ,应用该辨识可以进一步改善直接转矩控制系统的动态性能     

智能制造系统中立体神经视觉的校准

提出一种利用神经网络校准立体视觉系统的方法。该方法充分利用神经网络的学习、记忆功能 ,采用样本进行训练后 ,神经网络能学习到立体视觉系统中的非线性关系和摄像机的内外方位元素 ,并且保存起来。该方法克服了传统校准方法计算复杂、计算量大的缺点。通过实际应用 ,获得了很好的效果