多层神经网络BP算法的改进

多层神经网络ＢＰ算法的改进姚瑞波孙国雄汤崇熙（东南大学机械工程系，南京２１００１８）目前，前馈型多层神经网络模型已广泛应用于模式识别、语音识别、数据压缩等领域．ＢＰ算法作为其学习方式有效地解决了ＸＯＲ、Ｔ－Ｃ匹配问题，但ＢＰ网络的学习过程是对一个高...     

多层前向神经网络权值初始化的研究进展

理想的初始值可以使多层前向网络模型有较快的收敛速度,同时避免陷入局部最小．对现有多种前向网络的权值初始化方法进行了综述,最后提出了若干待研究的问题．     

多层前向神经网络的自适应遗传算法训练

提出了一种改进的自适应遗传算法ＩＡＧＡ,它利用 特点,采用前向自适应技术,实现对神经网络的有交工具实验表明,该算法优于ＢＰ算法,标准遗传算法ＢＧＡ和普通自适应遗传算法ＡＧＡ,网络训练质量和效率都有很大提高。     

多层神经网络的快速BP算法

首先分析了BP算法中的误差函数对收敛精度的影响,给出了综合考虑绝对误差和相对误差的相差函数,其次利用优化方法中的共轭梯度算法来计算学习过程中的误差下降方向,并根据尺度公式对该方向进行修正,从而得到快速BP算法。经过对实际算例的模拟,结果表明本文给出的快速BP算法是一种适用于多层神经网络的、性能优良的学习算法。     

实时最小二乘算法的神经网络实现

本文提出了一种求解最小二乘问题的神经网络模型。理论分析和模拟结果表明：该网络是稳定的并且能在电路时常数数量内获得近似解。     

造纸过程的多层BP前向神经网络PID控制

为了使造纸过程的输出(湿度和基重)最大限度地接近给定值,本文采用了基于多层前向网的PID控制,此控制由控制器网络NNC和辨识器网络NNI组成,采用BP算法进行PID参数的调整和被控对象的辨识,能较好地满足控制目的,并为造纸过程的控制提供另一种思路.     

多层前馈神经网络的动态规划算法

利用动态规划来训练多层前馈网络，即逐层修改网络的权值。其算法采用有关文献提出的矩阵的广义逆的正交反向传播算法，经有限次迭代即可得到每一层的最优权值。     

多层神经网络的一种有效算法

提出了一种新的训练多层神经网络的适应性共轭梯度学习算法。理论分析和仿真结果证明，它在模式识别领域里是一种可行和有效的算法，而且其识别能力优于传统的BP算法，收敛速度也比BP算法快。     

基于多层前向神经网络的电加热炉系统辨识

介绍了一种基于多层前向神经网络的电加热炉系统辨识。本系统选择神经网络辨识器模型,运用改进后的BP算法训练辨识神经网络,大大地提高学习速度,缩短训练时间,且辨识效果很理想。     

多层神经网络的内在容错性

把多层神经网络具有内在容错性归因于其信息处理和信息存贮的分布特性，以及每个神经园固有的故障屏蔽能力，将多层网内在容错性的概念进行了形式化，进而证明了在合理的统计条件下，感知器和两层网是内在容错的。     

一种多层前馈神经网络的快速学习算法

对多层前馈神经网络的学习算法及其特点做了较为详细的讨论，提出了一种基于层内优化的快速学习算法。在该算法中，输出层的连接权矩阵（V）和前一层的输出矢量（B）被作为2个变量集合，通过最小化该层样本的总平方误差函数可求得一组它们的优化解（V^*,Bp^*）；并将Bp^*作为前一层（隐层）的期望输出，用类似的方法同样可以求出隐层的连接权矩阵和输出矢量，最后通过计算机仿真证明了该算法的有效性。     

前馈神经网络中BP算法的一种改进

在传统的BP算法基础上,提出了一种改进的BP学习算法,先加入描述网络复杂性的量,使算法能够考虑到网络的连接复杂性,进而有可能删除掉冗余的连接甚至节点;接着提出对网络的学习步长的动态调整,以此来尽量避免传统学习中的学习速度过慢和反复震荡;然后给出新的算法是高阶非线性收敛的证明;最后通过实验说明的新的BP算法在一定程度上可减少网络的复杂性,有着比传统算法更快的收敛速度。     

前向多层感知器网络的逐层学习算法

提出一种改进的前向多层网络逐层学习算法,隐层神经元的输出函数由具体系统的样本输出值确定,先让前面的隐层及输入层的权值确定不变,然后对当前层的权值进行,前一隐层输出值地误差进行估计以得到新的输出值,将其作为临时教师信号用来训练前一层的权值,把每一层权值的改变量和输出值误差的估计转变为最小二乘问题,逐层处理,直到输入层,数字仿真和具体应用的结果表明了算法的有效性。     

前馈神经网络结构自删除算法的研究

综述了利用删除法进行前馈神经网络设计的研究现状,并在重点分析根据隐节点输出相关性进行自删除的几种算法的基础上,在一个较高层次上提出了一种新的隐节点自删除算法。算例说明了这种法不仅可以压缩线性相关隐节点,而且可以删除不重要的隐节点。其重新计算量也大大减小。     

一种前馈网络的新型混合算法

提出了一种针对前馈神经网络的混合算法,该算法将最速下降法与共轭梯度法相结合,有效地改善了传统BP算法收敛速度慢、可能陷入局部极小等缺点。两个仿真结果表明,该算法是有效的。     

一种改进的RBF神经网络对县级政府编制预测

针对未来政府编制总量的预测,提出了一种改进的RBF网络算法,通过引入GCV准则进一步优化宽度参数σ;同时,对RBF网络进行子网络化处理以优化网络性能.实验结果表明,采用改进的RBF网络模型能够进一步提高网络的拟合精度,比传统的编制总量预测方法误差更小,预测精确度更高.     

前馈神经网络的二阶学习算法

前馈神经网络是神经网络中应用最广的一种。但由于神经网络采用Ｂ－Ｐ算法，收敛速度慢。在分析了神经网络算法原理的基础上，提出了一种基于变质量法的优化训练算法。仿真证明，这种算法能够大大提高神经网络的收敛速度。     

前向神经网络拓扑结构和权值的进化

基于进化规则（Bvolutionary Programmin)的方法，提出一种进化前向神经网络的新算法。该算法能同时进化网络的拓扑结构和连接权值（包括阈值），产生非常紧凑的网络结构，并且由于其全局搜索能力能够避免结构的局部。仿真结果证明了该算法的有效性。     

A Multilayer Recurrent Fuzzy Neural Network for Accurate Dynamic System Modeling

A multilayer recurrent fuzzy neural network （MRFNN） is proposed for accurate dynamic system modeling. The proposed MRFNN has six layers combined with T-S fuzzy model. The recurrent structures are formed by local feedback connections in the membership layer and the rule layer. With these feedbacks, the fuzzy sets are time-varying and the temporal problem of dynamic system can be solved well. The parameters of MRFNN are learned by chaotic search （CS） and least square estimation （LSE） simultaneously, where CS is for tuning the premise parameters and LSE is for updating the consequent coefficients accordingly. Results of simulations show the proposed approach is effective for dynamic system modeling with high accuracy.