前馈神经网络的二阶学习算法

前馈神经网络是神经网络中应用最广的一种。但由于神经网络采用Ｂ－Ｐ算法，收敛速度慢。在分析了神经网络算法原理的基础上，提出了一种基于变质量法的优化训练算法。仿真证明，这种算法能够大大提高神经网络的收敛速度。     

激励函数可调的前馈神经网络在线学习算法

针对标准ＢＰ算法的不足,提出了一种激励函数可调的前馈神经网络在线学习算法。该方法去除了样本的预处理过程,以在线方式训练前馈神经网络,同时修正网络的权重,阈值与激励函数。,上于避免了神经元的输出饱和现象,算法的收敛速度明显提高,并在一定程度上防止了局部极小解的出现。仿真结果证明了这种算法的有效性。     

前馈神经网络的逐层优化学习算法

提出了求解前馈神经网络的逐层优化学习算法，首先对输出层权值进行优化，然后再对隐层权值进行优化，如此交替迭代直至求出最优解。在分层优化过程中，对节点激池数进行了线性，同时为防止由于线性化造成较大的误差，在目标函数中加入惩罚项。     

一种新型的前馈多层神经网络学习算法

利用矩阵Ｍｏｏｒｅ－Ｐｅｎｒｏｓｅ逆的方法,提出了一种新型的前馈多层神经网络学习算法－ＭＢＰ算法。该算法采用了群体搜索的策略,打破了ＢＰ算法一次一点的搜索方式,一次可搜索权空间中的一个超平面,仿真结果表明,该算法在提高收敛速度和避免陷入局部极小点方面都有一定的进展。     

共轭梯度神经网络的研究

针对ＢＰ人工神经网络存在的两个缺点：（１）局部收敛问题不能很好解决；（２）收敛速度慢，提出应用改进共轭梯度算法建立人工神经网络，以获得共轭梯度网络的全局收敛特性和快收敛速度。计算机仿真结果表明：改进巫轭梯度网络优于ＢＰ网络。     

前馈神经网络中BP算法的一种改进

在传统的BP算法基础上,提出了一种改进的BP学习算法,先加入描述网络复杂性的量,使算法能够考虑到网络的连接复杂性,进而有可能删除掉冗余的连接甚至节点;接着提出对网络的学习步长的动态调整,以此来尽量避免传统学习中的学习速度过慢和反复震荡;然后给出新的算法是高阶非线性收敛的证明;最后通过实验说明的新的BP算法在一定程度上可减少网络的复杂性,有着比传统算法更快的收敛速度。     

二维灰色神经网络批处理梯度算法的收敛性

灰色神经网络GNNM(2,1)是灰色系统与BP神经网络相糅合的二维神经网络,给出了灰色神经网络GNNM(2,1)的网络结构和批处理梯度算法,研究了灰色神经网络GNNM(2,1)的收敛性问题,并证明了误差函数的单调性、弱收敛性和强收敛性.     

一类共轭梯度算法的收敛性

对无约束最优化问题minfx∈R^n（x）,提出了一类与βk^HS相关的共轭梯度算法,采用强Wolfe搜索,在较弱的条件下,证明了其充分下降性和全局收敛性．     

对几种多层前馈神经网络训练算法的研究

多层前馈神经网络具有模式识别能力强、训练算法多样等优点,但是其训练过程的低效率始终是多层前馈神经网络应用和发展的瓶颈。为了解决这个问题,科学家们提出了很多加速训练的算法。本文首先介绍了几种主要的训练算法及其思想,然后通过实验数据对这几种算法的收敛速度进行了比较。在此基础上本文阐明了几种算法的适用范围及其优缺点。     

前馈神经网络的一个新的混沌学习算法

利用混沌运动的遍历性特点,将logistic 映射与BP算法相结合,给出一个多层前馈网络的新的混沌学习算法。仿真结果表明,本算法取得了良好的效果。     

多层前馈神经网络的误差特性分析

为分析人工神经网络（ＡＮＮ）的品质或性能对权值扰动及输入误差的容忍特性,文章基于输入及权值的随机模型,采用统计学的方法,得到了由ｓｉｇｍｏｉｄ型神经元构成的任意多层前馈神经网络在任意大小且具有任意相关性的输入误差与／或权值扰动下,输出误差特性的通用算法。仿真及对比理论计算结果表明了所提算法是正确的。     

前馈神经网络快速算法及其应用

针对现有前馈神经网络学习算法的缺陷,提出一种前馈神经网络的快速学习算法.该算法是基于无监督学习中的主元分析算法的Oja规则和监督学习中δ规则的.与现有同类算法相比,该算法简化了学习过程,计算量小,有更快的学习收敛速度和更高的收敛精度,较适用于快速学习的系统辨识和其他应用.系统辨识的仿真实例表明了该算法的优良性能.     

前向神经网络容错性分析的切比雪夫不等式法

目前 ANN的分析中缺乏对硬故障容错性能的分析 ,针对这一问题利用切比雪夫不等式给出了一种容错性分析的估算方法。利用切比雪夫不等式 ,分析了具有可微作用函数的前向神经网络容错性 ,建立了前向神经网络随机故障模型 ,讨论了固定型连接故障和错误输入故障对单个神经元的影响 ,通过分析这种前向神经网络故障传播特点 ,结合神经元容错分析的结论 ,得出了前向神经网络容错性分析的算法和相应公式。通过仿真实验 ,验证了上述结论的正确性。     

基于子空间分析的前馈神经网络隐层评测方法

针对最佳平方逼近3层前馈神经网络模型,采用子空间分析方法,讨论了隐单元的误差补偿性能,提出了隐层评测方法.研究结果表明隐单元选取策略应遵循其输出向量有效分量位于误差空间、回避耗损空间和尽可能靠近某一能量空间的原则,这一结果与隐单元采用什么激发函数无关,也允许各隐单元采用不同激发函数.网络的隐层性能评价可以通过隐层品质因子、隐层有效系数、隐单元剩余度来进行,而总体结果可采用隐层评价因子进行评测.评测实验表明,所提出的隐层评测方法是合理有效的.图1,表1,参11.     

前向神经网络的处理能力和推广性量度

目标问题的复杂程度和网络处理能力的适合程度是影响人工神经网络推广性的本质因素。为了衡量前向神经网络（ Ｆ Ｎ Ｎ）的处理能力,该文对 Ｆ Ｎ Ｎ 的插值误差进行了研究,得到了统计意义下 Ｆ Ｎ Ｎ 处理能力的估计值,进而定义了能间接反映神经网络推广性的推广性量度。该方法能够估计出适合目标问题的网络规模,应用于函数逼近和样本分类问题,仿真结果证实了该方法的有效性。     

一类具变时滞细胞神经网络的全局渐近稳定性

讨论一类具变时滞细胞神经网络平衡点的唯一性和全局渐近稳定性,利用矩阵不等式,通过构造合适的Lyapunov泛函,得到了具变时滞细胞神经网络全局渐近稳定性的新的充分条件．     

一类共轭梯度方法及其全局收敛性

给出一类共轭梯度方法．在迭代中,步长由广义Wolfe线搜索条件确定,产生的方向具有充分下降性。在适当假设下,证明了算法是全局收敛的．     

一类具有混合时滞的神经网络指数稳定性分析

讨论了一类具有混合时滞(包含离散和分布时滞)的人工神经网络的指数稳定性问题.通过将时滞区间分为不等的两部分,并结合倒数凸方法,得到了系统指数稳定的新判据,判据以线性矩阵不等式的形式给出.最后用两个数值实例说明了所得结论的有效性与更小的保守性.     

一类二元离散神经网络模型的收敛性

研究离散二元神经网络模型{xn 1=λxpf(xn) (1-λ)f(yn)[xn] yn 1=λxn qf(yn) (1-λ)f(xn)[yn] 解的收敛性. 这里λ∈(0,1)是常数,p,q时非负已知常数且p·q=0;[x] 表示:[x] ={x,x＞0, 0,x≤0.信号传输函数f为三段非线性常数函数.