一种可修正激励函数的BP算法

以往的ＢＰ算法调节神经元网络的权值，其网络的隐层结点数、网络学习快慢程度及网络的泛化能力都与网络的激励函数有关的。为此，本文提出了一种带可以修正激励函数的ＢＰ算法，其特点是它能更好地模拟人脑神经元的特性。通过仿真验证此方法是非常有效的。     

人工神经网络控制的Sigmoidal函数研究

本文针对前馈神经网络误差反向传播算法（ＢＰ）算法应用于控制系统收敛速度慢，神经元非线性处理函数选择难等问题，提出了自动寻找最优Ｓｉｇｍｏｉｄａｌ函数方法。与ＢＰ算法相比较，该方法不仅收敛速度快，而且学习次数和隐节点数减少。仿真计算结果表明，该方法应用于控制系统鲁棒性能好，提高了网络学习能力，改善了学习性能，在神经网络控制中有一定推广价值。     

基于模糊推理的自适应BP算法

ＢＰ网络是迄今为止应用最广泛的一种神经网络，但这种算法也存在着收敛速度慢、容易陷入局部极小点等问题．本文在标准ＢＰ算法的基础上提出一种改进ＢＰ算法，称之为自适应ＢＰ算法．这种自适应ＢＰ算法采用模糊规则动态调整学习参数，并且能在学习过程中和学习完成后通过隐节点调整算法优化网络结构，有比标准ＢＰ算法更好的收敛性和更好的泛化能力     

复数神经网络的一种新型初始权值选择方法

为了改善学习速率,提出了一种确定复数神经网络初始权值的新颖方法。初始权值不是随机给定的,而是通过计算求得。具体方法是选择一类隐层神经元的变换函数(类支集函数),将输入层和隐层之间的复数权值计算出来,保证隐层的输出矩阵是满秩矩阵,并从理论上证明了这样的满秩矩阵是存在的。利用这个满秩矩阵,通过最小平方算法就可以求得隐层和输出层之间的复数权值。将这些权值作为初始权值,采用最速下降算法来对神经网络进行训练。初始权值的优化,使得该算法可以有效地提高复数神经网络的训练速度和计算精度。一个特例是当隐层神经元的个数与样本个数相等时,就可以求得代价函数值为0的全局最小点。计算机仿真实例验证了该算法的有效性。     

根据粗糙集理论进行BP网络设计的研究

提出了一种根据粗糙集理论进行ＢＰ网络设计的方法,它结合了粗糙集理论的强大的定性分析能力和ＢＰ网络的准确的逼近能力,得到一种可理解性好、计算简单、收敛速度快的神经网络模型．这种神经网络的学习算法的要点是：应用粗糙集的理论和方法,从给定学习样本数据中发现一组规则,并根据这些规则去建立网络模型中相应的隐层节点;然后用ＢＰ算法迭代求出网络的参数,从而完成网络的设计.     

多层前馈二阶神经网络模型

本文首先建立多层前馈二阶神经网络模型，继而给出该模型的二阶Ｂ－Ｐ学习算法，在此基础上构造了二阶快速Ｂ－Ｐ（即ＦＢ－Ｐ）和改进的二阶ＦＢ－Ｐ（即ＭＦＢ－Ｐ）学习算法，在计算机上以两类飞机图像目标识别为例，对本文提出的多层前馈二阶神经网络模型及其三种二阶学习算法的性能进行仿真实验，并与传统的多层前馈一阶神经网络及其相应学习算法的性能作比较，从而获得若干有意义的结果。     

一种复前馈神经网络的新算法

提出了一种复三层前馈网络的新型学习算法。该算法采用的是分层优化方法 ,将隐层的非线性神经元线性化 ,线性化产生的误差通过罚项受到限制。分层优化使得每一层权值整体优化 ,而与另一层无关 ,这样使得整个优化过程更有效。     

基于修改误差函数新的BP学习算法

通过分析隐层神经元饱和度对网络性能的影响,构造了新的误差函数,同时设计了一种自适应调节的放大误差信号方法,得到新的BP学习算法。该算法流程简单,不需要太大的计算复杂性。仿真实验结果表明新改进算法在收敛速度和避免误差函数陷入局部极小方面明显优于其它BP算法。     

WRBF网络的设计及其在混沌时间序列中的应用

结合小波网络良好的时频特性和RBF网络良好的局部特性，设计小波径向基函数网络(WRBF)，该四层网络较三层小波网络和三层RBF网络有更优的特性。网络的第一隐层对输入样本进行小波映射，完成对输入信息的压缩，第二隐层实现径向基函数的非线性计算，克服了RBF网络在处理多维样本时神经元的中心点和宽度难以确定及网络结果往往较复杂的弱点。为实现对网络结构和参数的同时优化，提出用二进制一复数混合编码的自适应进化规划，利用双倍体基因拓展染色体的信息量，加快算法的收敛速度，实现全局优化。在算法研究的基础上，利用WRBF网络对混沌时间序列进行预测，验证了方法的有效性。     

关于BP网络学习算法中步长上界的估计

本文首先给出了ＢＰ算法中关于步长取值使目标学习函数递减的充分条件，然后，具体给出了步长的一个上界估计值，最后，对于估计结果做了进一步讨论。本文给出的结果对于构造各种收敛的ＢＰ网络算法具有重要意义。     

基于小波神经网络的大型多辊热连轧机产品质量模型

依据小波的非线性逼近能力和神经网络的自学习特性，提出一种适合高维输入的小波神经网络建模方法。这种小波网络结构类似多层感知器，不同的是隐层神经元的激励函数为小波函数，分别对3种小波函数进行试验，利用多种优化算法训练神经网络，经比较，选择B－样条函数为激励函数，利用L－M算法较为理想，成功解决了32维输入的大型多辊热连轧机钢板材质量建模问题，经过8600组实测数据拟合和检验，测试结果表明，拟合命中率达82．3％，测试命中率达80．5％，表明了该方法的有效性。     

一种优化计算确定神经网络结构的方法

对于一个具体的多层前向神经网络设计问题,网络的输入输出以及标准样本数为已知,网络的隐层结构,即隐层层数和每个隐层神经元个数如何选择是神经网络设计中的关键.根据代数方程理论,通过权值和阈值与隐层结构的关系,建立了以权值和阈值为设计变量的目标函数表达式,通过分析,提出了多层前向神经网络合理的隐层层数和每个隐层神经元个数的一般确定方法,给出了确定多层前向神经网络合理结构的优化目标函数及其约束条件.仿真研究结果表明所提出方法确定的多层前向神经网络结构是合理的.     

一种新的学习算法及在导弹故障诊断中的应用研究

本文提出了一种多怪前向神经网络快速误差后向传播学习算法ＦＢＰ，通过某运载火箭姿态控制系统故障诊断的仿真研究，验证了ＢＰ和ＦＢＰ用于导弹姿态控制系统故障诊断的有效怀，ＦＢＰ学习算法较之ＢＰ算法学习速度的快速性。     

多层前向神经网络的RLS修正训练算法

文献［４］提出一种训练多层前向神经网络的快速学习算法—ＲＬＳ算法,与标准ＢＰ算法相比有较高的学习效率,但该方法的主要缺陷是存在数值稳定问题和鲁棒性不强的问题。提出了一种修正的基于递推最小二乘算法（ＲＬＳ）的多层前向神经网络的快速学习算法,证明了算法的数值稳定性,对两个系统进行了辨识,并与ＲＬＳ训练算法和标准ＢＰ算法进行了比较,仿真结果显示了所提方法的鲁棒性和有效性。     

前馈神经网络的一种连续型学习算法

本文给出前馈神经网络的一种连续型学习算法，对传统的ＢＰ算法作了改进。分析了该算法的收敛性。通过实例与传统ＢＰ算法进行比较，该算法可以明显提高网络的收敛速度，说明它是一种实用的学习算法。     

对学习样本无误分类的对数型目标函数BP算法

提出了一种对学习样本无误分类的改进ＢＰ学习算法。该算法采用对数型目标函数，可以减少每次迭代的计算量。同时将输出节点分为正确分类节点和误分类节点两类。对于误分类节点，将其误差项加入到目标函数中，然后采用梯度下降算法进行学习。在学习过程中，对学习率μ（ｋ）采用动态优化确定方法，以加快算法收敛速度。为保证收敛后的网络对学习样本能够正确分类，算法终止条件要求对所有输入样本，无误分类输出节点。算例仿真表明了算法的有效性。     

BP神经网络算法的改进

本文分析了ＢＰ算法所面临的问题，给出了一种改进算法，说明了它们的原理和应用环境，将它们与传统的ＢＰ算法作了比较，并通过一实例验证：应用改进算法可以大幅度地提高ＢＰ神经网络的学习速度，这对ＢＰ神经网络的应用有较大实际意义。     

神经网络多指标综合评价方法研究

利用人工神经网络ＢＰ算法建立了多指标综合评价模型,采用模糊数学的隶属函数对评价指标进行描述,由隶属函数的端点值和中间值组成学习样本模式,举例讨论了神经 多指标综合评价中的应用方法与及应注意的一些问题。     

基于多项式网络的空袭目标类型识别模型

给出了进行目标类型识别的指标集 ,建立了基于多项式前向神经网络识别模型。该模型具有三层结构 ,隐层、输出层分别采用多项式函数和线性函数作为激活函数 ;隐层 输出层的权值用最速下降法学习 ,输入层 隐层的权值用遗传算法进行学习。实例表明该模型是可行的。     

关于前馈神经网络的激活函数与认知能力

讨论了目前前馈神经网络研究中存在的一些问题 ,给出了前馈神经网络的一种数学框架。在这种框架下 ,提出了网络神经元激活函数的选取原则 ,给出了前馈神经网络认知能力的概念 ,证明了静态前馈神经网络的认知能力是有限的。指出了网络的认知能力与激活函数、隐层神经元个数的选取都有关 ,并提出了隐层神经元个数的选取原则。最后 ,给出了前馈神经网络泛化能力的概念 ,指出前馈网络的泛化能力是有条件的。