前向神经网络学习速率的白适应算法

学习速率是控制神经网络学习过程的一个重要参数，影响神经网络的稳定性和快速性．提出了一种能够满足实时性要求的神经网络学习速率的自适应算法，并证明了在该学习速率下，神经网络的学习过程是Lyapunov意义稳定的。试方法通过为神经网络的输出增加一个输出修正量来补偿多个未知因素对学习误盖的影响，从而构造使学习误差快速收敛到零的学习速率自适应算法。通过对神经网络在线逼近一个非线性对象的过程进行仿真，结果证明了该方法的有效性。     

带一类自适应非线性特性的变步长BP学习算法

针对前馈神经网络的反向传播(BP)学习算法收敛速度慢、易陷入局部最小等缺点,本文提出了在BP搜索进入误差代价函数曲率较小、收敛速度较慢处时,在变步长BP学习算法的基础上,引入一个非线性特性项,并将该特性项的强度系数构造为具有升温、降温策略控制的自适应非线性函数.仿真结果表明,该算法的收敛稳定、快速,具有较好的效果.     

递归神经网络学习速率研究

针对典型的对角递归神经网络,推导出递归神经网络稳定条件下网络输出层、隐含层及关联层学习速率的具体取值范围。提出设计者可通过从具体系统中获得的数据确定网络各层学习速率的上、下界数值,确定自适应学习速率的初值与调节方法,并可选取最优学习速率。因而该法具有很强的可操作性和实用性。还给出一个具体数值实例,说明自适应学习速率与最佳学习速率的调整过程。     

基于免疫算法的前向神经网络学习方法

提出了一种采用免疫算法训练多层前向神经网络的方法。该方法利用免疫算法训练前向神经网络,能够使网络优化过程趋于全局最优。利用基于遗传策略的聚类机制确定前向神经网络的初始权值,增加了网络训练算法收敛于全局最优的概率。将这种神经网络用于雷达模拟调制信号的调制方式识别的仿真结果表明,采用该算法设计的前向神经网络达到了较高的性能。     

训练前向神经网络的全局优化新算法及其应用

把填充函数法与BP算法相结合，提出一种训练前向神经网络的混合型全局优化新算法。该算法首先由BP算法得到一个局部极小点，然后利用充函数使BP算法跳出局部最优，得到一个更低的极小点。重复此过程最终求得全局最优解。最后给出一个应用实例。     

准对角递归神经网络及其算法的研究

提出一种准对角递归神经网络(QDRNN)结构及学习算法。此QDRNN结构上与对角递归神经网络(DRNN)相似，保留了DRNN结构简单的优点，以减小计算量，同时增加了相邻递归神经元之间的关联，可以直接应用BP学习算法进行训练。进一步，引入递推预报误差(RPE)学习算法，并且证明了其稳定性。仿真结果表明，QDRNN比DRNN具有更好的非线性逼近能力，而运算时间却增加甚微，DRNN的学习算法稍加变化即可应用。     

BP神经网络算法的改进及其应用

根据BP算法的基本原理,分析指出了BP算法存在着收敛慢、接近最优时易产生波动和振荡现象的原因。在此基础上,通过进一步研究,提出了一种新的改进BP算法。改进后的BP算法不仅运算速度有所提高,而且在一定程度上克服了易产生波动和振荡现象的问题。由于改进BP算法的每个权都能找到最优学习率,因此收敛精度得到了提高;并且该算法基本不受初始学习率的影响,因而避免了学习率选取的困难。图1,表3,参4。     

基于模糊推理的自适应BP算法

ＢＰ网络是迄今为止应用最广泛的一种神经网络，但这种算法也存在着收敛速度慢、容易陷入局部极小点等问题．本文在标准ＢＰ算法的基础上提出一种改进ＢＰ算法，称之为自适应ＢＰ算法．这种自适应ＢＰ算法采用模糊规则动态调整学习参数，并且能在学习过程中和学习完成后通过隐节点调整算法优化网络结构，有比标准ＢＰ算法更好的收敛性和更好的泛化能力     

基于连续时间系统仿真的神经网络学习算法

从连续时间动力学的角度,研究了多层前馈神经网络的学习问题.基于李雅普诺夫稳定性分析方法,建立了一种神经网络权重参数连续调整的学习算法,并基于连续时间系统仿真的思想,给出了一种算法实现的自适应策略.算法实现中,通过估计截断误差估计自动调整步长,几乎不需要人工确定任何参数,而且可以保证算法的稳定性及计算精度.最后,给出了两个典型的应用算例.     

基于信号流图的动态神经网络在线学习算法

复杂的链式规则求导计算是动态神经网络在线学习算法中梯度向量计算的主要瓶颈,针时这一问题,根据P.Campolucci等人提出的动态系统梯度信息信号流图分析方法,设计了动态神经网络的在线学习算法,该算法可以直接从网络的信号流图及其伴随流图中获取目标函数关于网络参数的梯度信息,从而简化了算法梯度向量的计算.为了确保算法的稳定,根据Lyapunov稳定性定理,提出并证明了可以保证算法收敛的自适应学习速率,并且学习速率容易获得.利用NARX神经网络对非线性动态系统在线辨识的仿真实例也表明了本算法的有效性.     

神经网络自适应学习研究

本文讨论了网络拓扑结构、网络的学习参数以及神经元的激活函数等多方面的人工神经网络学习问题，提出了具体实现方法。实验表明这些方法对于加快网络的收敛速度，优化网络的拓扑结构等方面有显著成效。     

前馈神经网络的一种连续型学习算法

本文给出前馈神经网络的一种连续型学习算法，对传统的ＢＰ算法作了改进。分析了该算法的收敛性。通过实例与传统ＢＰ算法进行比较，该算法可以明显提高网络的收敛速度，说明它是一种实用的学习算法。     

用于前向网络的自适应模糊训练算法

在对前向网络的学习机制和寻优机制进行研究的基础上,提出了一种自适应模糊加速训练算法,可在网络学习过程中,通过模糊推理,对网络拓扑结构、学习因子、惯性因子及激励函数进行自适应调整,实例验证表明该算法具有收敛速度快、不易陷入局部极小、网络综合性能好等特点.     

一种输入驱动的BP网络高效学习算法

在深入研究BP神经网络模型的基础上,从网络互连方式、网络权值初始化以及隐结点的选取等方面,对标准的BP算法作了改进.通过实验,证明该方法是非常有效的.     

BP算法固定学习率不收敛原因分析及对策

人工神经网络BP模型是一种常用的建模方法,但仍存在很多问题.通过对BP算法的应用发现,当固定学习率η大于0～1内某一值,将导致网络算法不收敛.本文从数学理论上分析了这一现象产生的内在原因.最后提出两种有效对策:方法是第一次η取小值,随后取较大值,最后取小值;方法二是调整传递函数f(x).通过这两种方法,解决了固定学习率不收敛的问题,并对改进方法进行了实证检验.     

遗传BP网络转速辨识器的设计及在DTC中的应用

为实现无速度传感器直接转矩控制,有时采用神经网络转速辨识器,但前馈神经网络结构难以确定,运用BP算法时又极易陷入局部解。将遗传算法和BP算法结合,采用混合编码的遗传算法优化神经网络的结构及网络初始权值,再利用BP算法对网络权值进行精确调节;这种将遗传算法与BP算法相结合的GA BP算法,实现了遗传算法的全局搜索能力与BP算法的局部寻优性能的互补结合。将所设计的神经网络转速辨识器运用到直接转矩控制系统当中,利用MATLAB/SIMULINk实现无速度传感器控制系统的仿真实验结果表明,该算法具有良好辨识效果。     

FWNN for Interval Estimation with Interval Learning Algorithm

ＦＷＮＮｆｏｒＩｎｔｅｒｖａｌＥｓｔｉｍａｔｉｏｎｗｉｔｈＩｎｔｅｒｖａｌＬｅａｒｎｉｎｇＡｌｇｏｒｉｔｈｍＷａｎｇＬｉｎｇ,ＬｉｕＦａｎｇ＆ＪｉａｏＬｉｃｈｅｎｇＳｔａｔｅＫｅｙＬａｂｏｆＲＳＰａｎｄＮＮＲｅｓｅａｒｃｈＣｅｎｔｅｒ,Ｘｉｄｉａｎ...     

多层前馈神经网络的快速学习算法及其仿真研究

本文主要研究多层前馈神经网络的快速学习问题。文中首先概述了多层前馈神经网络的B—P学习算法,并分析了这种算法的主要缺陷,在此基础上提出了若干克服和缓解这些缺陷的技术方法,由此构造了一种新的多层前馈神经网络的快速B—P学习算法即FB—P算法。通过对FB—P算法学习过程进行较详细的分析,本文还建立了一种改进的FB—P学习算法即MFB—P算法。最后本文以三层前馈神经网络识别五类地面目标图像为例,对文中提出的FB—P和MFB—P学习算法的性能(即学习速度与推广特性)进行了计算机仿真实验,同时与B—P学习算法的性能作比较,理论分析与仿真实验表明:MFB—P与FB—P学习算法比B—P学习算法具有更快的收敛速度,且MFB—P算法收敛最快;MFB—P算法比FB—P和B—P学习算法具有更好的推广特性,而后两者的推广特性则大致相同。