基于学习率与惯性因子动态联合优化的快速BP算法

基于目标函数对学习率与惯性因子的偏导信息,提出了分别采用线性展开、二项式展开和共轭梯度的３种学习率与惯性因子联合动态优化的快速ＢＰ算法．仿真结果显示,与原ＢＰ算法相比,３种算法均可使网络训练速度显著加快     

用于故障模式识别的自适应模糊训练BP网络

针对ＢＰ算法固有的收敛速度慢和局部极小等问题,在对已有ＢＰ改进算法进行研究的基础上,提出了用于在线故障模式识别的自适应模糊加速训练算法,可在网络学习过程中,通过模糊推理,对网络拓扑结构、学习因子、惯性因子及激励函数进行自适应调整,实例验证表明该算法具有收敛速度快、不易陷入局部极小、网络综合性能好等特点。     

BP网络的最大误差学习算法*

综合了标准ＢＰ算法与“批处理”ＢＰ算法的各自特点,提出了一种新的ＢＰ网络的学习算法,该算法既具有“批处理”ＢＰ算法收敛时迭代次数少的优点,又能克服“批处理”算法对大样本集进行学习时每次计算量较大且收敛时间长的缺点,该算法具有“批处理”算法同阶的迭代次数,但每次迭代所需计算工作量大约是“批处理”算法的样本几分之一。     

前馈网络的一种线性化快速学习算法

针对前馈神经网络的反向传播（ＢＰ）学习算法收敛速度慢的缺点,提出了一种新的学习算法即线性化快速学习算法。这种学习算法在神经网络学习的初期,采用标准ＢＰ学习算法。而当神经网络接近最优点时,由于此时其连接权重调节幅度很小,因此采用对各层神经元的非线性作用函数进行泰勒级数展开,并取其一阶展开式近似逼近原函数,从而使其非线性作用函数转化为线性作用函数,简化了网络学习过程的计算量,加速了网络的学习速度。文中最后给出了采用线性化算法与标准ＢＰ算法对正弦函数的学习过程。     

BP学习算法的局限性与对策

研究采用多神经网络组合结构、改进ＢＰ学习算法和训练策略等３个对策来克服ＢＰ学习算法的局限性．手写数字识别的实验研究表明，这些对策效果显著．     

改进BP网络学习算法的探讨

ＢＰ网络是目前应用很广的人工神经网络。改善ＢＰ网络算法尤其是提高ＢＰ网络的学习速度一直是人们研究的重点课题。本文在对ＢＰ网络现行算法研究的基础上，提出根据系统误差自适应调节学习率的快速ＢＰ算法（ＦＢＰ），并以棉花棉铃虫预测为例，对两种算法的收敛速度进行了比较。     

BP网络学习参数模糊自适应算法的实现

前馈神经网络ＢＰ算法的改进方案中，对网络训练（学习）过程率和惯性系数进行模糊自适应调节，以提高收敛速度，晃一项很有效的措施。文中具体分析了如何根据设计者的先验知识确定模糊规则和录属函数，并以三比特异或函数（或称奇偶分类）的实现为例，验证了这种算法的改进、加速了ＢＰ网络的学习过程。     

改进BP网络学习算法的探讨

ＢＰ网络是目前应用很广的人工神经网络。改善ＢＰ网络算法尤其是提高ＢＰ网络的学习速度一直是人们研究的重要课题。本文在对ＢＰ网络现行算法研究的基础上，提出根据系统误差自适应调节学习率的快速ＢＰ算法（ＦＢＰ），并以棉花棉铃虫预测为例，对两种算法的收敛速度进行了比较。     

人工神经网络BP网的应用

目的研究ＢＰ网在人工神经网络领域中的应用及其特点,方法采用误差反向传播学习算法,对不同的声纳回波进行分类处理。结果 建立了３层ＢＰ网络结构的声纳信号处理系统,结论隐蔽层单元增加有益于正确分类率的提高,但连接权计算复杂度增加。     

人工神经网络的改进训练学习算法BPGA

作者通过引进神经元增益参数和记忆上一次网络状态改变量的冲量参数，设计了ＢＰＧＡ算法，对标准的ＢＰ算法进行了改进，提高了网络的学习速度和收敛性，并与标准的ＢＰ算法进行了比较。     

前向网络的两种混合学习策略

针对前向网络反向传播算法（ＢＰ）训练缓慢和易于陷入局部极小的缺点以及反向运算的复杂性,利用ＢＰ算法监督学习特点、模拟退火（ＳＡ）算法在局部极小处的概率突跳特性和遗传算法（ＧＡ）的并行化群体搜索的特点,有效结合ＢＰ和ＳＡ算法以及ＧＡ和ＳＡ算法,提出了前向网络的两种混合学习策略即ＢＰ＆ＳＡ混合策略和ＧＡ＆ＳＡ混合策略。以异或问题为例,通过计算机仿真对混合策略与ＢＰ、改进ＢＰ算法的比较表明混合学习策略较大程度改进了前向网络学习的收敛性能和收敛速度,并一定程度上避免了反向运算的复杂性,是前向神经网络学习的有效算法。     

用于BP网络的样本添加法

提出了一种改善ＢＰ网络学习能力的样尊添加法，它是根据人类学习知识时存在遗忘现象而设计的。首先阐明其工作原理与学习算法；接着将它用于ＢＰ网络之中，以处理三倍冗 表决问题。     

BP算法中学习率及形状因子对学习速度的综合影响

分析传统ＢＰ算法的几个基本参数，包括学习率η、形状因子λ、惯性率α等的性质、相互关系以及它们对学习速度的影响后，发现η，λ同学习速度（以训练次数Ｎ表示）之间有着明显的关系。对应Ｎ的极小值，（η，λ）的组合有一最优值或多个局部最优值，并给出了找到最优值的一些方法。一经寻找到该组合的最佳值，便能极大地提高神经网络的训练速度。     

改进的 BP 算法及其应用研究

ＢＰ网络广泛应用于函数逼近、模式识别和系统辨识,但ＢＰ算法收敛速度很慢。为此提出了ＢＰ算法的一种新的改进方式,即在误差反向传播时,不仅改变网络的联接权值,也改变神经元模型参数。详细推导了改进ＢＰ算法的迭代公式。仿真研究表明,与传统ＢＰ算法相比,该算法具有收敛速度快,函数逼近精度高的优点。     

利用GA—BP算法对模糊神经网络进行优化

分析了ＢＰ算法和遗传算法（ＧｅｎｅｔｉｅＡｌｇｏｒｉｔｈｍｓ,以下简称ＧＡ）各自的优缺点,将改进的ＧＡ与ＢＰ算法相结合,提出了一种新的ＧＡ－ＢＰ算法,并将其应用于模糊神经网络的参数优化,仿真结果验了本算法的有效性。     

BP模型的改进算法及其在负荷预测中的应用

分析了ＢＰ模型学习算法－累积误差逆传播算法在接近极小点时收敛速度变得异常缓慢的原因，并通过对连接权值的调整量引入权重系数，提出了一种改进的ＢＰ模型学习算法，大大加快了收敛速度，提出了收敛性。还利用的改进算法对某省中期负荷进行了预测，逄例结果表明了该算法的有效性。     

采用改进的BP神经网络预测离心通风机性能的研究

ＢＰ神经网络在离心通风机性能预测的研究中具有重要的价值,研究结果表明,对于任意平方可积函数,都可以采用ＢＰ算法通过对样本的学习获得满意的模拟结果,因此,在构造离心通风机性能预测模型中,ＢＰ算法提供了一个有力的工具。但是,在实际应用中,ＢＰ算法的收敛速度很慢,而且,人教学上看,它是一种梯度最速下降法,这就不可避免地存在着局部最小问题,尤其在训练量大、输入参数众多的情况下,学习效果大受影响。作者从改善     

神经网络中误差反传算法的分析与改进

分析了ＢＰ网络存在的主要问题及其产生原因,提出了改进算法ＢＰＧ,以共轭梯度方向代替梯度方向进行搜索,并在学习过程中采用不精确的一维搜索、限幅和条件轮回等措施．计算机仿真结果表明：改进的ＢＰＧ算法优于原ＢＰ算法．     

神经网络在信号处理中的应用

运用ＢＰ网络来消除信号的随机噪声和模式识别，作为例子，考虑了正弦波、矩形波和三角波３种信号。在５０％噪声情况下，ＢＰ网络仍能有效地消除这３种信号中的随机噪声并正确地找出它的理想模式。     

多层神经网络BP算法的改进

多层神经网络ＢＰ算法的改进姚瑞波孙国雄汤崇熙（东南大学机械工程系，南京２１００１８）目前，前馈型多层神经网络模型已广泛应用于模式识别、语音识别、数据压缩等领域．ＢＰ算法作为其学习方式有效地解决了ＸＯＲ、Ｔ－Ｃ匹配问题，但ＢＰ网络的学习过程是对一个高...