改进BP网络学习算法的探讨

ＢＰ网络是目前应用很广的人工神经网络。改善ＢＰ网络算法尤其是提高ＢＰ网络的学习速度一直是人们研究的重要课题。本文在对ＢＰ网络现行算法研究的基础上，提出根据系统误差自适应调节学习率的快速ＢＰ算法（ＦＢＰ），并以棉花棉铃虫预测为例，对两种算法的收敛速度进行了比较。     

人工神经网络的改进训练学习算法BPGA

作者通过引进神经元增益参数和记忆上一次网络状态改变量的冲量参数，设计了ＢＰＧＡ算法，对标准的ＢＰ算法进行了改进，提高了网络的学习速度和收敛性，并与标准的ＢＰ算法进行了比较。     

基于学习率与惯性因子动态联合优化的快速BP处法

基于目标函数对学习惯性因子的偏导信息,提出了分别采用线性展开、二项式展开和共轭梯度的３种学习率与惯性因子联合动态优化的快速ＢＰ算法,仿真结果显示,与原ＢＰ算法相比,３种算法均可使网络络训练速度显著加快。     

用于不平衡模式分类的BP算法的改进

ＢＰ网络用于模式分类时，若要求分类的模式集不平衡，则其学习的收敛速度极其缓慢，本提出了一种改进其收敛速度的算法。     

BP网络的最大误差学习算法*

综合了标准ＢＰ算法与“批处理”ＢＰ算法的各自特点,提出了一种新的ＢＰ网络的学习算法,该算法既具有“批处理”ＢＰ算法收敛时迭代次数少的优点,又能克服“批处理”算法对大样本集进行学习时每次计算量较大且收敛时间长的缺点,该算法具有“批处理”算法同阶的迭代次数,但每次迭代所需计算工作量大约是“批处理”算法的样本几分之一。     

前馈网络的一种线性化快速学习算法

针对前馈神经网络的反向传播（ＢＰ）学习算法收敛速度慢的缺点,提出了一种新的学习算法即线性化快速学习算法。这种学习算法在神经网络学习的初期,采用标准ＢＰ学习算法。而当神经网络接近最优点时,由于此时其连接权重调节幅度很小,因此采用对各层神经元的非线性作用函数进行泰勒级数展开,并取其一阶展开式近似逼近原函数,从而使其非线性作用函数转化为线性作用函数,简化了网络学习过程的计算量,加速了网络的学习速度。文中最后给出了采用线性化算法与标准ＢＰ算法对正弦函数的学习过程。     

BP网络学习参数模糊自适应算法的实现

前馈神经网络ＢＰ算法的改进方案中，对网络训练（学习）过程率和惯性系数进行模糊自适应调节，以提高收敛速度，晃一项很有效的措施。文中具体分析了如何根据设计者的先验知识确定模糊规则和录属函数，并以三比特异或函数（或称奇偶分类）的实现为例，验证了这种算法的改进、加速了ＢＰ网络的学习过程。     

改进的 BP 算法及其应用研究

ＢＰ网络广泛应用于函数逼近、模式识别和系统辨识,但ＢＰ算法收敛速度很慢。为此提出了ＢＰ算法的一种新的改进方式,即在误差反向传播时,不仅改变网络的联接权值,也改变神经元模型参数。详细推导了改进ＢＰ算法的迭代公式。仿真研究表明,与传统ＢＰ算法相比,该算法具有收敛速度快,函数逼近精度高的优点。     

基于学习率与惯性因子动态联合优化的快速BP算法

基于目标函数对学习率与惯性因子的偏导信息,提出了分别采用线性展开、二项式展开和共轭梯度的３种学习率与惯性因子联合动态优化的快速ＢＰ算法．仿真结果显示,与原ＢＰ算法相比,３种算法均可使网络训练速度显著加快     

前向网络的两种混合学习策略

针对前向网络反向传播算法（ＢＰ）训练缓慢和易于陷入局部极小的缺点以及反向运算的复杂性,利用ＢＰ算法监督学习特点、模拟退火（ＳＡ）算法在局部极小处的概率突跳特性和遗传算法（ＧＡ）的并行化群体搜索的特点,有效结合ＢＰ和ＳＡ算法以及ＧＡ和ＳＡ算法,提出了前向网络的两种混合学习策略即ＢＰ＆ＳＡ混合策略和ＧＡ＆ＳＡ混合策略。以异或问题为例,通过计算机仿真对混合策略与ＢＰ、改进ＢＰ算法的比较表明混合学习策略较大程度改进了前向网络学习的收敛性能和收敛速度,并一定程度上避免了反向运算的复杂性,是前向神经网络学习的有效算法。     

一种改进的BP算法

为了克服BP算法易陷入局部极小、收敛速度慢等缺点,笔者利用非线性最小二乘法对其进行了改进.结果表明,采用改进后的BP算法来训练神经网络,能在一定程度上提高神经网络的收敛速度,具有学习速度快、识别能力强等优点.     

前馈神经网络中BP算法的一种改进

在传统的BP算法基础上,提出了一种改进的BP学习算法,先加入描述网络复杂性的量,使算法能够考虑到网络的连接复杂性,进而有可能删除掉冗余的连接甚至节点;接着提出对网络的学习步长的动态调整,以此来尽量避免传统学习中的学习速度过慢和反复震荡;然后给出新的算法是高阶非线性收敛的证明;最后通过实验说明的新的BP算法在一定程度上可减少网络的复杂性,有着比传统算法更快的收敛速度。     

一种用于模式分类的多层感知机模型和学习算法

将Kalman滤波算法与BP算法相结合，提出一种用于模式分类的多层感知机模型和学习算法，并对计算实例进行了计算机模拟实验．实验结果表明，这种算法适用于非线性模式分类，且具有较快的收敛速度.     

基于步长优化和共轭梯度法的改进BP算法

本文针对传统ＢＰ算法存在的两个常见问题进行了讨论，提出了基于步长优化和共轭梯度法的改进ＢＰ算法。新的算法避免了目前由人为经验确定迭代步长的缺陷，并能有效克服局部极小值。这样可使网络加快收敛，稳定性变好。     

改进传统BP算法提升机动车牌照字符识别性能

BP算法已广泛应用在机动车牌照识别系统中,但如何进一步提高车牌识别的速度和准确率是车牌识别系统最根本的问题。本文针对标准BP算法的不足,提出通过对作用函数进行修正、自适应调整迭代过程步长进行BP算法改进,对比分析改进前后BP算法在车牌识别技术中的应用,显示改进后的算法具有收敛速度快、识别时间短、识别率高等方面的优点,识别性能得到了很大优化。     

一种基于改进的BP神经网络的入侵检测方法

针对普通BP神经网络算法学习收敛速度慢、易造成局部极小的问题,提出一种改进的BP神经网络入侵检测方法,其采用拟牛顿的方法进行学习,即对目标矩阵求二阶导数.运用该方法能够有效提高学习速度,消除局部极小.仿真结果表明,改进的BP神经网络入侵检测方法收敛速度快,比标准的BP入侵检测方法误检率低,能够很好地提高学习效率,更加有效地检测攻击行为.     

一种改进的BP人工神经网络模型

针对人工神经网络 BP 模型在实际应用中会遇到一些问题。该文指出了 BP 神经网络模型结构和算法的一些不足,并针对 BP网络模型算法存在的局部极小问题、BP 网络学习速度较慢以及 BP 模型网络结构训练过度和降低网络归纳能力等问题提出了引入规则、选择激发函数和转换函数、采用隐含神经元以及改变网络拓扑结构等一些改进措施,对于提高 BP 模型在实际应用中的效果具有重要意义。通过实际应用,证明了改进后的算法是行之有效的。     

BP算法用于系统辨识的研究

讨论BP算法用于系统辩识时样本数的选取对训练速率的影响。确立一种选取每一时刻学习样本数的标准，在此标准下，既能保证训练网络的相对稳定性，又能大大加快其收敛速度。     

基于BP神经网络的非特定人语音识别算法研究

当前非定特人语音识别算法大多只适于连续语音,且识别精度和速度均较低。为此,提出一种新的基于BP神经网络的非特定人语音识别算法,介绍了标准BP神经网络,针对其收敛速度慢的弊端,通过变化的自适应学习速率,令网络训练针对各种阶段自行设置学习速率值,利用变学习速率构建对应的改进BP神经网络模型,将改进的BP神经网络模型看作识别非特定语音的识别器,输入待识别语音,令累计预测残差达到最小,实现非特定人语音识别。将改进模型应用于非特定人语音识别中进行验证,结果表明所提算法识别率更高、识别速度更快,不仅适于连续语音的识别,也适于不连续语音的识别。     

遗传算法在BP网络权值学习中的应用

针对BP算法学习神经网络权值收敛速度慢、易陷入局部最优等缺点 ,采用遗传算法学习BP网络的权值 ;并给出了“异或”(XOR)问题的仿真示例 ,通过比较 ,发现遗传算法不会陷入局部最优 ,有效地改善了收敛速度