前馈神经网络中BP算法的一种改进

在传统的BP算法基础上,提出了一种改进的BP学习算法,先加入描述网络复杂性的量,使算法能够考虑到网络的连接复杂性,进而有可能删除掉冗余的连接甚至节点;接着提出对网络的学习步长的动态调整,以此来尽量避免传统学习中的学习速度过慢和反复震荡;然后给出新的算法是高阶非线性收敛的证明;最后通过实验说明的新的BP算法在一定程度上可减少网络的复杂性,有着比传统算法更快的收敛速度。     

前馈神经网络的二阶学习算法

前馈神经网络是神经网络中应用最广的一种。但由于神经网络采用Ｂ－Ｐ算法，收敛速度慢。在分析了神经网络算法原理的基础上，提出了一种基于变质量法的优化训练算法。仿真证明，这种算法能够大大提高神经网络的收敛速度。     

前馈神经网络的逐层优化学习算法

提出了求解前馈神经网络的逐层优化学习算法，首先对输出层权值进行优化，然后再对隐层权值进行优化，如此交替迭代直至求出最优解。在分层优化过程中，对节点激池数进行了线性，同时为防止由于线性化造成较大的误差，在目标函数中加入惩罚项。     

激励函数可调的前馈神经网络在线学习算法

针对标准ＢＰ算法的不足,提出了一种激励函数可调的前馈神经网络在线学习算法。该方法去除了样本的预处理过程,以在线方式训练前馈神经网络,同时修正网络的权重,阈值与激励函数。,上于避免了神经元的输出饱和现象,算法的收敛速度明显提高,并在一定程度上防止了局部极小解的出现。仿真结果证明了这种算法的有效性。     

前馈神经网络的一个新的混沌学习算法

利用混沌运动的遍历性特点,将logistic 映射与BP算法相结合,给出一个多层前馈网络的新的混沌学习算法。仿真结果表明,本算法取得了良好的效果。     

一种新型的前馈多层神经网络学习算法

利用矩阵Ｍｏｏｒｅ－Ｐｅｎｒｏｓｅ逆的方法,提出了一种新型的前馈多层神经网络学习算法－ＭＢＰ算法。该算法采用了群体搜索的策略,打破了ＢＰ算法一次一点的搜索方式,一次可搜索权空间中的一个超平面,仿真结果表明,该算法在提高收敛速度和避免陷入局部极小点方面都有一定的进展。     

一个改进的BP神经网络自适应学习算法

提出了一个改进的自适应变步长ＢＰ网络学习算法,对多个布尔学习问题以及Ｆｉｓｈｅｒ收集的一个植物分类问题进行计算．结果表明,该算法不仅有相当快的收敛速度,而且在避免学习过程陷入局部极小方面也取得较好结果．     

前馈型神经网络新学习算法的研究

前馈神经网络在非线性系统的建模及控制中有着广阔的应用前景,但是该网络的学习算法—向后传播算法(Backpropagation(BP)Algorithm)算法存在一些不足。为了提高多层前馈神经网络的学习效率及稳定性,引入了非线性最小二乘法。通过与其他学习算法的比较,得出结论:其中用差商近似代替导数的Powell法是一种高效、快速的学习方法,其学习速率比带动量项的学习率自适应的BP算法高一个量级,而比Daviden Fletcher Powell(DFP)、BroydenFletcher Goldfarl Shanno(BFGS)等变尺度方法以及其他非线性最小二乘法的稳定性要好得多。     

前馈型神经网络新学习算法的研究

前馈神经网络在非线性系统的建模及控制中有着广阔的应用前景,但是该网络的学习算法-向后传播算法(Backpropagation (BP) Algorithm)算法存在一些不足.为了提高多层前馈神经网络的学习效率及稳定性,引入了非线性最小二乘法.通过与其他学习算法的比较,得出结论:其中用差商近似代替导数的Powell法是一种高效、快速的学习方法,其学习速率比带动量项的学习率自适应的BP算法高一个量级,而比Daviden Fletcher Powell (DFP)、Broyden Fletcher Goldfarl Shanno (BFGS)等变尺度方法以及其他非线性最小二乘法的稳定性要好得多.     

任意前馈神经网络的稀疏化算法

主要讨论前馈神经网络的稀疏化,即如何确定和删除网络中冗余的神经元和连接。首先给出前馈神经网络的数学定义,并将偏序和拓扑排序引入到前馈神经网络的学习算法和稀疏化算法中。在此基础上提出了冗余神经元和连接的判断依据,并按照自构形和自调整的策略,提出了适用于前馈神经网络的自构形学习算法和自调整删减算法。实验结果表明,上述的稀疏化算法不仅能够有效地删除网络中冗余的神经元和连接,而且能够改善网络的性能。     

前馈神经网络权值和拓扑结构的一个学习算法

从三层前馈神经网络作为样本分类器时隐结点常常起着聚类作用的想法出发，提出一种在权值学习过程中调整网络拓扑结构的学习算法．实验结果表明，该法能在网络的权值学习过程中比较有效地选择网络的拓扑结构，同时又具有较快的学习收敛速度     

多项式前向神经网络

提出了一种新型的前向神经网络模型-多项式神经网络。该网络具有三层结构,隐层、输出层神经元激活函数分别为：f(x)=x^p和线性函数,网络隐层-输出层的权值采取最速下降法学习,输入层-隐层的权值采用遗传算法进行学习;网络学习时,其误差函数单调递减,学习算法具有较好的收敛性;该网络能逼近任意的连续函数,且具有较好的稳定性,应用实例表明该网络的性能是优良的。     

前馈神经网络结构自删除算法的研究

综述了利用删除法进行前馈神经网络设计的研究现状,并在重点分析根据隐节点输出相关性进行自删除的几种算法的基础上,在一个较高层次上提出了一种新的隐节点自删除算法。算例说明了这种法不仅可以压缩线性相关隐节点,而且可以删除不重要的隐节点。其重新计算量也大大减小。     

两种改进的BP神经网络学习算法

借鉴计算机网络拥塞控制中的"慢启动"策略,针对传统BP算法中存在的收敛速度慢与精度不高的不足提出了两种改进的变学习率学习算法,仿真结果表明改进的BP算法与自适应附加动量BP算法性能相近,其学习的收敛速度与精度优于传统的BP算法.     

前向多层感知器网络的逐层学习算法

提出一种改进的前向多层网络逐层学习算法,隐层神经元的输出函数由具体系统的样本输出值确定,先让前面的隐层及输入层的权值确定不变,然后对当前层的权值进行,前一隐层输出值地误差进行估计以得到新的输出值,将其作为临时教师信号用来训练前一层的权值,把每一层权值的改变量和输出值误差的估计转变为最小二乘问题,逐层处理,直到输入层,数字仿真和具体应用的结果表明了算法的有效性。     

前向神经元网络的子波表示

基于函数逼近，对前向神经元网络中非线函数与子波变换中母函数的关系进行了分析，推出了前向神经元网络的子波表示，指出两种方法应用于Ｌ＾２（Ｒ）空间函数逼近时是一致性，最后给出了两个前向神经元网络的子波表示，函数逼近实例验证了本结论的正确性。     

一种改进的BP网络图象压缩方法

本文提出了一种改进的ＢＰ网络图象压缩方法．该方法对输入图象矢量进行分类，不同类别的图象矢量分别由不同的ＢＰ网络来实现压缩和恢复．因为同一类别图象矢量间离散度较小，所以可降低ＢＰ网络的映射复杂度，从而达到改善图象质量的目的．实验结果表明，这种改进能有效提高恢复图象的信噪比和视觉质量，对数据压缩比影响很小．     

基于分层遗传算法的BP神经网络学习算法

针对BP算法局部搜索能力强,而分层遗传算法全局搜索优势突出的特点,结合二者优势构造了一种分层遗传算法与BP算法相结合的前馈神经网络学习算法．将分层遗传算法引入到前馈神经网络权值和阈值的早期训练中,再用BP算法对前期训练所得性能较优的网络权值、阈值进行二次训练得到最终结果．仿真结果表明,该混合学习算法能够较快地收敛到全局最优解,优于BP算法、分层遗传算法,具有一定的实用价值．