前馈型神经网络新学习算法的研究

前馈神经网络在非线性系统的建模及控制中有着广阔的应用前景,但是该网络的学习算法—向后传播算法(Backpropagation(BP)Algorithm)算法存在一些不足。为了提高多层前馈神经网络的学习效率及稳定性,引入了非线性最小二乘法。通过与其他学习算法的比较,得出结论:其中用差商近似代替导数的Powell法是一种高效、快速的学习方法,其学习速率比带动量项的学习率自适应的BP算法高一个量级,而比Daviden Fletcher Powell(DFP)、BroydenFletcher Goldfarl Shanno(BFGS)等变尺度方法以及其他非线性最小二乘法的稳定性要好得多。