最速下降和共轭梯度混合算法在波束形成中的应用

介绍了一种最速下降法和共轭梯度法的混合算法,并将这种混合算法应用到自适应波束形成中。该方法根据最小均方（LMS）准则推导出代价函数,结合共轭梯度法和最速下降法产生搜索方向,既提高了共轭梯度算法的收敛速度,又解决了最速下降法下降缓慢的问题。计算机仿真表明,混合算法所需迭代次数少于最速下降法,且显著减少计算量,缩短运行时间。     

共轭梯度法和最速下降法的混合算法

将共轭梯度法与最速下降法有机地结合起来,构造了一种共轭梯度法和最速下降法的混合算法,并证明了该算法的全局收敛．混合算法既提高了共轭梯度算法的收敛速度,又解决了目标函数“性态不优”时,最速下降法难以求解的问题．同时也可以看到共轭梯度法与最速下降法仅仅是混合算法的特例．     

最速下降法和共轭梯度的混合算法及全局收敛

将最速下降法与共轭梯度法有机结合起来,构造出一种混合优化算法,并证明其全局收敛性.这种混合优化算法结合了共轭梯度法和最速下降法产生搜索方向,既提高了共轭梯度算法的收敛速度,又解决了目标函数的等值线是扁长椭球时,最速下降法下降缓慢的问题,具有收敛速度快、收敛范围大、适应面广等特点.文中的算法实例表明,混合算法与单纯的共轭梯度法相比,效果更优.     

一种新型的前馈多层神经网络学习算法

利用矩阵Ｍｏｏｒｅ－Ｐｅｎｒｏｓｅ逆的方法,提出了一种新型的前馈多层神经网络学习算法－ＭＢＰ算法。该算法采用了群体搜索的策略,打破了ＢＰ算法一次一点的搜索方式,一次可搜索权空间中的一个超平面,仿真结果表明,该算法在提高收敛速度和避免陷入局部极小点方面都有一定的进展。     

一种基于二阶导数的 BP 算法

根据神经网络模型的结构特点,将能量函数的二阶导数与最速下降方向相结合,构造出一种新型的ＢＰ算法,该算法比梯度法收敛快,较牛顿法计算量小．它适合于计算结构复杂的ＢＰ神经网络模型,理论分析表明该算法行之有效,计算机仿真达到了理想的效果．     

基于共轭梯度法和最速下降法的非线性测量数据处理

将共轭梯度法与最速下降法有机结合起来，构造出一种解决非线性测量数据处理问题的新方法——混合算法。这种方法充分利用了共轭梯度法和最速下降法良好的收敛优点，既提高了共轭梯度算法的收敛速度，又解决了目标函数“性态不优”时，最速下降法难以解决的问题。文中的算例结果表明，混合算法与单纯的共轭梯度法或最速下降法相比，具有收敛速度快、收敛范围大、适应面宽等特点。     

多层神经网络的一种有效算法

提出了一种新的训练多层神经网络的适应性共轭梯度学习算法。理论分析和仿真结果证明，它在模式识别领域里是一种可行和有效的算法，而且其识别能力优于传统的BP算法，收敛速度也比BP算法快。     

一种基于因素贡献率的自适应前馈网络算法

前馈网络具有很强的信息处理能力，但是实际应用中的样本量有限，训练出来的网络效果不太理想，本文提出一种自适应前馈网络算法，通过调节参数α向量，使网络结构按精确度和推广能力来综合考虑，若训练出来的网络满足先决条件，就认为网络规模是合适的，此算法不仅能删除隐层中的节点也能删掉输入层中若干总贡献率小的节点，从而避免了维数灾难，并给出一种调整剩余权重的算法，避免重新训练，文中讨论了网络结构的重要性，并用该方法进行仿真实验，结果证明了自适应前馈网络算法具有较强的建模能力。     

一种新的基于梯度动力学的协同神经网络学习算法

在研究协同神经网络梯度动力学过程的基础上，针对学习过程收敛速度缓慢的缺点，介绍了一种改进的基于梯度动力学的协同神经网络学习算法。该算法分析了非平衡注意参数对学习过程的影响，简化了初始伴随向量的选取；并引入最优化理论，将该问题归结为求解非线性最优化问题，提出了适时地用共轭梯度法代替梯度下降法的算法，加快了学习过程的收敛。通过对标准人脸图像库的图像识别实验表明该算法较之其他学习算法有较高的识别率，并能较快地收敛到极小值。     

多层神经网络的一种有效算法

提出了一种新的训练多层神经网络的适应性共轭梯度学习算法。理论分析和仿真结果证明 ,它在模式识别领域里是—种可行和有效的算法 ,而且其识别能力优于传统的BP算法 ,收敛速度也比BP算法快     

前馈神经网络中BP算法的一种改进

在传统的BP算法基础上,提出了一种改进的BP学习算法,先加入描述网络复杂性的量,使算法能够考虑到网络的连接复杂性,进而有可能删除掉冗余的连接甚至节点;接着提出对网络的学习步长的动态调整,以此来尽量避免传统学习中的学习速度过慢和反复震荡;然后给出新的算法是高阶非线性收敛的证明;最后通过实验说明的新的BP算法在一定程度上可减少网络的复杂性,有着比传统算法更快的收敛速度。     

前馈神经网络结构自删除算法的研究

综述了利用删除法进行前馈神经网络设计的研究现状,并在重点分析根据隐节点输出相关性进行自删除的几种算法的基础上,在一个较高层次上提出了一种新的隐节点自删除算法。算例说明了这种法不仅可以压缩线性相关隐节点,而且可以删除不重要的隐节点。其重新计算量也大大减小。     

前向多层感知器网络的逐层学习算法

提出一种改进的前向多层网络逐层学习算法,隐层神经元的输出函数由具体系统的样本输出值确定,先让前面的隐层及输入层的权值确定不变,然后对当前层的权值进行,前一隐层输出值地误差进行估计以得到新的输出值,将其作为临时教师信号用来训练前一层的权值,把每一层权值的改变量和输出值误差的估计转变为最小二乘问题,逐层处理,直到输入层,数字仿真和具体应用的结果表明了算法的有效性。     

一种多层前馈神经网络的快速学习算法

对多层前馈神经网络的学习算法及其特点做了较为详细的讨论，提出了一种基于层内优化的快速学习算法。在该算法中，输出层的连接权矩阵（V）和前一层的输出矢量（B）被作为2个变量集合，通过最小化该层样本的总平方误差函数可求得一组它们的优化解（V^*,Bp^*）；并将Bp^*作为前一层（隐层）的期望输出，用类似的方法同样可以求出隐层的连接权矩阵和输出矢量，最后通过计算机仿真证明了该算法的有效性。     

多项式前向神经网络

提出了一种新型的前向神经网络模型-多项式神经网络。该网络具有三层结构,隐层、输出层神经元激活函数分别为：f(x)=x^p和线性函数,网络隐层-输出层的权值采取最速下降法学习,输入层-隐层的权值采用遗传算法进行学习;网络学习时,其误差函数单调递减,学习算法具有较好的收敛性;该网络能逼近任意的连续函数,且具有较好的稳定性,应用实例表明该网络的性能是优良的。     

一个用于前向网络权值学习的改进型遗传算法

在遗传算法（GA）的基础上引入了梯度算法，用它在内层无互联的前向神经网络中代替传统算法来学习和优化仅值，并对算法的向个主要模块进行了描述，利用GA的突变性和全局最优化搜索可能的极值，用自适应代沟替代策略更好地进行优胜劣汰，利用梯度下降算法在较优极值点附近快速收敛，实验表明，这种算法的收敛速度比基本遗传算法要快得多，学习质量也比神经网络传统的算法有显著的提高。     

前馈神经网络的二阶学习算法

前馈神经网络是神经网络中应用最广的一种。但由于神经网络采用Ｂ－Ｐ算法，收敛速度慢。在分析了神经网络算法原理的基础上，提出了一种基于变质量法的优化训练算法。仿真证明，这种算法能够大大提高神经网络的收敛速度。     

前馈神经网络权值和拓扑结构的一个学习算法

从三层前馈神经网络作为样本分类器时隐结点常常起着聚类作用的想法出发，提出一种在权值学习过程中调整网络拓扑结构的学习算法．实验结果表明，该法能在网络的权值学习过程中比较有效地选择网络的拓扑结构，同时又具有较快的学习收敛速度