基于共轭梯度法和最速下降法的非线性测量数据处理

将共轭梯度法与最速下降法有机结合起来，构造出一种解决非线性测量数据处理问题的新方法——混合算法。这种方法充分利用了共轭梯度法和最速下降法良好的收敛优点，既提高了共轭梯度算法的收敛速度，又解决了目标函数“性态不优”时，最速下降法难以解决的问题。文中的算例结果表明，混合算法与单纯的共轭梯度法或最速下降法相比，具有收敛速度快、收敛范围大、适应面宽等特点。     

最速下降法和共轭梯度的混合算法及全局收敛

将最速下降法与共轭梯度法有机结合起来,构造出一种混合优化算法,并证明其全局收敛性.这种混合优化算法结合了共轭梯度法和最速下降法产生搜索方向,既提高了共轭梯度算法的收敛速度,又解决了目标函数的等值线是扁长椭球时,最速下降法下降缓慢的问题,具有收敛速度快、收敛范围大、适应面广等特点.文中的算法实例表明,混合算法与单纯的共轭梯度法相比,效果更优.     

最速下降和共轭梯度混合算法在波束形成中的应用

介绍了一种最速下降法和共轭梯度法的混合算法,并将这种混合算法应用到自适应波束形成中。该方法根据最小均方（LMS）准则推导出代价函数,结合共轭梯度法和最速下降法产生搜索方向,既提高了共轭梯度算法的收敛速度,又解决了最速下降法下降缓慢的问题。计算机仿真表明,混合算法所需迭代次数少于最速下降法,且显著减少计算量,缩短运行时间。     

共轭梯度法研究与展望

共轭梯度法是介于最速下降法和牛顿法之间的一种最为常用和有效的最优化方法,它具有收敛速度快、所需存储量小和算法简便的特点,在线性和非线性优化中都有十分重要的应用.共轭梯度法根据搜索方向选取参数不同可再细分为几个不同的算法,这些算法在不同的线性搜索下收敛性也有所不同,因此有必要对此方法进行进一步的研究和完善.     

无约束非线性优化问题的混合LS-CD谱共轭梯度法

为寻求收敛性质和数值表现具佳的无约束优化算法,利用共轭梯度法和含有两个方向调控参数的谱共轭梯度法,结合LS方法与CD方法给出混合的共轭参数和相应的谱参数,建立采用标准Wolfe线搜索的谱共轭梯度算法,证明了算法满足下降性和全局收敛性,数值试验显示算法是有效的,适合于求解大型无约束非线性优化问题.研究结果表明:谱共轭梯度法两个参数的适当构造有利于降低算法的收敛条件,增强算法的适用性.     

一类新的Wolfe线性搜索下的记忆梯度法

提出一类新的求解无约束优化问题的记忆梯度法,在较弱条件下证明了算法具有全局收敛性和线性收敛速率。算法在每步迭代中利用当前和前面迭代点的信息产生下降方向,不需计算和存储矩阵,适于求解大规模优化问题。初步的数值试验表明算法比Wolfe搜索下的FR,PRP和HS共轭梯度法及最速下降法有效。     

一种特殊的下降算法——分裂梯度法

求解无约束优化问题,常用的方法有下降算法,牛顿法,共轭梯度法等。当目标函数为几个光滑函数的和时,一些学者提出并研究了增量梯度算法。其基本思想是循环选取单个函数的负梯度作为迭代方向。增量梯度算法的迭代方向不一定是下降方向,所以不能用下降算法的一维搜索确定步长,因为受限于步长的选择,收敛效率不高。本文结合了下降算法和增量梯度算法的思想,提出了分裂梯度法。简单的说,分裂梯度法循环考虑单个函数的负梯度方向,如果这一方向是下降方向,则选择这一方向为迭代方向;否则选取函数的负梯度方向为迭代方向。最后通过数值实验与最速下降算法、随机下降算法以及增量梯度算法进行对比,结果表明对于某些优化问题,采用分裂梯度法更有效。     

无约束优化问题新的谱共轭梯度法(英文)

通过结合牛顿法与PRP谱共轭梯度法提出一新的谱共轭梯度法.该方法为下降方法且为Birgin谱共轭梯度法与PRP共轭梯度法的线性组合.在适当的假设下算法全局收敛.     

一种非线性扩展混合共轭梯度算法的全局收敛性

描述了非线性FR共轭梯度法、非线性PRP共轭梯度法、非线性DY共轭梯度法等求解大规模无约束优化问题的有效算法.研究了计算更为有效的适合求解无约束优化问题的一种非线性扩展混合共轭梯度算法;给出了在Wolfe型线搜索下的非线性扩展混合共轭梯度法,算法产生的方向为下降方向.在一般的条件下,给出了算法的全局收敛结果,且数值实验表明算法十分有效.     

一种前馈网络的新型混合算法

提出了一种针对前馈神经网络的混合算法,该算法将最速下降法与共轭梯度法相结合,有效地改善了传统BP算法收敛速度慢、可能陷入局部极小等缺点。两个仿真结果表明,该算法是有效的。     

共轭下降法的一个全局收敛性结果

共轭梯度法是求解无约束最优化问题的一个著名方法，共轭下降法是其中的一种，它最早由Fletcher提出，在对共轭下降法进行研究并确定了步长λk时，使用了一种新的Armijo类型的搜索，证明了新算法的可行性及佤中收敛性，提出的搜索简单易行，丰富了共轭梯度法的内容。     

求解无约束优化问题的一种混合共轭梯度法

文章给出了一个改进的共轭梯度公式及新公式的相关性质,新公式和DY公式结合得到一个混合共轭梯度法,新算法在Wolf线搜索下产生一个下降方向;并证明了算法的全局收敛性,给出了数值例子.     

一种新的混合共轭梯度算法

给出了一种新的求解无约束优化问题的混合共轭梯度算法,该算法的搜索方向下降性不依赖于任何线搜索条件,并在Wolfe-Powell线搜索条件下证明了该算法具有全局收敛性,同时还给出了比较好的数值结果。     

一类具有充分下降性修正的DL共轭梯度法

基于DL共轭梯度方法,提出了一类修正的DL方法来解决无约束优化问题.该方法相对于DL共轭梯度方法具有一个更好的性质,即在强Wolfe线搜索条件下搜索方向具有充分下降性;证明了该方法在强Wolfe线搜索条件具有全局收敛性.     

基于粒子群算法的盲源分离算法

简要地介绍了粒子群算法(PSO)及其改进算法和盲源分离算法(BSS),改进的粒子群算法具有并行性、易实现等优点。将改进的粒子群算法与盲源分离算法相结合,提出了基于粒子群算法的盲源分离算法。该算法以混合信号的峰度为目标函数,采用独立分量分析的方法,用改进的粒子群算法代替常规的最陡梯度下降法,对瞬时混合的信号进行盲分离,解决了梯度算法收敛速度慢的问题。实验仿真表明:该算法具有收敛速度快、分离效果好等特点。