共轭梯度法和最速下降法的混合算法

将共轭梯度法与最速下降法有机地结合起来,构造了一种共轭梯度法和最速下降法的混合算法,并证明了该算法的全局收敛．混合算法既提高了共轭梯度算法的收敛速度,又解决了目标函数“性态不优”时,最速下降法难以求解的问题．同时也可以看到共轭梯度法与最速下降法仅仅是混合算法的特例．     

基于共轭梯度法和最速下降法的非线性测量数据处理

将共轭梯度法与最速下降法有机结合起来，构造出一种解决非线性测量数据处理问题的新方法——混合算法。这种方法充分利用了共轭梯度法和最速下降法良好的收敛优点，既提高了共轭梯度算法的收敛速度，又解决了目标函数“性态不优”时，最速下降法难以解决的问题。文中的算例结果表明，混合算法与单纯的共轭梯度法或最速下降法相比，具有收敛速度快、收敛范围大、适应面宽等特点。     

最速下降和共轭梯度混合算法在波束形成中的应用

介绍了一种最速下降法和共轭梯度法的混合算法,并将这种混合算法应用到自适应波束形成中。该方法根据最小均方（LMS）准则推导出代价函数,结合共轭梯度法和最速下降法产生搜索方向,既提高了共轭梯度算法的收敛速度,又解决了最速下降法下降缓慢的问题。计算机仿真表明,混合算法所需迭代次数少于最速下降法,且显著减少计算量,缩短运行时间。     

一种非线性扩展混合共轭梯度算法的全局收敛性

描述了非线性FR共轭梯度法、非线性PRP共轭梯度法、非线性DY共轭梯度法等求解大规模无约束优化问题的有效算法.研究了计算更为有效的适合求解无约束优化问题的一种非线性扩展混合共轭梯度算法;给出了在Wolfe型线搜索下的非线性扩展混合共轭梯度法,算法产生的方向为下降方向.在一般的条件下,给出了算法的全局收敛结果,且数值实验表明算法十分有效.     

无约束非线性优化问题的混合LS-CD谱共轭梯度法

为寻求收敛性质和数值表现具佳的无约束优化算法,利用共轭梯度法和含有两个方向调控参数的谱共轭梯度法,结合LS方法与CD方法给出混合的共轭参数和相应的谱参数,建立采用标准Wolfe线搜索的谱共轭梯度算法,证明了算法满足下降性和全局收敛性,数值试验显示算法是有效的,适合于求解大型无约束非线性优化问题.研究结果表明:谱共轭梯度法两个参数的适当构造有利于降低算法的收敛条件,增强算法的适用性.     

共轭梯度法研究与展望

共轭梯度法是介于最速下降法和牛顿法之间的一种最为常用和有效的最优化方法,它具有收敛速度快、所需存储量小和算法简便的特点,在线性和非线性优化中都有十分重要的应用.共轭梯度法根据搜索方向选取参数不同可再细分为几个不同的算法,这些算法在不同的线性搜索下收敛性也有所不同,因此有必要对此方法进行进一步的研究和完善.     

一种特殊的下降算法——分裂梯度法

求解无约束优化问题,常用的方法有下降算法,牛顿法,共轭梯度法等。当目标函数为几个光滑函数的和时,一些学者提出并研究了增量梯度算法。其基本思想是循环选取单个函数的负梯度作为迭代方向。增量梯度算法的迭代方向不一定是下降方向,所以不能用下降算法的一维搜索确定步长,因为受限于步长的选择,收敛效率不高。本文结合了下降算法和增量梯度算法的思想,提出了分裂梯度法。简单的说,分裂梯度法循环考虑单个函数的负梯度方向,如果这一方向是下降方向,则选择这一方向为迭代方向;否则选取函数的负梯度方向为迭代方向。最后通过数值实验与最速下降算法、随机下降算法以及增量梯度算法进行对比,结果表明对于某些优化问题,采用分裂梯度法更有效。     

一类新的Wolfe线性搜索下的记忆梯度法

提出一类新的求解无约束优化问题的记忆梯度法,在较弱条件下证明了算法具有全局收敛性和线性收敛速率。算法在每步迭代中利用当前和前面迭代点的信息产生下降方向,不需计算和存储矩阵,适于求解大规模优化问题。初步的数值试验表明算法比Wolfe搜索下的FR,PRP和HS共轭梯度法及最速下降法有效。     

无约束优化问题新的谱共轭梯度法(英文)

通过结合牛顿法与PRP谱共轭梯度法提出一新的谱共轭梯度法.该方法为下降方法且为Birgin谱共轭梯度法与PRP共轭梯度法的线性组合.在适当的假设下算法全局收敛.     

一种新的无优化约束问题的混合FR和PRP共轭梯度算法

共轭梯度法仅需利用一阶导数信息就可克服最速下降法收敛慢的缺点,又避免了牛顿法需要存储和计算Hesse矩阵并求逆的缺点。它把共轭性与最速下降法相结合,利用已知点处的梯度构造一组共轭方向,并沿这组方向进行搜素,求出目标函数的极小点。它是解决大规模无约束优化问题最有用的一个方法,但是其最大局限性在于依赖初始值,不能确保收敛到全局最小值。因此,提出了一种新的混合共轭梯度法,它满足线性搜索的独立性下降条件,这种新方法是β_k~(FR)(Fletcher-Reeves)和β_k~(PRP)(Polak-Ribiere-Polyak)2种方法的混合。做了新方法的收敛性分析,数值结果表明这种新算法效率比较好,竞争力强,所需存储量小,具有步收敛性,稳定性高,而且不需要任何外来参数的优势。     

利用记忆梯度法改进的变步长恒模盲均衡算法研究

针对传统恒模盲均衡算法收敛速度慢、固定步长条件下收敛速度和收敛精度之间存在矛盾的缺陷,提出了一种利用记忆梯度法改进的变步长恒模盲均衡算法。用记忆梯度算法替代最速梯度下降算法实现对恒模盲均衡中均衡器权值的调整,充分利用当前和前面迭代点的梯度信息,同时利用梯度信息变化率作为学习步长调整因子。新算法有效地提高了算法收敛速度,与共轭梯度法和拟牛顿法等改进算法比较,具有较低的计算复杂度和更好的均衡性能。计算机仿真证明了这一算法的有效性。     

一类求解无约束问题的混合参数共轭梯度法及全局收敛性

提出一类混合参数共轭梯度法,在步长满足Wolfe线搜索的条件下,算法产生的搜索方向是下降方向.在适当的条件下,算法是全局收敛的.     

一类新合成的共轭梯度算法

结合已有修正的DY共轭梯度方法和修正的HS共轭梯度方法的优点,提出了一种求解无约束优化问题的新共轭梯度方法,证明了该算法具有全局收敛性,同时还证明了该算法在强Wolfe线搜索下具有充分下降性。     

一类特殊算法的收敛性质

文〔1〕介绍了一类带精确线搜索的下降算法并用此算法统一处理了最速下降法,共轭梯度法等的收敛性。本文在四种非精确线搜索下讨论了一类比〔1〕广的特殊算法,并获得了算法较强的收敛性质。     

下降对称的Polak-Ribiere-Polyak共轭梯度法

应用Powell对称化技术于Polak-Ribiere-Polyak共轭梯度法,提出了一种下降对称的Polak-Ribiere-Polyak共轭梯度法.对任意线性搜索,它都满足下降性质.在强Wolfe线搜索的条件下,利用矩阵的谱分析和Zoutendijk条件,证明了此算法的全局收敛性.最后,通过数值实验并且与Polak-Ribiere+(PR+)算法作比较,验证了该算法的性能和有效性与实用性.     

非精确线搜索下一类新的混合共轭梯度法研究

共轭梯度法在求解无约束最优化问题中起着重要作用。通过构造一个新的参数βk^＊,并与βk^DY结合,得到了一类新的混合迭代参数,此类混合共轭梯度法在迭代过程中保持下降性;在非精确强wolf线搜索下此算法具有全局收敛性。