共轭梯度法和最速下降法的混合算法

将共轭梯度法与最速下降法有机地结合起来,构造了一种共轭梯度法和最速下降法的混合算法,并证明了该算法的全局收敛．混合算法既提高了共轭梯度算法的收敛速度,又解决了目标函数“性态不优”时,最速下降法难以求解的问题．同时也可以看到共轭梯度法与最速下降法仅仅是混合算法的特例．     

最速下降法和共轭梯度的混合算法及全局收敛

将最速下降法与共轭梯度法有机结合起来,构造出一种混合优化算法,并证明其全局收敛性.这种混合优化算法结合了共轭梯度法和最速下降法产生搜索方向,既提高了共轭梯度算法的收敛速度,又解决了目标函数的等值线是扁长椭球时,最速下降法下降缓慢的问题,具有收敛速度快、收敛范围大、适应面广等特点.文中的算法实例表明,混合算法与单纯的共轭梯度法相比,效果更优.     

最速下降和共轭梯度混合算法在波束形成中的应用

介绍了一种最速下降法和共轭梯度法的混合算法,并将这种混合算法应用到自适应波束形成中。该方法根据最小均方（LMS）准则推导出代价函数,结合共轭梯度法和最速下降法产生搜索方向,既提高了共轭梯度算法的收敛速度,又解决了最速下降法下降缓慢的问题。计算机仿真表明,混合算法所需迭代次数少于最速下降法,且显著减少计算量,缩短运行时间。     

一类新的Wolfe线性搜索下的记忆梯度法

提出一类新的求解无约束优化问题的记忆梯度法,在较弱条件下证明了算法具有全局收敛性和线性收敛速率。算法在每步迭代中利用当前和前面迭代点的信息产生下降方向,不需计算和存储矩阵,适于求解大规模优化问题。初步的数值试验表明算法比Wolfe搜索下的FR,PRP和HS共轭梯度法及最速下降法有效。     

一种特殊的下降算法——分裂梯度法

求解无约束优化问题,常用的方法有下降算法,牛顿法,共轭梯度法等。当目标函数为几个光滑函数的和时,一些学者提出并研究了增量梯度算法。其基本思想是循环选取单个函数的负梯度作为迭代方向。增量梯度算法的迭代方向不一定是下降方向,所以不能用下降算法的一维搜索确定步长,因为受限于步长的选择,收敛效率不高。本文结合了下降算法和增量梯度算法的思想,提出了分裂梯度法。简单的说,分裂梯度法循环考虑单个函数的负梯度方向,如果这一方向是下降方向,则选择这一方向为迭代方向;否则选取函数的负梯度方向为迭代方向。最后通过数值实验与最速下降算法、随机下降算法以及增量梯度算法进行对比,结果表明对于某些优化问题,采用分裂梯度法更有效。     

无约束非线性优化问题的混合LS-CD谱共轭梯度法

为寻求收敛性质和数值表现具佳的无约束优化算法,利用共轭梯度法和含有两个方向调控参数的谱共轭梯度法,结合LS方法与CD方法给出混合的共轭参数和相应的谱参数,建立采用标准Wolfe线搜索的谱共轭梯度算法,证明了算法满足下降性和全局收敛性,数值试验显示算法是有效的,适合于求解大型无约束非线性优化问题.研究结果表明:谱共轭梯度法两个参数的适当构造有利于降低算法的收敛条件,增强算法的适用性.     

共轭梯度法研究与展望

共轭梯度法是介于最速下降法和牛顿法之间的一种最为常用和有效的最优化方法,它具有收敛速度快、所需存储量小和算法简便的特点,在线性和非线性优化中都有十分重要的应用.共轭梯度法根据搜索方向选取参数不同可再细分为几个不同的算法,这些算法在不同的线性搜索下收敛性也有所不同,因此有必要对此方法进行进一步的研究和完善.     

一种新的无优化约束问题的混合FR和PRP共轭梯度算法

共轭梯度法仅需利用一阶导数信息就可克服最速下降法收敛慢的缺点,又避免了牛顿法需要存储和计算Hesse矩阵并求逆的缺点。它把共轭性与最速下降法相结合,利用已知点处的梯度构造一组共轭方向,并沿这组方向进行搜素,求出目标函数的极小点。它是解决大规模无约束优化问题最有用的一个方法,但是其最大局限性在于依赖初始值,不能确保收敛到全局最小值。因此,提出了一种新的混合共轭梯度法,它满足线性搜索的独立性下降条件,这种新方法是β_k~(FR)(Fletcher-Reeves)和β_k~(PRP)(Polak-Ribiere-Polyak)2种方法的混合。做了新方法的收敛性分析,数值结果表明这种新算法效率比较好,竞争力强,所需存储量小,具有步收敛性,稳定性高,而且不需要任何外来参数的优势。     

一种非线性扩展混合共轭梯度算法的全局收敛性

描述了非线性FR共轭梯度法、非线性PRP共轭梯度法、非线性DY共轭梯度法等求解大规模无约束优化问题的有效算法.研究了计算更为有效的适合求解无约束优化问题的一种非线性扩展混合共轭梯度算法;给出了在Wolfe型线搜索下的非线性扩展混合共轭梯度法,算法产生的方向为下降方向.在一般的条件下,给出了算法的全局收敛结果,且数值实验表明算法十分有效.     

修正FR谱共轭梯度法在信号恢复问题中的应用

基于压缩感知理论，为解决稀疏信号恢复问题，在经典的FR共轭梯度法分析的基础上，给出一种基于谱梯度方法的修正FR谱共轭梯度法，该方法结合了FR、DY、CD等6种经典共轭梯度法的共轭参数部分特点。另外，证明了所给方法在Wolfe线搜索下具有下降方向且全局收敛，通过与其他2种算法的数值结果比较显示，本文算法具有一定优势。同时，信号重构结果表明，提出的方法重构信噪比高，耗时少，能有效的应用于稀疏信号的恢复问题。     

利用记忆梯度法改进的变步长恒模盲均衡算法研究

针对传统恒模盲均衡算法收敛速度慢、固定步长条件下收敛速度和收敛精度之间存在矛盾的缺陷,提出了一种利用记忆梯度法改进的变步长恒模盲均衡算法。用记忆梯度算法替代最速梯度下降算法实现对恒模盲均衡中均衡器权值的调整,充分利用当前和前面迭代点的梯度信息,同时利用梯度信息变化率作为学习步长调整因子。新算法有效地提高了算法收敛速度,与共轭梯度法和拟牛顿法等改进算法比较,具有较低的计算复杂度和更好的均衡性能。计算机仿真证明了这一算法的有效性。     

广义Wolfe线搜索下共轭梯度法的全局收敛性

给出一类求解非线性无约束优化问题修正的共轭梯度类型公式和算法,并证明该公式在广义Wolfe线搜索下具有充分下降性和全局收敛性。     

共轭下降法的一个全局收敛性结果

共轭梯度法是求解无约束最优化问题的一个著名方法，共轭下降法是其中的一种，它最早由Fletcher提出，在对共轭下降法进行研究并确定了步长λk时，使用了一种新的Armijo类型的搜索，证明了新算法的可行性及佤中收敛性，提出的搜索简单易行，丰富了共轭梯度法的内容。     

改进的高阶收敛FastICA算法

高阶收敛的FastICA具有形式简单、收敛速度快的特点,但其对初始值的选择比较敏感,若初始值选择不当很容易影响收敛的效果,甚至造成不收敛的结果.针对这一问题,采用最速下降法对三阶和五阶收敛的FastICA算法进行改进.首先,应用最速下降法求出初值,再用高阶收敛的FastICA算法求出最优解.语音信号的分离实验表明:改进后的算法对混合信号进行了较好的分离,并且有效地克服了初值敏感性的问题.     

一类具有充分下降性的DL共轭梯度法

针对无约束优化问题,利用两项共轭梯度法(DL方法)去逼近改进的HS三项共轭梯度法,提出了改进的DL共轭梯度法即MDL共轭梯度法.该方法相对于DL方法具有一个更好的性质,即该共轭梯度法的搜索方向不依赖任何线搜索就可满足充分下降条件,理论上证明了该方法在Wolfe线搜索条件下对一般函数具有全局收敛性.     

一类特殊算法的收敛性质

文〔1〕介绍了一类带精确线搜索的下降算法并用此算法统一处理了最速下降法,共轭梯度法等的收敛性。本文在四种非精确线搜索下讨论了一类比〔1〕广的特殊算法,并获得了算法较强的收敛性质。