基于非线性共轭梯度的同时扰动随机逼近方法

为了消除黑塞矩阵和步长因子的影响,利用非线性共轭梯度算法计算搜索方向,在混合非线性共轭梯度算法的作用下保证了每次搜索均为下降方向;利用非精确线搜索方法改进SPSA步长计算方法,通过与下降的搜索方向结合,保证了每次迭代时目标函数值的减小,加快了收敛速度.将改进的SPSA算法用于异步电机再励学习系统中,仿真结果证明了其可行性和优越性.     

在Wolfe步长搜索下的一类新的共轭梯度算法

研究利用共轭梯度法求解无约束最优化问题.为了保证共轭梯度方向是目标函数的充分下降方向,对共轭梯度算法中的共轭梯度方向参数确定了一个取值范围并与Wolfe步长搜索相结合,提出了新的共轭梯度算法,使算法具有更好的收敛速度,特别是在求解大规模无约束最优化问题时,此算法只需要较小的存储.     

引入扰动因子的共轭梯度算法及其收敛性

为了改善非线性规划理论中用于求解无约束问题的共轭梯度法收敛速度与数值表现不统一的现状,提出一种改进的共轭梯度法。结合不同共轭梯度法的优势,加入扰动参数,选取新的参数标量和搜索方向迭代公式,并证明了该方法在Wolfe搜索下的全局收敛性,最后给出了数值算例。通过与其他方法迭代效果相比较,进一步验证了所提方法的有效性,达到加快收敛速度,提高优化效率的目的。     

一类求解无约束问题的混合参数共轭梯度法及全局收敛性

提出一类混合参数共轭梯度法,在步长满足Wolfe线搜索的条件下,算法产生的搜索方向是下降方向.在适当的条件下,算法是全局收敛的.     

有界约束非线性方程组的不精确牛顿类仿射共轭梯度路径方法

提供了不精确牛顿类的仿射内点离散共轭梯度法求解有界变量约束的非线性方程系统.通过构建仿射离散共轭梯度路径结合不精确牛顿步获得了搜索方向,并使用内点回代线搜索技术获得迭代步长.在合理的条件下,证明了算法的整体收敛性和局部超线性收敛速率.最后,数值结果表明了所提供的算法的有效性和可行性.     

关于记忆梯度法二维最优搜索的一个改进方案

本文考虑无约束的最优化问题 (P) (?)其中R表n维欧氏空间,而f(x)是具一阶连续可微的函数。近年来对问题 (P),Miele及Cantrell等人曾提出记忆梯度法。这一算法可以看作共轭梯度法的改进。它存在许多优点,特别在收敛速度方面,它比共轭梯度法具有更快的收敛速度。但是,它在每一个迭代步上需要进行一次二维最优搜索来确定步长,这一点实现起来却是相当困难的。本文给出了确定步长的一个简单可行的方案,并且指出,在这样的方案下,仍具有收敛性质。     

Armijo线搜索修正LS共轭梯度法的收敛性

基于修正LS共轭梯度法,给出合适的初始步长,使采用Armijo线搜索的迭代过程满足充分下降性.在较弱的条件下,证明算法具有全局收敛性和至少线性收敛速率.     

一种混合的共轭梯度法

共轭梯度法是求解大规模无约束问题的一种有效方法.针对算法的优劣主要依赖于步长因子和搜索方向的特点,结合共轭梯度法的共轭性质,提出一种改进的可以控制步长因子的混合的HS-DY共轭梯度法.数值试验表明算法具有良好的收敛性和有效性.     

Armijo线搜索下一个杂交共轭梯度法及其强收敛性

@@@@讨论无约束优化问题,提出了一个新的杂交共轭梯度法公式。基于新公式,采用Armijo型线搜索条件确定步长,建立了一个杂交共轭梯度算法,在常规假设条件下证明了新算法的下降性和强收敛。     

求解凸集约束优化问题的共轭梯度的GLP投影算法

利用GLP投影技术 ,对凸约束的非线性规划问题构造了一个共轭梯度的GLP投影算法 ,在一维精确步长搜索下 ,给出了算法较强的全局收敛性结果 ,由于算法需要较小的存储量 ,特别适合于计算大规模的约束优化问题。该算法提高了梯度投影法的收敛速度。