基于非线性共轭梯度的同时扰动随机逼近方法

为了消除黑塞矩阵和步长因子的影响,利用非线性共轭梯度算法计算搜索方向,在混合非线性共轭梯度算法的作用下保证了每次搜索均为下降方向;利用非精确线搜索方法改进SPSA步长计算方法,通过与下降的搜索方向结合,保证了每次迭代时目标函数值的减小,加快了收敛速度.将改进的SPSA算法用于异步电机再励学习系统中,仿真结果证明了其可行性和优越性.     

基于负曲率方向的复数域共轭梯度法

共轭梯度法是优化大规模目标函数的一种经典方法.根据复梯度、复Hessian阵与实梯度、实Hessian阵之间的关系,将共轭梯度法推广到复数域,用于解决复数域的优化问题.针对共轭法的一些缺点,如每步迭代利用线性搜索来确定优化的步长及可能寻找到的极值点不一定为极小值等缺点,提出在Hessian阵不正定时利用负曲率方向作为搜索方向,利用实数域二阶导数简化思想,使寻找下降负曲率方向简单化,同时根据目标函数信息调节搜索步长,保持函数值单调下降.对该算法进行复数域优化数值仿真,结果表明:该算法与复数域的SCG算法及Quasi-Newton算法相比,计算较为简单且优化效果更优.     

线性二阶锥权互补问题的非单调无导数下降算法

提出非单调无导数下降算法,用于求解线性二阶锥权互补问题.构造一个效益函数,分析其水平集有界性.提出的算法在计算步长时进行非单调线搜索,搜索方向在一定假设下满足下降条件.理论证明算法全局收敛,数值结果验证算法有效.     

最速下降和共轭梯度混合算法在波束形成中的应用

介绍了一种最速下降法和共轭梯度法的混合算法,并将这种混合算法应用到自适应波束形成中。该方法根据最小均方（LMS）准则推导出代价函数,结合共轭梯度法和最速下降法产生搜索方向,既提高了共轭梯度算法的收敛速度,又解决了最速下降法下降缓慢的问题。计算机仿真表明,混合算法所需迭代次数少于最速下降法,且显著减少计算量,缩短运行时间。     

DFT在二维DOA估计的MUSIC法中的应用

波达方向DOA估计(Direction Of Arrival)广泛应用于各种空间滤波系统中,而MUSIC算法是DOA估计中的经典和实用的算法.但由于算法中需要进行各种矩阵运算,其计算量相当大.笔者提出了在阵元数为2i的均匀圆阵中,利用数据的循环特性,采用DFT(Discrete Fourier Transform)的计算方法,完成MUSIC法的空间谱函数二维谱峰搜索.同时,分析了该方法相对于传统MUSIC法谱峰搜索时计算量的改进,给出了仿真结果.改进后的MUSIC算法计算量可以减少到传统算法计算量的一半.     

一个新的超记忆梯度法及全局收敛性

文章提出了一个新的超记忆梯度法解决无约束优化问题.该算法沿着目标函数的下降方向进行搜索,每步迭代提出的算法都充分地利用了前面多步迭代信息,避免目标函数海瑟阵的储存和计算,因此它适合解决大规模无约束优化问题.在适当的假设条件下,证明了所提出的算法具有全局收敛性.数值实验表明此算法的可行性.     

求解不可微凸可行问题的一种新算法

针对传统算法无法得到不可微函数下降方向的困难,结合方向导数信息,提出了不可微凸可行问题的一种直接算法.首先,为避免在每次迭代过程中计算投影,将凸可行问题转化为求解极大值函数的0-水平集中元素的问题;然后利用方向导数信息构造出下降方向,并且运用一维搜索法确定步长.证明了算法的收敛性,该算法无需利用梯度或次梯度,只需用到函数值信息,易于实现,数值试验表明了该算法的有效性.     

结合广义Armijo步长搜索的一类记忆梯度算法

给定记忆梯度算法搜索方向中的参数一个假设条件,从而确定它的一个取值范围,使其在此范围内取值均能得到目标函数的充分下降方向,由此提出一类新的记忆梯度算法.在去掉迭代点列有界和广义Arm ijo步长搜索下,讨论了算法的全局收敛性,且给出了结合形如共轭梯度法FR,PR,HS的记忆梯度法的修正形式.数值实验表明,新算法比Arm ijo线搜索下的共轭梯度法FR、PR、HS和记忆梯度法更稳定、更有效.     

一类充分下降的谱共轭梯度法

首先基于共轭梯度法的共轭条件和下降性,提出了一类充分下降的谱共轭梯度法.该方法将经典共轭梯度法中搜索方向由原来的只满足一个共轭条件改变为同时满足一个共轭条件和一个下降条件;然后,在Wolfe线搜索下用反证法证明了新算法的全局收敛性;最后,通过12个算例,将新算法和已有SHS算法在迭代次数和计算时间方面进行了数值比较实验,比较结果表明新算法在这两个方面都明显优越于SHS算法.算法的全局收敛性和数值结果的优越性表明,新算法是一个值得研究的方法.     

一种特殊的下降算法——分裂梯度法

求解无约束优化问题,常用的方法有下降算法,牛顿法,共轭梯度法等。当目标函数为几个光滑函数的和时,一些学者提出并研究了增量梯度算法。其基本思想是循环选取单个函数的负梯度作为迭代方向。增量梯度算法的迭代方向不一定是下降方向,所以不能用下降算法的一维搜索确定步长,因为受限于步长的选择,收敛效率不高。本文结合了下降算法和增量梯度算法的思想,提出了分裂梯度法。简单的说,分裂梯度法循环考虑单个函数的负梯度方向,如果这一方向是下降方向,则选择这一方向为迭代方向;否则选取函数的负梯度方向为迭代方向。最后通过数值实验与最速下降算法、随机下降算法以及增量梯度算法进行对比,结果表明对于某些优化问题,采用分裂梯度法更有效。