一种基于弱拟牛顿方程的单调梯度法的收敛性

基于弱拟牛顿方程,Leong W J等人提出了一种单调梯度法,该算法在每次迭代时利用对角矩阵逼近Hessian矩阵,使计算量和存储量明显减少,并且此算法对凸函数具有收敛性。在此算法的基础上,进一步研究了算法对于一般函数的收敛性,并证明了在一定的假设条件下算法仍具有全局收敛性、R-线性收敛性和超线性收敛性。     

非凸函数的一类改进BFGS算法的全局收敛性

文[1]提出了一类改进的BFGS算法,并在目标函数为一致凸的条件下,证明了算法具有全局收敛性。针对该算法,在目标函数为非凸函数时,提出一个假设条件,证明具有wolf线搜索的该算法亦具有全局收敛性。     

非凸函数的一类改进BFGS算法的全局收敛性

文[1]提出了一类改进的BFGS算法,并在目标函数为一致凸的条件下,证明了算法具有全局收敛性.针对该算法,在目标函数为非凸函数时,提出一个假设条件,证明具有wolf线搜索的该算法亦具有全局收敛性.     

带回溯线搜索的新锥模型信赖域算法

结合线搜索方法计算量小的优点和信赖域算法很好的收敛性,将回溯线搜索应用到新锥模型自适应信赖域方法上构造了一类新的算法,并证明了该算法具有全局收敛性。初步的数值实验表明该算法是可行的。     

一种充分下降的共轭梯度法及其收敛性

基于经典的共轭梯度法,提出一类具有充分下降性的共轭梯度法,并给出了该算法在弱Wolfe步长搜索下的全局收敛性.最后,进行了数值实验,数值效果和算法的全局收敛性表明该算法是有效的.     

线性规划鞍点逼近算法的收敛性

本修正了鞍点逼近算法,给出一个求线性规划最优解的迭代方法和具体实现;还证明了该算法的总体收敛性,其证明方法对一般迭代算法的收敛性讨论具有参考价值。     

求解PageRank问题的Arnoldi松弛两步分裂算法

提出了求解PageRank问题的一个新的算法——Arnoldi松弛两步分裂算法(Arnoldi relaxed power-inner-outer, Arnoldi-RPIO).该算法在原有的PIO算法中加入一个新的松弛参数,并且运用深度重启的Arnoldi算法来加速算法的收敛性. Arnoldi-RPIO算法的收敛性得到了理论证明,并给出数值算例说明了该算法的有效性.     

求解分裂可行问题的一种松弛投影算法

主要研究了分裂可行问题的一种修正CQ算法的松弛形式,在已有CQ算法的一种修正形式上提出了其松弛算法,并证明了其收敛性,当参数满足一定条件时,该算法的收敛性成立.     

基于矩阵分裂的鞍点问题的SOR-LIKE收敛性研究

目的研究鞍点问题的迭代方法SOR-LIKE算法的收敛性。方法用矩阵分裂理论,在求解中通过改变矩阵分裂构造出系数矩阵的一般化分裂算法,运用矩阵理论分析该算法的收敛性。结果与结论找到一般分裂算法下的收敛条件,并通过数值实验来检验迭代法的收敛性。     

一种改进的自适应动量梯度下降算法

为改进Adam算法存在的全局收敛性较差的问题,提出一个带有角系数的AngleAdam算法．该算法利用两次连续梯度间的角度信息自适应控制步长,一定程度改进了Adam算法全局收敛性较差的问题,提升了优化能力．采用在线学习框架,对算法从遗憾界的角度进行收敛性分析,证明了AngleAdam具有次线性的遗憾．基于构造的三个非凸函数和深度神经网络模型,对AngleAdam算法的优化能力进行实验,实验结果表明该算法可得到较好的优化结果．