预优矩阵及其构造技术

为达到预处理共轭梯度法(PCG)提高收敛速度，克服数值不稳定性目的，给出了构造预优矩阵的条件，并构造了三个典型的预优矩阵。它们是不完全Cholesky因子预优矩阵，对角预优矩阵和利用SSOR法导出的预优矩阵，且在PCG中是应用效果很好的预优矩阵。     

一种修正三项Hestenes-Stiefel共轭梯度投影算法及其应用

提出一种新的修正三项Hestenes-Stiefel共轭梯度投影算法, 用于求解大规模非线性方程组问题和信号恢复问题. 该算法通过构造一个新的修正Hestenes-Stiefel搜索方向, 结合经典线搜索方法和超平面投影技术而得, 新搜索方向在不需要任何线搜索条件下自动满足充分下降性, 在常规假设条件下, 新算法具有全局收敛性质. 数值实验结果表明,  新算法高效且稳定.     

带有最优参数选择的修正DL共轭梯度法

利用矩阵条件数的求解方法,求解基于MBFGS割线条件的修正DL共轭梯度法中的参数t,提出带有优选参数的修正DL共轭梯度法;假设搜索方向有下降性,并通过强Wolfe线搜索求解步长,证明了新的共轭梯度法对一般函数有全局收敛性;最后比较了新的共轭梯度法的数值有效性。     

引入扰动因子的共轭梯度算法及其收敛性

为了改善非线性规划理论中用于求解无约束问题的共轭梯度法收敛速度与数值表现不统一的现状,提出一种改进的共轭梯度法。结合不同共轭梯度法的优势,加入扰动参数,选取新的参数标量和搜索方向迭代公式,并证明了该方法在Wolfe搜索下的全局收敛性,最后给出了数值算例。通过与其他方法迭代效果相比较,进一步验证了所提方法的有效性,达到加快收敛速度,提高优化效率的目的。     

基于非线性共轭梯度的同时扰动随机逼近方法

为了消除黑塞矩阵和步长因子的影响,利用非线性共轭梯度算法计算搜索方向,在混合非线性共轭梯度算法的作用下保证了每次搜索均为下降方向;利用非精确线搜索方法改进SPSA步长计算方法,通过与下降的搜索方向结合,保证了每次迭代时目标函数值的减小,加快了收敛速度.将改进的SPSA算法用于异步电机再励学习系统中,仿真结果证明了其可行性和优越性.     

无约束非线性优化问题的混合LS-CD谱共轭梯度法

为寻求收敛性质和数值表现具佳的无约束优化算法,利用共轭梯度法和含有两个方向调控参数的谱共轭梯度法,结合LS方法与CD方法给出混合的共轭参数和相应的谱参数,建立采用标准Wolfe线搜索的谱共轭梯度算法,证明了算法满足下降性和全局收敛性,数值试验显示算法是有效的,适合于求解大型无约束非线性优化问题.研究结果表明:谱共轭梯度法两个参数的适当构造有利于降低算法的收敛条件,增强算法的适用性.     

一类修正Hager-Zhang共轭梯度法的收敛性及其数值实验

为有效提高求解无约束优化问题的计算效率, 提出一类新的修正Hager-Zhang共轭梯度法, 该算法不依赖线搜索, 具有充分下降性和信赖域性质. 理论研究结果表明, 在常规假设条件下, 新算法不仅在弱Wolfe-Powell线搜索下对一般函数全局收敛, 且对一致凸函数具有R-线性收敛速度. 数值实验结果表明, 新算法比经典Hager-Zhang算法及其两个修正算法性能更优.     

一种带扰动项的修正PRP共轭梯度法的全局收敛性

提出了一种搜索方向带扰动项的修正PRP共轭梯度法。在主方向充分下降的情况下,证明采用强wolfe搜索时,算法是全局收敛的。最后给出了初步的数值试验结果。     

基于凸组合技术的加速FR型共轭梯度算法

为高效求解非线性方程组问题,利用凸组合技术设计一个新型搜索方向,同时结合加速线搜索技术,提出一个新的加速FR型共轭梯度算法。在合理的假设下,新算法拥有全局收敛的良好性质。数值试验结果表明,新算法总体上优于经典FR算法和三项FR算法。新算法继承了修正FR方法的良好数值效果、充分下降性及信赖域特征,并具有计算简单和存储量小的特点。     

充分下降的共轭梯度法簇及其全局收敛性

在双参数共轭梯度法的基础上,给出一类具有充分下降性的共轭梯度法簇,证明了相应的方法在非单调线搜索及弱Wolfe线搜索下对非凸目标函数全局收敛,并用数值实验表明该方法具有良好的数值结果.     

修正LS谱共轭梯度法及其收敛性

提出一个无约束优化问题的修正LS谱共轭梯度法,在Wolfe线搜索下算法具有下降性和全局收敛性,初步的数值实验结果表明该方法是有效的,适合于求解非线性无约束优化问题．     

基于共轭梯度法的下降算法

给出了基于共轭梯度法的一类下降算法，算法在ｗｏｌｆｅ搜索下具有全局收敛性，特别适于求解大规模无约束优化问题。     

一种新的混合共轭梯度算法

给出了一种新的求解无约束优化问题的混合共轭梯度算法,该算法的搜索方向下降性不依赖于任何线搜索条件,并在Wolfe-Powell线搜索条件下证明了该算法具有全局收敛性,同时还给出了比较好的数值结果。     

一个改进的梯度投影法

本文给出一个求解线性约束的非线性规划问题的梯度投影法,方法的方向构造及整个算法均较从前的各梯度投影方法简单,且在较弱的假设条件及三种非精确线搜索下,证明了方法的收敛性。     

具有充分下降性的修正PRP算法及其收敛性

共轭梯度法因其算法简单、存储需求小,非常适合于求解大规模优化问题。在所有的共轭梯度法中,PRP方法被认为是数值表现最好的方法之一。然而,对一般非凸函数,PRP方法即使采用精确线搜索也不能保证全局收敛。本文基于一个修正的PRP公式,提出了一类无需线搜索而具有充分下降性的共轭梯度算法。在一定条件下,建立了该算法的全局收敛性结果。数值试验表明这种改进是有效的。     

有界变量约束优化的仿射投影共轭梯度路径内点方法

采用共轭梯度路径结合仿射内点投影回代技术解有界变量约束的非线性优化问题．通过构造共轭梯度路径解二次模型获得搜索方向,引入线搜索技术获得的迭代步既落在严格可行域内,叉能使目标函数下降．基于共轭梯度路径的性质,在合理的假设条件下,证明了所提供的算法不仅具有整体收敛性,而且保持快速的超线性收敛速率．进一步,数值计算说明了算法的可行性和有效性．     

互补约束数学规划问题的一个广义梯度投影罚算法

结合罚函数思想和广义梯度投影技术, 提出求解非线性互补约束数学规划问题的一个广义梯度投影罚算法. 首先, 通过扰动技术和广义互补函数, 将原问题转化为序列带参数的近似的标准非线性规划; 其次, 利用广义梯度投影矩阵构造搜索方向的显式表达式. 一个特殊的罚函数作为效益函数, 而且搜索方向 能保证效益函数的下降性. 在适当的假设条件下算法具有全局收敛性.     

Armijo型线搜索下的谱CD共轭梯度法

提出了一种新的非线性修正的谱CD共轭梯度算法。该算法得到的搜索方向为下降方向,它既不受线搜索规则的影响,也不受目标函数的凸性影响。同时算法在精确线搜索条件下能够诱导出标准的CD共轭梯度方法。给出的新方法在两种不同Armijo型线搜索规则下具有全局收敛性,数值实验结果显示了新算法的可行性。     

一种求解无约束优化问题的新混合共轭梯度法

在现有共轭梯度方法的基础上,提出一种新混合共轭梯度法来求解无约束最优化问题.该方法采用近似方法去逼近Hessen矩阵,克服了传统牛顿法求解Hessen矩阵中存在的计算量大等问题,并在强wolfe线搜索技术下给出该共轭梯度算法的全局收敛性证明.实验结果表明,与PRP(Polak-Ribiere-Polyak)方法和HYBRID(混合)方法相比较,该文提出的新混合共轭梯度算法的迭代时间少于前两者方法,说明该文方法可行、有效.     

广义Armijo步长搜索下的共轭方向算法及其收敛特征

对无约束非线性规划问题给出了一个广义Ａｒｍｉｊｏ步长搜索下的共轭方向算法，并研究了算法的收敛性及其收敛特征。