用牛顿-条件预优共轭梯度法求解光滑支持向量机的可能性研究

光滑支持向量机是目前的一个研究热点.牛顿-条件预优共轭梯度法Newton-PCG(Newtonpreconditioncd congugate gradient)是一种求解优化问题的更有效算法.列出了该算法用于求解光滑支持向量机的基本思想和基本步骤,还比较了原始牛顿法和牛顿-条件预优共轭梯度法的计算效率.结果表明,牛顿-条件预优共轭梯度法的计算效率明显高于原始牛顿法.     

解非线性单调方程组的三项HS投影算法

基于著名的HS共轭梯度算法,提出了一种无导数三项HS投影算法,证明了该算法对非线性单调方程组的全局收敛性.由于新算法继承了HS共轭梯度算法储存量小的优点且无需计算任何导数,因而它可以求解大规模非光滑的非线性单调方程组.数值试验表明,新算法对给定的测试问题是有效的和稳定的.     

极大极小问题的光滑化信赖域共轭梯度法

目的求解无约束有限极大极小问题。方法利用光滑函数将极大极小问题转化为可微的无约束优化问题。结果给出了信赖域牛顿共轭梯度法解该优化问题的算法。结论该算法是可行的、有效的,尤其是对于大规模问题,该算法与其他方法相比具有明显的优势。     

求解非光滑问题的一种修正LS共轭梯度算法

针对非光滑无约束凸函数的极小化问题,提出改进的LS共轭梯度算法。其产生的搜索方向不仅具有充分下降性和信赖域的特点,而且算法在适当条件下具有全局收敛性。数值结果证明了该算法对于非光滑问题是有效的,从而改进的LS共轭梯度算法能够高效快捷地处理非光滑无约束凸函数的极小化问题。     

一种改进的二维MT预条件非线性共轭梯度反演方法

在大地电磁反演方法中反演精度与计算效率问题是一对矛盾,高斯牛顿类方法反演精度高但计算效率低,非线性共轭梯度类方法计算效率高,但是反演精度不如高斯牛顿法高。在前人研究的基础上,提出一种改进的预条件非线性共轭梯度法,通过构建性状更接近高斯牛顿Hessian矩阵的预条件算子提高反演精度和计算速度。同时采用正则化参数的自适应更新算法保证反演稳定性和反演精度的平衡。模型实验验证了该方法的正确性。与其他方法的对比结果表明,该方法在保证反演精度的同时,提高了计算效率。对中国西部某地的实测MT数据进行处理解释的结果表明,该方法在解决复杂构造问题方面具有较高的实用价值。     

LP鞍点共轭梯度法的研究与实现

在线性规划问题中,为了提高算法的求解速度,快速得到最优解。对鞍点算法,共轭梯度法进行了深入研究与分析。针对鞍点算法在逼近鞍点时收敛速度变慢的缺陷,将计算比较简单且有限步迭代即可收敛的共轭梯度法成功的应用于鞍点算法中形成了一种新的算法—鞍点共轭梯度算法。以c 为开发工具,在计算机上实现了该算法,并编成一个解题系统能够快速求解线性规划问题。实验结果表明相对于鞍点算法,用鞍点共轭梯度算法计算,解题时间效率明显提高。     

YWL线搜索下的改进HS共轭梯度法

非线性共轭梯度法不仅对于大规模光滑优化问题非常有效,而且在理论和算法分析上也很成熟.在实际应用中,此方法针对于大规模非光滑问题并未得到广泛的研究,很少有学者致力于研究此问题.因此,为了解决大规模非光滑问题,基于Yuan-Wei-Lu线搜索提出一类修正的HS共轭梯度法,该方法不仅具有充分下降性而且具有信赖域性质;同时还证明了该方法对于一般函数具有全局收敛性和信赖域性.     

距离观测方程非线性平差的正则化共轭梯度法

基于稳定泛函约束思想,推导了距离观测方程非线性平差的正则化共轭梯度法.该算法将稳定泛函约束作用于共轭梯度法,解决了共轭梯度法求解病态测距定位方程的不稳定甚至不收敛的问题,提高了正则化数值算法的收敛效率,最后采用模拟数据和水下定位实测数据进行了验证.实验结果表明,该算法具有较好的收敛稳定性,收敛效率优于迭代正则化算法.     

求解非光滑问题的修正HS共轭梯度法

结合Moreau-Yosida正则化和非单调线搜索技术,提出一种求解非光滑问题的修正HS共轭梯度算法.推导出搜索方向自动满足充分下降条件,证明该算法在适当条件下具有全局收敛性.数值算例验证了该算法能够高效地处理非光滑极小化问题.     

二次矩阵方程异类约束1-3-7解的迭代算法

讨论了控制理论中二次矩阵方程的约束解问题,结合牛顿算法以及修正共轭梯度算法(MCG),建立了多变量二次矩阵方程异类约束1-3-7解的牛顿-MCG算法.先用牛顿算法把非线性二次矩阵方程转化为关于校正矩阵的线性矩阵方程,再用MCG算法求线性矩阵方程异类约束解或最小二乘约束解,给出了算法性质和结论.最后,用数值算例验证了该算法是有效的.     

求解非光滑优化问题的修正HS三项共轭梯度法

为了提高大规模非光滑优化问题的求解效率,克服其他方法存储需求大、算法复杂等缺点,提出求解非光滑优化问题的一种修正HS共轭梯度算法。在经典HS三项共轭梯度法的基础上提出一种新的搜索方向,并利用Moreau-Yosida正则化技术和Armijo-type线搜索技术进行设计。新算法满足充分下降条件,搜索方向属于信赖域,在适当条件下证明了新算法全局收敛。初步的数值实验表明新算法在求解非光滑无约束优化问题方面比LMBM方法更有效。新算法不仅具有较好的收敛性质,而且数值表现良好,为更加高效地求解非光滑优化问题提供了新的方法。     

共轭梯度法在弹塑性模型数值实现中的应用

基于Jacobian矩阵的奇异和不收敛特性,分析了弹塑性本构模型的组成和算法。将牛顿?最近点投影法（Newton?CPPM）隐式算法中高度非线性方程组的求解问题转化为求最小值问题,通过采用共轭梯度法求解该最小值来实现对传统隐式算法的改进。最后,以考虑软土结构性的Saniclay模型为例,在单元体分析计算的基础上,考虑不同的应变路径和初始应力状态,对传统隐式算法和改进隐式算法在计算收敛性、计算精度和计算效率方面进行对比,并通过工程算例检验传统隐式算法和改进隐式算法之间的差异。结果表明：相较于传统隐式算法,改进隐式算法能够有效提高计算效率和收敛性。     

一种求解无约束优化问题的新混合共轭梯度法

在现有共轭梯度方法的基础上,提出一种新混合共轭梯度法来求解无约束最优化问题.该方法采用近似方法去逼近Hessen矩阵,克服了传统牛顿法求解Hessen矩阵中存在的计算量大等问题,并在强wolfe线搜索技术下给出该共轭梯度算法的全局收敛性证明.实验结果表明,与PRP(Polak-Ribiere-Polyak)方法和HYBRID(混合)方法相比较,该文提出的新混合共轭梯度算法的迭代时间少于前两者方法,说明该文方法可行、有效.     

有界约束非线性方程组的不精确牛顿类仿射共轭梯度路径方法

提供了不精确牛顿类的仿射内点离散共轭梯度法求解有界变量约束的非线性方程系统.通过构建仿射离散共轭梯度路径结合不精确牛顿步获得了搜索方向,并使用内点回代线搜索技术获得迭代步长.在合理的条件下,证明了算法的整体收敛性和局部超线性收敛速率.最后,数值结果表明了所提供的算法的有效性和可行性.     

求解大规模非光滑问题的一种修正DY共轭梯度算法

设计了一种针对大规模非光滑优化问题的修正DY共轭梯度算法.新算法的搜索方向不仅自动满足充分下降条件,而且属于信赖域.新算法在适当条件下全局收敛.初步的数值实验显示,新算法能够求解高达50 000维的非光滑凸和非凸优化问题,表明其在求解大规模非光滑无约束凸优化问题方面是有效的.     

一种非线性扩展混合共轭梯度算法的全局收敛性

描述了非线性FR共轭梯度法、非线性PRP共轭梯度法、非线性DY共轭梯度法等求解大规模无约束优化问题的有效算法.研究了计算更为有效的适合求解无约束优化问题的一种非线性扩展混合共轭梯度算法;给出了在Wolfe型线搜索下的非线性扩展混合共轭梯度法,算法产生的方向为下降方向.在一般的条件下,给出了算法的全局收敛结果,且数值实验表明算法十分有效.     

求解非线性优化问题的记忆梯度摄动投影算法

利用摄动投影矩阵建立求解非线性约束优化问题的记忆梯度摄动投影下降算法,并证明算法的收敛性,同时给出结合FR、PR、HS参数和拟牛顿方程的记忆梯度摄动投影算法,从而将经典的共轭梯度法推广用于求解约束优化问题。数值结果表明算法是有效的。     

一类非线性方程组的改进牛顿算法

研究求解非线性方程组的局部算法.提出了LU分解的牛顿步与预优广义共轭梯度步的优化组合的方法(简称LU-Newton-PGCG).在保证传统牛顿方法恰二阶收敛的条件下,证明了新算法也具有相同的恰二阶收敛的优点,但在计算量上却有一定的节省.如变量维数n=150时,其计算量可以节省40%,且当变量维数n趋于无穷时,二者的计算量之比以ln 2/ln n的速度趋于零.     

MWWP线搜索下的新共轭梯度法

随着计算机技术的革新和生产生活中大规模无约束优化问题的涌出,为寻求高效快速的方法,本文构造新共轭梯度算法.将一种修正弱Wolfe-Powell线搜索称为MWWP线搜索,使其与具有良好的充分下降性的DPRP共轭梯度法相结合,证明了该算法在新型线搜索下的全局收敛性,并将该算法与传统共轭梯度法进行了数值实验对比,数值实验结果表明了新方法是有效可行的.     

不完全左共轭梯度法及其数值表现

由于左共轭梯度算法没有短迭代公式,因而计算左共轭梯度方向的代价会随着迭代次数的增多而不断提高.为了节约存贮量、减少计算成本,有效的不完全左共轭梯度技巧显得非常必要.本文介绍两种不完全左共轭梯度的基本算法:有限内存左共轭梯度法和重开始的左共轭梯度法,并从不同角度对两种方法进行数值分析.此外,我们还给出相应的块左共轭梯度算法的不完全格式,也恰好是克服不完全左共轭梯度法中断的一个有效技巧.