无约束最优化问题的二次梯度算法

根据无约束最优化问题的梯度算法,提出了二次梯度算法,并证明了其收敛性。     

不可微最优化问题的随机增量次梯度方法

在Hilbert空间中不可微最优化问题的增量次梯度方法收敛性的基础上,研究随机的增量次梯度方法,这种方法每次迭代过程中,子迭代的搜索方向是随机给出的.本文主要研究的是具有缩减步长的随机增量次梯度方法的收敛性,证明这种方法产生的迭代点列拟Fejér收敛;迭代点列所对应的函数列收敛以及迭代点列弱收敛到某种形式的最优解集.     

Wolfe线搜索下的一类新的共轭梯度法

给出了解无约束最优化问题的共轭梯度法的一个新的迭代参数,得到一种新的共轭梯度法,并在Wolfe线搜索下,证明了算法的全局收敛性。     

次梯度法在求解非光滑最优化问题时的计算效果研究

本文研究了次梯度法的一些重要问题。次梯度法是梯度法在非光滑优化中的直接推广。在每一步的迭代中,选取一个负次梯度方向为搜索方向,并以一定的规则设置搜索步长。次梯度法的每一步迭代不一定都下降,但是可以证明,对于非光滑凸优化问题,次梯度法能够保证全局收敛性。次梯度法的搜索步长是预先设置的,步长设置准则包括常值步长准则、有限平方和步长准则和已知全局极小值的步长准则。本文对各种步长准则的收敛性进行了证明。为了验证次梯度法在不同的步长准则下的计算效果,本文应用次梯度法对一系列非光滑最优化问题进行了计算实验,并分析了他们的计算结果。数值实验结果表明,常值步长准则收敛速度慢,精度不高,而且步长的选择困难。而有限平方和步长准则收敛速度更快,也能够达到更高的精度。至于已知全局极小值的步长准则,虽然精度也较高,但是因为需要事先已知凸优化问题的全局极小值,所以这种步长准则的应用范围有限。     

均衡问题的一种改进不精确次梯度算法

针对采用精确次梯度算法求解均衡问题中的稳固非扩张算子的不动点集问题(EP(f,Fix(T)))时计算复杂且收敛性较差这一情况,提出了一种改进的不精确次梯度算法.首先,由事先选择的参数确定一个凸集;其次,通过不精确次梯度投影算法构造中间迭代点;最后,将当前迭代点和中间迭代点的线性组合在稳固非扩张算子的映射作为下一次迭代点.在合适条件下验证了算法的全局收敛性.     

同时次梯度投影算法求解分裂可行性线性收敛性研究

分裂可行性问题又能推广到多集分裂可行性问题,其本质与分裂可行性问题相同,均为优化问题.探讨希尔伯特空间中的多集分裂可行性问题的求解算法,使用动态步长的方法来对传统的梯度投影算法进行优化,并提出一种带有动态步长的同时次梯度投影算法,研究该算法的线性收敛性.研究结果表明,该算法具有收敛性;达到目标精度的迭代次数比算法2少137次;能以最少的迭代次数对84.9％的测试问题进行成功求解,比算法2多16.7％,比算法3多26.9％.以上结果证明,同时次梯度投影算法拥有较好的收敛性,能够有效地求解多集分裂可行性问题.     

次梯度法在求解非光滑最优化问题时的计算效果研究 (运筹学与控制论)

本文研究了次梯度法的一些重要问题。次梯度法是梯度法在非光滑优化中的直接推广。在每一步的迭代中,选取一个负次梯度方向为搜索方向,并以一定的规则设置搜索步长。次梯度法的每一步迭代不一定都下降,但是可以证明,对于非光滑凸优化问题,次梯度法能够保证全局收敛性。次梯度法的搜索步长是预先设置的,步长设置准则包括常值步长准则、有限平方和步长准则和已知全局极小值的步长准则。本文对各种步长准则的收敛性进行了证明。为了验证次梯度法在不同的步长准则下的计算效果,本文应用次梯度法对一系列非光滑最优化问题进行了计算实验,并分析了他们的计算结果。数值实验结果表明,常值步长准则收敛速度慢,精度不高,而且步长的选择困难。而有限平方和步长准则收敛速度更快,也能够达到更高的精度。至于已知全局极小值的步长准则,虽然精度也较高,但是因为需要事先已知凸优化问题的全局极小值,所以这种步长准则的应用范围有限。
     

单调变分不等式的改进次梯度外梯度算法

在Hilbert空间中提出一种求解Lipschitz连续单调变分不等式的改进次梯度外梯度算法,该算法的步长是自适应的.同时在算法的每一次迭代中,只需要计算向特殊结构半空间的投影.最后在Lipschitz系数大小未知的条件下,得到算法在Hilbert空间中的强收敛性.     

不可微最优化算法概念

本文介绍了不可微最优化算法的概况,主要介绍了次梯度法,ε一次梯度法,线性化算法,空间膨胀的梯度型算法,还介绍了作者近期的一些研究工作,及今后尚应深入研宄的某些课题。     

非精确线性搜索下的共轭梯度法

在wolfe步长搜索下,对解无约束最优化问题的共轭梯度法的迭代参数做出改进,扩大了它的选取范围,并在目标函数可微的条件下,证明了算法的全局收敛性.     

非精确线搜索下一类新的混合共轭梯度法研究

共轭梯度法在求解无约束最优化问题中起着重要作用。通过构造一个新的参数βk^＊,并与βk^DY结合,得到了一类新的混合迭代参数,此类混合共轭梯度法在迭代过程中保持下降性;在非精确强wolf线搜索下此算法具有全局收敛性。     

一类线性等式约束优化的投影Dai-Yuan共轭梯度法及其全局收敛性

针对具有等式约束的非线性最优化问题,提出了一类具有充分下降特性的投影Dai-Yuan共轭梯度法.在每次迭代过程中,算法均可得到充分下降的搜索方向.在适当条件下,证明了算法产生的搜索方向为可行下降方向,分析了算法的全局收敛性.数值结果表明算法是可行的、有效的.     

线性约束非光滑凸规划的一种次梯度聚集方法

本文利用次梯度聚集策略和梯度投影技术,建立了一种求解问题(1)的次梯度聚集法,证明了算法本质上是一种可行方向法,且在目标函数有下界的假设下证明了算法的整体收敛性,并考虑了防“锯齿”现象的策略。     

求解不可微凸可行问题的一种新算法

针对传统算法无法得到不可微函数下降方向的困难,结合方向导数信息,提出了不可微凸可行问题的一种直接算法.首先,为避免在每次迭代过程中计算投影,将凸可行问题转化为求解极大值函数的0-水平集中元素的问题;然后利用方向导数信息构造出下降方向,并且运用一维搜索法确定步长.证明了算法的收敛性,该算法无需利用梯度或次梯度,只需用到函数值信息,易于实现,数值试验表明了该算法的有效性.     

变分不等式的惯性次梯度外梯度算法

在实Hilbert空间中提出求解单调变分不等式的惯性次梯度外梯度算法，其中变分不等式的可行集是一个光滑凸函数的水平集.新算法应用惯性加速技巧，迭代过程中对映射F赋值一次，并只需向两个半空间作投影两次.在适当的假设下，证明该算法的弱收敛性.新算法改进和推广相关文献中的相应结果.     

次梯度外梯度算法求解随机变分不等式

确定性变分不等式已经有了较为完善的理论和数值方法。受次梯度外梯度算法的启发,考虑将其推广到随机变分不等式中。由于随机因素的出现,确定性的数值方法不能直接用来求解随机变分不等式。为此,结合处理随机优化常用的随机逼近方法,提出采用基于次梯度外梯度的随机逼近方法来求解随机变分不等式,即每次迭代抽取一个样本点,用样本函数去代替期望值函数,同时将外梯度算法中的第二步投影改投在含有可行集的一个半空间上,新的迭代点为第k步和矫正步的一个凸组合。该法采取随机逼近方法处理随机问题,并且当投影难以计算的时候,修改第二步投影在半空间上以此来减少计算的代价,新的迭代点充分利用了已知点的信息,使得算法迭代快速有效。在适当的假设下,当函数是伪单调的时候证明了去全局收敛性,并给出了初步的数值试验来证明该算法的可行性。     

一种求解无约束优化问题的新混合共轭梯度法

在现有共轭梯度方法的基础上,提出一种新混合共轭梯度法来求解无约束最优化问题.该方法采用近似方法去逼近Hessen矩阵,克服了传统牛顿法求解Hessen矩阵中存在的计算量大等问题,并在强wolfe线搜索技术下给出该共轭梯度算法的全局收敛性证明.实验结果表明,与PRP(Polak-Ribiere-Polyak)方法和HYBRID(混合)方法相比较,该文提出的新混合共轭梯度算法的迭代时间少于前两者方法,说明该文方法可行、有效.     

约束条件下一个拓广的梯度投影法

对于约束最优化问题,传统的梯度投影法在每步迭代时均需跟踪活动约束集,这样在实际运算时很容易引起数值上的不稳定。特别对于非线性的约束条件下的梯度投影法,为保证其算法具有全局收敛性,传统的方法都使用了ε-主动约束集的方法,这样,算法在每步迭代开始,都要进行转轴运算,以便确定ε-主动约束集,从而大大增加了每步迭代的计算量。1986年,J.Hevskowits在[1]中首先提出了一个每步迭代时无需跟踪活动约束集的梯度投影类算法,这是一个严格内点法。实际运算表明,[1]中的算法非常稳定。但遗憾的是,此算法所需的假设条件较强(如要求约束域有严格内点集及约束函数是二次连续可微的     

一个新的锥模型自适应信赖域算法

对无约束最优化问题提出了一类锥模型自适应信赖域算法.信赖域半径的修正采用一个新的自适应调节策略.算法在每步迭代中以当前迭代点的信息以及水平向量信息来调节信赖域半径的大小.在适当的条件下,证明了算法的全局收敛性和Q－二阶收敛性,并且给出了相应的数值结果.     

凸可行问题的一种次梯度投影算法

提出了一种次梯度投影算法,解决凸可行问题,该算法在迭代过程中采用Armijo线搜索规则计算预测步长,且进一步给出一个校正步长规则,从而提高了算法的收敛性和收敛效果.最后给出了数值实例,表明算法的有效性.