非线性最优化问题几种梯度算法的研究

借助目标函数的梯度或次梯度作为搜索方向解决最优化问题的最优化算法.研究共轭梯度法、投影梯度法、增量次梯度法以及邻近梯度法的迭代形式、迭代特点、收敛性分析以及实际应用范围,并介绍一些与梯度算法相关的最优化方法,对它们在收敛性、算法运用以及优缺点方面进行比较.     

均衡问题的一种改进不精确次梯度算法

针对采用精确次梯度算法求解均衡问题中的稳固非扩张算子的不动点集问题(EP(f,Fix(T)))时计算复杂且收敛性较差这一情况,提出了一种改进的不精确次梯度算法.首先,由事先选择的参数确定一个凸集;其次,通过不精确次梯度投影算法构造中间迭代点;最后,将当前迭代点和中间迭代点的线性组合在稳固非扩张算子的映射作为下一次迭代点.在合适条件下验证了算法的全局收敛性.     

次梯度法在求解非光滑最优化问题时的计算效果研究

本文研究了次梯度法的一些重要问题。次梯度法是梯度法在非光滑优化中的直接推广。在每一步的迭代中,选取一个负次梯度方向为搜索方向,并以一定的规则设置搜索步长。次梯度法的每一步迭代不一定都下降,但是可以证明,对于非光滑凸优化问题,次梯度法能够保证全局收敛性。次梯度法的搜索步长是预先设置的,步长设置准则包括常值步长准则、有限平方和步长准则和已知全局极小值的步长准则。本文对各种步长准则的收敛性进行了证明。为了验证次梯度法在不同的步长准则下的计算效果,本文应用次梯度法对一系列非光滑最优化问题进行了计算实验,并分析了他们的计算结果。数值实验结果表明,常值步长准则收敛速度慢,精度不高,而且步长的选择困难。而有限平方和步长准则收敛速度更快,也能够达到更高的精度。至于已知全局极小值的步长准则,虽然精度也较高,但是因为需要事先已知凸优化问题的全局极小值,所以这种步长准则的应用范围有限。     

Fuzzy实直线R(L)中的序列收敛性

本文为能够在 R(L)上建立分析理论探索可行的方法,我们首先给出 R(L)中点列收敛的定义,当点列([λ_n])R(L)时,其收敛性与通常点列{λ_n}R的收敛性一致.在 L 是链的条件下,证明了类似于实分析中收敛点列的一些性质,如两个收敛点列的和与积的收敛性,在一定条件下,证明了收敛点列在 Fuzzy 连续映射下的象也收敛.     

次梯度法在求解非光滑最优化问题时的计算效果研究 (运筹学与控制论)

本文研究了次梯度法的一些重要问题。次梯度法是梯度法在非光滑优化中的直接推广。在每一步的迭代中,选取一个负次梯度方向为搜索方向,并以一定的规则设置搜索步长。次梯度法的每一步迭代不一定都下降,但是可以证明,对于非光滑凸优化问题,次梯度法能够保证全局收敛性。次梯度法的搜索步长是预先设置的,步长设置准则包括常值步长准则、有限平方和步长准则和已知全局极小值的步长准则。本文对各种步长准则的收敛性进行了证明。为了验证次梯度法在不同的步长准则下的计算效果,本文应用次梯度法对一系列非光滑最优化问题进行了计算实验,并分析了他们的计算结果。数值实验结果表明,常值步长准则收敛速度慢,精度不高,而且步长的选择困难。而有限平方和步长准则收敛速度更快,也能够达到更高的精度。至于已知全局极小值的步长准则,虽然精度也较高,但是因为需要事先已知凸优化问题的全局极小值,所以这种步长准则的应用范围有限。
     

非光滑算子方程的单调迭代方法

本文首先在PTL空间中研究了非光滑算子方程Fx=O的具有单调收敛性的显式迭代方法,得到了单调列的存在收敛性结果。其次,在半序Banach空间中给出了达代列收敛速度的估计。最后,本文将所讨论的方法用于两点边值问题的求解。     

求解单调变分不等式的一类迭代算法

给出了求解单调变分不等式的一类迭代算法．通过解强单调变分不等式子问题，产生一个迭代点列，该迭代点列收敛到变分不等式的解．最后，给出了这类新算法的收敛性分析。     

凸可行问题的一种次梯度投影算法

提出了一种次梯度投影算法,解决凸可行问题,该算法在迭代过程中采用Armijo线搜索规则计算预测步长,且进一步给出一个校正步长规则,从而提高了算法的收敛性和收敛效果.最后给出了数值实例,表明算法的有效性.     

次梯度外梯度算法求解随机变分不等式

确定性变分不等式已经有了较为完善的理论和数值方法。受次梯度外梯度算法的启发,考虑将其推广到随机变分不等式中。由于随机因素的出现,确定性的数值方法不能直接用来求解随机变分不等式。为此,结合处理随机优化常用的随机逼近方法,提出采用基于次梯度外梯度的随机逼近方法来求解随机变分不等式,即每次迭代抽取一个样本点,用样本函数去代替期望值函数,同时将外梯度算法中的第二步投影改投在含有可行集的一个半空间上,新的迭代点为第k步和矫正步的一个凸组合。该法采取随机逼近方法处理随机问题,并且当投影难以计算的时候,修改第二步投影在半空间上以此来减少计算的代价,新的迭代点充分利用了已知点的信息,使得算法迭代快速有效。在适当的假设下,当函数是伪单调的时候证明了去全局收敛性,并给出了初步的数值试验来证明该算法的可行性。     

解线性互补问题的多分裂多松弛因子迭代算法

考虑矩阵的多重分裂与处理器的并行计算,提出了求解线性互补问题的多分裂多松弛参数迭代算法,利用M-矩阵和H-矩阵的性质及松弛迭代的收敛性,证明了算法产生的迭代点列的聚点为原互补问题的解。最后,为提高算法的收敛速度,分析了ILU分解预处理技术的收敛特性。