一类线性等式约束优化的投影Dai-Yuan共轭梯度法及其全局收敛性

针对具有等式约束的非线性最优化问题,提出了一类具有充分下降特性的投影Dai-Yuan共轭梯度法.在每次迭代过程中,算法均可得到充分下降的搜索方向.在适当条件下,证明了算法产生的搜索方向为可行下降方向,分析了算法的全局收敛性.数值结果表明算法是可行的、有效的.     

引入二阶导数的梯度法

对最优化方法中的梯度算法进行了改进．当2f/x2=≠0时，将二阶导数与梯度方向相结合，构造出一种新的下降方向d=[1＋δ／（2f／x2）]（f／x），其中δ=1或-1．用新的下降方向设计了一种算法，使梯度法得到改进．新的算法比梯度法的收敛速度快，而且比牛顿法计算量小．     

非精确求解凸规划的部分交替方向算法

为了求解一类带有三个可分离算子的凸规划问题, 本文得到一种非精确的部分交替方向算法, 给出了新算法的一个下降方向和沿着这个下降方向的最优步长, 并在合理的假设下证明了该算法的全局收敛性. 数值试验表明该算法有效且易于执行.     

一种新的求解单调变分不等式的部分并行分裂算法

为了求解一类带有三个可分离算子的单调变分不等式,作者得到了一种新的部分并行分裂算法,给出了新算法的一个下降方向和沿着这个下降方向的最优步长,并在合理的假设下证明了算法的收敛性.数值试验表明该算法是有效的.     

求解非线性规划问题的拟合算法

文章讨论非线性规划问题，借助于函数拟舍的思想，建立了问题的一个初始点任意的线性收敛的新算法，在新算法的每次迭代中，下降方向是从函数的拟合中得到，而不是由传统的拟牛顿方程得到，并且在较弱的假设下证明算法是线性收敛的．     

引入二阶导数的梯度法

对最优化方法中的梯度算法进行了改进，当ｅ＾２ｆ／ｅｘ＾２≠０时，将二阶导数与梯度方向相结合，构造出一种新的下降方向ｄ＝「１＋δ／（ｅ＾２ｆ／ｅｘ＾２）」（ｅｆ／ｅｘ），其中δ＝１或－１，用新的下降方向设计了一种算法，使梯度法得到改进，新的算法比梯度法的收敛速度快，而且比牛顿法计算量小。     

Armijo型线搜索下的谱CD共轭梯度法

提出了一种新的非线性修正的谱CD共轭梯度算法。该算法得到的搜索方向为下降方向,它既不受线搜索规则的影响,也不受目标函数的凸性影响。同时算法在精确线搜索条件下能够诱导出标准的CD共轭梯度方法。给出的新方法在两种不同Armijo型线搜索规则下具有全局收敛性,数值实验结果显示了新算法的可行性。     

线性不等式约束优化问题的仿射内点不定dogleg算法

使用仿射变换内点回代技术的不定dogleg算法解线性不等式约束的非线性优化问题．通过对构造的仿射不定dogleg路径进行搜索得到迭代方向，结合线搜索内点回代技术获得可接受的步长因子，产生保证目标函数值单调下降的严格内点可行迭代序列．在合理的假设条件下。给出了不定dogleg路径的良好性质，从而证明了算法不仅具有整体收敛性，而且保持超线性收敛速率．数值计算结果表明了算法的有效性．     

一种求解单调变分不等式的下降型邻近点交替方向乘子法

针对具有可分结构的单调变分不等式问题,基于邻近点算法和文献[12]提出的下降型算法构造了一个新的下降方向,并利用下降量的下界来选择最优步长,提出一种下降型邻近点交替方向乘子法;证明了算法的收敛性;并将该方法与文献[11]中算法的下降量下界进行比较,从理论上说明了算法的优越性。     

线性不等式约束优化问题的仿射内点信赖域子空间算法

使用仿射变换内点回代技术的信赖域子空间算法解线性不等式约束的非线性优化问题．通过构造一个二维子空间，在子空间中求解信赖域的子问题得到迭代方向，结合线搜索内点回代技术获得可接受的步长因子，产生保证目标函数值单调下降的严格内点可行迭代序列．子空间技术的应用使得该方法适用于求解大规模问题．在合理的假设条件下，给出了信赖域子空间算法的良好性质，从而保证了算法不仅具有整体收敛性，而且保持超线性收敛速率，数值计算结果表明了算法的有效性。     

求解不可微凸可行问题的一种新算法

针对传统算法无法得到不可微函数下降方向的困难,结合方向导数信息,提出了不可微凸可行问题的一种直接算法.首先,为避免在每次迭代过程中计算投影,将凸可行问题转化为求解极大值函数的0-水平集中元素的问题;然后利用方向导数信息构造出下降方向,并且运用一维搜索法确定步长.证明了算法的收敛性,该算法无需利用梯度或次梯度,只需用到函数值信息,易于实现,数值试验表明了该算法的有效性.     

不光滑凸函数的下降算法

给出一个易在计算机上实现的极小化凸不光滑函数的下降算法，在目标函数下有界的条件下，证明了算法的全局收敛性；此外还把算法推广到约束凸规划问题，得到了与无约束问题同样的收敛结果，如果约束是线性的，则算法是数值可行的。和已有的下降算法相比，该算法具有更好的适应性。     

两类无约束优化的充分下降共轭梯度法

对无约束优化问题提出两类新的充分下降共轭梯度法. 在每次迭代过程中, 算法均可得到充分下降方向. 在适当条件下, 证明了算法的全局收敛性. 数值结果表明算法可行、 有效.     

有界变量约束优化的仿射尺度不精确牛顿法

采用内点线搜索技术，提出了一种新的仿射尺度不精确牛顿方法求解有界变量约束的非线性优化问题．选取光滑的尺度矩阵，并通过变换为有界约束的最小二乘问题代替原始问题．先由不精确牛顿法得到迭代方向，再沿着此方向回代使势函数下降，同时保证每一迭代点严格可行．证明了在合理的条件下具有整体收敛性和局部收敛速率．给出的数值结果表明了算法的有效性．     

一种特殊的下降算法——分裂梯度法

求解无约束优化问题,常用的方法有下降算法,牛顿法,共轭梯度法等。当目标函数为几个光滑函数的和时,一些学者提出并研究了增量梯度算法。其基本思想是循环选取单个函数的负梯度作为迭代方向。增量梯度算法的迭代方向不一定是下降方向,所以不能用下降算法的一维搜索确定步长,因为受限于步长的选择,收敛效率不高。本文结合了下降算法和增量梯度算法的思想,提出了分裂梯度法。简单的说,分裂梯度法循环考虑单个函数的负梯度方向,如果这一方向是下降方向,则选择这一方向为迭代方向;否则选取函数的负梯度方向为迭代方向。最后通过数值实验与最速下降算法、随机下降算法以及增量梯度算法进行对比,结果表明对于某些优化问题,采用分裂梯度法更有效。     

求解大规模非线性单调方程组的共轭梯度算法

基于经典PRP(Polak-Ribière-Polyak)算法，设计一个具有充分下降性和信赖域性质的搜索方向，采用投影技术及经典单调线搜索，提出一种求解大规模非线性单调方程组的修正共轭梯度算法.在常规条件下，新算法具有全局收敛性.初步的数值实验结果表明：新算法比经典PRP算法和3项PRP算法效率更优，鲁棒性更好，适合求解大规模非线性单调方程组.     

关于不可微最优化的下降方法

本文研究极小化局部Ｌｉｐｓｃｈｉｔｚ连续函数的下降算法。文中给出了一个模型算法，它使用目标函数的近似广义梯度确定下降方向，这使得有可能构造仅使用函数值的不可微极小化下降算法。在适当的条件下，我们证明了算法的收敛性，并给出了有关此算法的若干数值计算结果。     

框式凸二次规划宽邻域原始-对偶势下降内点算法

基于线性规划原始-对偶势下降内点算法的思想,对框式凸二次规划提出一种新的内点算法宽邻域原始-对偶势下降内点算法.算法选取牛顿方向作为迭代方向,利用势函数选择迭代步长,分析算法的多项式迭代复杂性,并证明新算法具有较好的迭代复杂性O(nL).     

一种新的混合共轭梯度法及其在投资组合中的应用

考虑无约束优化问题,在不同维数的空间上获得具有充分下降性的搜索方向,进而提出一个新的混合共轭梯度方法,在梯度Lipschitz连续条件下,证明了算法的全局收敛性。数值实验表明,该算法具有一定竞争力,将该方法应用于求解Markowitz投资组合问题,得到不同收益率下的投资组合策略。     

无约束优化的信赖域算法

提出了一种无约束优化问题的信赖域算法。根据原优化问题的二次近似模型,运用拟牛顿方向与最速下降方向之凸组合作为搜索方向,采用了新的策略。进行了收敛性分析,得到整体收敛及局部二次收敛性结果,并给出了算法的执行过程及算例。