一种特殊的下降算法——分裂梯度法

求解无约束优化问题,常用的方法有下降算法,牛顿法,共轭梯度法等。当目标函数为几个光滑函数的和时,一些学者提出并研究了增量梯度算法。其基本思想是循环选取单个函数的负梯度作为迭代方向。增量梯度算法的迭代方向不一定是下降方向,所以不能用下降算法的一维搜索确定步长,因为受限于步长的选择,收敛效率不高。本文结合了下降算法和增量梯度算法的思想,提出了分裂梯度法。简单的说,分裂梯度法循环考虑单个函数的负梯度方向,如果这一方向是下降方向,则选择这一方向为迭代方向;否则选取函数的负梯度方向为迭代方向。最后通过数值实验与最速下降算法、随机下降算法以及增量梯度算法进行对比,结果表明对于某些优化问题,采用分裂梯度法更有效。     

基于负曲率方向的复数域共轭梯度法

共轭梯度法是优化大规模目标函数的一种经典方法.根据复梯度、复Hessian阵与实梯度、实Hessian阵之间的关系,将共轭梯度法推广到复数域,用于解决复数域的优化问题.针对共轭法的一些缺点,如每步迭代利用线性搜索来确定优化的步长及可能寻找到的极值点不一定为极小值等缺点,提出在Hessian阵不正定时利用负曲率方向作为搜索方向,利用实数域二阶导数简化思想,使寻找下降负曲率方向简单化,同时根据目标函数信息调节搜索步长,保持函数值单调下降.对该算法进行复数域优化数值仿真,结果表明:该算法与复数域的SCG算法及Quasi-Newton算法相比,计算较为简单且优化效果更优.     

LS—共轭梯度算法的收敛性

对无约束规划（P）：minx∈R^nf(x)。其中f(x)是Rn→R^1上的二阶连续可微函数，通过引入强迫函数和逆连续模函数，证明了一类采用Curry-Altman步长规则的LS-共轭梯度算法的全局收敛性质，利用比较原理进一步讨论了LS-共轭梯度算法在采用另外三种步长规则下的全局收敛性。     

非线性规划不用梯度作线搜索的算法及收敛性

首先给出求解无约束规划中步长搜索依赖的几个准则和一个线搜索方法，它们仅利用目标函数值，不依赖于梯度，然后，给出点列整体收敛的充分条件，并建立无约束规划的几个具有整体收敛性的算法。此外，还给出算法超线性收敛的条件，最后将方法应用于求解等式约束规划，产生其整体收敛的不用梯度的可行下降算法。     

LS-共轭梯度算法的收敛性

对无约束规划 (P) :minx∈Rnf(x) ,其中 f(x)是Rn→R1上的二阶连续可微函数 ,通过引入强迫函数和逆连续模函数 ,证明了一类采用Curry Altman步长规则的LS 共轭梯度算法的全局收敛性质 ,利用比较原理进一步讨论了LS 共轭梯度算法在采用另外三种步长规则下的全局收敛性     

固定步长修正LS共轭梯度法的全局收敛性

基于修正LS共轭梯度法，给出步长公式，使无线搜索算法的迭代过程自动满足充分下降性．在水平集中目标函数有界和梯度函数Lipschitz连续的条件下，分别证明了采用固定步长和常数步长的算法具有全局收敛性．     

改进的无约束多目标优化记忆梯度法简

基于无约束单目标记忆梯度法,提出了一种改进的无约束多目标优化问题的记忆梯度法,采用Amijo非精确线搜索产生步长,并证明了算法的收敛性.数值试验表明该算法是有效的.     

修正的HS共轭梯度算法的全局收敛性

对求解无约束优化问题的共轭梯度法中的方向参数给定新的区间取法,将HS共轭梯度参数限制在此区间上,保证搜索方向是目标函数的充分下降方向,在此基础上提出了修正HS共轭梯度算法(MHS),并在较弱的条件下讨论了新算法在广义Armijo步长搜索下的全局收敛性.数值试验结果表明,新算法比广义Armijo步长搜索下的FR、PR、HS共轭梯度算法有效.     

分布式流言push-sum无梯度算法

研究多个体网络中所有个体目标函数之和最小值问题,其中每个个体仅知其自身目标函数且仅可与其邻居个体交互信息。鉴于个体目标函数通常非光滑,同时个体间单变量信息通信有一定局限性,本文提出一种分布式流言push-sum无梯度算法求解此优化问题。假设每个个体都具有一个服从泊松分布的控制时钟,时钟的每次转动表示随机选择的个体之间进行信息更新。进一步地,在网络连通条件下证明了所提算法的收敛性。数值仿真结果表明,与现有的分布式流言无梯度优化算法相比,本文算法具有更快的收敛速度。     

结合Armijo步长搜索的一类新记忆梯度算法及其收敛特征

对于求解无约束规划的共轭梯度算法中的共轭梯度方向参数，给定一个假设条件，确定它的一个取值范围，以保证搜索方向是目标函数的充分下降方向，由此提出了一类新的记忆梯度算法。在去掉迭代点列有界和Armijo步长搜索下，讨论了算法的全局收敛性，同时给出了结合FR、PR、HS共轭梯度算法的修正形式。数值实验表明，新算法比Armijo步长搜索下的FR、PR、HS共轭梯度法更稳定、更有效。     

基于梯度的随机微粒群算法

在随机微粒群算法和函数梯度信息基础上,文章提出了基于梯度的随机微粒群算法.该算法既有随机微粒群算法的优点,又有梯度法的较高收敛性和精度,数值计算表明算法对于求解连续可微函数的全局优化问题是非常有效的.     

结合广义Armijo步长搜索的带误差项的记忆梯度算法

对非线性无约束规划提出了结合广义Armijo步长搜索规则的一类带误差项的记忆梯度求解算法,在目标函数梯度一致连续的条件下,证明了算法的全局收敛性,同时给出带误差项的结合拟-Newton方程的记忆梯度算法.数值结果表明算法是有效的.     

多目标优化问题的非单调对角最速下降算法

【目的】为了更高效的求解多目标优化问题,得到更有效的Pareto前沿面。【方法】通过引入非单调Armijo准则,得到新的步长搜索方式,进而提出了多目标优化问题的非单调对角最速下降算法。【结果】在目标函数无凸性、梯度Lipschitz连续性和下有界假设下,证明了算法产生序列的每个聚点均是多目标优化问题的Pareto弱有效解,并在适当条件下证明了算法的次线性收敛性。【结论】数值实验表明提出的算法目标函数值的平均值更小。     

修正的HS共轭梯度算法的全局收敛性

对求解无约束优化问题的共轭梯度法中的方向参数给定新的区间取法，将HS共轭梯度参数限制在此区间上，保证搜索方向是目标函数的充分下降方向，在此基础上提出了修正HS共轭梯度算法（MHS），并在较弱的条件下讨论了新算法在广义Armijo步长搜索下的全局收敛性。数值试验结果表明，新算法比广义Armijo步长搜索下的FR、PR、HS共轭梯度算法有效。     

结合Armijo步长搜索的新三项共轭梯度算法及其收敛特征

对求解无约束优化问题提出了一类新的三项共轭梯度求解算法,在去掉迭代点列{xk}有界和Armijo步长搜索下,讨论了算法的全局收敛性,同时给出结合FR、PR、HS共轭梯度参数的三项共轭梯度算法,数值算例表明新算法比Armijo步长搜索下的FR、PR、HS共轭梯度算法有效。     

次梯度法在求解非光滑最优化问题时的计算效果研究 (运筹学与控制论)

本文研究了次梯度法的一些重要问题。次梯度法是梯度法在非光滑优化中的直接推广。在每一步的迭代中,选取一个负次梯度方向为搜索方向,并以一定的规则设置搜索步长。次梯度法的每一步迭代不一定都下降,但是可以证明,对于非光滑凸优化问题,次梯度法能够保证全局收敛性。次梯度法的搜索步长是预先设置的,步长设置准则包括常值步长准则、有限平方和步长准则和已知全局极小值的步长准则。本文对各种步长准则的收敛性进行了证明。为了验证次梯度法在不同的步长准则下的计算效果,本文应用次梯度法对一系列非光滑最优化问题进行了计算实验,并分析了他们的计算结果。数值实验结果表明,常值步长准则收敛速度慢,精度不高,而且步长的选择困难。而有限平方和步长准则收敛速度更快,也能够达到更高的精度。至于已知全局极小值的步长准则,虽然精度也较高,但是因为需要事先已知凸优化问题的全局极小值,所以这种步长准则的应用范围有限。
     

非线性约束条件下的共轭投影梯度法

针对非线性等式和不等式约束优化问题，结合罚函数法，提出了一个共轭投影梯度法，在适当的假设条件下，证明了该方法的全局收敛性，由于使用了目标函数的二阶导数信息，该算法的超线性收敛速度也能得到保证，数值结果表明，该算法是有效的。     

Stein方程数值解的黎曼梯度算法

基于正定矩阵流形的信息几何结构, 使用黎曼梯度算法来获得Stein方程的数值解. 利用弯曲的黎曼流形上的测地距离作为算法的目标函数,并将流形上的测地线作为算法的收敛路径. 通过数值实验讨论了算法的步长和收敛速度的关系,从而得到算法的最优步长.      

次梯度法在求解非光滑最优化问题时的计算效果研究

本文研究了次梯度法的一些重要问题。次梯度法是梯度法在非光滑优化中的直接推广。在每一步的迭代中,选取一个负次梯度方向为搜索方向,并以一定的规则设置搜索步长。次梯度法的每一步迭代不一定都下降,但是可以证明,对于非光滑凸优化问题,次梯度法能够保证全局收敛性。次梯度法的搜索步长是预先设置的,步长设置准则包括常值步长准则、有限平方和步长准则和已知全局极小值的步长准则。本文对各种步长准则的收敛性进行了证明。为了验证次梯度法在不同的步长准则下的计算效果,本文应用次梯度法对一系列非光滑最优化问题进行了计算实验,并分析了他们的计算结果。数值实验结果表明,常值步长准则收敛速度慢,精度不高,而且步长的选择困难。而有限平方和步长准则收敛速度更快,也能够达到更高的精度。至于已知全局极小值的步长准则,虽然精度也较高,但是因为需要事先已知凸优化问题的全局极小值,所以这种步长准则的应用范围有限。     

关于增量极限学习机的逼近阶估计

与以往探究增量极限学习机的全局逼近能力有所不同,文中给出了该算法定量的收敛性分析。源于纯贪婪算法估计逼近阶的思想,文中运用数列构造与不等式缩放等方法估计增量极限学习机的逼近阶,最终用定理证明了它对于连续目标函数f的逼近阶为o(n-16)。这就对增量极限学习机的快速收敛性能给出了清晰解释。