不等式约束优化问题的一个精确增广拉格朗日函数

给出了求解只带有不等式约束非线性规划问题的一个连续可微精确增广拉格朗日函数法,并讨论了它的精确性质.该方法的主要特点是:在适当的假设下,通过对这个增广拉格朗日函数在原问题变量和乘子变量的积空间上进行一个单一的无约束极小化,即可获得原约束问题的解,从而可以有效地使用标准的无约束极小化方法求解不等式约束非线性规划问题.     

不等式约束非线性规划的拉格朗日乘子的收敛

对于等式约束的非线性规划问题,一般的解决方法是在每次迭代中更新拉格朗日乘子且逐渐增大拉格朗日函数的惩罚因子,当罚因子充分大或充分接近局部最优解时,二阶充分条件是满足的;对不等式约束问题也采用了相应的方法.在凸的情况下,对于任意的罚因子或者在每次迭代中不要求精确极小化,就能全局收敛到最优解;证明了拉格朗日乘子是收敛的.     

增广拉格朗日函数的两种可分化方法之比较

可分方法用于将一个复杂的大规模优化问题分解成各个子问题进行求解.增广拉格朗日松弛方法的主要缺点是由其引入的二次项是不能分离的.为了处理这种增广拉格朗日函数的不可分离性,可将辅助问题原理方法或分块坐标下降方法应用于增广拉格朗日松弛方法.与已有文献中对带有约束条件x-x=0的优化问题进行这两种可分方法的比较不同,本文对带有更一般的约束条件--线性约束z=Ax的优化问题进行这两种可分化方法的比较;最后给出的两个算例证实了本文的理论分析结果--在处理不可分离的增广拉格朗日函数的时候,在一定条件下,分块坐标下降法往往比辅助问题原则法更快得到最优值.     

矩阵填充的混合型增广拉格朗日乘子算法

文章在经典增广拉格朗日乘子算法的基础上,提出了一种新的混合型增广拉格朗日乘子矩阵填充算法.通过定义混合型奇异值阈值算子,得到了一种求解矩阵填充问题的新的混合型增广拉格朗日乘子算法.数值实验表明,新算法大大提高了矩阵填充的求解效率,节约了计算花费,其效果明显优于经典的增广拉格朗日乘子算法.     

一种基于非均匀惩罚因子的序列无约束最优化外点新算法

增广拉格朗日乘子方法（Augmented Lagrange multiplier method）是拉格朗日乘子方法（Lagrange multiplier method）的推广,它是一种序列无约束的最小化技术,包括内点法和外点法,内点法适用于仅有不等式约束的情形,其主要思想是对违背可行性的约束给予一个惩罚。传统的做法是：对所有约束以相同的罚因子,自适应调整Lagrange乘子。提出了一种非均匀惩罚的自适应更新罚因子的方法,即根据近似解对约束违反的严重程度施行不同惩罚的新方法。算例表明,本方法是有效的。     

重庆师范大学 数学学院，重庆 401331

考虑目标函数能够分解成n个独立的凸函数,其约束条件为线性约束的可分凸优化问题.呈现了一种推广的预测矫正邻近乘子法来求解可分凸优化问题.算法在迭代中利用二次项代替了增广拉格朗日函数的增广项，算法既有邻近乘子法的特性，又有可以平行计算，并且在较弱的条件下，能保证全局收敛.     

一类增广拉格朗日函数局部鞍点的存在性

对含有等式约束和不等式约束的非线性规划问题(P)给出了一类新的增广拉格朗日函数方法;在修正二阶充分条件下,证明了对偶问题的局部鞍点即为原问题的局部最优解;同时证明了如果原问题的局部最优解满足修正的二阶充分条件,则原问题的局部最优解即是增广拉格朗日函数的局部鞍点.     

增广拉格朗日函数的两种可分化方法之比较(运筹学与控制论)

可分方法用于将一个复杂的大规模优化问题分解成各个子问题进行求解。增广拉格朗日松弛方法的主要缺点是由其引入的二次项是不能分离的。为了处理这种增广拉格朗日函数的不可分离性,可将辅助问题原理方法或分块坐标下降方法应用于增广拉格朗日松弛方法。与已有文献中对带有约束条件x-x=0的优化问题进行这两种可分方法的比较不同,本文对带有更一般的约束条件———线性约束z=Ax的优化问题进行这两种可分化方法的比较;最后给出的两个算例证实了本文的理论分析结果———在处理不可分离的增广拉格朗日函数的时候,在一定条件下,分块坐标下降法往往比辅助问题原则法更快得到最优值。
     

Toeplitz矩阵填充的尾端修正增广拉格朗日乘子算法

基于均值的增广拉格朗日乘子（MALM）算法,提出了一种尾端修正的Toeplitz矩阵填充新算法.该算法利用增广拉格朗日乘子（ALM）算法迭代速度较快的优点,对迭代矩阵序列进行结构化与尾端修正.在一定程度上减少了每步均值处理所产生的数据传输量,从而降低了计算代价.同时详细讨论了新算法的收敛性.最后通过数值实验证明了新算法比l步修正的增广垃格朗日乘子（l-MALM）、MALM以及ALM算法在计算时间上有较大程度的减少.     

基于BB步长的一类原始-对偶算法

增广拉格朗日乘子法(ALM)是求解带等式约束的二次凸优化问题的常用方法，但罚参数选取不当时，收敛速度比较慢.提出ALM-BB算法，利用Barzilai-Borwein(BB)算法的步长去改进原始的ALM,证明ALM-BB算法的收敛性.最后将这类方法运用于求解范数最优控制问题.数值算例表明改进的算法收敛速度更快.     

求解Poisson问题的区域分解和交替方向乘子法

【目的】有效求解有界闭区域的Poisson问题,得到解决这类问题的区域分解法和交替方向乘子法。【方法】用区域分解法将问题转化为用两个子区域和增广拉格朗日函数表示的极小值问题,再采用交替方向乘子法求解该问题。【结果】对算法进行了收敛性分析,并给出了此类问题的具体应用。【结论】数值结果验证了该方法求解Poisson问题的可行性。     

非光滑约束优化的广义增广拉格朗日方法及其在半无限规划中的应用

为寻找非光滑约束优化问题的稳定点,基于已有的研究成果,提出了一种广义增广拉格朗日方法.即当罚参数有界时,证明了由算法产生的迭代序列的任何聚点都是原问题的稳定点.然后,在适当条件下将该方法应用到了半无限规划问题,并且给出了相关数值实验,证明了该算法对于求解非光滑约束优化问题是有效的.因此,非光滑约束优化的广义增广拉格郎日方法是一种非常有效的方法,在解决半无限规划问题中有十分广泛的应用.     

一种l2，1范数最小化问题的算法研究

提出一种求解l2,1范数的最小化问题的增广拉格朗日函数法,用以求解最小化问题,算法的收敛性容易实现.数值试验表明,所提出来的算法是可行的.     

Sharp增广拉格朗日函数的局部鞍点

对于约束优化问题,证明了局部鞍点就是局部最优解,利用泰勒展开公式证明了sharp增广拉格朗日函数在二阶充分性条件下,局部鞍点的存在性,从而保证了原问题和对偶问题的局部最优值相等.     

基于粒子群算法和增广拉格朗日乘子法的混合可靠性分析

本文提出了一种基于粒子群算法和增广拉格朗日乘子法的混合可靠性分析方法.该方法通过引入参数的不确定性和区间变量,得到一种概率-区间混合不确定模型,充分利用增广拉格朗日乘子法将有约束优化问题转化为无约束优化问题,基于此进行求解和结构可靠性分析.数值算例和工程实例验证了该算法在计算结构可靠性问题时对于线性和非线性的功能函数有良好的收敛性和较高的计算效率.     

基于小样本数据的BP神经网络建模

针对小样本条件下BP(back propogation)神经网络存在预测精度不高的问题,将专家知识融入BP神经网络训练过程中解决此问题.首先BP神经网络通过遗传算法获得最优初始权值和阈值;其次对专家知识进行数学表达;最后通过增广拉格朗日乘子法将专家知识融入BP神经网络训练过程中.利用实际中的结晶动力学问题对所提方法进行...     

非线性规划中的增广拉格朗日函数与近似最优解

介绍了几种近似最优解和增广拉格朗日函数,建立了基于增广拉格朗日函数的对偶映射和相应的对偶问题,讨论了增广拉格朗日函数的几种近似解和原问题的几种近似解的关系,得到的结果推广了一些已有的结论.     

非凸不可分离问题的广义交替方向乘子法的收敛性

交替方向乘子法（ADMM）是求解大规模优化问题和非凸非光滑问题的一种有效的方法,但当目标函数为非凸非光滑的情况时,原始ADMM算法的收敛性无法保证,且若目标函数中存在耦合函数,则算法的收敛性证明将更为复杂。在现实生活中存在的很多问题,其本质都是非凸的。因此,本文提出了一种改进的ADMM算法。与原始ADMM算法相比,该算法引入了一个松弛因子$\alpha $,构造了一种广义交替方向乘子法（GADMM）来求解具有线性约束的非凸不可分离优化问题。在一定的假设条件下,通过假设增广拉格朗日函数满足K-L不等式,证明了当惩罚参数足够大时,算法生成的序列收敛到增广拉格朗日函数的稳定点。     

实对称半正定矩阵恢复的Lagrange乘子修正算法

基于不精确的增广拉格朗日乘子算法,针对实对称半正定矩阵恢复问题提出了一种修正算法.恢复后的矩阵保持稳定的实对称半正定性质.同时,证明了修正算法的收敛性,验证了修正算法对实对称半正定矩阵恢复具有更高的效率.     

拉格朗日-拟牛顿法解约束非线性规划问题

Partier E R和祁力群等人先后提出解光滑不等式约束函数和光滑目标函数最优化问题的QP-free方法，算法中所有的迭代点为可行点．笔者在先前发表的文章中，提出了含弱互补函数的不等式约束最优化问题的拉格朗日-牛顿法．现笔者改进了先前文章中算法，用拟牛顿公式代替了Hesse矩阵，把解不等式约束最优化问题推广到了既含不等式约束又含等式约束最优化问题，并证明了此算法具有全局收敛性．对一些算例的计算表明，此法具有很好的应用前景．