增广拉格朗日函数的两种可分化方法之比较(运筹学与控制论)

可分方法用于将一个复杂的大规模优化问题分解成各个子问题进行求解。增广拉格朗日松弛方法的主要缺点是由其引入的二次项是不能分离的。为了处理这种增广拉格朗日函数的不可分离性,可将辅助问题原理方法或分块坐标下降方法应用于增广拉格朗日松弛方法。与已有文献中对带有约束条件x-x=0的优化问题进行这两种可分方法的比较不同,本文对带有更一般的约束条件———线性约束z=Ax的优化问题进行这两种可分化方法的比较;最后给出的两个算例证实了本文的理论分析结果———在处理不可分离的增广拉格朗日函数的时候,在一定条件下,分块坐标下降法往往比辅助问题原则法更快得到最优值。
     

重庆师范大学 数学学院，重庆 401331

考虑目标函数能够分解成n个独立的凸函数,其约束条件为线性约束的可分凸优化问题.呈现了一种推广的预测矫正邻近乘子法来求解可分凸优化问题.算法在迭代中利用二次项代替了增广拉格朗日函数的增广项，算法既有邻近乘子法的特性，又有可以平行计算，并且在较弱的条件下，能保证全局收敛.     

推广的预矫正邻近点法求解可分凸优化问题

考虑目标函数能够分解成n个独立的凸函数,其约束条件为线性约束的可分凸优化问题.呈现了一种推广的预测矫正邻近乘子法来求解可分凸优化问题.算法在迭代中利用二次项代替了增广拉格朗日函数的增广项,算法既有邻近乘子法的特性,又有可以平行计算,并且在较弱的条件下,能保证全局收敛.     

非凸不可分离问题的广义交替方向乘子法的收敛性

交替方向乘子法（ADMM）是求解大规模优化问题和非凸非光滑问题的一种有效的方法,但当目标函数为非凸非光滑的情况时,原始ADMM算法的收敛性无法保证,且若目标函数中存在耦合函数,则算法的收敛性证明将更为复杂。在现实生活中存在的很多问题,其本质都是非凸的。因此,本文提出了一种改进的ADMM算法。与原始ADMM算法相比,该算法引入了一个松弛因子$\alpha $,构造了一种广义交替方向乘子法（GADMM）来求解具有线性约束的非凸不可分离优化问题。在一定的假设条件下,通过假设增广拉格朗日函数满足K-L不等式,证明了当惩罚参数足够大时,算法生成的序列收敛到增广拉格朗日函数的稳定点。     

一个增广开环关联平衡法

在线性化增广拉格朗日函数法的基础上,利用双环迭代的思想,提出稳态递阶优化开环算法--增广开环关联平衡法。它具有适应范围宽、参数易选的特点。对于某些非凸问题亦能求解,兼有IBM和LALM的优点,并以实例比较加以说明。     

求解凸极小化问题的一种带预校正步的分解方法

针对三个变量的可分离凸优化问题,提出了一种带预校正步的交替方向分解方法.与交替方向乘子法和预校正近似乘子法相比,该算法同样使用了增广拉格朗日函数,并且对偶变量进行了两次迭代.不同于之处在于,这种算法推广到了三个变量的情况.在系数矩阵是列满秩及拉格朗日函数有鞍点的假设下,该算法是收敛的.     

不等式约束优化问题的一个精确增广拉格朗日函数

给出了求解只带有不等式约束非线性规划问题的一个连续可微精确增广拉格朗日函数法,并讨论了它的精确性质.该方法的主要特点是:在适当的假设下,通过对这个增广拉格朗日函数在原问题变量和乘子变量的积空间上进行一个单一的无约束极小化,即可获得原约束问题的解,从而可以有效地使用标准的无约束极小化方法求解不等式约束非线性规划问题.     

基于目标层解分析方法的重水潜器多学科设计优化

采用一种新型的多学科设计方法———目标解析分流法进行重水潜器的概念设计。首先利用半经验法建立重水潜器的集成系统模型,并进行目标层解分析（ATC）优化模型;再应用增广拉格朗日惩罚函数松弛化方法,通过改进内外层嵌套式求解策略,减少内层循环病态子问题的求解计算时间,在内层循环得到收敛的同时,外层循环更新惩罚权重来获得可行解;随后改变惩罚函数权重,对比分析各种惩罚函数对求解效率的影响。由实验可得,应用增广拉格朗日惩罚函数松弛化求解的方法,保持计算精度的同时也提高了计算效率。最终获得的系统最优解与多维的一次设计优化问题所得到的最优解非常接近,证明了多学科设计优化能充分利用不同学科之间的相互作用所产生的协同效应,从而获得系统整体的最优解。     

求解三块可分凸优化问题的Bregman Peaceman-Rachford分裂法

【目的】针对带有线性约束的三块可分凸优化问题，提出带有Bregman距离的Peaceman-Rachford(PR)分裂法。【方法】在原始PR分裂法的基础上结合Bregman距离函数，并选择不同的松弛因子来更新拉格朗日乘子。【结果】当Bregman距离函数为δ-强凸时，从变分不等式的角度建立了由算法产生的迭代序列的全局收敛性以及给出了在遍历意义下O(1/t)的最坏收敛速率。【结论】所得结果推广了求解两块可分凸优化问题的PR算法，具有一定的理论意义。     

增广拉格朗日乘子法非严格成立的理论分析

对于增广拉格朗日乘子法,分析表明其解析解只有一个不等式约束的边界解严格成立,而其在可行域内的解析解在松弛变量为实数时存在,当松弛变量为虚数时不等式约束不满足,解析解不在可行域内,增广拉格朗日乘子法无效.当采用无约束最优化算法求解数值解时,在一定的条件下数值解在可行域内,增广拉格朗日乘子法有效,若条件不成立,则增广拉格朗...