实对称半正定矩阵恢复的Lagrange乘子修正算法

基于不精确的增广拉格朗日乘子算法,针对实对称半正定矩阵恢复问题提出了一种修正算法.恢复后的矩阵保持稳定的实对称半正定性质.同时,证明了修正算法的收敛性,验证了修正算法对实对称半正定矩阵恢复具有更高的效率.     

基于粒子群算法和增广拉格朗日乘子法的混合可靠性分析

本文提出了一种基于粒子群算法和增广拉格朗日乘子法的混合可靠性分析方法.该方法通过引入参数的不确定性和区间变量,得到一种概率-区间混合不确定模型,充分利用增广拉格朗日乘子法将有约束优化问题转化为无约束优化问题,基于此进行求解和结构可靠性分析.数值算例和工程实例验证了该算法在计算结构可靠性问题时对于线性和非线性的功能函数有良好的收敛性和较高的计算效率.     

求解凸极小化问题的一种带预校正步的分解方法

针对三个变量的可分离凸优化问题,提出了一种带预校正步的交替方向分解方法.与交替方向乘子法和预校正近似乘子法相比,该算法同样使用了增广拉格朗日函数,并且对偶变量进行了两次迭代.不同于之处在于,这种算法推广到了三个变量的情况.在系数矩阵是列满秩及拉格朗日函数有鞍点的假设下,该算法是收敛的.     

推广的预矫正邻近点法求解可分凸优化问题

考虑目标函数能够分解成n个独立的凸函数,其约束条件为线性约束的可分凸优化问题.呈现了一种推广的预测矫正邻近乘子法来求解可分凸优化问题.算法在迭代中利用二次项代替了增广拉格朗日函数的增广项,算法既有邻近乘子法的特性,又有可以平行计算,并且在较弱的条件下,能保证全局收敛.     

重庆师范大学 数学学院，重庆 401331

考虑目标函数能够分解成n个独立的凸函数,其约束条件为线性约束的可分凸优化问题.呈现了一种推广的预测矫正邻近乘子法来求解可分凸优化问题.算法在迭代中利用二次项代替了增广拉格朗日函数的增广项，算法既有邻近乘子法的特性，又有可以平行计算，并且在较弱的条件下，能保证全局收敛.     

非凸不可分离问题的广义交替方向乘子法的收敛性

交替方向乘子法（ADMM）是求解大规模优化问题和非凸非光滑问题的一种有效的方法,但当目标函数为非凸非光滑的情况时,原始ADMM算法的收敛性无法保证,且若目标函数中存在耦合函数,则算法的收敛性证明将更为复杂。在现实生活中存在的很多问题,其本质都是非凸的。因此,本文提出了一种改进的ADMM算法。与原始ADMM算法相比,该算法引入了一个松弛因子$\alpha $,构造了一种广义交替方向乘子法（GADMM）来求解具有线性约束的非凸不可分离优化问题。在一定的假设条件下,通过假设增广拉格朗日函数满足K-L不等式,证明了当惩罚参数足够大时,算法生成的序列收敛到增广拉格朗日函数的稳定点。     

符号矩阵填充的修正增广拉格朗日乘子算法

以增广Lagrange乘子算法为基础,通过对阈值矩阵进行投影,提出修正的增广Lagrange乘子算法.新方法保证每次迭代产生的矩阵是可行的符号矩阵.同时给出新算法的收敛性分析.最后通过数值实验说明了新的算法在时间和误差上比传统的遗传算法更有效,误差能够达到零,达到精确恢复的效果.     

面向判别性低秩回归模型的优化模型方法研究

针对传统的回归模型方法忽略标签信息,提出一种优化模型的判别性低秩回归模型方法.首先,通过预先设置模型目标矩阵,结合局部优化和全局优化的方式改进损失函数;然后利用增广拉格朗日方法求解目标函数,在求解函数的基础上得到新的模型目标矩阵,并通过线性回归模型计算最终的映射矩阵;最后通过实验验证了所提方法的有效性.实验结果表明,与其他几种低秩回归模型方法相比,提出算法的识别率最高.     

不等式约束优化问题的一个精确增广拉格朗日函数

给出了求解只带有不等式约束非线性规划问题的一个连续可微精确增广拉格朗日函数法,并讨论了它的精确性质.该方法的主要特点是:在适当的假设下,通过对这个增广拉格朗日函数在原问题变量和乘子变量的积空间上进行一个单一的无约束极小化,即可获得原约束问题的解,从而可以有效地使用标准的无约束极小化方法求解不等式约束非线性规划问题.     

一种l2，1范数最小化问题的算法研究

提出一种求解l2,1范数的最小化问题的增广拉格朗日函数法,用以求解最小化问题,算法的收敛性容易实现.数值试验表明,所提出来的算法是可行的.     

一种新的基于非凸秩近似的鲁棒主成分分析模型

在机器学习、数据挖掘和图像处理等研究领域,鲁棒主成分分析(RPCA)主要用于恢复一个低秩的数据矩阵。考虑到核范数作为矩阵秩函数的凸近似在处理实际数据集时存在的问题,以及矩阵秩函数的非凸近似所展现出的优势,提出了一种新的非凸近似函数。基于该非凸近似函数,提出一个改进的RPCA模型,并应用增广拉格朗日乘子法对其进行求解。最后利用视频背景分离的实际数据,通过数值实验验证了新模型的有效性。     

基于BB步长的一类原始-对偶算法

增广拉格朗日乘子法(ALM)是求解带等式约束的二次凸优化问题的常用方法，但罚参数选取不当时，收敛速度比较慢.提出ALM-BB算法，利用Barzilai-Borwein(BB)算法的步长去改进原始的ALM,证明ALM-BB算法的收敛性.最后将这类方法运用于求解范数最优控制问题.数值算例表明改进的算法收敛速度更快.     

求解Poisson问题的区域分解和交替方向乘子法

【目的】有效求解有界闭区域的Poisson问题，得到解决这类问题的区域分解法和交替方向乘子法。【方法】用区域分解法将问题转化为用两个子区域和增广拉格朗日函数表示的极小值问题，再采用交替方向乘子法求解该问题。【结果】对算法进行了收敛性分析，并给出了此类问题的具体应用。【结论】数值结果验证了该方法求解Poisson问题的可行性。     

一种新的基于非凸秩近似的RPCA模型

在机器学习、数据挖掘和图像处理等研究领域,鲁棒主成分分析(RPCA)主要用于恢复一个低秩的数据矩阵。考虑到核范数作为矩阵秩函数的凸近似在处理实际数据集时存在的问题,以及矩阵秩函数的非凸近似所展现出的优势,本文提出了一种新的非凸近似函数。基于该非凸近似函数,提出一个改进的RPCA模型,并应用增广拉格朗日乘子法对其进行求解。最后利用视频背景分离的实际数据,通过数值实验验证了新模型的有效性。     

基于低秩矩阵恢复的视频背景建模

针对传统背景建模存在的问题,文中基于低秩矩阵恢复原理,直接从视频序列中分离出前景物体和背景模型.已有低秩矩阵恢复算法的迭代计算过程中涉及大量的奇异值分解,而这些奇异值分解一般非常耗时且不够简洁,文中在非精确增广拉格朗日乘子法中引入线性时间奇异值分解算法,以得到更加有效的背景建模算法.基于实际视频序列实验,结果表明该改进算法具有更好的建模效果和较少的运算时间.     

修正的增广拉格朗日函数内点拟牛顿法

应用拟牛顿算法求解非线性规划问题的增广拉格朗日函数, 并给出了相应的拟牛顿公式.     

新的拉格朗日乘子方法

对于约束优化问题,提出一类新的结合Fischer-Burmeister非线性互补(NCP)函数的增广拉格朗日函数,它的无约束极小解对应于原约束问题(NLP)的解及其乘子;同时提出相对应的拉格朗日乘子方法.该方法可实现并具有全局收敛性.     

三块非凸优化问题正则化交替方向法的收敛性

[目的]针对一类三块非凸优化问题,提出一种正则化交替方向法.[方法]为了更易求得唯一的点(xk+1,yk+1,zk+1),在原始乘子交替方向法的框架下,对x子问题和y子问题同时添加一个临近项来正则化原始子问题.[结果]在增广拉格朗日函数满足KL性质且惩罚参数充分大的条件下,由算法生成的迭代序列的任何聚点都是增广拉格朗日函数的稳定点.[结论]数值算例结果验证了此算法的有效性.     

0-1多项式背包问题的一种精确算法

提出了0-1多项式背包问题的一种新的精确算法. 该算法是一个基于拉格朗日松弛和对偶搜索的分枝定界方法. 用外逼近法求拉格朗日对偶问题得到上界,其中拉格朗日松弛问题通过转化为一个网络最大流问题来求解. 为了提高算法的效率,利用两种启发式方法求初始可行解,并用填充和交换的方法改进后得到初始下界; 并且在分枝定界前, 利用所得到的拉格朗日界, 先固定最优解中某些变量的值. 数值结果表明该算法是有效的.     

优化极限学习机的序列最小优化方法

针对传统二次规划求解方法训练优化极限学习机(OMELM)存在速度慢和效率低的问题,提出了单变量迭代序列最小优化(SSMO)算法.该算法通过在框式约束中优化拉格朗日乘子来实现目标函数的最小化:首先在初始化拉格朗日乘子中选择使目标函数值下降最大的拉格朗日乘子,将该拉格朗日乘子作为目标函数的唯一变量;然后求解目标函数的最小值并更新该变量的值;重复这个过程直到所有的拉格朗日乘子都满足二次规划问题的Karush-Kuhn-Tucker条件为止.实验结果表明:SSMO算法只需调节很少的参数值便可得到足够好的泛化性能;采用SSMO算法的OMELM方法在泛化性能上要好于采用序列最小优化算法的支持向量机方法;在随机数据集测试中,SSMO算法具有较好的鲁棒性.