非凸两分块问题乘子交替方向法的收敛性分析

乘子交替方向法(ADMM)求解大规模问题十分有效.ADMM在凸情形下的收敛性已被清晰认识,但非凸问题ADMM的收敛性结果还很少.本文针对非凸两分块优化问题,在增广拉格朗日函数满足Kurdyka-Lojasiewicz不等式性质且罚参数大于某个常数的条件下,证明了ADMM的收敛性.     

求解非凸两分块优化问题的Majorized Bregman交替方向乘子法

针对一类两分块非凸优化问题，提出Majorized 带Bregman距离的交替方向乘子法。为了使问题的子问题更易求解，对目标函数中的光滑项进行极大化线性处理，并对x子问题和y子问题同时添加一个Bregman距离。在适当的假设条件下，建立了算法的全局收敛性。同时，在效益函数满足KL性质时，建立了算法的强收敛性。数值实验结果验证该算法的有效性。     

非凸非光滑优化问题的惯性Bregman ADMM的收敛性分析

【目的】针对具有可分结构的非凸非光滑优化问题,提出一种内置惯性Bregman交替方向乘子法。【方法】为了加快算法的收敛速度,在Bregman交替方向乘子法的框架下,对子问题中的Bregman度量内置惯性项。【结果】在生成的点列有界的条件下,利用Kurdyka-Lojasiewicz性质,证明了算法的渐进收敛性。【结论】数值实验结果表明了该算法的有效性。     

非凸不可分离问题的广义交替方向乘子法的收敛性

交替方向乘子法（ADMM）是求解大规模优化问题和非凸非光滑问题的一种有效的方法,但当目标函数为非凸非光滑的情况时,原始ADMM算法的收敛性无法保证,且若目标函数中存在耦合函数,则算法的收敛性证明将更为复杂。在现实生活中存在的很多问题,其本质都是非凸的。因此,本文提出了一种改进的ADMM算法。与原始ADMM算法相比,该算法引入了一个松弛因子$\alpha $,构造了一种广义交替方向乘子法（GADMM）来求解具有线性约束的非凸不可分离优化问题。在一定的假设条件下,通过假设增广拉格朗日函数满足K-L不等式,证明了当惩罚参数足够大时,算法生成的序列收敛到增广拉格朗日函数的稳定点。     

解一类凸优化问题的部分非精确交替方向法

针对一类具有三个可分离算子的凸型优化问题,提出一种部分非精确的交替方向算法,得到了算法的一个下降方向和沿着这个下降方向的最合适的步长,在合理的假设下,算法的收敛性得到了证明,数值试验表明这种方法具有较好的效果.     

求解凸优化问题的改进对称交替方向乘子法

对称交替方向乘子法(简称S-ADMM算法)是求解可分离凸优化问题的一种有效方法。该算法利用目标函数的可分离性,将原问题分解成多个极小化子问题,然后交替求解。能否有效地求解子问题对算法的有效性有重要影响。在很多实际应用中,不能精确地求解子问题,或者精确求解子问题花费代价较大。为解决这一问题,提出了一种改进的对称交替方向乘子法(简称MSADMM算法)。与一般的S-ADMM算法相比,该算法在x子问题中引入一个半近邻项,近似地求解x子问题,克服了之前算法的不足。在适当的假设下,证明了其收敛性。最后,通过数值计算说明了该算法的有效性。     

解凸优化问题的一类修正线性近似交替方向法

在解凸优化问题过程中,对已有文献的线性约束条件推广到非线性约束条件,运用了近似交替分解算法;新提出一类修正线性近似交替方向法,并进行了理论分析和和算例比较.     

非精确求解凸规划的部分交替方向算法

为了求解一类带有三个可分离算子的凸规划问题, 本文得到一种非精确的部分交替方向算法, 给出了新算法的一个下降方向和沿着这个下降方向的最优步长, 并在合理的假设下证明了该算法的全局收敛性. 数值试验表明该算法有效且易于执行.     

求解可分离凸优化问题的惯性近似松弛交替方向乘子法

基于交替方向乘子法(ADMM)提出了一种求解可分离凸优化可行问题的惯性近似松弛交替方向乘子法(IPR-ADMM).新构造的算法不仅具有提高算法收敛性的优势的惯性外推项,而且引入随机变量以随机加速新步长,从而提高算法的灵活性.并在适当的假设下,证明了算法的全局迭代收敛性.数值实验结果表明,数据维数取值越大,算法收敛越快,...     

解凸二次半定规划的交替方向法

给出求解凸二次半定规划的交替方向法,并对这个算法的全局收敛性进行分析.     

Adaptive Linearized Alternating Direction Method of Multipliers for Non-Convex Compositely Regularized Optimization Problems

We consider a wide range of non-convex regularized minimization problems, where the non-convex regularization term is composite with a linear function engaged in sparse learning. Recent theoretical investigations have demonstrated their superiority over their convex counterparts. The computational challenge lies in the fact that the proximal mapping associated with non-convex regularization is not easily obtained due to the imposed linear composition. Fortunately, the problem structure allows one to introduce an auxiliary variable and reformulate it as an optimization problem with linear constraints, which can be solved using the Linearized Alternating Direction Method of Multipliers(LADMM). Despite the success of LADMM in practice, it remains unknown whether LADMM is convergent in solving such non-convex compositely regularized optimizations. In this research, we first present a detailed convergence analysis of the LADMM algorithm for solving a non-convex compositely regularized optimization problem with a large class of non-convex penalties. Furthermore, we propose an Adaptive LADMM(Ada LADMM) algorithm with a line-search criterion. Experimental results on different genres of datasets validate the efficacy of the proposed algorithm.     

稳健PCA的快速交替方向乘子法研究

稳健PCA是从稀疏粗差的测量矩阵中恢复低秩矩阵,在计算机视觉中有许多应用.文中提出一种稳健PCA求解的快速交替方向乘子法,即利用平滑技术对目标函数中非平滑项进行光滑处理,采用快速操作算子改善算法收敛速率.数据仿真和视频背景建模实验表明,文中算法在精度和效率上优于其它算法,适用于大规模问题的有效求解.     

一种求解单调变分不等式的下降型邻近点交替方向乘子法

针对具有可分结构的单调变分不等式问题,基于邻近点算法和文献[12]提出的下降型算法构造了一个新的下降方向,并利用下降量的下界来选择最优步长,提出一种下降型邻近点交替方向乘子法;证明了算法的收敛性;并将该方法与文献[11]中算法的下降量下界进行比较,从理论上说明了算法的优越性。     

求解三块可分凸优化问题的Bregman Peaceman-Rachford分裂法

【目的】针对带有线性约束的三块可分凸优化问题,提出带有Bregman距离的Peaceman-Rachford(PR)分裂法。【方法】在原始PR分裂法的基础上结合Bregman距离函数,并选择不同的松弛因子来更新拉格朗日乘子。【结果】当Bregman距离函数为δ-强凸时,从变分不等式的角度建立了由算法产生的迭代序列的全局收敛性以及给出了在遍历意义下O(1/t)的最坏收敛速率。【结论】所得结果推广了求解两块可分凸优化问题的PR算法,具有一定的理论意义。     

解线性变分不等式问题的一个简单交替方向法

解变分不等式的交替方向法每一步需要解一个(几个)变分不等式子问题,算法的有效性受这些子问题的影响很大.本文提出了一个解线性变分不等式的简单的交替方向法. 在每一步迭代中,只需要做矩阵-向量乘法和到简单集合的投影,使得算法的效率得到保证.在适当的条件下证明了算法的全局收敛性.初步的数值结果表明,我们的新算法较原有同类算法有所改进.     

不等式约束最优化的一个具有强收敛性的强次可行方向法

讨论了非线性不等式约束最优化,利用广义投影技术和强次可行方向法思想,建立了一个新的初始点任意的算法,算法不仅具有全局收敛性,且搜索方向是“二阶”强次可行下降的,在适当假设下,算法具有强收敛性。     

非凸优化问题的同伦方法

考虑带有不等式约束的非凸优化问题, 利用同伦方法通过构造一个新同伦方程, 证明了同伦路径的存在性、 有界性和收敛性, 获得了非凸优化问题K-K-T点的一个新充分条件, 并用数值例子验证了算法的可行性.