求解低秩密度矩阵约束最小二乘问题的优函数罚方法

本文应用优函数罚方法求解具有低秩密度矩阵约束的最小二乘问题. 首先用凸差方法处理非凸的低秩约束,并结合罚方法和优函数方法将原问题转化为一系列具有密度矩阵约束的凸优化问题,然后给出求解该优化问题的优函数罚方法,并对该方法进行收敛性分析. 之后,运用半光滑牛顿增广拉格朗日算法求解优函数罚方法的子问题. 最后,合成数据集和真实数据集上的数值结果表明了优函数罚方法有效地求解了具有低秩密度矩阵约束的最小二乘问题.     

一类非凸非光滑优化问题的近似uv-分解方法

uv-分解理论是侧重于非光滑函数的光滑信息来研究凸函数的二阶近似,从而得到凸优化问题有效算法的一种新方法.应用uv-分解理论研究一类非光滑优化问题,此问题作为许多随机优化问题的子问题,它的求解方法对处理随机优化问题有重要作用.将所研究的问题适当地转化为一类由两个非光滑函数的和的无约束优化问题,由于无法直接利用uv-分解理论,所以借助其中一个函数的光滑凸近似,得到了目标函数的近似函数.应用uv-分解理论给出该函数的U-lagrangian函数及其基本性质,目标函数的二阶近似,进而给出了求解原问题的近似uv-分解算法以及算法的收敛性证明.     

一种新的基于非凸秩近似的鲁棒主成分分析模型

在机器学习、数据挖掘和图像处理等研究领域,鲁棒主成分分析(RPCA)主要用于恢复一个低秩的数据矩阵。考虑到核范数作为矩阵秩函数的凸近似在处理实际数据集时存在的问题,以及矩阵秩函数的非凸近似所展现出的优势,提出了一种新的非凸近似函数。基于该非凸近似函数,提出一个改进的RPCA模型,并应用增广拉格朗日乘子法对其进行求解。最后利用视频背景分离的实际数据,通过数值实验验证了新模型的有效性。     

一种新的基于非凸秩近似的RPCA模型

在机器学习、数据挖掘和图像处理等研究领域,鲁棒主成分分析(RPCA)主要用于恢复一个低秩的数据矩阵。考虑到核范数作为矩阵秩函数的凸近似在处理实际数据集时存在的问题,以及矩阵秩函数的非凸近似所展现出的优势,本文提出了一种新的非凸近似函数。基于该非凸近似函数,提出一个改进的RPCA模型,并应用增广拉格朗日乘子法对其进行求解。最后利用视频背景分离的实际数据,通过数值实验验证了新模型的有效性。     

概率约束优化问题的一个光滑D.C.近似

概率约束优化问题通常是非凸且非光滑的,因而在数值计算上存在困难.基于Pinar-Zenios光滑和函数,建立了概率约束优化问题的一个光滑D.C.近似问题,提出了求解光滑D.C.近似问题的序列凸近似(SCA)算法,分析了初始解的选取方法,并讨论了算法的收敛性,收敛定理表明可以由SCA算法可以得到光滑D.C.近似问题的KKT点,并且在迭代过程中,确保了由SCA算法生成的解序列的极限点是近似问题的KKT点.     

机会约束优化问题的Log-Sigmoid近似

许多具有重要价值的实际问题的数学模型均为机会约束优化问题,该类问题通常是非凸且非光滑的,有效求解方法多集中于凸近似。基于Log-Sigmoid函数,将机会约束函数光滑化并且建立相应的光滑近似问题。通过收敛性分析,证明了当参数充分小时,光滑近似问题的可行集、最优值和最优解集分别收敛于真问题的可行集、最优值和最优解集。     

一类联合最大特征值函数优化问题

非光滑凸优化问题是运筹学的一类重要问题.束方法作为解决非光滑凸优化问题最有效的方法之一,已经被广泛地应用于各个领域.运用束方法对最大特征值函数与一般非光滑凸函数之和的优化问题进行研究.首先,对目标函数进行近似;其次,给出求解此类优化问题的带有罚项的束方法算法;最后,通过收敛性分析证明了算法产生的序列会收敛到原问题的最优解.     

基于非凸范数的低维图像去噪问题研究

基于传统低秩去噪模型,利用非凸函数对模型中的秩函数进行替换,取得了对秩函数更好近似的效果.对于非凸问题的求解,利用凹函数超梯度定义,对原始问题进行松弛,得到松弛问题的显式解.实验表明,提出的非凸去噪方法相比传统方法具有更好的去噪效果.     

概率约束规划问题的一个光滑近似

许多有重要价值的实际问题均属于概率约束问题,该类问题通常是非凸的且非光滑的,有效的求解方法多集中于凸近似方法.基于Sigmoid函数,将概率约束函数光滑化并建立相应的光滑近似问题,通过收敛性分析,证明了在适当的条件下,当参数充分大时,光滑近似问题与原问题等价,且光滑近似问题的最优值和最优解集分别收敛到原问题的最优值和最优解集.     

基于非凸秩近似的大规模MIMO信道估计

针对大规模多输入多输出(Multiple-Input Multiple-Output,MIMO)系统中信道估计训练开销大、计算复杂度高的问题,利用信道矩阵的低秩特性,提出了基于低秩矩阵近似的信道估计方法.采用非凸的γ-范数近似信道矩阵秩函数,提高了信道矩阵秩近似的精确性.利用交替方向乘子法求解信道矩阵,选择较少的信道参...     

一类非凸D．C．约束优化问题的UV-分解理论

UV-分解理论是近年来解决非光滑凸函数的二阶近似的一种有效的方法,并应用于解决非光滑凸函数的最优化问题。主要应用UV-分解理论对于一类D．C．函数的约束优化问题进行研究,借助于近似次微分的概念,得到类似的UV-空间分解,以及空间分解下的相应U—Lagrange函数与其最优解集W（u）的相关性质和二阶近似的结果。     

矩阵秩优化问题的一种分离算法

具有线性约束的最小矩阵秩优化问题在控制、信号处理、系统识别等领域都有着广泛的应用。在矩阵优化问题中,矩阵的秩能够反应数据的稀疏性,但由于矩阵秩函数的非凸性,矩阵秩优化问题一般解决起来比较困难。目前,矩阵核范数的应用对于解决矩阵秩优化问题提供了有效的工具。具有线性约束的最小核范数问题为最小秩问题最紧的凸松弛问题,对于最小核范数问题,如今已存在大量的算法,而可以解决最小化2个下半连续凸函数之和这一类优化问题的Douglas-Rachford分离技巧也同样可以用于此类问题的研究,运用此类技巧得到的算法具有良好的稳健性、有效性和收敛性。     

近似非精确加速迫近梯度方法求解一类最大特征值函数极小化问题

非精确加速迫近梯度(IAPG)算法,用于解决问题min{F(X)=f(X)+g(X):X∈Sn},其中函数f:Sn→R是连续可微的,且▽f是Lipschitz连续的,函数f,g均是正常的,下半连续凸函数(可能非光滑).利用近似IAPG算法借助于非光滑函数的光滑近似,解决非光滑函数中最大特征值函数与一般非光滑函数g(x)的和的极小化问题,得出近似IAPG算法,并给出了收敛性分析.将近似IAPG算法用于求解带有线性约束的最大特征值函数的优化问题.     

Identification of Continuous-Time Hammerstein System with Nuclear Norm Convex Relaxation

The nuclear norm convex relaxation method is proposed to force the rank constraint in the identification of the continuous-time( CT) Hammerstein system. The CT Hammerstein system is composed of a linear time invariant( LTI) system and a static nonlinear function( the linear part is followed by the nonlinear part). The nonlinear function is approximated by the pseudospectral basis functions, which have a better performance than Hinge functions and Radial Basis functions. After the approximation on the nonlinear function, the CT Hammerstein system has been transformed into a multiple-input single-output( MISO) linear model system with the differential pre-filters. However, the coefficients of static nonlinearity and the numerators of the linear transfer function are coupled together to challenge the parameters identification of the Hammerstein system. This problem is solved by replacing the one-rank constraint of the regularization optimization with the nuclear norm convex relaxation. Finally, a numerical example is given to verify the accuracy and the efficiency of the method.     

约束DC优化的双束法及对偶问题

针对带有凸不等式约束的非光滑DC优化问题,提出了一种基于罚函数的凸约束DC优化问题双束法,同时也刻画了双束法子问题的对偶问题;首先,利用L_1精确罚技巧把凸约束DC优化问题转化成无约束DC优化问题,便于直接对目标函数进行DC分解,然后分别建立了增广目标函数DC分量的凸分段线性近似模型,最后利用Lagrange函数得到了原问题和对偶问题最优解之间的等价关系,说明了利用对偶问题求解搜索方向的可行性和有效性。     

Sparse Signal Recovery via Exponential Metric Approximation

Sparse signal recovery problems are common in parameter estimation, image processing, pattern recognition, and so on. The problem of recovering a sparse signal representation from a signal dictionary might be classified as a linear constraint l_0-quasinorm minimization problem, which is thought to be a Non-deterministic Polynomial-time(NP)-hard problem. Although several approximation methods have been developed to solve this problem via convex relaxation, researchers find the nonconvex methods to be more efficient in solving sparse recovery problems than convex methods. In this paper a nonconvex Exponential Metric Approximation(EMA)method is proposed to solve the sparse signal recovery problem. Our proposed EMA method aims to minimize a nonconvex negative exponential metric function to attain the sparse approximation and, with proper transformation,solve the problem via Difference Convex(DC) programming. Numerical simulations show that exponential metric function approximation yields better sparse recovery performance than other methods, and our proposed EMA-DC method is an efficient way to recover the sparse signals that are buried in noise.     

一个广义三次样条光滑半监督支持向量机

研究半监督支持向量机分类优化模型的非光滑问题。建立了光滑半监督支持向量机模型,采用广义三弯矩法导出零点二阶光滑的广义三次样条函数,并以此逼近半监督支持向量机优化中的非光滑部分。构造出基于上述样条函数的具有一阶光滑的半监督支持向量机,从而可以用优化中的光滑算法来求解该模型。分析了广义三次样条函数逼近对称铰链损失函数的逼近精度,证明了新模型的收敛性。数值实验显示新模型有较好的分类效果。     

基于样条函数的光滑支持向量机模型

应用光滑函数改进支持向量机模型,得到无约束条件、可微的二次规划问题,从而可以采用快速的最优化算法求解光滑支持向量机模型.提出了一种广义三弯矩方法,用这个方法构造出新的五次样条光滑函数和七次样条光滑函数.证明了上述两个样条光滑函数的逼近精度均高于已有的各种光滑函数;基于上述两个样条函数的光滑支持向量机模型的收敛精度也高于已有的各种光滑支持向量机模型.