近似非精确加速迫近梯度方法求解一类最大特征值函数极小化问题

非精确加速迫近梯度(IAPG)算法,用于解决问题min{F(X)=f(X)+g(X):X∈Sn},其中函数f:Sn→R是连续可微的,且▽f是Lipschitz连续的,函数f,g均是正常的,下半连续凸函数(可能非光滑).利用近似IAPG算法借助于非光滑函数的光滑近似,解决非光滑函数中最大特征值函数与一般非光滑函数g(x)的和的极小化问题,得出近似IAPG算法,并给出了收敛性分析.将近似IAPG算法用于求解带有线性约束的最大特征值函数的优化问题.     

一类非凸非光滑优化问题的近似uv-分解方法

uv-分解理论是侧重于非光滑函数的光滑信息来研究凸函数的二阶近似,从而得到凸优化问题有效算法的一种新方法.应用uv-分解理论研究一类非光滑优化问题,此问题作为许多随机优化问题的子问题,它的求解方法对处理随机优化问题有重要作用.将所研究的问题适当地转化为一类由两个非光滑函数的和的无约束优化问题,由于无法直接利用uv-分解理论,所以借助其中一个函数的光滑凸近似,得到了目标函数的近似函数.应用uv-分解理论给出该函数的U-lagrangian函数及其基本性质,目标函数的二阶近似,进而给出了求解原问题的近似uv-分解算法以及算法的收敛性证明.     

L1极小化问题的一种Gauss-Seidal算法

采用罚函数法与Gauss-Seidal算法相结合的思想研究求解L1极小化问题的数值算法:把L1正则化问题视为对L1极小化问题的一种罚函数,由于该函数是非光滑函数,采用光滑化函数对其进行光滑逼近;在此基础上,对此无约束光滑极小化问题采用Gauss-Seidal迭代法求其某种形式的非精确解;再通过合理调整罚参数和光滑化参数, 使得算法产生点列收敛于L1极小化问题的解;最后,通过数值试验测试文中算法的效果, 并从数值计算角度与已有算法进行比较, 结果表明,文中算法具有很好的数值效果.     

基于凝聚函数法的非线性方程组求解

给出了求解非线性方程组问题的一种有效方法,称为凝聚函数法。首先把非线性方程组转化为一个不可微优化问题,然后用一个称之为凝聚函数的光滑函数直接代替不可微的极大值函数,从而可把非线性方程组的求解转化为无约束优化问题,因此可以直接利用现有的无约束优化算法软件求解。在此基础上,给出了相应算法,并做了数值实验,数值实验结果表明了该算法具有收敛稳定,算法简单及计算效率高等优点。     

一个求解广义圆锥互补问题的光滑非精确牛顿法

研究一个求解广义圆锥互补问题的光滑非精确牛顿法.该算法基于一个新的光滑函数，将广义圆锥互补问题等价转化成一个光滑的非线性方程组，然后利用非精确牛顿法求解此方程组.算法在每次迭代时只需求解牛顿方程的一个近似解，因此适于求解大规模广义圆锥互补问题.在适当条件下，证明算法具有全局和局部二次收敛性质.数值实验结果表明算法是非常有效的.     

非线性混合整数规划的罚函数法

本文主要对非线性混合整数规划问题的求解进行讨论.首先介绍传统的l1精确罚函数及其性质,但由于l1精确罚函数的不光滑性,用l1精确罚函数求解时还必须将其连续化.为了计算简单,我们通过构造一个光滑的精确罚函数,它可以直接将非线性混合整数规划问题化为一个无约束的规划问题,然后给出了一个全局解等价的充要条件,从而可通过求解无约束的规划问题而得到原问题的解.     

求解一类非凸非光滑约束优化问题的邻近滤子束算法

针对一类特殊的非凸非光滑约束优化问题提出了邻近滤子束算法.该问题的目标函数为lower-c2而约束函数为凸的.具体地,首先对目标函数采用凸化技术得到修正的问题,接着利用改进函数将修正后的约束问题转变为无约束问题,设计邻近束算法来求解这个无约束问题并在邻近束算法中引入滤子策略来确定下降步.数值结果表明了该算法的有效性和可...     

一个新的光滑低阶精确罚函数

对不等式约束优化问题提出了一种新的低阶精确罚函数的构造,使其转化为易求解的无约束优化问题;给出了光滑罚问题与非光滑罚问题,光滑罚问题与原问题的目标函数值之间的误差估计,并且在弱的假设条件下证明了光滑罚问题的全局最优解是原问题的近似最优解.     

求解随机广义垂直线性互补问题的一类样本均值近似无约束极小化方法

提出了一类样本均值无约束极小化方法求解一类随机广义垂直线性互补问题.提出一类新型的广义垂直互补问题的光滑化函数,并基于此函数构造了一系列无约束优化问题.基于矩阵的性质建立了方法的收敛性.通过数值实验验证了算法的有效性.     

约束最优控制问题的磨光罚函数算法

针对约束最优控制问题,分析了已有惩罚函数算法存在的缺陷,在原惩罚函数的基础上,通过引进磨光参数,对原惩罚函数进行了光滑处理,构造了带参数的连续可微惩罚函数,将原带约束的最优控制问题转化为含参数无约束光滑的最优控制问题.利用微分方程解对参数的连续依赖性,得到了无约束条件下近似的极小值原理,提出了磨光惩罚函数算法,并证明了此算法的收敛性.该方法克服了传统简单惩罚函数不可微的缺陷,简单可行,易于实现.最后给出仿真实例验证了该方法的有效性.     

极大极小问题的光滑化信赖域共轭梯度法

目的求解无约束有限极大极小问题。方法利用光滑函数将极大极小问题转化为可微的无约束优化问题。结果给出了信赖域牛顿共轭梯度法解该优化问题的算法。结论该算法是可行的、有效的,尤其是对于大规模问题,该算法与其他方法相比具有明显的优势。     

求解一类双层规划的自适应变异动态差分进化算法

针对一类上层函数和约束函数不具有凸性和可微性要求,而下层函数可微且凸的非线性双层规划问题,首先通过Karush-Kuhn-Tucher(KKT)条件将双层规划问题转换为单层约束非线性规划问题,并结合非固定多段映射罚函数法和精确罚函数法对约束条件进行无约束化处理,然后提出一种改进的动态差分进化算法优化对系列无约束优化问题进行求解。对8个测试实例进行数值计算并与现有算法进行比较。测试结果表明,所提方法是一种求解该类双层规划问题的有效方法。     

不等式约束优化问题的一个精确增广拉格朗日函数

给出了求解只带有不等式约束非线性规划问题的一个连续可微精确增广拉格朗日函数法,并讨论了它的精确性质.该方法的主要特点是:在适当的假设下,通过对这个增广拉格朗日函数在原问题变量和乘子变量的积空间上进行一个单一的无约束极小化,即可获得原约束问题的解,从而可以有效地使用标准的无约束极小化方法求解不等式约束非线性规划问题.     

一种新的求解带等式约束的极大极小问题的罚函数

通过对经典的一类简单精确非光滑罚函数进行局部光滑化处理,及相应调整罚参数和光滑参数,构造出一种新的简单的光滑罚函数,将带等式约束的极大极小问题转化为对罚函数的无约束优化问题.初步的数值实验表明该罚函数算法是可行有效的.     

求解非线性等式和不等式问题的一种光滑化算法

给出了求解非线性等式和不等式问题的一种新算法.用Max函数将不等式约束转变为等式约束,建立了一个半光滑的无约束方程组系统,并设计了一种光滑化Gauss-Newton算法求解该系统.在适当条件下,证明了此算法的全局和局部收敛性.数值实验表明此方法的有效性.     

解非线性规划的一个可微"准"精确罚函数法

将文[1]中" "函数的光滑近似函数应用于求解非线性规划问题,该方法通过解一个可微"准"精确罚函数逐渐去逼近原问题的最优解,并且可以通过参数的选取控制解的误差,给出了几个演示性算例.该算法克服了非线性规划极大熵函数法易溢出的缺陷.     

解半定规划的带筛子的正则化方法

研究了求解半定规划问题的一个带有筛子的正则化方法,该方法是基于经典的二次正则化方法,将半定规划问题转化为目标函数为凸的、可微的无约束优化问题。利用筛选信赖域方法来解这个无约束优化问题,并给出算法及其收敛性分析。     

一类非光滑优化问题的邻近交替方向法

非光滑优化问题在现实生活中有着广泛应用.针对一类带有结构特征为两个连续凸函数与具有Lipschitz梯度的二次可微函数的和的无约束非光滑非凸优化问题,给出了一种邻近交替方向法,称之为二次上界逼近算法.该算法结合交替方向法与邻近点算法的思想,将上述优化问题转化为平行的子问题.在求解子问题的过程中,对目标函数中的光滑部分线性化,此时子问题被转化为凸优化问题.然后分别对两个凸优化子问题交替利用邻近点算法求解.基于以上思想,首先我们给出算法的伪代码,然后建立了算法收敛性的充分条件,最后证明在该条件下,算法产生迭代序列的每个极限点是原问题的临界点.     

一个与Powell搜索相结合的混合免疫进化算法

提出一个求解无约束最优化问题的新的混合算法——Powell搜索法和免疫进化算法的混合算法.该算法不需要计算梯度,容易应用于实际问题中.通过对免疫进化算法的修正,使混合算法具有更加精确和快速的收敛性.利用4个基准测试函数进行仿真计算比较,结果表明新混合算法在解的搜索质量、效率和关于初始点的鲁棒性都远优于免疫进化算法,仿真结果表明了新算法是求解无约束最优化问题的一个高效的算法.     

基于样条函数的光滑支持向量机模型

应用光滑函数改进支持向量机模型,得到无约束条件、可微的二次规划问题,从而可以采用快速的最优化算法求解光滑支持向量机模型.提出了一种广义三弯矩方法,用这个方法构造出新的五次样条光滑函数和七次样条光滑函数.证明了上述两个样条光滑函数的逼近精度均高于已有的各种光滑函数;基于上述两个样条函数的光滑支持向量机模型的收敛精度也高于已有的各种光滑支持向量机模型.