基于自适应调节极大熵的孪生支持向量回归机

孪生支持向量回归机(Twin Support Vector Regression,TSVR)的数学模型是求解一对约束优化问题,如何将约束优化问题转化为无约束优化问题进行求解是一个难题.在TSVR约束优化模型的基础上,依据最优化理论提出TSVR的无约束优化问题.然而,无约束优化问题的目标函数有可能不可微,为解决这个问题,引入极大熵函数,确保优化问题都是可微的.标准的极大熵函数法有可能发生数值溢出,所以对极大熵函数法进行了改进,提出自适应调节极大熵函数法来逼近TSVR的不可微项,并提出基于自适应调节极大熵函数法的TSVR学习算法.实验结果表明,和其他回归方法相比,所提算法不仅能够提高回归精度,而且效率得到了较大的提高.     

非光滑规划的精确罚函数

0 引言罚函数方法是数学规则求约束最优解的重要方法之一.自60年代Zangwill等人系统地研究罚函数理论以来,发展很快,文献很多.经典的罚函数理论,是通过添加罚函数项后,研究一系列无约束优化问题,并使惩罚参数趋于无限大来获得原规划的最优解.而精确罚函数理论是通过求解单个无约束优化问题来求原规划的最优解.     

不等式约束优化问题的一个精确增广拉格朗日函数

给出了求解只带有不等式约束非线性规划问题的一个连续可微精确增广拉格朗日函数法,并讨论了它的精确性质.该方法的主要特点是:在适当的假设下,通过对这个增广拉格朗日函数在原问题变量和乘子变量的积空间上进行一个单一的无约束极小化,即可获得原约束问题的解,从而可以有效地使用标准的无约束极小化方法求解不等式约束非线性规划问题.     

一种新的低阶罚函数的光滑化方法

对于约束优化问题,给出了一种用二次连续可微函数光滑低阶罚函数的方法;在一些弱的假设条件下,证明了光滑后的罚优化问题的最优解是原优化问题的ε-近似最优解.     

一类带NCP函数的新Lagrangian乘子法

提出一类带非线性互补问题(NCP)函数的新Lagrangian乘子法,用来解满足等式约束和不等式约束的最优化问题.此方法以连续可微的罚函数为基础,通过求解一个新的无约束Lagrangian函数得到原问题的解,并且在一定的条件下还可得到此方法的全局收敛性.     

Min-Max-Min问题的区间极大熵算法

讨论了目标函数和约束函数都是一阶连续可微的离散Min-Max-Min问题.利用罚函数法和极大熵函数思想将问题转化为无约束可微优化问题,构造了极大熵函数的区间扩张并证明了它的收敛性,给出了无解区域删除原则,建立了区间极大熵算法,理论证明和实例计算表明算法是可靠和有效的.     

一种求解多目标优化问题的有效算法

为突破求解多目标优化问题已有方法的局限,研究一种新的全局收敛算法,其中目标函数和约束条件均为一阶连续可微函数。该方法结合理想点法和调节熵原理将带约束多目标优化问题转变成无约束问题,构造函数的区间扩张和无解区域删除原则,建立了区间调节熵算法,并证明其收敛性。数值算例表明,该算法是有效、可靠的。     

非线性混合整数规划的一类光滑连续化方法

在有界闭箱中对非线性混合整数规划问题进行探讨和研究,为避开文献[1]的连续化方法中含有非光滑罚函数的不足,采用连续可微罚函数sum from i=1 to π (sin~2πx_i),提出了非线性混合整数规划问题的一类光滑连续化方法,得到了几个定理,并给出证明.结果表明,可以将无约束和有约束的非线性混合整数规划问题转化为非线性连续全局优化问题求解,且改进了已有的结论.     

一个新的光滑低阶精确罚函数

对不等式约束优化问题提出了一种新的低阶精确罚函数的构造,使其转化为易求解的无约束优化问题;给出了光滑罚问题与非光滑罚问题,光滑罚问题与原问题的目标函数值之间的误差估计,并且在弱的假设条件下证明了光滑罚问题的全局最优解是原问题的近似最优解.     

求解约束规划的一类带缓和因子的填充函数算法

本文考虑不等式约束优化问题(P),通过罚因子把其转化为等价的无约束优化问题(UP).然后给出了求解无约束化的一类带缓和因子的填充函数,分析这类填充函数理论性质,提出了相应的算法和数值验证例子,表明该方法是可行的.     

约束不可微优化问题的极大熵方法

给出一类不可微优化问题的极大熵方法，并给出了该方法的收敛性分析。     

对偶理论在一类多项式全局优化中的应用

用Canonical对偶理论,讨论一类高阶多项式全局最优化问题的求解.首先将无约束多项式全局优化问题转换成箱体约束下的多项式全局优化问题,之后通过构造非线性变换对偶函数及相应的共轭函数,得到原问题的Canonical对偶问题.进一步通过求解对偶问题的最优解,导出原多项式全局优化问题的最优解,并给出对偶问题是凹函数的证明.最后应用所得方法,计算一个二元6次多项式全局最优化实例.     

基于凝聚函数法的非线性方程组求解

给出了求解非线性方程组问题的一种有效方法,称为凝聚函数法。首先把非线性方程组转化为一个不可微优化问题,然后用一个称之为凝聚函数的光滑函数直接代替不可微的极大值函数,从而可把非线性方程组的求解转化为无约束优化问题,因此可以直接利用现有的无约束优化算法软件求解。在此基础上,给出了相应算法,并做了数值实验,数值实验结果表明了该算法具有收敛稳定,算法简单及计算效率高等优点。     

约束DC优化的双束法及对偶问题

针对带有凸不等式约束的非光滑DC优化问题,提出了一种基于罚函数的凸约束DC优化问题双束法,同时也刻画了双束法子问题的对偶问题;首先,利用L_1精确罚技巧把凸约束DC优化问题转化成无约束DC优化问题,便于直接对目标函数进行DC分解,然后分别建立了增广目标函数DC分量的凸分段线性近似模型,最后利用Lagrange函数得到了原问题和对偶问题最优解之间的等价关系,说明了利用对偶问题求解搜索方向的可行性和有效性。     

一种求解带等式约束非线性规划问题全局最优解的方法

本文把罚函数法和一种求解无约束非线性规划问题的辅助函数法相结合,首先写出非线性规划问题的罚函数,从而把原问题转化成为一个无约束的非线性规划问题,然后再运用辅助函数法（GOM）来求解罚函数的全局最优解,从而求到原带等式约束的非线性规划问题的全局最优解．     

求解一类不可微优化问题极大熵微粒群混合算法

针对一类不可微优化问题,本文提出了一个新的算法—极大熵微粒群混合算法.首先利用极大熵方法把带约束的不可微优化问题转换成无约束的单目标最优化问题,然后利用微粒群算法对其进行求解.利用4个测试函数对其进行测试并于其它算法进行比较,计算结果表明,本文提出算法在求解的准确性和有效性方面均优于其它算法.     

求解约束优化问题的微粒群算法

微粒群算法(简称PSO算法)是一种新型的进化计算方法,已在许多领域得到了非常成功的应用。本文以约束优化问题为对象,首先介绍了采用罚函数法将约束优化问题化为无约束优化问题,和将约束优化问题转化为minmax问题,然后对无约束优化问题和minmax问题,采用PSO算法进行进化求解;在此基础上,以目标函数和约束满足分别为优化目标提出了一种双微粒群的PSO算法。仿真实验结果验证了方法的正确性与有效性。     

解约束优化问题的一类广义共轭方向法：一种几何处理

运行微分几何方法将无约束最优化中的共轭方向法推广到约束最优化问题上。在约束子流形上诱导了一类新的仿射联络使原来的约束最优化问题转化为约束流形上的无约束的局部二次规划问题。从而形成了具有广义共轭方向的一种曲搜索算法。