最大熵DFP算法及其在水环境优化问题中的应用

为了提高求解约束优化问题的精度,将最大熵原理与DFP无约束优化方法相结合,将复杂的带约束的优化问题转化成无约束优化问题,建立了求解约束水环境优化问题的最大熵DFP算法(MEDFP).MEDFP算法不仅可以得到最优解,而且由收敛极小点处的Lagrange乘子可判断约束对该点的松紧程度.数值分析和在水环境优化问题中的应用结果表明,该算法精度高、收敛快、实用性强,好于模糊非线性规划方法,随机优化方法、模式搜索方法和LINGO方法,是处理带约束水环境优化问题的一种有效方法.     

基于动力系统的无约束优化问题的方法分析

通过解由常微分方程构成的动力系统的稳定点得到等价的无约束优化问题的局部极小点 ,而动力系统的稳定点可以沿动力系统轨线上的任一点通过路径跟踪得到。我们发现 ,在用Euler方法求解二次优化问题的等价动力系统的方程时 ,由方法的步长确定的稳定区域对应于这些方法所得到的迭代公式的步长满足单调下降算法的条件确定的单调下降区域 ,因此我们可以利用这个性质构造解无约束优化问题的数值方法而不采用标准的常微分方程的数值求解公式。分析了一些基于微分方程的无约束优化方法并举例说明这些方法有些是数值不可行的。     

双参数精确罚函数求解约束优化问题的拟牛顿算法

对于含约束不等式的最优化问题,给出了一种双参数罚函数形式和这种罚函数的精确罚定理,提出了一个求解这种罚函数无约束优化问题的拟牛顿算法,研究了它的收敛性,数值实验表明了该算法是可行的.     

GSVM优化问题的一种新的光滑函数法

提出求解广义支撑向量机(GSVM)优化问题的一种新的光滑函数法,克服了已有算法收敛速度慢且计算结构复杂的缺陷。首先利用最优化理论的KKT互补条件,将GSVM转化为无约束优化问题,然后给出了基于Newton型迭代的光滑函数的迭代方法。给出了这种光滑函数的有关性质、迭代算法的迭代格式及其收敛性。通过理论分析及数值实验证明了该算法对初始点不敏感,且收敛速度快、数值稳定。从而验证了算法的可行性和有效性。     

约束非线性l1问题的调节熵函数法

针对约束非线性l1问题不可微的特点,提出了一种光滑函数的近似逼近方法。该方法利用调节熵函数和罚函数技术将约束非线性l1问题转化为无约束可微优化问题,因而可利用光滑优化的经典算法求出原问题的近似最优解。给出了基于光滑优化问题的BFGS迭代,并介绍了约束非线性l1问题的调节熵函数的有关性质、算法的迭代步骤及其收敛性分析。最后通过数值实例表明了该算法的有效性。     

约束非线性l1问题的调节熵函数法

针对约束非线性l1问题不可微的特点,提出了一种光滑函数的近似逼近方法.该方法利用调节熵函数和罚函数技术将约束非线性l1问题转化为无约束可微优化问题,因而可利用光滑优化的经典算法求出原问题的近似最优解.给出了基于光滑优化问题的BFGS迭代,并介绍了约束非线性l1问题的调节熵函数的有关性质、算法的迭代步骤及其收敛性分析.最后通过数值实例表明了该算法的有效性.     

广义支持向量机优化问题的极大熵方法

依据最优化理论中的KKT互补条件建立了广义支持向量机的无约束优化模型,并给出了一种有效的光滑化近似解法极大熵方法,为求解支持向量机优化问题提供了一种新途径.该方法特别易于计算机实现,理论分析和数值实验结果表明了模型和算法的可行性和有效性.     

解约束优化问题的新粒子群算法

提出了一种新的求解约束优化问题的粒子群算法。基于一个合理的假设前提:任何可行解总是比非可行解好,算法通过在标准粒子群算法中引入了一个新的约束处理机制,将约束优化问题转化为无约束问题来求解。此外,为了提高收敛性能,新构建的算法通过引入变异策略,使算法在迭代过程中保持较高的种群多样性,增强算法跳出局部最优解的概率,从而提高算法的收敛速度和解的质量。与遗传算法以及标准粒子群算法的实验比较表明,所提出的方法是一个可行的约束优化问题的求解算法。     

求解隐式差分方程的一类高精度并行迭代法

为提高并行迭代法的计算精度,提出了一类高精度、无条件稳定、三层格式的并行迭代算法。用矩阵理论证明了迭代的收敛性,推证了网格加密时的渐进收敛性质。结果表明:对三层格式进行迭代处理,不仅能保证其计算精确度,而且具有很好的收敛速度与渐进收敛性质。数值算例验证了理论分析的正确性,表明了算法的可行性与有效性。     

基于粒子群优化的稀疏分解变尺度快速算法

针对一类可分稀疏性度量函数,结合最优化理论,研究了稀疏信号重构的快速算法。稀疏分解可以看成是一个带等式约束的优化问题,首先利用惩罚函数法将其转化为无约束优化问题|然后在粒子群优化估计搜索步长的基础上,利用变尺度法寻找无约束优化问题的最优解|最后依次增大惩罚因子,直至稀疏表示系数满足分解精度的要求。该算法避免了矩阵求逆运算,且无需先验地选取惩罚因子。仿真实验验证了算法的有效性和快速性。     

A new descent memory gradient method and its global convergence

In this article, a new descent memory gradient method without restarts is proposed for solving large scale unconstrained optimization problems. The method has the following attractive properties: 1) The search direction is always a sufficiently descent direction at every iteration without the line search used; 2) The search direction always satisfies the angle property, which is independent of the convexity of the objective function. Under mild conditions, the authors prove that the proposed method has global convergence, and its convergence rate is also investigated. The numerical results show that the new descent memory method is efficient for the given test problems.     

A NEW SUFFICIENT CONDITION FOR THE CONVERGENCE OF THE DFP ALGORITHM WITH WOLFE LINE SEARCH

ＡＮＥＷＳＵＦＦＩＣＩＥＮＴＣＯＮＤＩＴＩＯＮＦＯＲＴＨＥＣＯＮＶＥＲＧＥＮＣＥＯＦＴＨＥＤＦＰＡＬＧＯＲＩＴＨＭＷＩＴＨＷＯＬＦＥＬＩＮＥＳＥＡＲＣＨ￥ＸＵＤａｃｈｕａｎ（ＤｅｐａｒｔｍｅｎｔｏｆＭａｔｈｅｍａｔｉｃｓ，ＱｕｆｕＮｏｒｍａｌＵｎｉｖ...     

植物多向生长模拟算法

针对整数规划问题提出了一种以植物向光性为启发式准则的智能优化算法——植物多向生长模拟算法. 改进了植物生长激素的分配方式并将随机选择机制引入新枝生长方向的选择,更符合植物生长的自然机理. 利用马尔可夫链描述算法迭代过程,证明了算法的收敛性. 利用无约束和有约束两类具有多个全局最优解的非线性整数规划实例测试了植物多向生长模拟算法的性能,并与基本植物生长模拟算法、填充函数法、罚函数法以及基于遗传算法的混合算法进行了对比. 植物多向生长模拟算法不仅提高全局寻优能力,增加解的多样性和准确性而且提高收敛速度.     

Bayesian network learning algorithm based on unconstrained optimization and ant colony optimization

Structure learning of Bayesian networks is a wellresearched but computationally hard task.For learning Bayesian networks,this paper proposes an improved algorithm based on unconstrained optimization and ant colony optimization(U-ACO-B) to solve the drawbacks of the ant colony optimization(ACO-B).In this algorithm,firstly,an unconstrained optimization problem is solved to obtain an undirected skeleton,and then the ACO algorithm is used to orientate the edges,thus returning the final structure.In the experimental part of the paper,we compare the performance of the proposed algorithm with ACO-B algorithm.The experimental results show that our method is effective and greatly enhance convergence speed than ACO-B algorithm.     

Adjustable entropy function method for support vector machine

Based on KKT complementary condition in optimization theory, an unconstrained non-differential optimization model for support vector machine is proposed. An adjustable entropy function method is given to deal with the proposed optimization problem and the Newton algorithm is used to figure out the optimal solution. The proposed method can find an optimal solution with a relatively small parameter p, which avoids the numerical overflow in the traditional entropy function methods. It is a new approach to solve support vector machine. The theoretical analysis and experimental results illustrate the feasibility and efficiency of the proposed algorithm.     

元胞蚂蚁算法的收敛性分析

提出一种新的优化算法，元胞蚂蚁算法，该算法将元胞自动机的邻居和规则引入传统的蚂蚁算法，实验结果证明该算法可行且有效，有良好的全局优化能力。定义元胞蚂蚁算法的求解迭代过程为一个概率测度空间中的随机算子，利用随机不动点理论，证明了该算子为连续压缩算子，存在唯一的随机不动点，从而给出了元胞蚂蚁算法的收敛性的论证，为算法奠定了相应的理论基础。     

实数编码化学反应优化的全局收敛性研究

作为一种新的自然计算方法,化学反应优化性能优越,适应性强,但其理论研究缺乏.针对上述问题,以实数编码化学反应优化(RCCRO)为对象,研究其收敛性和收敛速度.首先,建立RCCRO在连续时间上有限吸收的Markov链模型,并证明其为有限可吸收Markov链;然后,基于有限吸收Markov链证明RCCRO的收敛性;进而,对于采用不同初等反应组合的RCCRO,研究初等反应的有效性和算法全局收敛的必要条件;最后分析了RCCRO的收敛速度和首达时间.     

An Active-Set Projected Trust Region Algorithm for Box Constrained Optimization Problems

An active-set projected trust region algorithm is proposed for box constrained optimization problems, where the given algorithm is designed by three steps. First, the projected gradient direction which normally has better numerical performance is introduced. Second, the projected trust region direction that often possesses good convergence is defined, where the matrix of trust region subproblem is updated by limited memory strategy. Third, in order to get both good numerical performance and convergence, the authors define the final search which is the convex combination of the projected gradient direction and the projected trust region direction. Under suitable conditions, the global convergence of the given algorithm is established. Numerical results show that the presented method is competitive to other similar methods.