An Active-Set Projected Trust Region Algorithm for Box Constrained Optimization Problems

An active-set projected trust region algorithm is proposed for box constrained optimization problems, where the given algorithm is designed by three steps. First, the projected gradient direction which normally has better numerical performance is introduced. Second, the projected trust region direction that often possesses good convergence is defined, where the matrix of trust region subproblem is updated by limited memory strategy. Third, in order to get both good numerical performance and convergence, the authors define the final search which is the convex combination of the projected gradient direction and the projected trust region direction. Under suitable conditions, the global convergence of the given algorithm is established. Numerical results show that the presented method is competitive to other similar methods.     

变遗忘因子相关函数自适应滤波算法

相关函数递推最小二乘(CRLS)算法在回波消除中双方对讲情况下是有效的,但其计算复杂度较高。把相关函数最小二乘准则中的遗忘因子视为时变的遗忘因子,应用最速下降法使当前时刻的方向矢量正交于前一时刻的方向矢量,从而获得时变的遗忘因子的表达式,得到一种新的相关函数自适应滤波算法。该算法的计算复杂度比相关函数递推最小二乘算法的要低。计算机数值仿真结果表明,新算法的收敛性能和相关函数递推最小二乘算法的收敛性能相当。     

A line search filter inexact SQP method for nonlinear equality constrained optimization

This paper proposes an inexact SQP method in association with line search filter technique for solving nonlinear equality constrained optimization.For large-scale applications,it is expensive to get an exact search direction,and hence the authors use an inexact method that finds an approximate solution satisfying some appropriate conditions.The global convergence of the proposed algorithm is established by using line search filter technique.The second-order correction step is used to overcome the Maratos effect,while the line search filter inexact SQP method has q-superlinear local convergence rate.Finally,the results of numerical experiments indicate that the proposed method is efficient for the given test problems.     

约束优化问题的一个超线性收敛的广义梯度投影法

对线性约束的非线性优化问题提出了一个新的广义梯度投影法，该算法我们采用了非精确线性搜索，并在每次迭代运算中运用了广义投影矩阵和变尺度方法的思想确定其搜索方向。在通常的假设条件下，证明了算法的整体收敛性和超线性收敛速度。     

A Superlinearly Convergent Combined PhaseⅠ-PhaseⅡ Subfeasible Method

ＡＳｕｐｅｒｌｉｎｅａｒｌｙＣｏｎｖｅｒｇｅｎｔＣｏｍｂｉｎｅｄＰｈａｓｅⅠ－ＰｈａｓｅⅡＳｕｂｆｅａｓｉｂｌｅＭｅｔｈｏｄＪＩＡＮＪｉｎｂａｏ（ＭａｔｈｅｍａｔｉｃｓａｎｄＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅＤｅｐａｒｔｍｅｎｔｏｆＧｕａｎｇｘｉＵ...     

A nonmonotone line search filter method with reduced Hessian updating for nonlinear optimization

This paper proposes a nonmonotone line search filter method with reduced Hessian updating for solving nonlinear equality constrained optimization. In order to deal with large scale problems, a reduced Hessian matrix is approximated by BFGS updates. The new method assures global convergence without using a merit function. By Lagrangian function in the filter and nonmonotone scheme, the authors prove that the method can overcome Maratos effect without using second order correction step so that the locally superlinear convergence is achieved. The primary numerical experiments are reported to show effectiveness of the proposed algorithm.     

A new <Emphasis Type="Italic">ɛ</Emphasis>-generalized projection method of strongly sub-feasible directions for inequality constrained optimization

In this paper, the nonlinear optimization problems with inequality constraints are discussed. Combining the ideas of the strongly sub-feasible directions method and the ɛ-generalized projection technique, a new algorithm starting with an arbitrary initial iteration point for the discussed problems is presented. At each iteration, the search direction is generated by a new ɛ-generalized projection explicit formula, and the step length is yielded by a new Armijo line search. Under some necessary assumptions, not only the algorithm possesses global and strong convergence, but also the iterative points always get into the feasible set after finite iterations. Finally, some preliminary numerical results are reported.     

一种促进PSO全局收敛的参数调整策略

模拟鸟群捕食行为的粒子群算法存在早熟收敛问题。理论和实验都证明了粒子群算法参数确定局部搜索能力与全局搜索能力的比例关系,对算法的收敛能力影响极大。对现有的参数调整策略进行了分析,指出了存在的问题。借鉴免疫机制中的多样性和变异理论,提出一种新的参数调整策略,该策略基于抗体的亲和力和粒子的聚集程度来确定粒子的最优适应值变化率及算法参数值。对经典测试函数的实验结果表明,提出的参数调整策略使算法的全局收敛能力得到了显著提高,能有效避免粒子群优化算法中的早熟收敛问题。     

双混沌神经网络及其在优化问题中的应用

分析了三种现有的混沌神经网络模型的优化性能,针对目前混沌神经网络收敛率不高和搜索时间较长的问题提出了一种双混沌神经网络。它不同于以往的混沌神经网络改进方法,不是延长退火时间或改变混沌程度来提高网络性能,而是通过混沌迭代搜索使混沌神经网络在有限步内找到全局最优解的初值来提高收敛率与收敛速度。这种方法能使混沌神经网络在应用中具有更好的全局优化能力,并且可以缩短混沌神经网络的搜索时间,对旅行商问题求解的仿真对比和函数优化问题的仿真,说明了新方法比现有方法具有更好的收敛率和更短的搜索时间。     

基于改进搜索策略的混合蜂群算法

针对人工蜂群算法搜索效率低、易陷入局部最优和精度低等缺点,提出混合蜂群（hybrid bee colony, HBC)算法。将人工蜂群（artificial bee colony, ABC）算法局部收敛性与模拟退火（simulated annealing, SA）算法全局收敛性结合,为ABC算法提供了一种新机制。根据SA算法中Metropolis接受准则, 通过调整温度依概率确定全局最优解的替代值,并利用全局最优解的替代值和个体极值来改进ABC算法的引领蜂搜索模式。其次,改进侦察蜂搜索方式,根据迭代次数非线性减小侦察蜂搜索范围和以一定概率反向搜索更新方式,能够有效地提高算法的全局搜索能力,并加快算法的后期收敛速度。通过对8个复杂函数仿真测试,结果表明,HBC算法在搜索性能和精度方面均有明显提高。     

时间反演系统中基于Barzilai-Borwein的共轭梯度检测算法

针对时间反演多址系统中信道的相关性会导致多用户干扰的问题,以降低用户间干扰和算法复杂度为目标,提出基于Barzilai-Borwein的共轭梯度迭代检测算法。首先通过共轭梯度迭代两次找到最速下降方向,然后通过Barzilai-Borwein沿着共轭梯度搜索的方向继续迭代。仿真表明,所提算法收敛速度快于Barzilai-Borwein和共轭梯度算法,且复杂度低于共轭梯度算法和最小均方误差(minimum mean square error, MMSE)算法,保持在O(N²)。     

可行方向SUMT外点法的研究及应用

针对序列无约束极小化技术(sequential unconstrained minimization technology, SUMT)外点法中由于设计变量越界而导致优化失败的问题,分析了设计变量越界的原因,将SUMT外点法和可行方向法相结合,提出了一种可行方向SUMT（feasible direction SUMT, FD SUMT）外点法。用可行方向法的思想处理设计变量的约束,将搜索空间限定在设计变量可行域内。〖JP2〗与传统的SUMT外点法相比,该方法除实现简单外,更具有鲁棒性高、收敛快等优点。通过数值算例和工程应用实例验证了FD SUMT外点法的性能。优化结果表明,该方法消除了设计变量越界的情况,收敛速度和鲁棒性明显高于传统的SUMT外点法,而且初值选取容易,具有工程实用性。     

基于特异性免疫策略的遗传算法及应用

针对标准遗传算法在进化后期收敛速度慢,易陷入未成熟收敛的问题,借鉴免疫应答机理,提出一种基于特异性免疫策略的遗传算法.算法的核心在于保持种群的多样性和执行特异性免疫策略,即引入小生境技术维持种群的多样性,对遗传参数自适应调节以适应种群的实际变化;利用高亲和度抗体搜寻更优秀的抗体,并发掘低亲和度抗体寻优的潜力;通过优良记忆库实现精英保留策略,保证算法搜索的快速性及有效性.理论上证明了算法的收敛性.仿真结果表明,算法能有效地改善种群多样性,具有较强的全局收敛能力.以二级倒立摆为被控对象,将该算法应用于Takagi- Sugeno模糊神经网络控制器的优化,实物控制结果表明该方法具有良好的动稳态性能和抗干扰能力.     

基于新最速下降算法的自适应波束形成

针对阵列信号处理中自适应波束形成技术的抗干扰问题, 提出一种基于新的最速下降法的波束形成算法。新的最速下降法将多元二次凸优化问题转换为一元二次问题, 通过循环迭代的方式使求出的极值点向高维凸优化问题的极值点逼近, 最终使结果收敛到最优解。将这种算法应用于自适应波束形成, 提高自适应波束形成的收敛速度、抗干扰能力和低快拍下工作的能力。经过仿真验证, 与基于最小均方算法以及改进最小均方算法的波束形成方法进行比较, 所提出的波束形成算法具有抗强干扰、收敛速度快、能在低快拍条件下工作的优点。     

正交微粒群算法

基于正交试验设计的最优性以及微粒群中微粒的记忆特征，提出了一种新型的微粒群算法——正交微粒群算法。其主要思想是：利用正交设计的方法产生初始微粒群，以便粒子能够均匀分布在整个解空间上；充分利用微粒的记忆能力，对微粒群进行更新，从而达到对可行解空间进行开发和探索的目的。将该算法应用于四个常见的测试函数，试验结果表明本算法的性能比较优越，并且具有很强的并行性和较大的灵活性。最后，讨论了不同的初始速度和扰动对算法性能的影响。     

渐近式Bloch球面搜索的量子遗传算法及其应用

为了进一步加快搜索速度,提高优化效果,提出了一种渐近式Bloch球面搜索的量子遗传算法.在该算法中,首先采用Bloch球面坐标对量子染色体进行编码,然后基于最小二乘法理论,构建了量子染色体的更新策略,建立了量子旋转门角度大小和方向的公式,最后构造了变异操作中相位公式.将本文算法应用于多变量函数极值优化问题进行验证.实验结果表明,该算法不仅具有较好的种群多样性和随机性,而且还具有进化代数少、收敛速度快和优化效率高等优点.     

基于混合策略的引力搜索算法

为了提高引力搜索算法(gravitational search algorithm, GSA)在处理单目标优化问题上的综合能力,提出了一种基于混合改进策略的GSA。依照种群个体自身的进化情况,提出个体进化率的进化策略,以提高算法的收敛速度;采取方向性的变异策略,较好地平衡了全局搜索能力和局部开采能力,最大限度地降低了种群陷入局部最优的可能。基于标准测试函数的仿真实验表明,基于混合策略的GSA算法可有效避免早熟收敛,在收敛精度和收敛速度上与标准的GSA算法以及相应的改进算法相比有显著提高。     

基于对角隐式Runge-Kutta公式的无约束优化方法

通过把一个无约束优化问题转化为一个等价的常微分方程,利用二阶半对角隐式Runge Kutta公式构造了求解无约束优化问题的LRKOPT算法。LRKOPT算法具有与IMPBOT方法相似的数值特性,但LRKOPT算法可以看成是最速下降方向与牛顿法方向的非线性组合,而IMPBOT方法为它们两者之间的线性组合。在目标函数为一致凸函数的假设条件下,证明了LRKOPT方法的具有全局收敛和局部超线性收敛性。数值结果表明LRKOPT方法具有很好的数值稳定性并且LRKOPT方法的计算效率优于IMPBOT方法。     

改进二分粒子群优化算法的阵列方向图综合

针对粒子群优化(particle swarm optimization, PSO)算法收敛速度慢、寻优精度低、计算量大、容易陷入局部最优解等问题,首先提出了一种无需越界检测的归一化粒子群优化(normalized particle swarm optimization, NPSO)算法,NPSO算法具有比PSO算法更佳的有效性和稳定性,其优化速度和收敛精度要远远优于PSO算法,且其计算量要比常规PSO算法采用越界检测调整小。其次,结合狼群算法(wolf pack algorithm, WPA)中的游走行为,在二分粒子群优化(dichotomy particle swarm optimization,DPSO)算法的基础上,通过对二分粒子赋予不同的探索方向,提出了一种WPA-DPSO算法,WPA-DPSO算法具有3层寻优的功能,不仅有效加强了粒子的搜索范围,避免了算法陷入局部最优解,而且有效提高了DPSO算法的收敛速度、优化精度、稳定性和有效性。在NPSO算法和WPA-DPSO算法的基础上,提出了一种混合型PSO算法(WPA-NDPSO),从而有效克服了PSO算法早熟收敛、搜索范围不大、容易收敛到局部极值、计算量大等问题。均匀线阵方向图综合实验表明:WPA-NDPSO算法不仅具有较优的收敛速度和优化精度,而且具有较强的稳定性和较高的有效性。     

A line search filter secant method for nonlinear equality constrained optimization

<正> This paper formulates and analyzes a line search method for general nonlinear equalityconstrained optimization based on filter methods for step acceptance and secant methods for searchdirection.The feature of the new algorithm is that the secant algorithm is used to produce a searchdirection,a backtracking line search procedure is used to generate step size,some filtered rules areused to determine step acceptance,second order correction technique is used to reduce infeasibility andovercome the Maratos effect.Global convergence properties of this method are analyzed:under mildassumptions it is showed that every limit point of the sequence of iterates generated by the algorithmis feasible,and that there exists at least one limit point that is a stationary point for the problem.Moreover,it is also established that the Maratos effect can be overcome in our new approach by addingsecond order correction steps so that fast local superlinear convergence to a second order sufficient localsolution is achieved.Finally,the results of numerical experiments are reported to show the effectivenessof the line search filter secant method.