拟牛顿算法的收敛特性及算法的拓广

介绍了拟牛顿算法的收敛特性，即算法采用精确线性搜索与非精确线性搜索时具有的全局收敛性与超线性收敛性。这些优良性质使拟牛顿算法类在优化算法中占有极为重要的地位。相关的研究成果十分丰富，这里作一简要介绍及若干算法拓广。     

无约束优化问题的Newton-过滤器算法

构造了求解无约束优化问题的新算法,该算法结合了一般的Newton算法的思想和过滤器线性搜索策略,一方面搜索方向由Newton算法产生;另一方面在接受新的迭代点时,采用过滤器线性搜索策略,确定步长,且新算法是全局收敛的.     

关于非单调拟牛顿算法的一个改进

对于无约束优化问题提出了一类新的非单调拟牛顿算法.该算法在修正的拟牛顿方程基础上添加参数,从而推广了已有的拟牛顿方程.采用非单调线性搜索准则,并在一定条件下证明了新的非单调拟牛顿算法具有全局收敛性.     

一类超线性收敛的广义投影非拟牛顿算法

结合广义投影算法与非拟牛顿法，给出了求解线性约束非线性规划问题的一类带有非精确线搜索的新算法。在一定的条件下，我们证明了该算法的全局收敛性和超线性收敛性。     

曲线搜索下新的记忆拟牛顿算法

利用新的曲线搜索方法,提出一种解决无约束优化问题的记忆拟牛顿算法,给出该算法全局收敛的条件并进行数值实验.新算法由曲线搜索确定迭代步长,搜索方向用到当前迭代点信息的同时还用到上一次迭代点的信息,而且搜索方向与迭代步长同时确定,是一种有效的算法.     

非线性等式与不等式约束最优化二阶与超线性收敛的序列线性方程组算法

讨论非线性等式与不等式约束最优化问题,建立了问题的似Newton和拟Newton算法。算法的特点之一是搜索方向d_k仅由一个线性方程组的解确定,步长恒取1,即x_(k 1)=x_k d_k。另一特点是在没有严格互补的较温和的假设下,算法是二阶与超线性收敛的。本文推广了Facchinei,Lucidi,Boggs,Tolle,Wang等人的算法和收敛性结果。     

拟牛顿非凸族算法的收敛性

对于无约束最优化问题min f(x),x ∈Rn,提出了一类拟牛顿非凸族算法,并结合一类更广泛的线性搜索,在目标函数凸的条件下,证明了算法的全局收敛性.     

改进的拟牛顿非凸族算法的收敛性

对于无约束最优化问题min f(x),x∈Rn,提出了一类改进的拟牛顿非凸族算法,并结合一类更广泛的线性搜索,在目标函数凸的条件下,证明了算法的全局收敛性。     

关于Broyden族算法收敛性的几种解析

研究无约束最优化问题,理论分析和大量数值实验表明,拟牛顿法是效果最好的一类方法,它利用目标函数值和一阶导数的信息,构造出目标函数的曲率近似,使方法具有类似牛顿法的收敛速度快的优点。Broyden族算法正是目前较流行的一类拟牛顿算法。它可以在精确线搜索和非精确线搜索两种条件下考虑。在这篇文章中,首先研究了采用Broyden族算法(∈[0,1))的整体收敛性和一类非精确搜索的Broyden(∈[0,1))的整体收敛性。最后研究了Broyden族算法的超线性收敛性。     

ACELP语音编码算法改进与仿真

代数码激励线性预测算法(ACELP)是目前诸多低速率语音编码标准的算法核心,包括3G语音标准VSELP、AMR、AMR-NB、AMR-WB.该算法基于码激励线性预测模型,通过对码本的有效搜索,确定基音延迟,算法时间复杂度为O(n3).本文在ACELP算法基础上,对ACELP中自适应码本搜索过程进行改进,提出E-ACELP算法.通过AMR标准中8种速率情况的仿真,E-ACELP算法码本搜索时间减少、时间复杂度下降.基于E-ACELP算法,语音编码标准性能和效率得到提高.     

一类新的记忆梯度法及其收敛性

提出一类新的求解无约束优化问题的记忆梯度法。算法在每步迭代中利用当前和前面迭代点的信息产生下降方向,采用精确线性搜索或Wolfe非精确线性搜索产生步长,在较弱条件下证明了算法具有全局收敛性和线性收敛速率。数值试验表明算法是有效的。     

新Armijo线搜索下的FR共轭梯度法及其收敛性

描述了一种在新Armijo线搜索下的Fletcher-Revees(FR)共轭梯度法,并分析了其收敛性,从理论上证明了借助新的Armijo线搜索,FR共轭梯度法不仅可保证在每步迭代中都容易找出步长,而且可保证全局收敛性.     

一类记忆梯度法的收敛性

研究一类新的记忆梯度法,算法利用当前点的负梯度和前一点的搜索方向的线性组合为搜索方向,以强wolfe线搜索确定步长,并证明了算法具有全局收敛性,当目标函数一致凸时讨论了收敛速度．     

一种Armijo搜索下的谱共轭梯度法

基于文献[6]中的βkb的构造方法,提出了一种新的谱共轭梯度法,证明了该方法不依赖于任何线搜索具有充分下降性,在Armijo线搜索下证明了算法具有全局收敛性.数值试验结果表明：在Armijo线搜索下,该方法明显优于SFRA、SPRPA算法.     

无约束优化问题线搜索方法的收敛性

在较弱条件下给出了5种线搜索准则下的线搜索方法的收敛结论,这些结论对于构造快速有效的收敛算法是十分有用的。表明了搜索方向在这些方法中起主要作用,同时步长在一定条件下保证了算法的全局收敛性。说明了算法可用于求解更广泛的无约束优化问题。     

一类具有充分下降性的DL共轭梯度法

针对无约束优化问题,利用两项共轭梯度法(DL方法)去逼近改进的HS三项共轭梯度法,提出了改进的DL共轭梯度法即MDL共轭梯度法.该方法相对于DL方法具有一个更好的性质,即该共轭梯度法的搜索方向不依赖任何线搜索就可满足充分下降条件,理论上证明了该方法在Wolfe线搜索条件下对一般函数具有全局收敛性.     

差商最速下降法及其收敛性

证明了精确线搜索下的差商最速下降法的整体收敛性,提出了非精确线搜索下的有关算法并证明了收敛性。     

一种新的非单调线搜索方法

给出一种新的非单调线搜索方法,并用数值实验来验证其优越性.新方法能够确保WYL共轭梯度法的全局收敛性,实验效果比Armijo线搜索更好.     

带有固定步长的非单调信赖域方法

该文提出一种新的非单调信赖域方法．当试探步不能被接受时，算法沿着试探步的方向求得下一个迭代点，其中步长利用固定公式计算．这种方法既避免了重复求解信赖域子问题，又减少了线搜索方法计算函数值的次数．该文采用的非单调策略是基于张洪超和Hanger（2004）出的非单调线搜索技术．在适当的条件下，证明了算法的全局收敛性及超线性收敛性．最后给出了初步的数值实验结果．     

一种修正的HS共轭梯度法及其全局收敛性

对经典的HS共轭梯度法进行了修正,保证了搜索方向的充分下降性,这一性质在非精确线搜索和非凸函数情形下也是成立的.在适当的假设下证明了强Wolfe线搜索下算法的全局收敛性,数值实验表明算法数值效果良好.