拉格朗日——牛顿法的一个局部超线性收敛算法

桂胜华等曾提出含弱互补函数的不等式约束最优化问题的拉格朗日一牛顿法和拟牛顿法，但算法中计算Hesse矩阵的工作量较大，且该算法仅能解不等式约束最优化问题．论文改进了桂胜华等的算法，用拟牛顿公式代替了Hesse矩阵，并把解不等式约束最优化问题推广到既含不等式约束又含等式约束最优化问题；证明了此算法具有全局收敛性和局部超线性收敛性．     

一类凸规划问题的几何算法

利用点到线性流形的距离的几何特征,提出了求解目标函数的Hesse矩阵正定并带有线性等式约束的最优化问题的几何算法.与牛顿法相比,该算法避免了Hesse矩阵求逆与矩阵乘积等运算.     

一般约束非线性规划问题的光滑牛顿法

用改进的光滑NCP函数替代了文[1,2]中的弱互补函数,提出了一种新的光滑牛顿法,从而实现了一般约束优化问题的KKT条件到非线性方程组之间的完全等价转化,且将文[3]中提出的求解无约束最优化问题的修正BFGS方法加以改进,应用于求解一般的约束最优化问题,避免了计算Hesse矩阵工作量较大的问题,并在一定的条件下证明了该算法的全局收敛性.     

压缩感知信号重构的快速光滑L0范数法

光滑l0范数法(SL0)用带参数的高斯光滑函数序列逼近l0范数,可以有效地用于压缩感知信号重构。针对SL0算法在最优解附近收敛速度较慢的问题,由高斯光滑函数梯度及Hesse矩阵的特点,根据牛顿法的基本原理,提出了快速光滑l0范数法-FSL0算法。算法的迭代公式十分简洁。仿真结果表明,该算法与已有同类算法的重构精度相当,但重构速度得到了很大地提高。     

拉格朗日-拟牛顿法解约束非线性规划问题

Partier E R和祁力群等人先后提出解光滑不等式约束函数和光滑目标函数最优化问题的QP-free方法，算法中所有的迭代点为可行点．笔者在先前发表的文章中，提出了含弱互补函数的不等式约束最优化问题的拉格朗日-牛顿法．现笔者改进了先前文章中算法，用拟牛顿公式代替了Hesse矩阵，把解不等式约束最优化问题推广到了既含不等式约束又含等式约束最优化问题，并证明了此算法具有全局收敛性．对一些算例的计算表明，此法具有很好的应用前景．     

一类正割修正矩阵带有直接分解且保持稀疏性的拟牛顿法及其收…

改进了Ｂｏｇｌｅ和Ｐｅｒｋｉｎｓ就求解稀疏性非线性方程组提出的能够保持正割修正矩阵稀疏性的拟牛顿法，进而提出一类带有直接分解的正割修正矩阵且保持稀疏性的拟牛顿法。进行了数值计算，效果良好；在适当条件下Ｑ－超线性收敛。     

一类正割修正矩阵带有直接分解且保持稀疏性的拟牛顿法及其收敛性

改进了Ｂｏｇｌｅ和Ｐｅｒｋｉｎｓ就求解稀疏性非线性方程组提出的能够保持正割修正矩阵稀疏性的拟牛顿法，进而提出一类带有直接分解的正割修正矩阵且保持稀疏性的拟牛顿法．进行了数值计算，效果良好；在适当条件下Ｑ－超线性收敛     

用分解矩阵形式表达的Broyden族校正公式

在Broyden凸族建立了Hesse近似矩阵关于目标函数梯度向量等内积分解矩阵的校正公式,从而把由校正矩阵的等内积分解矩阵确定搜索方向的DFP和BFGS算法推广到Broyden凸族.     

无约束最优化计算方法中的Newton法与BFGS法的组合方法

本文提出了适合于求解目标函数的Hesse矩阵不正定或病态等实际问题的Newton法与BFGS法的组合方法，并证明了该方法具有二次收敛性和全局收敛性。     

求解大型稀疏对称矩阵极端特征值的子空间加速的截断牛顿法

利用扩展子空间的方法,对求解大型稀疏对称矩阵极端特征值的截断牛顿法进行改进,提出了子空间加速的截断牛顿法。理论分析和数值结果均表明,新方法对计算对称矩阵的极端特征值是有效的。     

关于极值与信息熵的不等式

本文用方向导数给出 F(X_0)为函数 F(X)的极值的充分条件,解决了当 Hesse矩阵半定或不存在时判定极值的问题。     

推广加权型Jensen不等式

将二元函数的Jensen定理推广到多元函数,利用多元函数Jensen定理和Hesse矩阵判别法,再联系函数构造法给出Minkouski不等式的新证法.     

基于三阶泰勒展开逼近目标函数的无约束最优化算法

针对基于二阶泰勒展开逼近目标函数精度低的牛顿法优化问题,研究基于三阶泰勒展开逼近目标函数的最优化算法意义明确,算法归结为多元二次方程组的求解,应用非线性方程组的牛顿法求解,在目标函数中加入二次函数辅助项,提出两个改进的最优化算法,改进的算法1可保证牛顿法的雅可比矩阵非奇异,改进的算法2可保证牛顿法的雅可比矩阵正定,所提出的无约束最优化算法可推广到高阶泰勒展开情形,数值分析例验证了所提出的最优化算法的有效性.     

优化问题的拟牛顿算法

拟牛顿算法是无约束优化问题的有效而名的算法,是牛顿法的近似,牛顿算法要求目标函数二次连续可微,Hesse阵非奇异且正定,计算量较大,拟牛顿算法只要求目标函数一次连续可微,以拟牛顿方程为基础来构造算法,易于实现,计算量较小,并形成了完整的算法体系,在理论与应用上都有重要意义,     

BFGS算法实现的一种优化计算策略

BFGS算法是解无约束优化问题的公认的最有效的算法之一。针对BFGS算法的Hesse矩阵修正保持正定的特点,利用Chlolesky分解,对于算法中矩阵修正及确定相应的搜索方向的实现作了一定的分析和探讨,并导出了相应的计算公式,使得计算量下降了一个数量级,并且尽可能地保证了修正矩阵的正定性。     

解大型对称矩阵特征值问题的一个子空间加速截断牛顿法

基于非线性优化中的截断牛顿法提出了解大型稀疏对称矩阵特征值问题的一个子空间加速的截断牛顿法,证明了算法的收敛性并进行了数值试验,数值试验结果表明数值结果与理论分析相符,表明该算法是有效的。     

两种求解操作手间接位置新方法的探讨

提出了两种求解操作手间接位置新方法——曲线拟合迭代法和改进广义牛顿法。这两种方法都是基于广义牛顿法,简化了雅可比矩阵的建立与计算,从而提高了计算速度。通过算例说明,这是两种行之有效的计算方法。     

一类与Hesse矩阵特征值有关的完全非线性椭圆型方程

研究了完全非线性椭圆型方程f(λ)=φ的dirichet问题古典解的存在性,其中λ=(λ_1,…,λ_n_)是广义Hesse矩阵(D_(iju)+σ_(fj))的n个特征值。     

求解等式约束最优化问题的Broyden算法的全局收敛性

将单边既约Hesse矩阵SQP方法和无导数线性搜索技术相结合，提出了一种求解等式约束最优化问题的拟牛顿算法．在适当的假设条件下，证明了算法全局收敛于优化问题的KKT点，而且收敛速度是局部超线性的．当迭代次数k充分大时，这种算法可以实现单位步长，因此不会出现Marotos效应．     

论Hesse定理和Chasles定理的等价性

本文给出Hesse定理的一种简捷证法,并证明Hesse定理和Chasles定理是等价的: