基于新拟牛顿方程的拟牛顿法的超线性收敛性分析

假设f（x）二阶连续可微且一致凸时和f（x）的二阶导数矩阵G（x）在极小点x^＊处满足Holder条件，文章证明了基于新拟牛顿方程的拟牛顿法的超线性收敛性．     

基于新拟牛顿方程的一类超线性收敛的改进BFGS算法

针对无约束最优化问题,在已建立的一类新拟牛顿方程的基础上,把满足于传统拟牛顿方程的一类改进BFGS算法推广到新拟牛顿方程,从而得到一类基于新拟牛顿方程的改进BFGS算法.证明该算法在目标函数为一致凸时具有局部超线性收敛性.     

新拟牛顿方程下一类改进BFGS算法的全局收敛性

文献[1]曾在已建立的一类新拟牛顿方程Bk 1sk=yk-=yk kγskTsksk的基础上,证明了满足新拟牛顿方程的一类改进BFGS算法在目标函数为一致凸的条件下,具有全局收敛性。此文针对该算法,给出了全局收敛性的另一种证明方法。     

一类新拟牛顿算法的全局收敛性与数值试验

在Hiroshi Yabe等提出的新拟牛顿方程基础上,给出一类新拟牛顿算法(称为MBFGS算法),同时在一定的假设条件下,结合Wolfe搜索准则,证明了MBFGS算法具有全局收敛性,并进行了数值试验,结果表明,对于一般的无约束优化,本文的MBFGS算法是正确和有效的.     

基于新拟牛顿方程的拟牛顿法对一般目标函数的全局收敛性

文章通过四阶泰勒展开提出了一种新拟牛顿方程,且给出了新的拟牛顿算法,并结合Wolfe非精确线性搜索证明了此新拟牛顿算法对一般非凸无约束优化问题的全局收敛性.     

二阶拟牛顿方程的新的推导方法

借助向量值函数的多项式插值方法,给出了Pan的二阶拟牛顿方程的一种新的推导方法,设计了相应的校正公式,并利用这一推导方法,导出了其它几个拟牛顿方程。     

一类新拟牛顿方程的非单调信赖域算法

利用新拟牛顿方程及其修改BFGS校正公式,将非单调Wolfe线搜索技术与信赖域相结合,提出了一类拟牛顿非单调信赖域算法。在较弱的条件下,证明了此算法的全局收敛性。数值结果表明该算法是有效的。     

基于支持向量机的模糊回归估计

支持向量机是在统计学习理论上发展起来的新一代学习方法,该方法在模式识别、回归估计、概率密度函数估计等方面都获得了较好的应用.基于含有不确定性信息的问题,引入了模糊支持向量机.针对回归估计问题,利用支持向量机的基本思想提出单参数约束下的支持向量机模糊线性回归模型,并给出模型的解,实验结果表明,与其它的模糊回归估计相比该方法得到了更加满意的最优解并且缩短了运行时间.     

基于支持向量机处理圆度误差

提出一种基于支持向量机计算圆度误差的方法.支持向量机的理论基础是Vapnik创建的统计学习理论.它采用结构风险最小化准则,在最小化样本点误差的同时,缩小模型预测误差的上界,从而提高了模型的泛化能力.该方法采用支持向量机对圆度误差评价,克服了传统圆度最小二乘法评价的局部收敛问题.仿真实验结果表明介绍的方法可以有效、正确地评价圆度误差.     

一种基于弱拟牛顿方程的单调梯度法的收敛性

基于弱拟牛顿方程,Leong W J等人提出了一种单调梯度法,该算法在每次迭代时利用对角矩阵逼近Hessian矩阵,使计算量和存储量明显减少,并且此算法对凸函数具有收敛性。在此算法的基础上,进一步研究了算法对于一般函数的收敛性,并证明了在一定的假设条件下算法仍具有全局收敛性、R-线性收敛性和超线性收敛性。     

基于信赖域技术和修正拟牛顿方程的非单调超记忆梯度算法

基于信赖域技术和修正拟牛顿方程,结合Neng-Zhu Gu非单调策略,设计新的求解无约束最优化问题的非单调超记忆梯度算法,分析算法的收敛性和收敛速度。新算法每次迭代节约了矩阵的存储量和计算量,算法稳定,适于求解大规模问题。数值试验结果表明新算法是有效的。     

一种自适应拟牛顿广义特征分解算法

通过构造一种新的无约束损失函数,广义特征分解问题可以转化为无约束优化问题.此损失函数具有良好的特性,即具有全局极小点、无局部极值点,从而保证了迭代算法的全局收敛性.利用近似Hessian矩阵,提出了一种新的自适应拟牛顿广义特征分解算法.然后,采用随机逼近理论,严格分析了算法的收敛性.仿真结果表明,算法具有快速收敛和动态跟踪能力.     

无约束优化问题的稀疏拟牛顿法

对无约束优化问题提出了一种稀疏拟牛顿法,算法在每次迭代中运用拟牛顿方法的思想确定其搜索方向,采用非精确线性搜索确定步长,在通常的假设条件下,证明了算法的全局收敛性和线性收敛速度.     

一种基于拟牛顿迭代的安全定位算法

由于无线传感网络通常需要部署在无人看管的环境中,网络中节点的位置信息很容易受到各种恶意攻击,导致大部分节点不能准确地确定自身位置,进而破坏整个网络后续工作的进行。针对无线传感网络安全定位问题,提出了一种基于拟牛顿迭代的安全定位算法。基于定位过程中遭受的恶意攻击特点,建立了对应的距离测量攻击模型,利用拟牛顿迭代算法对所有定位数据进行迭代运算,根据梯度的数学特性找出并过滤恶意锚节点,实现节点的安全定位。仿真结果表明,提出的安全定位算法能够很好地抵御恶意攻击对节点定位的影响,具有较好的定位性能,并且有很强的鲁棒性。     

基于混合Hausdorff距离的多示例分类问题

在机器学习领域中,多示例学习是一个重要的研究方向,其显著特点是正包中示例的类别标记具有模糊性。基于不同Hausdorff距离的CKNN分类器在多示例学习中应用较为广泛。经分析可发现,最小和最大Hausdorff距离均有其各自的缺陷,但两者的缺陷具有一定的互补性。针对如何弥补单一Hausdorff距离缺陷的问题,使用AdaBoost算法思想,把基于最小和最大Hausdorff距离的CKNN分类器进行组合,以减少使用单一Hausdorff距离对实验结果造成的影响。通过比较在不同数据集上的实验结果,可知此方法在一定程度上降低了测试误差,降低幅度最大为0.110 0。     

基于修正的拟牛顿法的基追踪去噪研究

为提高一维信号去除噪声的稀疏分解基追踪算法的效率,提出了采用修正的拟牛顿法来解决基追踪去噪过程中的无约束优化问题。该算法在传统拟牛顿法的基础上,对BFGS(Broyden-Fletcher-Goldfarb-Shanno)公式进行修正,有效地减少了最优化过程中所需的迭代次数。实验结果表明,修正的拟牛顿法与传统算法相比,能够明显提高目标函数的收敛速率。     

基于修正的拟牛顿法的基追踪去噪研究

为提高一维信号去除噪声的稀疏分解基追踪算法的效率,提出了采用修正的拟牛顿法来解决基追踪去噪过程中的无约束优化问题。该算法在传统拟牛顿法的基础上,对BFGS(Broyden-Fletcher-Goldfarb-Shanno)公式进行修正,有效地减少了最优化过程中所需的迭代次数。实验结果表明,修正的拟牛顿法与传统算法相比,能够明显提高目标函数的收敛速率。     

基于时间分数阶扩散方程导数参数反演问题

研究时间分数阶扩散方程中分数导数阶的估计问题.首先,定义了一个带自然对数核的Caputo分数阶导数算子,推导出了时间分数阶扩散方程的分数阶导数所满足的方程,称之为时间分数阶扩散的伴随方程.其次,我们分别对两个方程进行时间离散构造有限差分格式和弱形式,再对弱形式中的半离散解进行Legendre多项式逼近得到全离散格式.然...     

n阶线性方程模糊初值问题的模糊结构元解法

为了给出微分方程的模糊初值问题更加简便的求解方法，避免表现定理中α遍历{0，1}造成的运算复杂性，采用模糊结构元的方法来求解线性微分方程的模糊初值问题，给出了模糊初值问题解的通解公式。这种方法不仅避免了利用表现定理造成运算的复杂性，而且还精确的给出了模糊初值问题的模糊解函数的隶属函数。通过文中的例子可以看出该方法的实用性和有效性。