无约束优化的非单调三次正则BB算法

先利用BB(Barzilai Borwein)类型参数构造目标函数Hessian矩阵的近似矩阵, 通过极小化当前迭代点处的三次正则化近似梯度模型求解试探步, 再结合非单调线搜索策略提出一个非单调三次正则BB算法, 最后给出算法的收敛性证明. 数值实验结果表明, 该算法数值性能良好.     

求解对称矩阵最大特征值的Barzilai-Borwein法

高维对称矩阵最大特征问题的求解是数学界中比较关注的问题之一。文章采用无约束优化方法进行求解,设计了非单调搜索的Barzilai-Borwein（BB）算法,数值算例显示该算法比单调线搜索最速下降法迭代次数更少,收敛速度快且相对误差小的良好计算性能。     

一种改进的三维子空间极小化共轭梯度法

利用满足修正割线方程的Hessian矩阵近似二次模型中的Hessian阵, 通过在三维子空间中极小化此二次模型导出搜索方向, 并结合非单调线搜索策略和重启技术, 提出一种改进的三维子空间极小化共轭梯度算法, 并在一些合理假设下, 证明了算法的全局收敛性. 针对Andrei测试函数集, 数值实验验证了新算法的有效性.     

第一类不适定积分方程的快速多尺度Petrov-Galerkin算法

主要讨论第一类不适定积分方程的一种多尺度快速算法.将半双正交的多尺度基底的Petrov-Galerkin方法应用于求解Tikhonov正则化所得的方程.在此基础上给出一种矩阵截断策略,证明了应用该策略所得的系数矩阵的计算复杂度,发现可以大减少计算量,进而给出一种先验参数选取策略,证明了所得的正则化近似解可以达到最优收敛阶.最后,数值算例说明了结果的有效性.     

求解非光滑问题的修正HS共轭梯度法

结合Moreau-Yosida正则化和非单调线搜索技术,提出一种求解非光滑问题的修正HS共轭梯度算法.推导出搜索方向自动满足充分下降条件,证明该算法在适当条件下具有全局收敛性.数值算例验证了该算法能够高效地处理非光滑极小化问题.     

绝对值方程的非单调光滑算法

给出了一个新的非单调线性搜索技术,其包含传统的单调线性搜索和一些非单调线性搜索.基于新的非单调技术,给出了一个求解绝对值方程的光滑算法,证明了算法具有全局和局部二次收敛性质.数值试验表明算法是有效的.     

一种超松弛的最优传输近似点算法

【目的】最优传输在实际应用中通常使用Sinkhorn算法求解熵正则化形式得到近似解,考虑Sinkhorn算法的效果容易受熵正则化参数影响,且难以收敛到最终精确解,提出了一种超松弛形式的近似点算法。【方法】针对原最优传输的近似点算法,为其中传输计划的迭代计算引入超松弛算子,并给出了超松弛参数计算方法。【结果】在保持算法对正则化参数具有鲁棒性及可收敛至精确解的优点的同时,所提算法能更快地收敛至精确解。【结论】数值实验表明,相较于原近似点算法,所提算法进一步提升了收敛速度,在有限的迭代步骤下能够达到更高精度,算法可更好地应用于机器学习。     

等式约束优化问题的非单调信赖域算法

本文就等式约束优化问题,结合当前比较流行的非单调技术,提出了一种求解等式约束优化的非单调信赖域算法.在没有正则性条件的假设下我们证明了算法是有定义的。     

半无限极大极小离散化问题的一个非单调SQCQP算法

针对序列二次规划(SQP)算法在处理结构复杂、 非线性程度较大的半无限极大极小离散化问题时计算效率较低的不足, 提出一种非单调序列二次约束二次规划(SQCQP)算法, 并在适当的条件下证明算法的收敛性. 数值实验结果表明, 在离散水平为100的情形下, 非单调类SQCQP算法在减少迭代次数和计算时间等方面均优于SQP算法.     

正则化的精度矩阵估计的解轨迹

精度矩阵在高斯图模型中具有广泛的应用,许多正则化方法用于精度矩阵的估计问题,然而却很少有对其解轨迹的关注。本文主要利用条件数正则化协方差矩阵估计的方法来探索精度矩阵估计的解轨迹,数值模拟结果表明该轨迹算法可以便捷地描绘出精度矩阵估计的解轨迹。     

基于模拟退火粒子群算法的MIT图像重建方法

为了改善逆问题病态性又能提高图像重建质量,提出了一种基于模拟退火粒子群算法的MIT图像重建方法.根据Hessian矩阵的维度,构建了一种Tikhonov和NOSER型混合多参数正则化算法.将模拟退火算法和粒子群算法进行组合,以广义交叉准则构建目标函数,进行正则化多参数寻优.结果表明,所提方法不仅有效克服了MIT重建图像数值解的不稳定性,增强了抗噪性能,而且所获得的重建图像的质量优于Tikhonov正则化和混合正则化算法,为MIT技术应用提供了理论参考.     

带光滑L_(1/2)正则化项的神经网络逆向迭代算法收敛性分析

L1/2正则子比L2正则子更具稀疏性,有更强的剪枝能力;但其非凸、非光滑以及不满足Lipschitz条件的函数性质,使神经网络训练过程易于出现数值振荡现象,并且给收敛性分析带来理论困难。用光滑函数逼近L1/2正则子在克服数值振荡的同时可以保证目标函数具有良好的连续可微性质。针对提出的带光滑L1/2正则化项的逆向迭代神经网络模型,证明了误差函数的单调递减性质及算法的确定型收敛性:弱收敛和强收敛。数值实验表明,新的逆向迭代学习算法较已有算法保证了输入向量序列在训练过程中的稳定性及稀疏性,并有较好的泛化能力。     

带线搜索的修正拟牛顿非单调信赖域算法

提出了一类新的求解无约束最优化问题的非单调信赖域算法.不同于传统的非单调信赖域算法,此算法在每步都采用非单调W olfe线搜索得到下一个迭代点.这样得到的新算法不仅不需重解子问题,而且在每步迭代满足新拟牛顿方程同时保证目标函数的近似Hessen阵Bk的正定性.在较弱的条件下,证明了此算法的全局收敛性.数值结果表明该算法的有效性.     

一类新的修正Fletcher-Reeves算法

研究了一类非单调线性搜索技术在无约束化问题共轭梯度算法中的应用,该类非单调线性搜索是属于Armijo型的线性搜索.在适当的条件下,对一般非凸函数,证明了新给出的的非单调线性搜索下,修正Fletcher-Reeves共轭梯度算法的全局收敛性,数值结果表明了该算法的有效性.     

自适应超图正则化低秩矩阵分解

超图正则化非负矩阵分解(HNMF)是一类常用的数据降维方法。然而，使用预先构造超图的方法不能较好地反映出样本点间的多元关系。为解决此问题，设计了一类自适应超图的构造方法，结合非负矩阵分解，建立了自适应超图正则化低秩矩阵分解(LMFAHR)模型。利用乘性更新的方法求解该模型，并证明了该模型的目标函数在迭代过程中单调不增。数值实验表明：LMFAHR算法与经典的低秩矩阵分解算法相比，在COIL20数据集上评估指标ACC和NMI分别有0.66%～1.48%,0.19%～1.43%的提升，在Yale数据集上评估指标ACC和NMI分别有0.01%～4.29%,0.3%～8.44%的提升。     

线性二阶锥权互补问题的非精确非单调光滑化牛顿法

针对线性二阶锥权互补问题, 提出一种新的非精确非单调光滑化牛顿法. 首先, 基于新的含参数光滑函数, 将线性二阶锥权互补问题转化为一个光滑方程组; 然后, 给出求解该方程组的新非精确非单调光滑化牛顿法; 最后, 在半正定矩阵假设下, 证明该算法全局收敛和局部超线性收敛. 数值结果表明, 该算法稳定、 有效.     

一种求解结构组合优化问题的BB型算法

提出了一种求解一类非光滑复合凸优化问题的BB型算法,结合非单调线搜索技术和合适的BB步长,在适当的条件下,证明了所提出算法的收敛性。通过数值实验与现有的算法进行比较,证明了所提出的算法相比已有的算法,运行的CPU时间更短、迭代次数更少、数值性能上更优。     

基于正则方法与迭代技术相结合的复杂温度场重建算法

针对傅里叶正则算法在复杂温度场重建过程中存在的不足 ,首先用正则化方法获得温度场重建这一不适定问题的稳定解 ,然后利用迭代技术对解进行一次迭代优化修正 ,充分考虑观测矩阵降质对温度场重建的影响·提出一种基于正则化方法与一次迭代技术相结合的复杂温度场重建算法·仿真结果表明该算法温度场重建精度优于傅里叶正则算法 ,能快速而较高精度地重建出复杂温度场二维温度分布     

基于信赖域技术和修正拟牛顿方程的非单调超记忆梯度算法

基于信赖域技术和修正拟牛顿方程,结合Neng-Zhu Gu非单调策略,设计新的求解无约束最优化问题的非单调超记忆梯度算法,分析算法的收敛性和收敛速度。新算法每次迭代节约了矩阵的存储量和计算量,算法稳定,适于求解大规模问题。数值试验结果表明新算法是有效的。     

L_(3/2)正则化图非负矩阵分解算法

基于图正则化非负矩阵分解算法(GNMF),提出一种基于凸光滑的L3/2范数正则化图非负矩阵分解算法.该算法用非负矩阵分解算法对数据进行低维非负分解时,根据流形学习的图框架理论,构建邻接矩阵保持数据局部几何结构,并对数据的低维表示特征进行凸光滑的L3/2范数稀疏性约束,在给出算法更新迭代规则的同时,从理论上证明了所给算法的收敛性.通过人脸数据库ORL、手写体数据库USPS和图像库COIL20的仿真实验表明,相对于非负矩阵分解算法及其基于稀疏表示的改进算法,所给算法均具有更高的聚类精度.