一个新的超记忆梯度法及全局收敛性

文章提出了一个新的超记忆梯度法解决无约束优化问题.该算法沿着目标函数的下降方向进行搜索,每步迭代提出的算法都充分地利用了前面多步迭代信息,避免目标函数海瑟阵的储存和计算,因此它适合解决大规模无约束优化问题.在适当的假设条件下,证明了所提出的算法具有全局收敛性.数值实验表明此算法的可行性.     

基于优化最小化的加强稀疏性的稀疏信号恢复算法

针对稀疏信号恢复算法对稀疏性约束不强的问题,提出了一种基于加强稀疏性非凸函数的稀疏信号恢复算法.通过分析收缩函数和惩罚函数的关系,提出一种新的具有加强稀疏性的非凸的惩罚函数,利用优化最小化(majorization-minimization,MM)方法构造非凸函数的凸上界,并对目标函数的凸部分和凸上界进行迭代求解,实现了对稀疏信号的加强恢复.相较于现存的基于非凸惩罚函数的稀疏信号恢复算法,本算法具有不受参数干扰和梯度方向包含目标函数非凸部分的优势.将提出的算法应用于稀疏无线信道的估计,仿真结果表明,该算法在噪声环境下可以使用更少的导频,取得更准确的信道估计结果.     

新的加速Bregman迭代方法在稀疏最小二乘问题中的应用

结合残量Bregman迭代方法以及不动点迭代方法提出一种迭代算法,对预测校正算法应用Nesterov技巧进行加速,并且作用于最小二乘问题。理论上证明了新算法得到的解收敛到目标函数的最优解,并将新算法应用到稀疏信号恢复问题上,数值试验表明新算法能够快速有效地恢复信号。     

修正的迭代近似梯度投影算法在压缩感知中的应用

通过设计一种新的Hessian矩阵的近似,得到函数在当前迭代点的二次近似模型,并利用该模型与延迟策略得出一种新步长.结合新步长,提出一种求解压缩感知中稀疏信号重构问题的修正迭代近似梯度投影算法,并给出收敛性证明.实验结果表明,该算法不仅能较好地恢复原始信号中的非零元素,有效地重构信号,而且与经典算法相比,重构效率较高.     

基于负曲率方向的复数域共轭梯度法

共轭梯度法是优化大规模目标函数的一种经典方法.根据复梯度、复Hessian阵与实梯度、实Hessian阵之间的关系,将共轭梯度法推广到复数域,用于解决复数域的优化问题.针对共轭法的一些缺点,如每步迭代利用线性搜索来确定优化的步长及可能寻找到的极值点不一定为极小值等缺点,提出在Hessian阵不正定时利用负曲率方向作为搜索方向,利用实数域二阶导数简化思想,使寻找下降负曲率方向简单化,同时根据目标函数信息调节搜索步长,保持函数值单调下降.对该算法进行复数域优化数值仿真,结果表明:该算法与复数域的SCG算法及Quasi-Newton算法相比,计算较为简单且优化效果更优.     

改进的基于步长自适应的自然梯度盲源分离算法

为解决盲源分离算法中收敛速度和稳定性的折中问题,基于最优步长的思想,提出了一种新的步长自适应的自然梯度盲分离算法.在自然梯度盲分离算法的基础上,对步长进行自适应迭代,步长偏移量的选取原则是使得下一次迭代时的步长最优,或者说目标函数最小.仿真结果表明,提出的算法相对固定步长自然梯度算法,其收敛速度提高了1倍以上,而系统的稳定性能基本不变.     

一种特殊的下降算法——分裂梯度法

求解无约束优化问题,常用的方法有下降算法,牛顿法,共轭梯度法等。当目标函数为几个光滑函数的和时,一些学者提出并研究了增量梯度算法。其基本思想是循环选取单个函数的负梯度作为迭代方向。增量梯度算法的迭代方向不一定是下降方向,所以不能用下降算法的一维搜索确定步长,因为受限于步长的选择,收敛效率不高。本文结合了下降算法和增量梯度算法的思想,提出了分裂梯度法。简单的说,分裂梯度法循环考虑单个函数的负梯度方向,如果这一方向是下降方向,则选择这一方向为迭代方向;否则选取函数的负梯度方向为迭代方向。最后通过数值实验与最速下降算法、随机下降算法以及增量梯度算法进行对比,结果表明对于某些优化问题,采用分裂梯度法更有效。     

基于弹性接触的共轭梯度算法

为了解决有约束的基于共轭梯度二次规划算法的多次迭代问题,结合共轭梯度算法和有效集策略,提出了一个新的算法模型,通过对变量的截取(使用Polak-Bibiere公式)来避免重新开始共轭梯度算法,在大规模的弹性接触问题中,大量的结果表明了这个算法的有效性。     

发散步长准则下的增量聚合梯度算法

针对目标函数是若干光滑函数之和的优化问题,提出采用发散步长准则的增量聚合梯度算法。与增量梯度算法一样,增量聚合梯度算法的每次迭代也只需要计算其中一个函数的梯度。目前关于增量聚合梯度算法的研究主要是采用常值步长的增量聚合梯度算法,这一算法要求目标函数二阶连续可微且强凸,且常值步长的选取依赖最优点的二阶导数;而发散步长准则不依赖目标函数。在目标函数的梯度有界且李普希兹连续假设条件下,证明了采用发散步长的增量聚合梯度算法的收敛性;最后,通过数值例子验证了算法的收敛性,并与采用相同步长准则的增量梯度算法进行比较;数值结果表明对于某些优化问题,增量聚合梯度算法比采用相同步长的增量梯度算法更有效。     

迭代加权l1算法在双信号重构中的应用

讨论两个稀疏信号恢复问题,利用对数促稀疏函数提出新的双信号重构模型,并将其转化为无约束最小二乘问题.使用中的迭代加权l1算法(IRL1e1)进行求解.在适当假设下证明了该算法的收敛性.进行数值测试,并与Gist和IRLS算法进行了数值对比.实验结果表明我们的算法具有较少的CPU时间及迭代次数.     

基于遗传优化算法的二维漏磁缺陷重构

信号逆问题,即从测量信号中恢复出缺陷轮廓及其参数,是漏磁无损评估中的一个重要课题.提出了一种基于遗传算法的逆算法,用于从漏磁信号中重构二维缺陷.在该算法中,径向基函数(RBF)神经网络用作前向模型,遗传算法用于求解逆问题中的优化问题,其优点是能够避免基于梯度下降法的迭代逆算法中可能遇到的局部最小问题,并能得到逆问题的全局最优解.实验结果验证了所提出的逆算法的有效性.     

基于遗传优化算法的二维漏磁缺陷重构

信号逆问题，即从测量信号中恢复出缺陷轮廓及其参数，是漏磁无损评估中的一个重要课题。提出了一种基于遗传算法的逆算法，用于从漏磁信号中重构二维缺陷。在该算法中，径向基函数（RBF）神经网络用作前向模型，遗传算法用于求解逆问题中的优化问题，其优点是能够避免基于梯度下降法的迭代逆算法中可能遇到的局部最小问题，并能得到逆问题的全局最优解。实验结果验证了所提出的逆算法的有效性。     

Logistic映射分支值的最优化算法

以具有生态特征的代数迭代系统Logistic映射动力系统的倍周期分叉问题为例,研究了精确计算迭代系统分支点的方法·以迭代过程关系构成目标函数,参数为设计变量,迭代变量的边界为约束,建立关于分支值计算的新方法含约束条件的最优化程序算法·这种方法将约束转化为惩罚项,采用惩罚函数法巧妙地对所建立的最优化问题求解,并获得了较为精确的结果·提出了快速精确计算代数迭代系统分支值的思想·这将是通向混沌的快速之路     

非线性等式约束优化问题的无惩罚型方法

对非线性等式约束优化问题的一类无惩罚型方法，在没有约束梯度线性独立的假设条件下，分析了在迭代点的可行性条件和目标函数同时改善时的性质，讨论了算法的全局收敛性。     

求解拟变分不等式问题的一类无导数下降算法

利用广义正则gap函数的方向导数,构造了一种迭代方向,提出了一类求解拟变分不等式问题的算法。此算法不需关心目标函数的梯度计算问题,与相关文献比较,该算法的适用范围更加广泛。在某些假设条件下,证明算法的收敛性。     

凸-凹极小极大优化问题的零阶梯度下降上升算法

【目的】为了解决基于梯度下降上升算法在某些应用中,目标函数的梯度信息计算昂贵或难以获取的问题。【方法】基于此,针对一类凸-凹极小极大优化问题,在梯度下降上升算法(OGDA)的框架下,基于均匀分布的平滑化方法用差商来近似函数梯度信息,提出了一类零阶梯度下降上升算法(ZO-OGDA)。【结果】基于带误差的邻近点算法的收敛性分析理论,证明得到所提算法ZO-OGDA取得ε-稳定点的迭代复杂度为O(ε^-1)。【结论】最后通过数值仿真,实验结果表明所提出的算法ZO-OGDA在数值上与算法OGDA表现相近。     

PET成像的加权最小二乘重建算法

针对正电子发射断层成像系统,提出一种基于加权最小二乘函数的迭代重建算法.与传统的梯度型算法不同,在迭代过程中,此算法利用当前迭代点构造辅助函数,使用辅助函数的最优解代替目标函数的最优解,获得新的迭代点.该算法自动满足非负约束,无需步长因子,保证目标函数单调递减,并且具有全局收敛性.使用模拟数据和真实医学诊断数据进行实验...     

基于Bandit反馈的分布式在线对偶平均算法

为解决梯度信息难以获取的分布式在线优化问题,提出了一种基于Bandit反馈的分布式在线对偶平均(DODA-B)算法。首先,该算法对原始梯度信息反馈进行了改进,提出了一种新的梯度估计,即Bandit反馈,利用函数值信息去近似原损失函数的梯度信息,克服了求解复杂函数梯度存在的计算量大等问题。然后,给出了该算法的收敛性分析,结果表明,Regret界的收敛速度为O(T~(max{k,1-k})),其中T是最大迭代次数。最后,利用传感器网络的一个特例进行了数值模拟计算,计算结果表明,所提算法的收敛速度与现有的分布式在线对偶平均(DODA)算法的收敛速度接近。与DODA算法相比,所提出算法的优点在于只考虑了函数值信息,使其更适用于梯度信息获取困难的实际问题。     

非线性最优化问题几种梯度算法的研究

借助目标函数的梯度或次梯度作为搜索方向解决最优化问题的最优化算法.研究共轭梯度法、投影梯度法、增量次梯度法以及邻近梯度法的迭代形式、迭代特点、收敛性分析以及实际应用范围,并介绍一些与梯度算法相关的最优化方法,对它们在收敛性、算法运用以及优缺点方面进行比较.     

多种概率分布源的盲源分离快速算法

基于目标函数迭代优化的方法在解决线性混合情况下,源信号存在多种概率密度分布的盲源分离问题时,需要对非线性函数以及迭代步长进行正确的选择,算法比较复杂;针对此问题,提出一种基于高阶统计的快速分离算法,该算法可以有效地避免上述问题.实验结果表明,该算法能够快速有效地分离出不同概率密度分布的混合信号.