一种自适应步长的复合梯度加速优化算法

自适应步长加速(Adam)类算法由于其计算效率高、兼容性好的特点，成为近期相关领域的研究热点.针对Adam收敛速度慢的问题，本文基于当前梯度、预测梯度以及历史动量梯度，提出一种新型Adam类一阶优化算法——复合梯度下降法(C-Adam)，并对其收敛性进行了理论证明.与其他加速算法的区别之处在于，C-Adam将预测梯度与历史动量区别开，通过一次真实的梯度更新找到下一次迭代更精准的搜索方向.利用两组常用测试数据集及45钢静拉伸破坏实验的实验数据对所提算法进行验证，实验结果表明C-Adam与其他流行算法相比较具有更快的收敛速度及更小的训练损失.     

一类预条件共轭梯度法

本文将PSD迭代法与CG共轭梯度法相结合，从而形成预条件共轭梯度法(PSD CG)，为解决大型稀疏对称正定方程组问题提供了一种有效的算法，并证明了其条件数要比原系数矩阵的条件数要低．一些实验结果表明PSD—PCG方法能加速收敛。     

河床演变计算中二维网格生成

采用椭圆型方程生成网格,网格的初始解由代数方法给出,讨论了系数选取对网格疏密调整的影响。变换的椭圆型方程用Ｇａｕｓｓ－Ｓｅｉｄｅｌ迭代,并辅之以超松驰加速收敛,分析了收敛准则对计算时间,网格光滑性及精度的影响,最后对复复杂边界的水库生成了符合要求的曲线网格。     

论线性方程组迭代解法的收敛与加速

本文应用Ｓｈａｎｋｓ变换讨论了线性方程组的迭代求解问题，在一定条件下将发散的迭代序列改变为收敛的序列，并探讨了收敛的迭代序列的加速问题。     

对经典Rosen算法的一点改进

用Rosen的投影梯度的方法求解凸约束优化问题中的对偶问题，在计算投影梯度的方向时，涉及到求关于原始变量的最小化问题的最优解，我们用并行算法计算出这一极小化问题的其近似解，证明近似解可以达到任何给定的精度，并说明当精度选取合适时，Rosen方法仍然是收敛的。     

基于共轭梯度法和最速下降法的非线性测量数据处理

将共轭梯度法与最速下降法有机结合起来，构造出一种解决非线性测量数据处理问题的新方法——混合算法。这种方法充分利用了共轭梯度法和最速下降法良好的收敛优点，既提高了共轭梯度算法的收敛速度，又解决了目标函数“性态不优”时，最速下降法难以解决的问题。文中的算例结果表明，混合算法与单纯的共轭梯度法或最速下降法相比，具有收敛速度快、收敛范围大、适应面宽等特点。     

微分进化算法在暴雨强度公式参数优化中的应用

用微分进化算法对暴雨强度公式参数进行优化, 并将其计算结果与传统方法、优选法以及加速遗传算法的计算结果作比较, 实例计算结果表明微分进化算法的拟合效果最好;相比于加速遗传算法, 微分进化算法提高了收敛速度, 有效地克服了不成熟收敛, 更容易收敛到全局最优解.     

图像复原的一种新的加速动量梯度投影法

该文提出了一种新的应用于图像复原的加速动量梯度投影法。该方法在负梯度的方向上添加一个动量项,并且动态地选取动量参数和步长,从而加速了算法的收敛。在合理的假设下,证明了算法的全局收敛性。数值试验表明,与当前先进的FISTA方法相比较,该文提出的算法无论是在时间上还是在图像复原的质量上都是有竞争力的。     

一种新的基于梯度动力学的协同神经网络学习算法

在研究协同神经网络梯度动力学过程的基础上，针对学习过程收敛速度缓慢的缺点，介绍了一种改进的基于梯度动力学的协同神经网络学习算法。该算法分析了非平衡注意参数对学习过程的影响，简化了初始伴随向量的选取；并引入最优化理论，将该问题归结为求解非线性最优化问题，提出了适时地用共轭梯度法代替梯度下降法的算法，加快了学习过程的收敛。通过对标准人脸图像库的图像识别实验表明该算法较之其他学习算法有较高的识别率，并能较快地收敛到极小值。     

非线性规划不用梯度作线搜索的算法及收敛性

首先给出求解无约束规划中步长搜索依赖的几个准则和一个线搜索方法，它们仅利用目标函数值，不依赖于梯度，然后，给出点列整体收敛的充分条件，并建立无约束规划的几个具有整体收敛性的算法。此外，还给出算法超线性收敛的条件，最后将方法应用于求解等式约束规划，产生其整体收敛的不用梯度的可行下降算法。     

几个具有相同收敛序列的局部凸拓扑的极拓扑构造

用极拓扑的方法讨论了局部凸Ｈａｕｓｄｏｒｆｆ线性拓扑空间（Ｘ，Ｔ）上几个特殊的与拓扑Ｔ有相同收敛序列的局部凸拓扑。主要结果是：（Ｔｃ０）ａ是Ｘ上最大的与Ｔ有相同收敛序列且与Ｔ相容的１．ｃ．ｓ拓扑；（Ｔｃ０）＾０是Ｘ上最大的与Ｔ有相同收敛序列且关于偶对（Ｘ，Ｘ＇）是允许的１．ｃ．ｓ拓扑，同时给出了Ｘ上最大的与Ｔ有相同收敛序列的１．ｃ．ｓ拓扑的极拓扑构造。     

广义F．Riesz定理及其证明

作为综合运用测度的积分控制收敛定理和线性连续泛函的延拓定理（简称控制收敛定理和延拓定理）的范例，本文首先给出广义Ｆ．Ｒｉｅｓｚ定理，再从构造变差函数着手，用分析的方法证明广义Ｆ．Ｒｉｅｓｚ定理。     

Williams级数收敛性与边界配位法计算的可行性

含有边裂纹弹性平板的精确解是在收敛域内的级数表示形式。其表达式与Ｗｉｌｌｉａｍｓ级数表达式完全等同，对于圆形的矩形域模型，研究了其收敛域内外的边界配位法计算问题，结果表明，Ｗｉｌｌｉａｍｓ级数收敛或与裂纹长度有关。     

深度捕食二次梯度加速差分进化算法

针对标准差分进化算法自身存在的贪婪而易于早熟的问题,提出一种深度捕食二次梯度加速差分进化算法.混合算法首先把整个搜索空间作为整体进行广泛搜索,并预设一个梯度加速触发参数,对种群中较优的个体采用基于梯度加速的局部搜索,使算法能够快速收敛到全局最优值.同时为了保持种群的多样性,设计了一种差分变异算子.通过与已有的改进算法仿真对比可知:该算法能够有效地跳出局部极值,防止算法早熟,且收敛速度快.结合相关文献对深度捕食二次梯度加速差分进化算法的工程应用进行了仿真研究,仿真结果验证了该方法的可行性和有效性.     

一种新的GM(1,1)建模方法——迭代加速法

在GM（1，1）逐步优化直接建模方法的基础之上，得到了迭代的收敛速度，并由此得到了迭代－加速公式。在参数a较大时，迭代加速法具有收敛速度快等优点，弥补了原逐步优化直接建模方法收敛速度慢的缺陷。     

基于加速收敛与递阶迭代的多变量系统辨识算法

根据递阶辨识原理和迭代辨识原理,可以实现多变量系统参数的准确辨识,但是其参数的收敛速度有待提高。该文针对参数的收敛性进行研究,提出了基于加速收敛技术的辨识方法。该方法根据递阶辨识原理将多变量系统分解成2个子系统,使其分别含有参数向量和参数矩阵,再根据迭代辨识原理得到参数的迭代解,并应用加速收敛技术进行加速。仿真实验表明:该方法可以得到很好的辨识结果,加速收敛技术的应用显著提高了参数的收敛速度。     

基于牛顿梯度的盲最大似然序列估计算法研究

为解决LMS类算法简单但收敛速度慢,RLS类算法收敛跟踪性能好但计算太复杂的不足,提出了基于牛顿梯度的盲最大似然序列估计算法,即将牛顿梯度算法与Viterbi-MLSE算法相结合。牛顿梯度法是用当前时刻的梯度估计代替前一时刻的梯度估计,并由矩阵求逆定理导出了一种新的相关函数自适应滤波算法。分析了基于牛顿梯度的盲最大似然序列估计算法的基本机理,并通过实验仿真验证了其可靠性。与传统的基于LMS的盲最大似然序列估计算法相比,具有收敛速度快的特点。     

基于随机加速对偶下降算法的分布式网络流量优化

传统的分布式网络流量优化问题大都通过对偶梯度下降算法来解决,虽然该算法能够以分布式方式来实现,但其收效速度较慢。加速对偶下降（accelerated dual descent,ADD)算法通过近似牛顿步长的分布式计算,提高了对偶梯度下降算法的收敛速率。但由于通信网络的不确定性,在约束不确定时,该算法的收敛性难以保证。基于此,提出了一种随机形式的ADD算法来解决该网络优化问题。理论上证明了随机ADD算法在不确定性的均方误差有界时,能以较高概率收敛于最优值的一个误差邻域;当给出更严格的不确定性的约束条件时,算法则可以较高概率收敛于最优值。实验结果表明,随机ADD算法的收敛速率比随机梯度下降算法快2个数量级。     

基于惯性动力系统的加速梯度算法

加速梯度算法是指在仅使用一阶梯度信息的前提下,比传统的梯度下降法有更快收敛速率的算法.针对二阶惯性动力系统,采用三种离散格式:辛格式、显式Euler及隐式Euler,分别对系统进行离散化,得到了三种不同的优化算法,通过构造了合适的Lyapunov函数,证明了由辛格式和隐式Euler得到的优化算法是加速梯度算法.     

一种融合梯度信息的粒子群优化算法

针对粒子群优化算法(PSO)存在盲目搜索、收敛速度慢的问题，提出一种融合梯度信息的改进粒子群优化算法，简记为GIPSO(Gradient Information based PSO)。利用目标函数的梯度信息指导粒子朝着适应值更低的方向搜索，可有效避免粒子的盲目搜索行为。首先，在线性权重粒子群算法的进化公式中嵌入目标函数的梯度信息，有效提升了改进方法的收敛精度；其次，随机选择一半的粒子使用含有梯度信息的速度进化公式以降低算法的计算量，在标准测试函数上的仿真实验结果表明，GIPSO算法在收敛速度与收敛精度方面，均优于基本PSO算法，线性权重衰减PSO算法，正太分布权重PSO算法等传统方法。