基于自适应动量更新策略的Adams算法

Adam算法是目前最常用的优化算法之一，但其面临学习率震荡导致模型不收敛问题，其改进算法AMSGrad也存在梯度递减导致的二阶动量失效问题。针对上述问题，提出了基于自适应动量更新策略的Adams算法。首先，通过为一阶动量和二阶动量引入自适应更新参数，并在最后的参数更新期间采用较小的一阶动量更新参数，构建了一种自适应的动量更新策略。其次，基于该更新策略，提出了一种能够快速收敛的Adams算法。最后，通过理论分析证明了Adams算法的收敛性。基于文本分类和图像分类的对比实验表明，相比于Adam和AMSGrad算法，Adams收敛速度更快、训练结果更好，且具有优秀的泛化能力；消融实验证明了Adams算法自适应动量更新策略的有效性。     

动量化GA-BP算法的全局极小值搜索

针对传统BP神经网络算法存在收敛速度慢、易于陷入局部极小的缺点,提出了动量化GA-BP算法,即对传统BP算法引入动量因子,以提高网络的收敛速度,并将其与BP神经网络算法结合起来,充分利用遗传算法的全局搜索性能进行"粗"搜索.当搜索到全局最优点的附近时,再采用BP算法进行局部搜索,这样避免陷入局部极小,从而得到了全局最优解.煤矿安全等级预测的实验表明:动量化GA-BP算法能快速、精确地收敛,最终得到问题的全局极小值,取得了满意的预测结果.     

基于GRU改进RNN神经网络的飞机燃油流量预测

利用从飞机快速存储记录器(quick access recorder, QAR)中获取的大量数据设计研究了一种利用循环神经网络(recurrent neural network, RNN)及其改进网络门控循环单元(gate recurrent unit, GRU)进行飞机燃油流量预测的模型。首先使用基于时间的反向传播算法(back propagation trough time, BPTT)训练网络,Adam优化算法加速迭代更新神经网络权重。在参数调整实验中发现循环神经网络对历史信息利用能力不足,极易发生梯度消失与梯度爆炸,遂提出改进网络结构,引入GRU重构燃油流量预测模型。在最优的超参数条件下,重构模型在训练集和测试集上的损失函数均方误差(mean squared error, MSE)值分别为0.001 08、0.000 97。通过与朴素RNN的预测曲线和MSE对比可以发现,改进后的GRU网络能够"记忆"更多历史信息而不易出现梯度消失或梯度爆炸的问题,预测精度与曲线拟合能力显著提高。因此,GRU重构模型显著改善了预测能力,并通过实际案例验证该预测模型在故障诊断等领域的应用。     

多步梯度下降的变步长NLMS算法

如何选取一个合适而可靠的步长来折中归一化最小均方(Normalized Least Mean Squares,NLMS)自适应算法的收敛速度以及稳态误差,一直是自适应NLMS算法应用中未能很好解决的问题.针对这个问题,本文提出了一种多步梯度下降的变步长NLMS自适应算法.分析表明:该算法在利用固定的小步长参数来保证小的稳态误差的同时,通过调整动量项来加速自适应算法的收敛速度,从而很好地解决了自适应NLMS算法应用中收敛速度和稳态误差的平衡问题.理论分析给出了调节动量项的步长参数和算法收敛性及稳态误差之间的关系.仿真结果证明了上述分析的正确性.     

图像复原的一种新的加速动量梯度投影法

该文提出了一种新的应用于图像复原的加速动量梯度投影法。该方法在负梯度的方向上添加一个动量项,并且动态地选取动量参数和步长,从而加速了算法的收敛。在合理的假设下,证明了算法的全局收敛性。数值试验表明,与当前先进的FISTA方法相比较,该文提出的算法无论是在时间上还是在图像复原的质量上都是有竞争力的。     

MADALINES人工神经网络及其快速学习算法研究

在研究MADALINES人工神经网络中心差梯度学习算法(CDG)的基础上,提出了一种加速中心差梯度学习算法(SCDG),给出了该算法收敛性的证明,在计算机上模拟实现了SCDG算法且分析了实验结果,理论分析与实验均表明,SCDG算法较之传统的CDG算法,收敛速度提高了二个数量级以上.     

引入动态动量因子的共轭梯度多模盲均衡算法

为了克服传统多模算法收敛速度慢的缺点,提出了引入动态动量因子的共轭梯度多模盲均衡算法。该算法将共轭梯度方法及动量项引入多模算法中,得到了引入动量项的共轭梯度多模盲均衡算法的迭代公式。在研究动量因子变化规律的基础上,进一步引入指数函数的变形形式,构造了动量因子与误差之间的非线性函数关系。利用误差的递减规律实现动量因子的自适应减小,从而达到加快收敛速度,降低稳态误差的目的。理论分析和仿真结果均表明:提出的新算法与传统多模算法及共轭梯度多模算法相比较,能够有效地提高收敛速度,并且降低了稳态均方误差。     

一类预条件共轭梯度法

本文将PSD迭代法与CG共轭梯度法相结合，从而形成预条件共轭梯度法(PSD CG)，为解决大型稀疏对称正定方程组问题提供了一种有效的算法，并证明了其条件数要比原系数矩阵的条件数要低．一些实验结果表明PSD—PCG方法能加速收敛。     

基于改进RBF神经网络的电力系统短期负荷预测

提出一种交替梯度算法,对径向基函数(RBF)神经网络的训练进行改进.改进的算法与传统梯度下降算法相比,具有更快的收敛速度和更高的预测精度.采用该改进算法应用于电力系统短期负荷预测模型,综合考虑了气象、日类型等影响负荷变化的因素,预测结果表明该算法具有一定实用性.     

改进BP神经网络在交通事故预测中的研究

交通事故严重程度受多种因素的影响,适合用人工神经网络来建模预测.因为标准BP(Back Propagation,BP)神经网络具有收敛较慢的缺陷,所以在自适应学习和附加动量因子改进BP神经网络~([1])基础上做了进一步的优化改进,使附加动量因子也具有自学习性.利用改进后的BP神经网络算法,选取英国利兹市的公开交通事故数据集,用影响交通事故严重程度的多种影响因素和事故严重程度构建并训练神经网络,并对最新数据进行预测.通过大量的实验对比收敛速度和预测结果,验证了改进后的算法具有更快的收敛速度和更高的预测准确率.     

历史数据驱动的多尺度量子谐振子优化算法

多尺度量子谐振子优化算法(MQHOA)是近年提出的一种基于量子物理的自然计算方法.本文针对该算法未能充分利用迭代中历史信息的问题，提出一种历史数据驱动的多尺度量子谐振子优化算法(HI-MQHOA).在两步迭代过程中，HI-MQHOA引入历史数据作为驱动，形成下一代个体分布的参数及动态调整算法尺度.形成的下一代个体分布参数可以有效指导算法的开发和探索，动态尺度调整可以避免早熟停滞.通过多个经典测试函数验证，该算法在解的质量、准确率和伸缩性方面优于MQHOA和改进的MQHOA，以及其他自然计算算法.     

基于转移概率矩阵自学习的犯罪分布预测

针对犯罪分布预测准确率低,历史犯罪数据缺失严重的问题,提出了基于历史犯罪数据,融合所研究地区的社会环境因素的转移概率矩阵自学习的犯罪分布预测算法——TWcS.将包括距离信息、面积信息、人口信息在内的社会环境因素作为权重值引入到梯度下降策略中,利用梯度下降实现TWcS算法的转移概率矩阵自学习.实验结果证明,TWcS算法的性能明显优于包括当前最优基线算法（TPML-WMA）在内的其他预测算法（如LR、AR、Lasso回归算法、贝叶斯算法、决策树算法等）,TWcS算法的MAE值是其他算法MAE平均值的33%.      

耦合Sylvester矩阵方程的改进的梯度迭代算法

本文通过构造矩阵分裂,结合线性系统的迭代方法,提出了求解耦合Sylvester矩阵方程的两种梯度迭代算法,并研究了这两种算法在满足初始迭代条件下的收敛性.最后给出数值算例验证了这两种算法的有效性.     

一种改进的ICA算法及其在fMRI信号上的应用

摘要:给出了独立成分分析(ICA)的一个优化模型,在此基础上,提出了一种牛顿型迭代算法,为加快算法的收敛速度,对牛顿迭代进行了进一步修正,使该算法收敛速度达到三阶.本文从理论上阐明了新方法的合理性和优越性,同时将其应用于实际fMRI数据,经与其他两个ICA算法(Fast ICA算法、infomax算法)比较,该算法能够很好地分离出任务成分,同时大大减少了运算量,提高了运算速度,对处理大数据量的fMRI信号有明显的优势.     

Implementation of an efficient segregated algorithm-IDEAL on 3D collocated grid system

The segregated algorithm-IDEAL (inner doubly-iterative efficient algorithm for linked-equations) is an efficient and stable algorithm. In this algorithm, there exist inner doubly-iterative processes for pressure equation, which almost completely overcome two approximations in SIMPLE algorithm. Thus the coupling between velocity and pressure is fully guaranteed, greatly enhancing the convergence rate and stability of iteration process. In this paper, implementation of the IDEAL algorithm on a 3D collocated grid system is conducted. The interface velocity is calculated by the modified momentum interpolation method (MMIM), by which the converged result is independent of the under-relaxation factor. Finally, five three-dimensional incompressible fluid flow and heat transfer problems are provided to compare the convergence rate and robustness between the IDEAL and three other most widely-used algorithms (SIMPLER, SIMPLEC and PISO). By the comparison it can be concluded that the IDEAL algorithm is more robust and efficient than the three other algorithms. Supported by the Key Project of National Natural Science Foundation of China (Grant No. 50636050), Fundamental Projects of Research and Development in China (973) (Grant Nos. 2006CB601203 and 2007CB206902)     

基于随机梯度上升和球面投影的通用对抗攻击方法

在面向样本集的通用对抗攻击中，导致多数样本输出错误的通用扰动设计是研究关键.本文以典型卷积神经网络为研究对象，对现有通用扰动生成算法进行总结，提出采用批量随机梯度上升训练策略和球面投影搜索策略相结合的通用扰动生成算法.算法的每次迭代计算，首先从样本集中抽取小批量样本，采用随机梯度上升策略计算出使损失函数值下降的通用对抗扰动，然后将通用扰动投影到半径为ε的高维球面上，从而缩小通用扰动的搜索空间.算法还引入了正则化技术以改善通用扰动的生成质量.实验结果证明该算法与基线算法对比，攻击成功率显著提升，通用扰动的求解效率提高约30倍.     

求解极大单调包含问题的一种新的近似邻近点算法

采用经典的非精确邻近点算法作为预测步,并采用当前迭代点的一个凸组合作为校正步,提出了一种新的用于求解极大单调包含问题的近似邻近点算法.在仅要求解集非空的前提下,证明了新算法具有全局收敛性.一些现有算法可以看作是新算法的特殊情形.     

基于深度残差反向传播神经网络的钢筋腐蚀检测

针对小样本数据下浅层神经网络模型拟合能力不足,而加深网络层数出现网络性能退化问题,提出一种双跳跃深度残差BP神经网络模型,每个残差块堆叠三个同维度网络层,在网络的一、二层和一、三层之间加入双跳跃连接,增强浅层低非线性度特征信息向深层网络的直接传递和重复利用,且在反向传播过程中避免了梯度消失,提升模型分类准确率。同时引入一阶矩估计梯度指数加权平均因子对Adam算法中影响学习率的二阶矩估计梯度进行调整,优化网络的收敛能力。将改进后的算法模型用于钢筋腐蚀样本数据训练及测试,仿真结果表明,改进后的算法模型具有更好的分类性能。