一种具有自适应动量因子的BP算法

为提高神经网络的训练速度,提出一种自适应确定带动量项BP算法中动量因子的方法.在学习率为常数情况下,根据误差函数关于权值向量的梯度变化情况,自适应调节动量因子.数值试验表明,该方法对离线和在线训练均有效,且在收敛速度和算法稳定性上优于常动量因子的BP算法.     

基于动量因子优化学习率的BP神经网络PID参数整定算法

针对传统BP神经网络学习过程中学习率选取过大导致振荡的问题, 提出一种新的BP神经网络PID(比例-积分-微分)参数自适应整定算法. 采用BP神经网络对PID参数进行自适应调节和优化, 并利用动量因子优化学习率和增加动量项抑制BP神经网络训练中出现的振荡现象, 以加快收敛速度. 实验结果表明, 该算法有效缓解了振荡现象, 加快了算法的收敛速度.     

基于动量因子优化学习率的BP神经网络PID参数整定算法

针对传统BP神经网络学习过程中学习率选取过大导致振荡的问题, 提出一种新的BP神经网络PID(比例-积分-微分)参数自适应整定算法. 采用BP神经网络对PID参数进行自适应调节和优化, 并利用动量因子优化学习率和增加动量项抑制BP神经网络训练中出现的振荡现象, 以加快收敛速度. 实验结果表明, 该算法有效缓解了振荡现象, 加快了算法的收敛速度.     

改进的Elman网络在非线性系统辨识中的应用

通过对Elman网络的研究,提出一种新型的基于输入层、隐层、输出层神经元递归的动态递归神经网络,给出Elman网络的标准BP学习算法,针对标准BP算法的收敛速度慢和容易收敛于局部极小点的缺点,利用非线性动量项自适应变步长的BP算法进行改进,从而提高算法的收敛速度,避免陷入局部极小点的问题.通过在系统辨识中的应用,表明该网络收敛速度快,模型精度高,并具有较强的自适应性和鲁棒性,适合于动态系统的实时辨识.     

基于区间二型模糊神经网络反演控制抑制二惯量系统的机械振动

针对带有不确定性和扰动的二惯量伺服系统,提出了一种基于区间二型模糊神经网络的自适应反演控制策略抑制系统的机械振动.首先建立了二惯量系统的动力学模型,设计了反演自适应控制律;其次系统中负载和电机两端未知的扰动变量定义为待估计项,采用区间二型模糊神经网络对其进行估计,给出了基于区间二型模糊神经网络的参数自适应律.基于李雅普诺夫稳定性理论,证明了闭环系统输出跟踪的收敛性,并且跟踪误差可以通过调节控制参数达到任意小.仿真结果表明该方法具有较好的控制性能.      

引入动态动量因子的共轭梯度多模盲均衡算法

为了克服传统多模算法收敛速度慢的缺点,提出了引入动态动量因子的共轭梯度多模盲均衡算法。该算法将共轭梯度方法及动量项引入多模算法中,得到了引入动量项的共轭梯度多模盲均衡算法的迭代公式。在研究动量因子变化规律的基础上,进一步引入指数函数的变形形式,构造了动量因子与误差之间的非线性函数关系。利用误差的递减规律实现动量因子的自适应减小,从而达到加快收敛速度,降低稳态误差的目的。理论分析和仿真结果均表明:提出的新算法与传统多模算法及共轭梯度多模算法相比较,能够有效地提高收敛速度,并且降低了稳态均方误差。     

基于动量BP神经网络的英文字符识别

英文字符识别已经广泛地应用于很多重要领域.已有的英文字符识别算法很多,一种典型的算法是BP神经网络算法.但是,BP神经网络算法有时不收敛,或陷入震荡.这就导致识别率下降.为此,本文研究了一种改进的称为动量BP神经网络算法用于英文字符识别.这种算法在BP神经网络算法的网络参数控制中添加一个动量系数和一个动量项.这样可以避免迭代的震荡,加快收敛速度.提高识别率.利用动量BP神经网络算法,对52个英文大小写字符进行了识别试验.实验结果表明,这种算法能获得满意的识别率.     

改进BP神经网络在交通事故预测中的研究

交通事故严重程度受多种因素的影响,适合用人工神经网络来建模预测.因为标准BP(Back Propagation,BP)神经网络具有收敛较慢的缺陷,所以在自适应学习和附加动量因子改进BP神经网络~([1])基础上做了进一步的优化改进,使附加动量因子也具有自学习性.利用改进后的BP神经网络算法,选取英国利兹市的公开交通事故数据集,用影响交通事故严重程度的多种影响因素和事故严重程度构建并训练神经网络,并对最新数据进行预测.通过大量的实验对比收敛速度和预测结果,验证了改进后的算法具有更快的收敛速度和更高的预测准确率.     

神经网络算法在特色农产品品质分类中的应用

针对新疆核桃品质分类问题,本文选取特征参数数据,采用神经网络的最速下降BP网络算法、自组织竞争算法、概率神经网络算法建立分类模型,做了训练和测试分类的工作.实验结果表明,三种算法中动量BP网络算法在实现中较为简易直观,相比三种算法,其网络收敛速度较慢,在动量因子的合理选取下,误差在一定范围可以达到收敛的最小震荡;自组织竞争网络在预先设定好的类别范围内,可将分布比较密集的样本进行更加细化的聚类分类,使得分类问题达到更优结果;概率神经网络具有较好的网络收敛速度.实验结果可为实现核桃类坚果的自动化分类、提高工作效率提供一定的理论依据.     

一种改进的BP算法

传统的BP算法收敛速度慢，利用附加动量因子和自适应学习速率改进了传统的BP算法，它对于BP网络结构优化，提高收敛速度有明显效果.     

基于自适应动量更新策略的Adams算法

Adam算法是目前最常用的优化算法之一，但其面临学习率震荡导致模型不收敛问题，其改进算法AMSGrad也存在梯度递减导致的二阶动量失效问题。针对上述问题，提出了基于自适应动量更新策略的Adams算法。首先，通过为一阶动量和二阶动量引入自适应更新参数，并在最后的参数更新期间采用较小的一阶动量更新参数，构建了一种自适应的动量更新策略。其次，基于该更新策略，提出了一种能够快速收敛的Adams算法。最后，通过理论分析证明了Adams算法的收敛性。基于文本分类和图像分类的对比实验表明，相比于Adam和AMSGrad算法，Adams收敛速度更快、训练结果更好，且具有优秀的泛化能力；消融实验证明了Adams算法自适应动量更新策略的有效性。     

自适应学习速率法在变压器故障诊断中的应用

为了提高电力变压器故障诊断的准确率,针对油中溶解气体分析,提出了一种基于误差自动调节修正因子的自适应学习速率法,使神经网络通过自身的误差变化过程自动调整学习速率修正因子,保证网络总是以最大的可接受学习速率进行训练,从而提高网络收敛速度。针对电力变压器故障气体及故障类型的特点,建立了电力变压器故障诊断BP(Back-Propagation)网络模型,应用该算法和原算法对该故障诊断网络模型进行训练。仿真结果表明,该算法的训练次数减少了35.4%,收敛速度提高了44.9%,有效地改善了网络模型的性能。将该算法应用于电力变压器故障诊断,能较为精确地判断出电力变压器的故障类型,故障诊断准确率达90.8%。     

ACPSO-BP神经网络在矿井突水水源判别中的应用

矿井多年来的连续开采使各含水层水质特征变得更加复杂、更为接近,应用经典数学方法难以建立精确的判别模型,使用具有非线性映射功能的BP神经网络可以克服以上问题,但其仍然具有易陷入局部最优和收敛速度慢缺点。通过将"早熟"判断机制、Tent混沌映射以及权重自适应调整策略引入粒子群算法中,建立基于自适应混沌粒子群算法和BP(ACPSO-BP)神经网络突水水源判别模型,应用结果表明:与BP神经网络模型、基于标准粒子群算法和BP(SPSO-BP)神经网络模型相比,ACPSO-BP神经网络模型具有收敛速度快、精度高和泛化能力强的特点。     

基于自适应神经网络的电路系统故障诊断研究

针对人工神经网络的特点,对传统BP算法进行了全面改进,通过采用自适应学习率和动量因子修正等方法,有效克服了传统BP算法在实际应用中学习收敛速度慢和容易出现局部极小点的缺点。以电路系统的故障诊断为例,引入了模糊数学中的隶属度函数,对故障特征量进行处理后作为自适应神经网络的输入,故障编码作为网络的输出。实验仿真结果表明,该系统对电路故障类型能够有效地进行诊断和识别。     

基于深度残差反向传播神经网络的钢筋腐蚀检测

针对小样本数据下浅层神经网络模型拟合能力不足,而加深网络层数出现网络性能退化问题,提出一种双跳跃深度残差BP神经网络模型,每个残差块堆叠三个同维度网络层,在网络的一、二层和一、三层之间加入双跳跃连接,增强浅层低非线性度特征信息向深层网络的直接传递和重复利用,且在反向传播过程中避免了梯度消失,提升模型分类准确率。同时引入一阶矩估计梯度指数加权平均因子对Adam算法中影响学习率的二阶矩估计梯度进行调整,优化网络的收敛能力。将改进后的算法模型用于钢筋腐蚀样本数据训练及测试,仿真结果表明,改进后的算法模型具有更好的分类性能。     

光面爆破效果BP神经网络预测

介绍了BP神经网络的基本原理，基于Matlab工具箱建立了预测光面爆破效果神经网络模型，从岩石力学性质，周边爆破参数两个方面对光面爆破效果进行分析和预测。为了加快神经网络模型的收敛速度。增强其跳出局部极小点的能力，采用了附加动量法和自适应学习速率结合的方法对网络进行训练，利用该模型对光爆效果进行了预测。取得了很好的效果。