基于动量自适应学习率PSO-BP神经网络的钻速预测模型研究

机械钻速(rate of penetration, ROP)是钻井作业优化和减少成本的关键因素,钻井时有效地预测ROP是提升钻进效率的关键。由于井下钻进时复杂多变的情况和地层的非均质性,通过传统的ROP方程和回归分析方法来预测钻速受到了一定的限制。为了实现对钻速的高精度预测,对现有BP (back propagation)神经网络进行优化,提出了一种新的神经网络模型,即动态自适应学习率的粒子群优化BP神经网络,利用录井数据建立目标井预测模型来对钻速进行预测。在训练过程中对BP神经网络进行优化,利用启发式算法,即附加动量法和自适应学习率,将两种方法结合起来形成动态自适应学习率的BP改进算法,提高了BP神经网络的训练速度和拟合精度,获得了更好的泛化性能。将BP神经网络与遗传优化算法(genetic algorithm, GA)和粒子群优化算法(particle swarm optimization, PSO)结合,得到优化后的动态自适应学习率BP神经网络。研究利用XX8-1-2井的录井数据进行实验,对比BP神经网络、PSO-BP神经网络、GA-BP神经网络3种不同的改进后神经网络的预测结果...     

基于动量因子优化学习率的BP神经网络PID参数整定算法

针对传统BP神经网络学习过程中学习率选取过大导致振荡的问题, 提出一种新的BP神经网络PID(比例-积分-微分)参数自适应整定算法. 采用BP神经网络对PID参数进行自适应调节和优化, 并利用动量因子优化学习率和增加动量项抑制BP神经网络训练中出现的振荡现象, 以加快收敛速度. 实验结果表明, 该算法有效缓解了振荡现象, 加快了算法的收敛速度.     

基于动量因子优化学习率的BP神经网络PID参数整定算法

针对传统BP神经网络学习过程中学习率选取过大导致振荡的问题, 提出一种新的BP神经网络PID(比例-积分-微分)参数自适应整定算法. 采用BP神经网络对PID参数进行自适应调节和优化, 并利用动量因子优化学习率和增加动量项抑制BP神经网络训练中出现的振荡现象, 以加快收敛速度. 实验结果表明, 该算法有效缓解了振荡现象, 加快了算法的收敛速度.     

前馈型神经网络新学习算法的研究

前馈神经网络在非线性系统的建模及控制中有着广阔的应用前景,但是该网络的学习算法—向后传播算法(Backpropagation(BP)Algorithm)算法存在一些不足。为了提高多层前馈神经网络的学习效率及稳定性,引入了非线性最小二乘法。通过与其他学习算法的比较,得出结论:其中用差商近似代替导数的Powell法是一种高效、快速的学习方法,其学习速率比带动量项的学习率自适应的BP算法高一个量级,而比Daviden Fletcher Powell(DFP)、BroydenFletcher Goldfarl Shanno(BFGS)等变尺度方法以及其他非线性最小二乘法的稳定性要好得多。     

前馈型神经网络新学习算法的研究

前馈神经网络在非线性系统的建模及控制中有着广阔的应用前景,但是该网络的学习算法-向后传播算法(Backpropagation (BP) Algorithm)算法存在一些不足.为了提高多层前馈神经网络的学习效率及稳定性,引入了非线性最小二乘法.通过与其他学习算法的比较,得出结论:其中用差商近似代替导数的Powell法是一种高效、快速的学习方法,其学习速率比带动量项的学习率自适应的BP算法高一个量级,而比Daviden Fletcher Powell (DFP)、Broyden Fletcher Goldfarl Shanno (BFGS)等变尺度方法以及其他非线性最小二乘法的稳定性要好得多.     

BP网络自适应学习率研究

分析了自适应学习率BP算法,并对其进行了总结分类,针对每一类介绍了几种具体的自适应学习率BP算法。最后结合XOR问题把一种自适应学习率BP算法和标准BP算法进行了比较和评价。     

两种改进的BP神经网络学习算法

借鉴计算机网络拥塞控制中的"慢启动"策略,针对传统BP算法中存在的收敛速度慢与精度不高的不足提出了两种改进的变学习率学习算法,仿真结果表明改进的BP算法与自适应附加动量BP算法性能相近,其学习的收敛速度与精度优于传统的BP算法.     

基于改进BP神经网络预测蛋白质二级结构

蛋白质结构预测在生物信息学研究中占有重要地位,而蛋白质二级结构预测是蛋白质结构预测的关键步骤。针对标准BP算法存在的缺点,讨论采用几种不同的改进BP神经网络来实现蛋白质二级结构的预测,运用MATLAB语言实现各种改进算法的初始化和训练。并分析比较了它们对蛋白质二级结构预测精度的影响。实验表明,遗传算法结合动量法与学习率自适应调整策略的BP算法可获得较高的预测精度。     

一种改进的BP算法

传统的BP算法收敛速度慢，利用附加动量因子和自适应学习速率改进了传统的BP算法，它对于BP网络结构优化，提高收敛速度有明显效果.     

BP神经网络在高层结构体系选择中的应用

提取高层建筑结构选型的主要控制因素 ,以此建立基于 BP(Back- Propagation)神经网络的高层建筑结构体系选择的数学模型 .分别采用传统的 BP算法、改进的带动量自适应学习率 BP算法 ,以及 L- M(Levernberg- Marquart)算法 ,进行高层建筑结构体系选择的研究 .研究结果表明 ,传统的 BP算法和改进的带动量自适应学习率 BP算法 ,无法适应土木工程中大规模的数据结构 .而采用 L- M算法神经网络 ,较传统 BP算法快 10 2～ 10 3倍 ,并且精度高 ,可以较好地解决高层建筑结构体系选型问题 .     

基于BP神经网络的非特定人语音识别算法研究

当前非定特人语音识别算法大多只适于连续语音,且识别精度和速度均较低。为此,提出一种新的基于BP神经网络的非特定人语音识别算法,介绍了标准BP神经网络,针对其收敛速度慢的弊端,通过变化的自适应学习速率,令网络训练针对各种阶段自行设置学习速率值,利用变学习速率构建对应的改进BP神经网络模型,将改进的BP神经网络模型看作识别非特定语音的识别器,输入待识别语音,令累计预测残差达到最小,实现非特定人语音识别。将改进模型应用于非特定人语音识别中进行验证,结果表明所提算法识别率更高、识别速度更快,不仅适于连续语音的识别,也适于不连续语音的识别。     

BP网络模型的联合优化

针对 BP算法收敛速度慢、存在易于陷入局部极小值等缺点,不能有效地搜索到全局极小点。通过联合优化方法改进标准BP 算法,即通过黄金分割法动态调整学习系数:对 S 函数引入状态系数并进行分段;误差函数采用绝对和相对逼近精度相结合的方法。实验表明在一定程度上避免了学习中的局部极小问题,提高了学习效率,改进了网络的性能。     

用于故障模式识别的自适应模糊训练BP网络

针对ＢＰ算法固有的收敛速度慢和局部极小等问题,在对已有ＢＰ改进算法进行研究的基础上,提出了用于在线故障模式识别的自适应模糊加速训练算法,可在网络学习过程中,通过模糊推理,对网络拓扑结构、学习因子、惯性因子及激励函数进行自适应调整,实例验证表明该算法具有收敛速度快、不易陷入局部极小、网络综合性能好等特点。     

求解大规模可靠性问题的改进差分进化算法

针对差分进化算法典型变异算子的局限,设计了全局加速的变异算子,进而提出全局加速的自适应改进算法.新变异算子能够均衡全局搜索与局部搜索,提高寻优效率.根据差分向量与整个种群分布范围的关系,有针对性的设定变异率值,减缓搜索范围缩小的趋势,保持较高的种群多样性.采用两区间选择策略,通过学习和比较自适应地调整交叉率,使其满足进化搜索的需要,同时提高算法的通用性.将改进算法应用于大规模可靠性问题中,实验结果表明,改进算法在解决大规模系统可靠性问题时具有更好的寻优效果.     

BP小波神经网络在大断面隧道变形预测中的应用

将BP算法引入小波神经网络,自适应地调整小波系数和网络权重,同时利用自适应算法调节BP算法的学习率,提高收敛效率.以4车道隧道——前欧隧道的监测数据为基础,建立BP小波神经网络变形预测模型.预测结果表明:BP小波神经网络对地质条件相似,施工及初期支护方法相同的隧道断面变形进行预测,其预测结果满足工程精度要求,能较准确地...     

自适应学习速率法在变压器故障诊断中的应用

为了提高电力变压器故障诊断的准确率,针对油中溶解气体分析,提出了一种基于误差自动调节修正因子的自适应学习速率法,使神经网络通过自身的误差变化过程自动调整学习速率修正因子,保证网络总是以最大的可接受学习速率进行训练,从而提高网络收敛速度。针对电力变压器故障气体及故障类型的特点,建立了电力变压器故障诊断BP(Back-Propagation)网络模型,应用该算法和原算法对该故障诊断网络模型进行训练。仿真结果表明,该算法的训练次数减少了35.4%,收敛速度提高了44.9%,有效地改善了网络模型的性能。将该算法应用于电力变压器故障诊断,能较为精确地判断出电力变压器的故障类型,故障诊断准确率达90.8%。     

改进的神经网络算法在瓦斯涌出量预测中的应用

针对传统神经网络存在的收敛速度慢、容易陷入局部最小等缺陷,采用改良的BP算法———双权值迭代优化法,提高神经网络传统BP算法的训练速度。以三层神经网络为例,对权值进行优化。实验对比表明：双权值迭代优化法应用于瓦斯涌出量的预测,比一般BP网络有更高的预测精度和程序运行速度。     

一种基于优化小波神经网络的语音识别

在以往的BP小波神经网络中,最常用的学习算法是BP算法,BP算法实质上就是梯度下降法,是一种局部搜索算法,梯度下降法使得网络极易陷入局部最小值,从而使得网络训练结果不尽人意,搜索成功概率低.取代传统的梯度下降法,利用粒子群算法对小波神经网络中的参数进行优化.然后利用基于粒子群优化(PSO)的小波神经网络进行抗噪声语音识别实验,仿真结果表明,与BP网络相比,PSO算法在迭代次数、函数逼近误差、网络性能方面均优于BP网络,系统的识别率也得到较大的提高.