神经网络权值和阈值的优化方法

为确定多层神经网络权值和阈值建立了真实的最优化求解方法,即将网络总体平均误差建立为目标函数,以权值和阈值作为设计变量,采用梯度法和共轭梯度法对网络权值和阈值进行优化计算·通过ＢＰ算法、梯度法和共轭梯度法对相同实例网络权值和阈值计算,验证了所提出的优化方法的有效性,实现了权值和阈值的快速准确计算·     

多层神经网络共轭梯度优化算法及其在模式识别中的应用

将神经网络总体平均误差作为目标函数,以待求的神经网络权值和阈值作为设计变量,通过设计变量合理排序与分配,提出多隐层多层神经网络权值和阈值计算的高精度真实共轭梯度最优化算法·与BP算法和梯度优化算法相比,既能实现每步迭代在搜索方向上获得最优步长保证目标函数递减,又能克服在目标点附近的振荡现象·编制出神经网络权值和阈值计算的通用程序,给出神经网络合理结构选择的基本原理·通过足球机器人位置分析算例的神经网络分析和模式识别,表明所提出算法的有效性和实际应用价值·     

在最优准则下的共轭梯度重建算法

将最小二乘准则与平滑准则相结合,提出了一个关于SIRT型CT代数重建模型的实用的最优准则,根据这一准则推导出相应的代数重建方程·分别应用预优共轭梯度算法和另一种新兴的迭代格式SOR like算法对该方程进行求解·在理论上证明了:对任意的迭代初值,预优共轭梯度法的收敛速度至少不低于广义SOR或SOR like算法·在数值实验中,验证了预优共轭梯度算法比SOR like算法具有更好的CT重建效果和消噪能力·由此导出的预优共轭梯度重建算法提高了CT代数重建的效率·     

求解无约束优化问题的两个谱共轭梯度法的全局收敛性

谱共轭梯度法含有两个方向调控参数,是一种结合共轭梯度法和谱梯度法的无约束优化方法。本文建立新的共轭参数和谱参数,提出无约束优化问题的两个谱共轭梯度法,这两个新方法在精确线搜索下等价于FR共轭梯度法。然后,证明了算法1在Wolfe线搜索下和算法2在Armijo线搜索下的全局收敛性,并给出了算法的数值实验结果,验证了算法的有效性。
     

一种非线性扩展混合共轭梯度算法的全局收敛性

描述了非线性FR共轭梯度法、非线性PRP共轭梯度法、非线性DY共轭梯度法等求解大规模无约束优化问题的有效算法.研究了计算更为有效的适合求解无约束优化问题的一种非线性扩展混合共轭梯度算法;给出了在Wolfe型线搜索下的非线性扩展混合共轭梯度法,算法产生的方向为下降方向.在一般的条件下,给出了算法的全局收敛结果,且数值实验表明算法十分有效.     

基于啮合角函数的非圆齿轮共轭齿廓直接求解

定义了非圆齿轮啮合角函数的概念,提出了基于啮合角函数的非圆齿轮共轭齿廓的直接求解方法·建立了齿廓求解的运动几何学模型,给出了齿廓方程,给出了齿廓啮合原理的啮合角函数表达式·该方法,给定啮合角函数,无需坐标变换,可直接求解共轭齿廓,简化了非圆齿轮共轭齿廓的求解·该方法亦适用于圆齿轮齿廓,实现了圆齿轮和非圆齿轮共轭齿廓求解的高度统一·为齿轮传动的设计计算提供了一种有效的新途径·     

一种改进BP网络用于电磁兼容预测

为了更好地对电磁兼容进行预测,提出采用人工神经网络的方法.为了改善BP神经网络的性能,提出如下两步改进:采用剪枝法计算最佳隐层神经元数目,同时采用共轭梯度-LM算法计算网络权值.以平行线间电磁耦合干扰为具体算例,证明本文算法的预测结果的均方误差仅有10-11数量级.说明,本文算法有效.     

求解无约束优化问题的两个谱共轭梯度法的全局收敛性

谱共轭梯度法含有两个方向调控参数,是一种结合共轭梯度法和谱梯度法的无约束优化方法。本文建立新的共轭参数和谱参数,提出无约束优化问题的两个谱共轭梯度法,这两个新方法在精确线搜索下等价于FR共轭梯度法。然后,证明了算法1在Wolfe线搜索下和算法2在Armijo线搜索下的全局收敛性,并给出了算法的数值实验结果,验证了算法的有效性。     

α射线露点传感器温度跟踪补偿

介绍了采用半导体探测器和温度传感器研制成的α射线露点传感器的工作原理·分析了α射线露点传感器的温度特性,表明测量范围较宽时,传感器的输出易受环境温度的影响,并且呈非线性·提出一种基于神经网络共轭梯度算法的α射线露点传感器温度跟踪补偿方法·利用神经网络共轭梯度算法具有逼近任意非线性函数的特点,通过训练使神经网络建立在不同环境温度下传感器输出与其实际感受的电压值之间的非线性映射关系,实现α射线露点传感器温度补偿·计算机仿真表明,该方法不仅能有效地消除温度的影响,而且能在神经网络的输出端得到期望的线性输出·     

无约束非线性优化问题的混合LS-CD谱共轭梯度法

为寻求收敛性质和数值表现具佳的无约束优化算法,利用共轭梯度法和含有两个方向调控参数的谱共轭梯度法,结合LS方法与CD方法给出混合的共轭参数和相应的谱参数,建立采用标准Wolfe线搜索的谱共轭梯度算法,证明了算法满足下降性和全局收敛性,数值试验显示算法是有效的,适合于求解大型无约束非线性优化问题.研究结果表明:谱共轭梯度法两个参数的适当构造有利于降低算法的收敛条件,增强算法的适用性.     

小生境遗传算法优化的BP神经网络模型

针对传统BP神经网络模型收敛速度慢、易陷入局部极小点、网络结构不稳定等缺陷,提出一个小生境遗传算法优化的BP神经网络模型.该模型充分利用小生境遗传算法的搜索能力和BP神经网络的非线性映射和学习联想能力,通过小生境遗传算法的选择、交叉、变异及小生境淘汰等操作,优化BP神经网络的初始权值和阈值,并采用BP算法对网络进行训练,有效解决网络初值不合理的问题,提高网络收敛速度、稳定性.实验证明:与传统方法相比,该模型具有很强的可行性和有效性.     

采用NGA优化的新型BP神经网络模型及诊断应用

针对传统BP神经网络模型收敛速度慢、易陷入局部极小点、网络结构不稳定等缺陷,提出了一种小生境遗传算法优化的BP神经网络模型。该模型充分利用小生境遗传算法的搜索能力和BP神经网络的非线性映射和学习联想能力,通过小生境遗传算法的选择、交叉、变异及小生境淘汰等操作,优化BP神经网络的初始权值和阈值,并采用BP算法对网络进行训练。有效解决了网络初值不合理的问题,提高了网络收敛速度、稳定性。最后结合变压器故障诊断实例。在Matlab7.0平台上进行仿真实验。实验结果证明:与传统方法相比,该模型具有很强的可行性和有效性。     

用于前馈神经网络的遗传设计

在人工神经网络应用中,由于存在网络规模和拓扑结构难以预先确定,网络学习速度慢,且易于收敛到局部最优点等问题,有关文献提出了采用基于遗传算法（ＧＡｓ） 思想进行设计和学习的方法,该方法能够同时确定网络的结构及有关参数。该文在此基础上,对此方法进行了改进,改进之处在于,采用浮点数矩阵来表示编码,同时对于遗传算法的进化过程也进行了一定的改进,使该方法能够接受一定的约束条件。针对前馈型神经网络,该方法在满足一定约束条件的情况下,能同时有效地寻找到合适的网络结构和相应的参数（ 神经网络的权值和阈值） , 新方法较原方法在精度和速度上都有较大的提高。     

基于IPSO-BP神经网络的坝基扬压力预测方法研究

针对坝基扬压力预测的传统BP神经网络模型初始权值和阈值随机性强、易陷入局部最优等局限,采用惯性权重动态调整的改进粒子群算法对BP网络的初始权值和阈值进行优化,建立了基于IPSO的BP神经网络坝基扬压力预测模型．通过算例验证算法的优越性及程序的准确性,并以某大坝多年扬压力监测数据进行工程实例应用,结果表明,IPSO—BP扬压力预测模型与传统BP模型相比,拟合相关系数大,统计误差小,预测精度更高．     

GA-SAPSO神经网络模型的构建

BP神经网络存在寻优参数多、收敛速度慢、易陷入局部极小的固有缺陷,为改进其网络性能,本文利用遗传-模拟退火粒子群算法(GA-SAPSO)对BP神经网络的初始权值及神经元阀值进行优化处理,并重新构建网络模型.实例仿真结果表明:所构建模型降低了BP网络结构的复杂性,避免了网络参数选取的盲目性,提高了网络的计算精度.     

基于人工鱼群算法优化神经网络的WSN数据融合

无线传感网(wireless sensor network, WSN)通常节点众多、数据冗余度高,传统的基于随机权值和阈值的前馈反向传播神经网络(back propagation neural network, BPNN)数据融合方法易陷入局部极值,导致融合结果准确性差。提出一种优化神经网络的权值和阈值进而改善WSN数据融合质量的方法-人工鱼群算法前馈反向传播(artificial fish swarm algorithm back propagation, AFSABP)神经网络数据融合。仿真和对比实验结果表明,改进的鱼群算法在收敛速度和寻优精度上都有明显提升,改进后的人工鱼群BP算法数据融合方法相较于传统BP数据融合方法,可减少3.06%的相对误差和3.74%的均方根误差。     

基于改进GA-BP的移动通信用户流失预测算法

BP神经网络(BPNN)模型对移动通信用户流失的预测有较好的效果,但其全局搜索能力相对较弱,对初始网络权重非常敏感,因此本文通过对用户通信行为的分析,提出一种基于改进GA-BP的移动用户流失预测算法:用改进的遗传算法对BPNN的权值和阈值进行初始化,从而提高预测模型的准确率.改进的遗传算法采用一种自适应的交叉概率和变异概率计算策略,提高了遗传算法寻找全局最优解的能力.通过对比实验发现,本文构建的移动用户流失预测模型,在预测准确率上有着很好的表现.     

基于改进天牛群算法优化的BP神经网络的入侵检测

针对传统BP神经网络的入侵检测中,BP神经网络模型存在容易陷入局部最优、收敛速度慢、初始值随机性较大等缺点,本文提出改进天牛群算法(Beetle Swarm Optimization,BSO)用于优化BP神经网络的权值与阈值,并采用可变的感知因子及导向性的学习策略,以增强算法跳出局部最优的能力,提升算法全局寻优能力。利用天牛群算法群体智能的特点,提高BP神经网络的收敛速度。并将天牛群优化的BP神经网络模型应用于入侵检测,仿真实验结果表明优化后的BP神经网络模型能够显著提高模型的收敛速率和对入侵数据的检测率,降低误报率。     

基于分层遗传算法的BP神经网络学习算法

针对BP算法局部搜索能力强,而分层遗传算法全局搜索优势突出的特点,结合二者优势构造了一种分层遗传算法与BP算法相结合的前馈神经网络学习算法．将分层遗传算法引入到前馈神经网络权值和阈值的早期训练中,再用BP算法对前期训练所得性能较优的网络权值、阈值进行二次训练得到最终结果．仿真结果表明,该混合学习算法能够较快地收敛到全局最优解,优于BP算法、分层遗传算法,具有一定的实用价值．