多层感知器学习算法研究

多层感知器是一种单向传播的多层前馈网络模型,由于具有高度的非线性映射能力,是目前神经网络研究与应用中最基本的网络模型之一．BP算法是多层前向神经网络中应用最重要的算法,但是由于BP算法实质是一种梯度下降的搜索算法,它存在着其固有的不足,如收敛速度较慢,易于陷入误差函数的局部极值．本文基于权值外推和三项因子的思想,提出了一种改进算法,能够有效的提高网络收敛的速度和精度,计算机仿真结果也有力的证实了这一点．     

多层神经网络的快速BP算法

首先分析了BP算法中的误差函数对收敛精度的影响,给出了综合考虑绝对误差和相对误差的相差函数,其次利用优化方法中的共轭梯度算法来计算学习过程中的误差下降方向,并根据尺度公式对该方向进行修正,从而得到快速BP算法。经过对实际算例的模拟,结果表明本文给出的快速BP算法是一种适用于多层神经网络的、性能优良的学习算法。     

最优化算法在BP网络中的应用

BP（Back Propagation）网络是在1986年以Rumelhart和Mccelland为首的科学家小组提出,它是按误差逆传播算法训练的多层前馈网络,已成为目前应用最为广泛的神经网络模型之一。它的学习规则是使用最优化算法中的最速下降法,根据此得到的最优解来通过反向传播来不断调整网络的权值和阈值,以使网络的误差平方和最小。     

一种新型的混沌BP混合学习算法

将一种新的快速BP(FBP)算法和混沌优化相结合,提出了混沌BP算法(CBP算法).FBP算法吸收了误差函数的非线性信息,大大加快了BP算法的收敛速度,但它仍然采用梯度下降法,不可避免地存在局部极小的缺陷.混沌动力学具有遍历性、随机性的特点.能在一定范围内按其自身规律不重复地遍历所有状态,将混沌优化搜索引入FBP算法中,形成一种新型的混沌BP算法.它既能较快地局部收敛,又能全局收敛,避免了陷入局部极小的可能性.CBP算法为多层前馈网络的全局性收敛学习提供了一种有效的方法.     

BP算法的改进方向

BP是对非线性可微分函数进行权值训练的多层前向网络。BP算法利用了神经网络既能考虑定量和定性因素，又具有自学习、自组织功能的特点。它在控制行业中的应用很有效果，但也有其致命的缺点。通过JAVA语言实现BP算法，并通过实例说明了BP算法的特点，且提出了改进方向。     

一种基于综合目标函数的神经网络学习算法

为提高多层前向神经网络的学习速度和算法的稳定性,提出一种基于综合目标函数的改进学习算法.该算法在误差平方和目标函数中引入一个辅助约束项构成综合目标函数,并利用综合目标函数训练网络的输出层权值,采用牛顿法推导出训练输出层权值的递推公式.辅助约束项隐含有对网络输出平滑性的约束,提高了学习算法的稳定性.利用该算法对不同非线性函数生成的样本数据的学习结果表明,新算法的收敛速度、精度均优于Karayiannis等人的二阶学习算法.     

基于隶属度函数的BP人工神经网络改进算法

为了实现基于BP人工神经网络的短期电力负荷预测,提出了一种基于隶属度函数的BP神经网络改进算法.算法是在学习率自适应调节算法的基础上,引入模糊数学中的隶属度函数的概念,根据不同的误差E,来确定不同的改变学习率的α和β,进而使BP神经网络的学习过程具有更好的自适应性,提高网络的学习速度.仿真试验结果表明,在预测精度不变的情况下,收敛性明显加快.由此证明.提出的基于隶属度函数的BP神经网络改进算法是快速和有效的,可用于短期电力负荷预测和各种类似的应用.     

基于神经网络的烧结终点预报的研究

针对烧结终点非线性的特点,采用误差反向传播算法的多层前馈神经网络(BP)来建立其模型,用自适应算法确定学习参数,用改进的BP神经网络的算法求出结构适宜的自适应网络。提出并实践了提高烧结终点BP神经网络预报速度的数据处理方法,基于现场数据采用计算机仿真的结果表明该方法的有效性。     

一种基于BP网络的改进

BP神经网络存在其固有的缺陷:收敛速度慢、易陷入局部极小、网络结构难以确定等.本文针对BP网络学习速度慢的缺点.用熵函数作为误差函数来对BP算法进行改进,提高了收敛速度和稳定性.通过对标准BP网络和相对熵方法在不同学习速率上收敛速度的比较实验证明,相对熵BP网络在收敛速度和稳定性方面有着明显的优越性.     

基于综合目标函数的神经网络多新息辨识算法

为提高动态神经网络学习算法的辨识精度及抗噪性能,提出一种基于综合目标函数的多新息辨识算法。该算法基于多新息理论在最小均方误差目标函数中引入一辅助项构造综合目标函数,利用该目标函数进行网络输出层权值的训练,并采用牛顿法推导出输出层权值的递推计算公式。与已有二阶学习算法相比,新算法鲁棒性强,收敛速度快,辨识精度高。仿真结果验证了算法的有效性。     

用于光纤陀螺消噪的新型神经网络

在传统 BP网络的基础上 ,提出了单层串联网络结构 ,将消噪效果、网络结构和快速的学习结合起来 .根据光纤陀螺噪声源中存在不平稳幂指数噪声的特点 ,在误差指标函数中考虑误差的增量项 (一阶项 ) ,由此推得一阶学习方法 .该新型结构和新式算法提高了网络对平稳 ,特别是不平稳幂指数噪声的消除能力 ,这点已通过仿真验证     

用粒子群算法优化BP神经网络进行函数拟合

由于BP网络具有收敛速度慢和容易陷入局部极值,为了提高BP网络预测的准确性,本文提出了用粒子群(PSO)算法来优化BP网络,并进行非线性函数拟合.用PSO迭代算法找到最佳的网络权值和阈值,再以网络的正向传播的最小误差作为目标函数指导PSO的优化.将该算法与标准BP算法进行matlab仿真比较.实验结果表明,优化后的网络拟合误差小,效果更好.     

基于BP神经网络的结构损伤识别研究

针对结构的损伤识别进行了研究,选取结构固有频率平方变化比作为特征参数,建立12×25×1BP网络结构,采用均方误差函数目标误差函数,学习函数选取梯度下降动量学习函数和L-M优化算法,对四层钢框架结构的损伤进行了检测.     

一种基于优化小波神经网络的语音识别

在以往的BP小波神经网络中,最常用的学习算法是BP算法,BP算法实质上就是梯度下降法,是一种局部搜索算法,梯度下降法使得网络极易陷入局部最小值,从而使得网络训练结果不尽人意,搜索成功概率低.取代传统的梯度下降法,利用粒子群算法对小波神经网络中的参数进行优化.然后利用基于粒子群优化(PSO)的小波神经网络进行抗噪声语音识别实验,仿真结果表明,与BP网络相比,PSO算法在迭代次数、函数逼近误差、网络性能方面均优于BP网络,系统的识别率也得到较大的提高.     

模糊神经网络中长期负荷预报研究

采用动量法、自适应学习率和异变换函数对BP算法进行改进,并通过模糊神经网络对中长期负荷进行预测,还针对BP算法中隐层节点难以确定的不足,大胆采用预测误差曲面方法,使隐层节点个数选择具有科学的依据,算法计算表明,采用模糊神经网络提高了预测精度。     

一种基于BP算法学习的小波神经网络

为发展Szu的基于信号表示的小波神经网络,提出一种多输出的小波网络模型,网络隐层采用框架小波函数、输出层采用Sigmoid激励函数,并选用“熵误差函数”以加速网络的学习速度。奇偶判别和混沌时间序列预测例子的实验结果表明了它具有良好的函数逼近能力和推广能力,收敛速度和均方误差均优于相同结构的多层感知器模型。     

小波神经网络用于非线性函数逼近的研究

神经网络具有良好的学习特性，而小波变换具有良好的时频局部化特性．将二者结合在一起构成小波神经网络，网络隐层采用morlet小波函数，输出层采用线性函数，使得该网络兼具神经网络和小波变换的优点．分别用小波网络和BP网络逼近一非线性函数，其结果表明，在相同的误差条件下，小波网络的收敛速度要远远快于一般的BP网络．     

基于改进BP算法的中频淬火工艺参数预测

以钢的中频淬火工艺参数为研究对象,构造人工神经网络模型,采用3-4-2-2两层前向BP神经网络结构.模型输入参数为设备频率、淬硬层深度、零件尺寸,输出参数为加热时间、比功率.采用改进的BP网络算法--Levenberg-Marquardt算法,隐层、输出层传输函数分别为log-sigmoid函数和线性函数,经1 500余次训练,达到平方误差和《0.01.预测值与实际值的相对偏差在±4%以内.该算法能够较好地满足生产实际需要,具有较高精度.     

用于光纤陀螺消噪的新型神经网络

在传统 BP网络的基础上 ,提出了单层串联网络结构 ,将良好的消噪效果、简洁的网络结构和快速的学习结合起来 .此外 ,根据光纤陀螺噪声源中存在不平稳幂指数噪声的特点 ,在误差指标函数中考虑误差的增量项 (一阶项 ) ,由此推得一阶学习方法 .该新型结构和新式算法提高了网络对平稳特别是不平稳幂指数噪声的消除能力 ,这点已通过仿真验证 .     

BP网络模型的联合优化

针对 BP算法收敛速度慢、存在易于陷入局部极小值等缺点,不能有效地搜索到全局极小点。通过联合优化方法改进标准BP 算法,即通过黄金分割法动态调整学习系数:对 S 函数引入状态系数并进行分段;误差函数采用绝对和相对逼近精度相结合的方法。实验表明在一定程度上避免了学习中的局部极小问题,提高了学习效率,改进了网络的性能。