Laguerre正交基前向神经网络及其权值直接确定法

根据多项式理论,构造了一种以Laguerre正交多项式作为隐层神经元激励函数的前向神经网络模型.根据标准BP算法,导出了权值修正的迭代公式(包括标量形式和矩阵形式).区别于这种需要迭代训练获得最优权值的方法,针对该网络模型,进一步提出了一种基于伪逆的直接计算权值的方法.该权值直接确定法避免了以往的权值反复迭代训练的冗长过程.仿真结果显示其具有比传统的BP迭代法更快的计算速度,并且能够能达到更高的工作精度.     

多项式前向神经网络

提出了一种新型的前向神经网络模型-多项式神经网络。该网络具有三层结构,隐层、输出层神经元激活函数分别为：f(x)=x^p和线性函数,网络隐层-输出层的权值采取最速下降法学习,输入层-隐层的权值采用遗传算法进行学习;网络学习时,其误差函数单调递减,学习算法具有较好的收敛性;该网络能逼近任意的连续函数,且具有较好的稳定性,应用实例表明该网络的性能是优良的。     

MISO多元广义多项式神经网络及其权值直接求解

 基于多元函数逼近理论,构建一种MISO(Multiple-Input, Single-Output)多元广义多项式神经网络。依据最小二乘原理,推导出基于伪逆的最优权值一步计算公式——简称为权值直接确定法;在此基础上,提出基于指数增长和折半删减搜索策略的隐神经元数自适应增删搜索算法。该新型神经网络具有结构简单的优点,其权值直接确定法、隐神经元增删算法可以避免冗长的迭代计算、局部极小点和学习率难选取等问题,同时解决了传统BP神经网络难以确定隐神经元数这一难题。仿真实验显示其具有训练速度快、逼近精度高和良好的去噪特性等特点。     

基于代数神经网络的多元多项式不可约判定及学习算法

把感知器作为数学模型,充分利用神经元的运算特性,以二元多项式近似求根神经网络模型为基础,设计一类多元多项式不可约判定的神经网络模型,它是单输入多输出三层前向神经网络,给出神经网络学习算法,这种学习算法在ｐ－ａｄｉｃ意义下,通过调整隐层与输出层的权值Ｃｉ,ｊ完成学习,可确定出多元多项式不可约,通过算例表明,该算法有效,相比传统的判定算法,可操作性强。     

基于Laguerre正交基神经网络的动态手势识别

提出一种基于Laguerre正交基前向神经网络的动态手势识别方法.首先根据多项式逼近和矩阵理论,构造了一种以Laguerre正交多项式作为隐含层神经元激励函数的多输入、多输出三层前向神经网络模型,在网络权值迭代计算公式基础上推出一种基于伪逆的直接计算网络权值方法,避免求取权值的反复迭代过程;提出一种快速的基于颜色的指尖...     

基于权值函数神经元的BP网络研究

研究了一种神经元模型,在该模型中将参数可调的激励函数往前移到权值上,即把权值变为参数可调的函数,这些权值函数的累加和作为神经元的输出.将此类神经元称为权值函数神经元,根据BP算法给出了由其构成的前馈神经网络的学习算法.仿真实验对比结果表明,在给定的误差精度要求下,基于权值函数神经元的BP神经网络每次训练都能收敛,且平均迭代步数较少,其收敛速度要优于传统BP网络,具有较好的研究应用价值.     

BP神经网络的改进及应用

合理的选择网络结构是BP神经网络研究中一个重要问题.对传统的BP网络结构进行了改进,在确定BP网络的隐层节点个数时给出了BP网络结构的自适应算法,使得隐层节点的选取动态实现,增强了BP神经网络的适应能力.并应用改进后的BP网对高校教学工作水平评估体系进行建模,为高校教学管理决策提供了科学依据.     

前向多层代数神经网络隐层神经元数目估计方法

结合目前估计前向三层神经网络隐层神经元数目的方法,提出一种向量不交关系来确定多层前向代数神经网络隐层神经元的数目,该方法只须估计出第一隐层神经元的数目,其余各层神经数目利用不交关系的算法随之确定,通过多项式代数函数实例表明,该方法具有效。     

基于Chebyshev神经网络的非线性动态系统预测

针对非线性动态系统的预测常受到噪声或其他过程的耦合影响,使得规律变得难以发现的问题,提出了以一组Chebyshev正交基函数作为神经网络中各隐神经元的激励函数的新型的Chebyshev基函数神经网络预测模型.将该模型作为非线性动态系统预测模型,并采用基于粒子群和模拟退火组成的文化基因算法优化神经网络的权值,可以达到很高的预测精度和很好的预测结果.Chebyshev神经网络与传统的BP(back propagation)神经网络相比,工作量大大减少,加快了收敛性.文化基因算法用于确定权值的Chebyshev神经网络分别与粒子群和模拟退火优化的Chebyshev神经网络相比具有更好的拟合效果.     

非线性时间序列建模与预测的神经网络法

简述了人工神经网络的基本概念及计算特性,提出了用神经网络方法进行非线性时序建模的基本思路,分析了传统的BP学习过程,得出了BP学习算法的改进算法.然后讨论具有一层隐层的前向式神经网络,基于预测误差分析,提出了权值估计方法,使非线性时序建模的神经网络法规范化.     

前向多层代数神经网络隐层神经元数目估计方法

结合目前估计前向三层神经网络隐层神经元数目的方法 ,提出一种向量不交关系来确定多层(层数 >3)前向代数神经网络隐层神经元的数目 ,该方法只须估计出第一隐层神经元的数目 ,其余各层神经数目利用不交关系的算法随之确定 ,通过多项式代数函数实例表明 ,该方法有效     

一种新的RBF神经网络学习算法

本文提出一种改进的RBF神经网络学习算法,它利用减聚类算法确定隐层单元的数量,并用修剪的办法删除冗余单元,避免了传统的K聚类算法对隐层单元数量确定的盲目性。利用最小二乘法确定隐层和输出层之间的权值。在对非线性函数进行逼近的仿真中,验证了该算法的有效性。     

BP神经网络在麻花钻圆度误差检测中的应用研究

在麻花钻圆度误差的检测中,将BP神经网络算法引入到相应的数据处理中,以拟合出其棱边投影的椭圆表达式系数.在神经网络训练时,以钻头棱边采样点的坐标及其适当的组合作为网络的5路输入,以其输出与常数1的差值的平方为性能指标;根据梯度下降法来调整隐层神经元与输出神经元之间的连接权值,而输入层至隐层之间的连接权值不变,性能指标达到预定值时,获得一组稳定的权值,该连接权值即为钻头棱边的椭圆表达式系数;然后据此求出其较高精度的圆度误差.     

一种改进BP网络用于电磁兼容预测

为了更好地对电磁兼容进行预测,提出采用人工神经网络的方法.为了改善BP神经网络的性能,提出如下两步改进:采用剪枝法计算最佳隐层神经元数目,同时采用共轭梯度-LM算法计算网络权值.以平行线间电磁耦合干扰为具体算例,证明本文算法的预测结果的均方误差仅有10-11数量级.说明,本文算法有效.     

改进的Elman网络在非线性系统辨识中的应用

通过对Elman网络的研究,提出一种新型的基于输入层、隐层、输出层神经元递归的动态递归神经网络,给出Elman网络的标准BP学习算法,针对标准BP算法的收敛速度慢和容易收敛于局部极小点的缺点,利用非线性动量项自适应变步长的BP算法进行改进,从而提高算法的收敛速度,避免陷入局部极小点的问题.通过在系统辨识中的应用,表明该网络收敛速度快,模型精度高,并具有较强的自适应性和鲁棒性,适合于动态系统的实时辨识.     

基于Tan-Sigmoid函数参数调整的BP神经网络改进算法

为提高BP神经网络的性能,对网络的联接权值W和神经元的tan-sigmoid转换函数的参数T、θ进行调整,使信息分布存储于权值矩阵及转换函数中,比传统的算法具有更强的非线性映射能力．经严密的数学推导,给出了最终的改进算法公式和1个预测需求量的算例,结果表明,改进后的算法能有效地减少隐层节点数,且能加快收敛速度和提高收敛精度．     

神经网络优化问题研究进展

神经网络优化问题是智能计算研究领域中的一个前沿课题．在剖析神经网络优化问题现代方法优缺点的基础上,探讨了神经网络优化问题的研究动态和重大进展：结构优化方面目前主要是利用网络自身的性质及寻求新的算法优化网络的隐层层数与隐层节点数,但效果并不明显;权值优化方面多数研究是固定结构单方面优化权值,结构与权值优化的同步进行还有很大的研究空间;BP算法是优化神经网络最常用的一种方法,随着与智能算法的融合,性质得到了一定的改进,其中BP网络各种性能综合改进的研究是近年来研究的热点．针对神经网络优化存在的问题提出了改进的策略并对今后的研究前景作了具体的展望．     

BP算法的改进

针对多层神经网络中由于隐含层神经元饱和而引起的局部极小值问题,提出一种改进的BP算法.每一种训练模式在隐含层的神经元都采用各自的传递函数,该改进算法的思想是当网络输出没有取得期望的结果时,修改传递函数以防止隐含层神经元饱和,这种改进的算法既不用改变网络的拓扑结构,也不会消耗更多的计算时间.     

克隆选择粒子群优化BP神经网络电力需求预测

在普通BP算法基础上,引入克隆选择粒子群算法,建立电力需求预测模型.将当期国内生产总值、前期国内生产总值、人口、当期产业结构变化、前期产业结构变化等影响电力需求的因素作为网络输入,电力需求作为网络输出,同时选择合适的隐层节点数,确定模型的网络结构.利用克隆选择粒子群算法反复优化BP网络的权值组合,将优化后的权值作为BP神经网络的初始值,进行BP算法,直至网络达到训练指标.利用近几年相关输入输出变量年度数据,对建立的模型进行电力需求实证预测分析,并同普通BP神经网络预测结果进行对比.结果表明:基于克隆选择粒子群优化的BP神经网络不仅训练速度快,而且误差小,预测精度明显提高,说明该模型对于电力需求预测的有效性.     

前向多层感知器网络的逐层学习算法

提出一种改进的前向多层网络逐层学习算法,隐层神经元的输出函数由具体系统的样本输出值确定,先让前面的隐层及输入层的权值确定不变,然后对当前层的权值进行,前一隐层输出值地误差进行估计以得到新的输出值,将其作为临时教师信号用来训练前一层的权值,把每一层权值的改变量和输出值误差的估计转变为最小二乘问题,逐层处理,直到输入层,数字仿真和具体应用的结果表明了算法的有效性。