一种新型δ函数神经元构成的神经网络及学习算法

本文提出一种新型δ函数神经元构成的三层前馈神经网络，其隐层中神经元采用δ变换函数而不是ｓｉｇｍｏｉｄ函数。学习算法不再采用误差反向传播（ＢＰ）算法，而是通过选定隐层与输入层之间的自由权来确定隐层与输出层间的待求权的直接算法完成学习。这种学习算法运算速度快，不存在局部极小和收敛速度慢的问题，只要隐层δ函数神经元个数等于样本对数量就一定能完成学习，这是传统ＢＰ算法不能比拟的。计算机仿真实例表明该算法是十分有效的。     

样条权函数神经网络的一种新型算法

针对前馈神经网络在数值插值领域的应用场合,提出了一种新型结构的神经网络及其训练算法。网络拓扑结构简单,网络训练所需的神经元个数与样本个数无关,可以简单地表示成输入、输出样本向量维数之积。算法只需训练1层权函数。训练后的权函数由三次样条函数构成,而不是传统方法(反向误差传播算法“BP”或径向基函数算法“RBF”)的常数。通过求解两组线性方程组,就可以确定具体三次样条权函数形式。不存在传统梯度下降类算法的局部极小、收敛速度慢、初值敏感性等问题。仿真实验说明此算法比传统算法(如BP、RBF)精度高、速度快。     

一种优化计算确定神经网络结构的方法

对于一个具体的多层前向神经网络设计问题,网络的输入输出以及标准样本数为已知,网络的隐层结构,即隐层层数和每个隐层神经元个数如何选择是神经网络设计中的关键.根据代数方程理论,通过权值和阈值与隐层结构的关系,建立了以权值和阈值为设计变量的目标函数表达式,通过分析,提出了多层前向神经网络合理的隐层层数和每个隐层神经元个数的一般确定方法,给出了确定多层前向神经网络合理结构的优化目标函数及其约束条件.仿真研究结果表明所提出方法确定的多层前向神经网络结构是合理的.     

任意非线性函数的神经网络实现及其仿真分析

本文采用计算机仿真的方法,对多层神经网络描述任意有界非线性函数的特性进行了分析和实验验证,并对网络的隐层数和每一隐层的神经元个数给网络输出带来的影响进行了分析,同时给出了仿真结果。     

关于前馈神经网络的激活函数与认知能力

讨论了目前前馈神经网络研究中存在的一些问题 ,给出了前馈神经网络的一种数学框架。在这种框架下 ,提出了网络神经元激活函数的选取原则 ,给出了前馈神经网络认知能力的概念 ,证明了静态前馈神经网络的认知能力是有限的。指出了网络的认知能力与激活函数、隐层神经元个数的选取都有关 ,并提出了隐层神经元个数的选取原则。最后 ,给出了前馈神经网络泛化能力的概念 ,指出前馈网络的泛化能力是有条件的。     

BP人工神经网络自适应学习算法的建立及其应用

解决了BP神经网络结构参数、学习速率与初始权值的选取问题,并对传统的BP算法进行了改进,提出了BP神经网络自适应学习算法,又将其编制成计算机程序,使得输入节点、隐层节点和学习速率的选取全部动态实现,减少了人为因素的干预,改善了学习速率和网络的适应能力.计算结果表明:BP神经网络自适应学习算法较传统的方法优越,训练后的神经网络模型不仅能准确地拟合训练值,而且能较精确地预测未来趋势.     

基于一种新型动态神经网络的非线性自适应逆控制

根据生物神经元的机能,提出了一种具有动态激励函数的新型神经元模型,由此构成的神经网络(DAFNN)应用在非线性自适应逆控制中时只需要确定隐层神经元个数,从而克服了用NARX回归神经网络时需确定输入和输出延时阶数及隐层神经元个数等多个参数的不足。通过对单输入单输出(SISO)及多输入多输出(MIMO)非线性系统的自适应逆控制仿真研究,证实了DAFNN是一种很好的非线性系统建模和控制工具。     

样条神经网络的权值直接确定法

根据样条逼近理论和神经网络原理构造了一种样条神经网络模型,以一组样条基函数作为隐神经元的激励函数。依据误差回传（BP）思想推导出该网络模型的权值修正迭代公式,利用该公式迭代训练可得到该网络的最优权值。而对于构造的具有特定网络结构的样条神经网络,依据伪逆思想提出了一种直接计算权值的方法,从而避免冗长的迭代训练过程。仿真结果表明该权值直接确定法不仅能一步确定权值从而获得更快的运算速度,而且能达到更高的计算精度。     

基于Kalman／UKF组合训练神经网络的初始对准方法

针对基于Unscented卡尔曼滤波(UKF)的神经网络训练学习方法存在的计算量大,实时性差的问题,提出了一种基于Kalman/UKF组合滤波原理的神经网络学习方法,该方法综合了Kalman滤波对线性系统和UKF对非线性系统的最优估计的优势,在保证神经网络权值估计精度的同时,有效降低了神经网络权值学习的计算量,提高了神经网络训练的实时性。最后将该利用方法训练的神经网络应用于惯性导航系统的非线性初始对准过程中,并进行了仿真研究。仿真结果表明利用提出的算法训练的神经网络与基于UKF训练的神经网络具有相同的对准精度和实时性,而提出的算法的有效降低了神经网络训练的计算量,提高了训练的运行效率,是解决惯性导航系统初始对准的一种有效和实用的方法。     

基于免疫算法的前向神经网络学习方法

提出了一种采用免疫算法训练多层前向神经网络的方法。该方法利用免疫算法训练前向神经网络,能够使网络优化过程趋于全局最优。利用基于遗传策略的聚类机制确定前向神经网络的初始权值,增加了网络训练算法收敛于全局最优的概率。将这种神经网络用于雷达模拟调制信号的调制方式识别的仿真结果表明,采用该算法设计的前向神经网络达到了较高的性能。     

基于多项式网络的空袭目标类型识别模型

给出了进行目标类型识别的指标集 ,建立了基于多项式前向神经网络识别模型。该模型具有三层结构 ,隐层、输出层分别采用多项式函数和线性函数作为激活函数 ;隐层 输出层的权值用最速下降法学习 ,输入层 隐层的权值用遗传算法进行学习。实例表明该模型是可行的。     

根据粗糙集理论进行BP网络设计的研究

提出了一种根据粗糙集理论进行ＢＰ网络设计的方法,它结合了粗糙集理论的强大的定性分析能力和ＢＰ网络的准确的逼近能力,得到一种可理解性好、计算简单、收敛速度快的神经网络模型．这种神经网络的学习算法的要点是：应用粗糙集的理论和方法,从给定学习样本数据中发现一组规则,并根据这些规则去建立网络模型中相应的隐层节点;然后用ＢＰ算法迭代求出网络的参数,从而完成网络的设计.     

遗传算法在神经网络控制中的应用与实现

比较了遗传算法与神经网络的特点,并对将遗传算法用于前向神经网络的可能性进行了研究,同时阐明了遗传算法和神经网络结合的必要性,提出了一种融合遗传算法的神经网络控制方法,该方法采用多层前向神经网络作为遗传搜索表示方式的思维,以神经网络为基础,用遗传算法 习神经网络的权系数,即保留了遗传算法的强全局随机搜索能力,又具有神经网络的鲁棒性和自学习能力,将遗传算法和神经网络相结合,分析了遗传算法基本参数及神经网络结构、隐层和输出层节点非线性函的选择,设计了用遗传算法学习神经网络权系数的软件实现方法,成功地实现了机械手逆运动学求解问题及倒立摆的控制,仿真结果显示了遗传算法快速学习神经络权系数的学习效率与收敛精度,确保了快速达到全局收敛,克服了多层前向神经网络传统的BP学习算法精度低、收敛速度慢、容易陷入局部极小的缺陷,表明了该方法的可行性与有效性。     

高阶带阻滤波器优化设计研究

众所周知，传统BP神经网络收敛速度慢、学习效率低。之所以如此，主要原因在于人工神经元输出函数的同一化。本文提出的神经网络模型的主要特点是：用正交基函数作人工神经元的输出函数，而且每个神经元的输出函数各不相同。该神经网络模型有效克服了传统BP神经网络收敛速度慢、学习效率低的致命缺陷。本文还详细研究了FIR线性相位滤波器的幅频特性与余弦基函数神经网络算法的关系，给出了高阶带阻滤波器优化设计实例。计算机仿真结果表明了该算法在高阶带阻滤波器设计中的有效性和优异性能。     

不确定性机器人实时智能补偿控制

在神经网络在线学习控制中 ,实时性和控制精度是非常重要的两大指标。提出的一类具有多维存储结构的CMAC网络 ,提高了网络的泛化能力和学习速度。利用这一网络 ,针对不确定性机器人系统 ,考虑其标称模型 ,提出了一种新的实时智能补偿控制策略 ,并利用Lyapunov方法得出了系统全局渐近稳定的充分条件和网络学习律。在该控制策略中 ,系统的控制输入由两部分组成 :基于标称模型的计算力矩及补偿输入 ,其中补偿输入为系统标称惯性矩阵与神经网络输出的乘积。最后给出了仿真实例来说明该控制策略的有效性     

基于三阶段RBFNN学习算法的复杂样本分类研究

以提高径向基函数神经网络(radial basis function neural network,RBFNN)的分类能力为出发点,把衰减半径聚类的思想与误差平方和准则结合起来,提出了RBFNN三阶段学习算法。该算法先利用动态衰减半径聚类确定隐节点的初始结构,再由误差平方和准则进行中心点微调,并用类内类间距确定径基宽度,最后采用伪逆法训练隐层与输出层间的连接权重。给出了算法的具体步骤,并通过Iris和WINES数据集的仿真实验,证明该算法确实具有较强的分类能力。     

一种输入驱动的BP网络高效学习算法

在深入研究BP神经网络模型的基础上,从网络互连方式、网络权值初始化以及隐结点的选取等方面,对标准的BP算法作了改进.通过实验,证明该方法是非常有效的.     

复杂样本分类的GA-RBFNN方法

本文以提高径向基函数神经网络(RBFNN)分类能力为出发点,结合遗传算法(GA)群体并行搜索能力,提出了一种有效的GA-RBFNN学习算法.该算法在传统衰减聚类算法确定网络初始结构的基础上,加入控制向量,设计了包含整个网络隐节点结构和径基宽度的矩阵式混合编码方式,以及相应的遗传操作算子.网络权值由伪逆法求解确定.经Iris、WINES和Glass数据集的仿真实验验证,该算法快速有效,具有较强的复杂样本分类能力.