一种优化计算确定神经网络结构的方法

对于一个具体的多层前向神经网络设计问题,网络的输入输出以及标准样本数为已知,网络的隐层结构,即隐层层数和每个隐层神经元个数如何选择是神经网络设计中的关键.根据代数方程理论,通过权值和阈值与隐层结构的关系,建立了以权值和阈值为设计变量的目标函数表达式,通过分析,提出了多层前向神经网络合理的隐层层数和每个隐层神经元个数的一般确定方法,给出了确定多层前向神经网络合理结构的优化目标函数及其约束条件.仿真研究结果表明所提出方法确定的多层前向神经网络结构是合理的.     

任意非线性函数的神经网络实现及其仿真分析

本文采用计算机仿真的方法,对多层神经网络描述任意有界非线性函数的特性进行了分析和实验验证,并对网络的隐层数和每一隐层的神经元个数给网络输出带来的影响进行了分析,同时给出了仿真结果。     

一种新型δ函数神经元构成的神经网络及学习算法

本文提出一种新型δ函数神经元构成的三层前馈神经网络，其隐层中神经元采用δ变换函数而不是ｓｉｇｍｏｉｄ函数。学习算法不再采用误差反向传播（ＢＰ）算法，而是通过选定隐层与输入层之间的自由权来确定隐层与输出层间的待求权的直接算法完成学习。这种学习算法运算速度快，不存在局部极小和收敛速度慢的问题，只要隐层δ函数神经元个数等于样本对数量就一定能完成学习，这是传统ＢＰ算法不能比拟的。计算机仿真实例表明该算法是十分有效的。     

前馈神经网络泛化性能力的系统分析

通过对多层前馈网络的运行机制的系统分析 ,指出影响前馈网络泛化能力的根本原因是训练网络用的样本 ,包括样本质量、样本数量和样本代表性三个方面 .针对复杂系统给出了一种提高前馈网络泛化能力的途径 ,并通过对仿真算例的计算验证了得出的结论 .     

复数神经网络的一种新型初始权值选择方法

为了改善学习速率,提出了一种确定复数神经网络初始权值的新颖方法。初始权值不是随机给定的,而是通过计算求得。具体方法是选择一类隐层神经元的变换函数(类支集函数),将输入层和隐层之间的复数权值计算出来,保证隐层的输出矩阵是满秩矩阵,并从理论上证明了这样的满秩矩阵是存在的。利用这个满秩矩阵,通过最小平方算法就可以求得隐层和输出层之间的复数权值。将这些权值作为初始权值,采用最速下降算法来对神经网络进行训练。初始权值的优化,使得该算法可以有效地提高复数神经网络的训练速度和计算精度。一个特例是当隐层神经元的个数与样本个数相等时,就可以求得代价函数值为0的全局最小点。计算机仿真实例验证了该算法的有效性。     

基于一种新型动态神经网络的非线性自适应逆控制

根据生物神经元的机能,提出了一种具有动态激励函数的新型神经元模型,由此构成的神经网络(DAFNN)应用在非线性自适应逆控制中时只需要确定隐层神经元个数,从而克服了用NARX回归神经网络时需确定输入和输出延时阶数及隐层神经元个数等多个参数的不足。通过对单输入单输出(SISO)及多输入多输出(MIMO)非线性系统的自适应逆控制仿真研究,证实了DAFNN是一种很好的非线性系统建模和控制工具。     

基于多项式网络的空袭目标类型识别模型

给出了进行目标类型识别的指标集 ,建立了基于多项式前向神经网络识别模型。该模型具有三层结构 ,隐层、输出层分别采用多项式函数和线性函数作为激活函数 ;隐层 输出层的权值用最速下降法学习 ,输入层 隐层的权值用遗传算法进行学习。实例表明该模型是可行的。     

基于MPSO-BP的RBF网络自构建学习算法

采用PSO混合编码,提出了一种基于混合MPSO-BP的RBF自构建学习算法。该算法中,每个粒子由整数与实数两部分构成,分别对RBF的基函数个数及相关参数(中心、宽度和输出层权值)进行编码。同时设计了一个特殊的适应度函数,在保证精度的前提下,使网络的结构相对简单,以增强网络的自适应与泛化能力,减少主观因素设计对网络性能的影响。仿真实验表明,相对于RBF其他学习算法,所提算法隐节点少、精度高、泛化能力强。     

前向神经网络泛化问题研究

针对前向神经网络泛化问题,从函数论的角度分析了影响前向神经网络泛化性能的因素。为了提高网络的泛化性能,从理论上分析指出,在网络学习过程中通过增加隐含层神经元来降低网络最大固有误差和最大样本误差的同时,要求确保网络泛化定义域尽可能接近网络输入定义域,否则将有可能降低网络的泛化性能。通过数值试验验证了上述结论。     

人工神经网络控制的Sigmoidal函数研究

本文针对前馈神经网络误差反向传播算法（ＢＰ）算法应用于控制系统收敛速度慢，神经元非线性处理函数选择难等问题，提出了自动寻找最优Ｓｉｇｍｏｉｄａｌ函数方法。与ＢＰ算法相比较，该方法不仅收敛速度快，而且学习次数和隐节点数减少。仿真计算结果表明，该方法应用于控制系统鲁棒性能好，提高了网络学习能力，改善了学习性能，在神经网络控制中有一定推广价值。     

Global Optimization of Feedforward Neural Networks

This paper proposes the compensating methods feedforward neural networkd (FNNs)which are very difficult to train by traditional Back Propagation(BP)methods.For an FNN trappedin local minima the compensating methods can correct the wrong outputs one by one until all outputsare right,then the network is located at a global optimum point.A hidden neuron is added to     

基于卡尔曼滤波的二次型神经网络学习算法及收敛性分析

提出了二次型多层前馈神经网络的卡尔曼滤波学习算法,并证明了该算法的收敛性。与文献［２,３］中的学习算法和经典的误差反向传播学习算法相比,新的学习算法具有更快的学习速度、良好的泛化能力,并且对学习率有很好的鲁棒性,不容易陷入局部极小点。仿真实验结果表明了新算法的有效性。     

样条权函数神经网络的一种新型算法

针对前馈神经网络在数值插值领域的应用场合,提出了一种新型结构的神经网络及其训练算法。网络拓扑结构简单,网络训练所需的神经元个数与样本个数无关,可以简单地表示成输入、输出样本向量维数之积。算法只需训练1层权函数。训练后的权函数由三次样条函数构成,而不是传统方法(反向误差传播算法“BP”或径向基函数算法“RBF”)的常数。通过求解两组线性方程组,就可以确定具体三次样条权函数形式。不存在传统梯度下降类算法的局部极小、收敛速度慢、初值敏感性等问题。仿真实验说明此算法比传统算法(如BP、RBF)精度高、速度快。     

一种可修正激励函数的BP算法

以往的ＢＰ算法调节神经元网络的权值，其网络的隐层结点数、网络学习快慢程度及网络的泛化能力都与网络的激励函数有关的。为此，本文提出了一种带可以修正激励函数的ＢＰ算法，其特点是它能更好地模拟人脑神经元的特性。通过仿真验证此方法是非常有效的。     

前馈网络泛化性能改进的目的规划方法研究

以目的规划模型为基础，将前馈网络准则函数改进、网络灵敏度降低、先验知识运用有机地结合在一起，提出了前馈网络泛化性能改进的目的规划方法．文中给出了该方法的数学模型、求解方法以及算例     

前馈神经网络的学习能力

使用新的分类子网,改进了Huang得到的一个关于两个隐层前馈型神经网络的学习能力的结果,证明了具有$2(2N)^{(1/2)}+2$个隐层节点的神经网络可以学会N个不同的样本.同时,新的讨论方法使得结果对广泛的一类活化函数都适用,而不只限于sigmoid活化函数.     

前馈网络目的规划算法及其应用研究

提出了前馈网络目的规划算法。与通常ＢＰ算法相比,该方法进行了三个方面的改进：（１）准则函数的改进;（２）网络灵敏度的降低;（３）领域先验知识的运用。理论分析及大气中ＳＯ２浓度预测应用研究表明该方法有效地改善了前馈网络泛化性能,提高了预报精度。     

双机格斗仿真系统中的实时决策方法

在双机格斗仿真系统中，数字仿真收音机的智能决策采用模糊逻辑与神经网络相结合的方法。为了把神经网络的规模限制在易于工程实现的程度，把战术规则适当分类，每一类战术存储在一个神经网络中，用模糊逻辑进行战术分类识别，确定在哪一类战术中搜索，然后用存储该类战术的神经网络进行了战术决策。     

神经元的集聚原理与智能子波神经网络

在对神经元机能空间分布结构和状态转换深入研究的基础上，提出了神经元的集聚原理，并通过构造一种基于广义子波基函数的神经元积聚模型，讨论了由此实现的智能子波神经网络所具有的广义结构可调和广义信息记忆等智能化特性。最后，通过两个仿真实验验证了新网络模型在有关实际问题解决上的可行性和高效性。