基于信号流图的动态神经网络在线学习算法

复杂的链式规则求导计算是动态神经网络在线学习算法中梯度向量计算的主要瓶颈,针时这一问题,根据P.Campolucci等人提出的动态系统梯度信息信号流图分析方法,设计了动态神经网络的在线学习算法,该算法可以直接从网络的信号流图及其伴随流图中获取目标函数关于网络参数的梯度信息,从而简化了算法梯度向量的计算.为了确保算法的稳定,根据Lyapunov稳定性定理,提出并证明了可以保证算法收敛的自适应学习速率,并且学习速率容易获得.利用NARX神经网络对非线性动态系统在线辨识的仿真实例也表明了本算法的有效性.     

前向神经网络学习速率的白适应算法

学习速率是控制神经网络学习过程的一个重要参数，影响神经网络的稳定性和快速性．提出了一种能够满足实时性要求的神经网络学习速率的自适应算法，并证明了在该学习速率下，神经网络的学习过程是Lyapunov意义稳定的。试方法通过为神经网络的输出增加一个输出修正量来补偿多个未知因素对学习误盖的影响，从而构造使学习误差快速收敛到零的学习速率自适应算法。通过对神经网络在线逼近一个非线性对象的过程进行仿真，结果证明了该方法的有效性。     

一种具有动态最优学习率的BP算法

提出具有动态最优学习率的BP算法,动态最优学习率是通过迭代的方式得到的,这种算法具有运算简单,收敛速度快,精度高特点。仿真结果说明此算法是有效的。     

前向神经网络学习速率的自适应算法

学习速率是控制神经网络学习过程的一个重要参数,影响神经网络的稳定性和快速性。提出了一种能够满足实时性要求的神经网络学习速率的自适应算法,并证明了在该学习速率下,神经网络的学习过程是Lyapunov意义稳定的。该方法通过为神经网络的输出增加一个输出修正量来补偿多个未知因素对学习误差的影响,从而构造使学习误差快速收敛到零的学习速率自适应算法。通过对神经网络在线逼近一个非线性对象的过程进行仿真,结果证明了该方法的有效性。     

基于模糊神经网络的动态非线性系统辨识研究

针对静态模糊神经网络对动态系统辨识精度低的特点,在5层静态模糊神经网络基础上进行了优化和改进,形成了可将暂态信息记忆于网络的动态回归层的动态模糊神经网络,来提高对动态系统的辨识能力。同时给出了参数的动态自适应学习算法。通过仿真实验,证明提出的动态模糊神经网络对动态非线性系统的辨识,可以取得较好的辨识精度,较快的网络收敛速度,为动态非线性系统的辨识提供新的思路。     

基于卡尔曼滤波的二次型神经网络学习算法及收敛性分析

提出了二次型多层前馈神经网络的卡尔曼滤波学习算法,并证明了该算法的收敛性。与文献［２,３］中的学习算法和经典的误差反向传播学习算法相比,新的学习算法具有更快的学习速度、良好的泛化能力,并且对学习率有很好的鲁棒性,不容易陷入局部极小点。仿真实验结果表明了新算法的有效性。     

动态T-S递归模糊神经网络及其应用

提出了动态T-S递归模糊神经网络(DTRFNN).该网络具有全局收敛特性的递归结构;采用BP算法进行网络权值的学习;并利用Lyapunov定理证明该模型具有全局收敛性,并在此基础上提出了克服局部极小的方法.最后以动态系统的辨识为例,进行实验研究,取得了很好的效果,表明DTRFNN动态模型能很好的对动态系统进行辨识.     

基于神经网络的非线性离散动态系统DISOPE算法

提出了基于神经网络的非线性离散动态系统优化与参数估计集成算法。先用动态神经网络辩识系统得出一个近似模型,在存在模型实际差异的情况下,从神经网络模型出发通过迭代运算得到实际非线性离散动态系统的真实最优解,系统优化采用Ｈｏｐｆｉｅｌｄ 神经网络算法,求解速度快。仿真结果表明了算法的有效性和实用性。     

一种改进的BP算法

讨论了网络学习过程中的假饱和现象，并给出了克服方法，同时，也讨论了学习样本输入编排机理，给出了一种避免网络学习出现的局部极小的算法。通过实例验证此方法非常有效。     

神经网络学习算法的研究

本文论述了神经网络学习算法的研究现状和存在的问题,并根据状态空间混合法,推出了一种自适应调整学习步长的公式。     

一种改进的RBF神经网络学习算法

提出了一种改进的RBF神经网络学习算法 ,分别通过减聚类和监督学习算法对网络参数和权值进行训练 ,既可以根据样本合理地聚类、确定RBF径向基函数的个数和相应参数 ,又具有较强的网络映射能力 ,从而不仅使RBF神经网络结构得以优化 ,性能也得到了提高。仿真结果表明了该学习算法的实用性和有效性     

前馈神经网络的一种连续型学习算法

本文给出前馈神经网络的一种连续型学习算法，对传统的ＢＰ算法作了改进。分析了该算法的收敛性。通过实例与传统ＢＰ算法进行比较，该算法可以明显提高网络的收敛速度，说明它是一种实用的学习算法。     

Fuzzy Entropy Based Combined Learning Algorithm for Neural Networks

ＦｕｚｚｙＥｎｔｒｏｐｙＢａｓｅｄＣｏｍｂｉｎｅｄＬｅａｒｎｉｎｇＡｌｇｏｒｉｔｈｍｆｏｒＮｅｕｒａｌＮｅｔｗｏｒｋｓ￥ＭｉｎＹａｏ（Ｄｅｐｔ．ｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ，ＨａｎｇｚｈｏｕＵｎｉｖｅｒｓｉｔｙ，Ｈａｎｇｚｈｏｕ３１００２８，Ｐ...     

基于连续时间系统仿真的神经网络学习算法

从连续时间动力学的角度,研究了多层前馈神经网络的学习问题.基于李雅普诺夫稳定性分析方法,建立了一种神经网络权重参数连续调整的学习算法,并基于连续时间系统仿真的思想,给出了一种算法实现的自适应策略.算法实现中,通过估计截断误差估计自动调整步长,几乎不需要人工确定任何参数,而且可以保证算法的稳定性及计算精度.最后,给出了两个典型的应用算例.     

加快神经网络学习的梯度幂次法

分析了前向神经网络极值点附近的性态,指出基本ＢＰ算法用于分类问题时收敛缓慢的原因．我们利用梯度模的幂次去修改学习率,仿真结果表明,将此方法用于分类问题的训练时,收敛速度明显优于基本的ＢＰ算法．     

BP神经网络算法的改进

本文分析了ＢＰ算法所面临的问题，给出了一种改进算法，说明了它们的原理和应用环境，将它们与传统的ＢＰ算法作了比较，并通过一实例验证：应用改进算法可以大幅度地提高ＢＰ神经网络的学习速度，这对ＢＰ神经网络的应用有较大实际意义。     

双机格斗仿真系统中的实时决策方法

在双机格斗仿真系统中，数字仿真收音机的智能决策采用模糊逻辑与神经网络相结合的方法。为了把神经网络的规模限制在易于工程实现的程度，把战术规则适当分类，每一类战术存储在一个神经网络中，用模糊逻辑进行战术分类识别，确定在哪一类战术中搜索，然后用存储该类战术的神经网络进行了战术决策。     

过程神经元网络学习算法中的积分方法分析

过程神经元网络常采用基于正交基展开的学习算法,以简化积分运算.分析对比了基于正交基展开和基于梯形公式两种不同积分方法,提出并证明了网络结构一定时,两种方法可以使网络达到相同的误差精度,并推论出积分运算方法不影响网络训练所能达到的误差精度.两种方法具有不同的适用情况,连续函数输入适合采用正交基展开法,在网络输入为离散等距采样点时,基于梯形公式的方法能够在不影响网络原始输入数据的前提下简化运算,避免了由原始数据构造拟合曲线或平滑插值,再进行正交基展开的过程.     

一种模糊神经网络学习算法:移动小论域法

提出了一种T-s模糊神经网络在线学习算法：移动小论域法，解决非线性控制对象的在线辨识的精度和实时性问题。该算法是在前后件参数可分离的离线混合学习算法基础上，通过分析隶属函数类型及论域模糊子集划分稠必程度对辨识精度的影响后提出来的。不同于传统模糊化进程，此法使用了移动的小论域窗口在此窗口上划分较少的模糊子集技术产生网络前件模糊化参数，解决了模糊神经网络学习中精度和实时性相互制约的矛盾。仿真结果证实该算法精度高，实时性好。