前向神经网络学习速率的自适应算法

学习速率是控制神经网络学习过程的一个重要参数,影响神经网络的稳定性和快速性。提出了一种能够满足实时性要求的神经网络学习速率的自适应算法,并证明了在该学习速率下,神经网络的学习过程是Lyapunov意义稳定的。该方法通过为神经网络的输出增加一个输出修正量来补偿多个未知因素对学习误差的影响,从而构造使学习误差快速收敛到零的学习速率自适应算法。通过对神经网络在线逼近一个非线性对象的过程进行仿真,结果证明了该方法的有效性。     

递归神经网络学习速率研究

针对典型的对角递归神经网络,推导出递归神经网络稳定条件下网络输出层、隐含层及关联层学习速率的具体取值范围。提出设计者可通过从具体系统中获得的数据确定网络各层学习速率的上、下界数值,确定自适应学习速率的初值与调节方法,并可选取最优学习速率。因而该法具有很强的可操作性和实用性。还给出一个具体数值实例,说明自适应学习速率与最佳学习速率的调整过程。     

基于信号流图的动态神经网络在线学习算法

复杂的链式规则求导计算是动态神经网络在线学习算法中梯度向量计算的主要瓶颈,针时这一问题,根据P.Campolucci等人提出的动态系统梯度信息信号流图分析方法,设计了动态神经网络的在线学习算法,该算法可以直接从网络的信号流图及其伴随流图中获取目标函数关于网络参数的梯度信息,从而简化了算法梯度向量的计算.为了确保算法的稳定,根据Lyapunov稳定性定理,提出并证明了可以保证算法收敛的自适应学习速率,并且学习速率容易获得.利用NARX神经网络对非线性动态系统在线辨识的仿真实例也表明了本算法的有效性.     

复数神经网络的一种新型初始权值选择方法

为了改善学习速率,提出了一种确定复数神经网络初始权值的新颖方法。初始权值不是随机给定的,而是通过计算求得。具体方法是选择一类隐层神经元的变换函数(类支集函数),将输入层和隐层之间的复数权值计算出来,保证隐层的输出矩阵是满秩矩阵,并从理论上证明了这样的满秩矩阵是存在的。利用这个满秩矩阵,通过最小平方算法就可以求得隐层和输出层之间的复数权值。将这些权值作为初始权值,采用最速下降算法来对神经网络进行训练。初始权值的优化,使得该算法可以有效地提高复数神经网络的训练速度和计算精度。一个特例是当隐层神经元的个数与样本个数相等时,就可以求得代价函数值为0的全局最小点。计算机仿真实例验证了该算法的有效性。     

一种PID型模糊神经网络控制器

为了使一种基于两维控制规则基的PID型模糊控制器具有参数在线学习功能，提出了一种包含一个自回归神经元的五层模糊神经网络，并根据梯度下降法，给出了它各权值的修正算法，该网络可以在反馈控制系统中作为一个自学习控制器来使用，最后，根据有关定理，给出并证明了该网络各层权值学习速率的收敛准则。     

自适应神经网络在水质预测建模中的应用

东江惠州段水质直接影响着香港和深圳的淡水供应质量,本文根据东江水质自动监测系统的分布情况,提出了由上游水质预测下淡水质和当前水质预测未来水质的两种基于自适应神经网络的东江惠州段水质预测建模方法,给出了基于误差梯度信息的离散神经网络自适应学习算法,用李亚普诺夫方法证明了该自适应神经网络算法的收敛性,仿真结果证明了该方法具有较高的预测精度,且方法简便,适用对象广泛。     

基于改进PSO算法的多变量PID型神经网络控制

充分利用PID结构简单、稳定性强的良好性能以及神经网络的自学习和自适应的特长,引入粒子群优化(PSO)学习算法,设计一种多变量自适应PID型神经网络控制器。神经网络的隐含层由带有输出反馈和激活反馈的混合局部连接递归网络组成,采用PSO学习算法优化神经网络参数。在深入研究分析PSO算法的基础上,引入变异因子和惯性权重自适应策略对该算法进行改进,既发挥了PSO算法随机优化收敛速度快的优点,又克服了该算法易陷入局部最优点的缺点,显著提高了控制系统的性能指标。最后,通过对二级倒立摆控制的仿真分析,证明该算法具有较强的鲁棒性。     

BP人工神经网络自适应学习算法的建立及其应用

解决了BP神经网络结构参数、学习速率与初始权值的选取问题,并对传统的BP算法进行了改进,提出了BP神经网络自适应学习算法,又将其编制成计算机程序,使得输入节点、隐层节点和学习速率的选取全部动态实现,减少了人为因素的干预,改善了学习速率和网络的适应能力.计算结果表明:BP神经网络自适应学习算法较传统的方法优越,训练后的神经网络模型不仅能准确地拟合训练值,而且能较精确地预测未来趋势.     

改进的SOFM及其在矢量量化中的应用

根据等失真(Equidistortion)理论提出了一种基于改进的自组织特征映射(SOFM)神经网络的矢量量化方法,该算法将失真敏感机制引入神经网络的竞争学习过程。通过调整码字的部分失真来指导神经网络的学习,以使得所设计的码书平均失真最小。同时把矢量量化应用于图像的小波变换域,根据图像小波变换高频系数的空间分布特点来组织码书,从而进一步提高码书的质量和适应性。通过实验对算法的性能进行了分析,证明了算法的有效性。     

基于神经网络的无源多传感器属性数据关联

采用引入动量项、自适应调整步长，Levenberg-Marquardt优化方法对基本的BP神经网络进行改进，以提高学习速度，改进的BP神经网络学习算法用于对无源多传感器获得的雷达辐射源参数进行属性数据关联，能够自适应地调整阈值，即根据训练数据调整关联的门限值，与确定门限的属性关联算法相比，有着很高的关联正确率。