基于卡尔曼滤波的二次型神经网络学习算法及收敛性分析

提出了二次型多层前馈神经网络的卡尔曼滤波学习算法,并证明了该算法的收敛性。与文献［２,３］中的学习算法和经典的误差反向传播学习算法相比,新的学习算法具有更快的学习速度、良好的泛化能力,并且对学习率有很好的鲁棒性,不容易陷入局部极小点。仿真实验结果表明了新算法的有效性。     

高阶带阻滤波器优化设计研究

众所周知，传统BP神经网络收敛速度慢、学习效率低。之所以如此，主要原因在于人工神经元输出函数的同一化。本文提出的神经网络模型的主要特点是：用正交基函数作人工神经元的输出函数，而且每个神经元的输出函数各不相同。该神经网络模型有效克服了传统BP神经网络收敛速度慢、学习效率低的致命缺陷。本文还详细研究了FIR线性相位滤波器的幅频特性与余弦基函数神经网络算法的关系，给出了高阶带阻滤波器优化设计实例。计算机仿真结果表明了该算法在高阶带阻滤波器设计中的有效性和优异性能。     

遗传算法在神经网络控制中的应用与实现

比较了遗传算法与神经网络的特点,并对将遗传算法用于前向神经网络的可能性进行了研究,同时阐明了遗传算法和神经网络结合的必要性,提出了一种融合遗传算法的神经网络控制方法,该方法采用多层前向神经网络作为遗传搜索表示方式的思维,以神经网络为基础,用遗传算法 习神经网络的权系数,即保留了遗传算法的强全局随机搜索能力,又具有神经网络的鲁棒性和自学习能力,将遗传算法和神经网络相结合,分析了遗传算法基本参数及神经网络结构、隐层和输出层节点非线性函的选择,设计了用遗传算法学习神经网络权系数的软件实现方法,成功地实现了机械手逆运动学求解问题及倒立摆的控制,仿真结果显示了遗传算法快速学习神经络权系数的学习效率与收敛精度,确保了快速达到全局收敛,克服了多层前向神经网络传统的BP学习算法精度低、收敛速度慢、容易陷入局部极小的缺陷,表明了该方法的可行性与有效性。     

Hammerstein系统自适应神经网络控制算法的收敛性分析

对一类确定性Hammerstein系统,给出了基于神经网络的自适应控制算法。考虑到神经网络的非线性特点,特别是其自适应学习能力,控制系统采用两个神经网络分别作为估计器和控制器,通过在线训练网络的权重来获得模型参数和控制输入。神经网络的训练用Widrow-Hoff学习规则。对算法的全局收敛性进行分析表明系统具有总体收敛性,输入输出有界。     

BP神经网络算法的改进

本文分析了ＢＰ算法所面临的问题，给出了一种改进算法，说明了它们的原理和应用环境，将它们与传统的ＢＰ算法作了比较，并通过一实例验证：应用改进算法可以大幅度地提高ＢＰ神经网络的学习速度，这对ＢＰ神经网络的应用有较大实际意义。     

一种基于遗传算法的小波神经网

网络的优化学习是人工神经研究中的一个重要问题.将遗传算法全局性优化搜索和小波分析的时-频局部性特点相结合,本文提出了一种基于遗传算法学习的小波神经网络--遗传算法小波神经网络(WNNGA).三位异或问题和双螺旋问题的实验结果证明,遗传算法小波神经网络不仅继承了小波分析良好的局部性及其神经网络的学习和推广能力,而且具有遗传算法全局快速寻优的特点,是多层前向神经网络学习的一种理想算法.     

基于遗传算法的进化神经网络

提出一种基于遗传算法的多层前向神经网络的自动化设计方法(genetic multiplayer feedforward neural network，GMFNN)，用以同时完成对网络结构空间和权值空间的搜索。该算法利用双种群权值优化、结构进化自适应变异率等方法来加快算法的收敛速度，改善解的性能。仿真结果显示本文提出的算法能够有效抑制遗传算法初期收敛的发生，有效地提高多层前向神经网络的收敛精度，并可获得更为简洁的网络结构。     

Volterra Feedforward Neural Networks:Theory and Algorithms

Ｖｏｌｔｅｒｒａ　Ｆｅｅｄｆｏｒｗａｒｄ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ：　Ｔｈｅｏｒｙ　ａｎｄ　ＡｌｇｏｒｉｔｈｍｓＪｉａｏＬｉｃｈｅｎｇｌ；ＬｉｕＦａｎｇ＆ＸｉｅＱｉｎ（ＮａｔｉｏｎａｌＬａｂ．ｆｏｒＲａｄａｒＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇａｎ...     

一种改进的RBF神经网络学习算法

提出了一种改进的RBF神经网络学习算法 ,分别通过减聚类和监督学习算法对网络参数和权值进行训练 ,既可以根据样本合理地聚类、确定RBF径向基函数的个数和相应参数 ,又具有较强的网络映射能力 ,从而不仅使RBF神经网络结构得以优化 ,性能也得到了提高。仿真结果表明了该学习算法的实用性和有效性     

基于RBF 神经网络的调制识别

针对通信信号这种非稳定的、信噪比(SNR)变化范围较大的信号,利用遗传算法训练的径向基神经网络分类器对各种调制信号的特征矢量进行分类识别,充分发挥径向基神经网络的广泛映射能力和遗传算法的全局收敛能力,并在遗传算法中加入了梯度下降算子,克服遗传算法收敛速度慢的缺点,加快了遗传算法训练神经网络的速度,使得分类器的识别率和鲁棒性得到明显改善。仿真实验的结果证明了此方法的有效性和可行性。     

前馈神经网络的一种连续型学习算法

本文给出前馈神经网络的一种连续型学习算法，对传统的ＢＰ算法作了改进。分析了该算法的收敛性。通过实例与传统ＢＰ算法进行比较，该算法可以明显提高网络的收敛速度，说明它是一种实用的学习算法。     

基于代数神经网络的分圆多项式判定及学习算法

首先对MP神经元进行推广 ,给出了一元多项式代数神经元、一元多项式代数神经网络 ,设计出一类用于一元多项式二元运算的神经元模型 ,它是单输入单输出的 3层多项式神经网络 ,给出了两种用于判定一多项式为分圆多项式的神经网络模型及学习算法 ,把判定一多项式为分圆多项式转化成线性方程组求解问题 ,通过算例说明了该方法的有效性。     

不确定性机器人实时智能补偿控制

在神经网络在线学习控制中 ,实时性和控制精度是非常重要的两大指标。提出的一类具有多维存储结构的CMAC网络 ,提高了网络的泛化能力和学习速度。利用这一网络 ,针对不确定性机器人系统 ,考虑其标称模型 ,提出了一种新的实时智能补偿控制策略 ,并利用Lyapunov方法得出了系统全局渐近稳定的充分条件和网络学习律。在该控制策略中 ,系统的控制输入由两部分组成 :基于标称模型的计算力矩及补偿输入 ,其中补偿输入为系统标称惯性矩阵与神经网络输出的乘积。最后给出了仿真实例来说明该控制策略的有效性     

基于Kalman滤波的神经网络快速学习算法及应用

本文提出一种基于Kalman滤波算法的神经网络快速学习算法(EKL).经图像边缘检测应用结果表明,该算法对于加快网络学习的收敛性有着显著成效.     

基于神经网络的无源多传感器属性数据关联

采用引入动量项、自适应调整步长，Levenberg-Marquardt优化方法对基本的BP神经网络进行改进，以提高学习速度，改进的BP神经网络学习算法用于对无源多传感器获得的雷达辐射源参数进行属性数据关联，能够自适应地调整阈值，即根据训练数据调整关联的门限值，与确定门限的属性关联算法相比，有着很高的关联正确率。     

一种非线性的BP学习算法

提出了一种非线性学习规则，以非线性函数th(x)取代传统学习算法中的线性函数x，来调整BP网络的连接权值和阈值。与传统的BP学习算法相比，其连接权值与阈值的调整量不仅与误差函数对连接权与阈值梯度的一次幂有关，而且也与梯度的高次幂有关。因此，克服了传统的BP学习算法过程中难以跳出局部极小值与收敛速度慢的缺点。模拟实验表明，该算法比传统的BP网络学习算法在学习时间和迭代次数方面都具有显著优势。     

基于EM算法的有监督LVQ神经网络及其应用

针对监督LVQ神经网络存在神经元未被充分利用以及输入样本和竞争单元之间的信息被浪费等问题。通过将EM算法引入到LVQ神经网络中,提出了基于EM聚类算法的有监督LVQ神经网络(即EMLVQ网络),从而弥补了LVQ神经网络的不足且具有EM算法提取样本信息精确的优点。通过参数的简化可以得到EMLVQ算法是软竞争格式(SCS)的一种推广。最后将它们应用于说话人辨识。实验表明,EMLVQ神经网络辨识说话人取得了很好的效果。     

BP算法固定学习率不收敛原因分析及对策

人工神经网络BP模型是一种常用的建模方法,但仍存在很多问题.通过对BP算法的应用发现,当固定学习率η大于0～1内某一值,将导致网络算法不收敛.本文从数学理论上分析了这一现象产生的内在原因.最后提出两种有效对策:方法是第一次η取小值,随后取较大值,最后取小值;方法二是调整传递函数f(x).通过这两种方法,解决了固定学习率不收敛的问题,并对改进方法进行了实证检验.     

Learning algorithm and application of quantum BP neural networks based on universal quantum gates

A quantum BP neural networks model with learning algorithm is proposed. First, based on the universality of single qubit rotation gate and two-qubit controlled-NOT gate, a quantum neuron model is constructed, which is composed of input, phase rotation, aggregation, reversal rotation and output. In this model, the input is described by qubits, and the output is given by the probability of the state in which （1） is observed. The phase rotation and the reversal rotation are performed by the universal quantum gates. Secondly, the quantum BP neural networks model is constructed, in which the output layer and the hide layer are quantum neurons. With the application of the gradient descent algorithm, a learning algorithm of the model is proposed, and the continuity of the model is proved. It is shown that this model and algorithm are superior to the conventional BP networks in three aspects： convergence speed, convergence rate and robustness, by two application examples of pattern recognition and function approximation.     

样条权函数神经网络的一种新型算法

针对前馈神经网络在数值插值领域的应用场合,提出了一种新型结构的神经网络及其训练算法。网络拓扑结构简单,网络训练所需的神经元个数与样本个数无关,可以简单地表示成输入、输出样本向量维数之积。算法只需训练1层权函数。训练后的权函数由三次样条函数构成,而不是传统方法(反向误差传播算法“BP”或径向基函数算法“RBF”)的常数。通过求解两组线性方程组,就可以确定具体三次样条权函数形式。不存在传统梯度下降类算法的局部极小、收敛速度慢、初值敏感性等问题。仿真实验说明此算法比传统算法(如BP、RBF)精度高、速度快。