一种多层前馈神经网络的快速学习算法

对多层前馈神经网络的学习算法及其特点做了较为详细的讨论，提出了一种基于层内优化的快速学习算法。在该算法中，输出层的连接权矩阵（V）和前一层的输出矢量（B）被作为2个变量集合，通过最小化该层样本的总平方误差函数可求得一组它们的优化解（V^*,Bp^*）；并将Bp^*作为前一层（隐层）的期望输出，用类似的方法同样可以求出隐层的连接权矩阵和输出矢量，最后通过计算机仿真证明了该算法的有效性。     

基于子空间分析的前馈神经网络隐层评测方法

针对最佳平方逼近3层前馈神经网络模型,采用子空间分析方法,讨论了隐单元的误差补偿性能,提出了隐层评测方法.研究结果表明隐单元选取策略应遵循其输出向量有效分量位于误差空间、回避耗损空间和尽可能靠近某一能量空间的原则,这一结果与隐单元采用什么激发函数无关,也允许各隐单元采用不同激发函数.网络的隐层性能评价可以通过隐层品质因子、隐层有效系数、隐单元剩余度来进行,而总体结果可采用隐层评价因子进行评测.评测实验表明,所提出的隐层评测方法是合理有效的.图1,表1,参11.     

一种优化多层前馈神经网络中隐节点数的算法

多层神经元网络中隐含层的层数及其每一层的神经元数的多寡，至今仍无法用一个解析式精确求得，提出了一种基于黄金分割法的算法，用于求解三层前馈神经网络中的隐层节点数，所得结果有助于提高三层前馈神经网络整体品质。仿真结果表明该算法能较快地找到较优的隐层节点数。     

一种局域连接前向人工神经网络结构的研究

双隐层标准前馈（ＢＰ）网络只要其隐层节点数足够多就能解决任何形式的分类问题．应用标准（ＢＰ）网络识别多模式类分类问题时存在以下缺陷：（１）对不同模式类均使用相同数目的隐层元；（２）增加新模式类后，网络要重新学习；（３）网络识别的机理研究困难．笔者提出了一种局域连接前馈神经网络（ＬＣＮＮ）结构，其隐层神经元与输出神经元之间为局域连接，学习算法与ＢＰ算法类似．ＬＣＮＮ具有以下特点：（１）便于自构网络结构，提高网络的推广能力；（２）便于提取各模式类的不变特性；（３）具有较强的记忆能力，便于实现追加学习．以五种海底沉积层介质类型的分类识别为例，分别利用标准前馈（ＢＰ）网络与ＬＣＮＮ网络进行分类识别，结果表明：ＬＣＮＮ便于自构网络结构，具有追加学习的能力．     

一种多层前馈网络计量经济建模方法

介绍了4种敏感性分析方法,给出了多层前馈网络计量经济模型正规化灵敏度的解析计算方法,进而利用灵敏度来进行多层前馈网络结构优化.结果表明了对多层前馈网络计量经济模型进行敏感性分析是一种有效识别敏感因素的方法.     

一种自适应确定隐层节点数的增量半监督超限学习机算法

单隐层前馈神经网络中,隐层节点个数是影响网络的学习能力和复杂程度的重要因素.在实际应用当中,如何确定网络的隐层节点个数仍然是一个开放的问题.在半监督超限学习机(SS-ELM)的基础上,本文提出了一种增量半监督超限学习机(ISS-ELM)算法,对于给定的学习精度,该算法能够逐个或者成批地增加隐层节点,并自适应确定隐层节点...     

基于改进GA的WRBF神经网络设计与应用

针对单独自动设计径向基函数(RBF)网络和小波网络过程中对样本要求过于严格,以及输出层线性求和运算可能造成样本类别交叠的问题,结合两种网络结构简单的优点,设计了一种新的四层前馈神经网络--小波径向基网络(Wavelet radial basis network,WRBF).该网络在结构上,第一隐层对输入样本进行小波映射,实现对输入空间的压缩;第二隐层对第一隐层输出进行第二次非线性映射;在网络的训练方法上,利用多阶染色体混合编码实现两隐层间的选择性连接,并对遗传算法(Genetic algorithm,GA)进行改进,利用改进的GA同时优化网络结构和参数.通过对多输入单输出系统和热能表系数模型进行实验,结果表明:改进的GA减小了早熟收敛的发生,所设计的网络具有较高的建模精度.     

LM算法在神经网络语音识别中的应用

输入语音信号中声音的特征提取和分类识别可以通过多层前馈神经网络大量学习实现,但基于误差反向传播的前馈神经网络(BP神经网络)标准算法收敛速度慢,在训练中效率不高。采用一种快速稳定的Levenberg-Marquardt算法进行语音识别,通过对语音信号的预处理、特征提取和网络结果优化,建立了网络训练样本集,用MATLAB进行了仿真,仿真结果表明,该算法优于传统的BP算法,具有更好的收敛性。     

基于多层前馈网络的计量经济模型敏感性分析方法

多层前馈网络计量经济模型可以描述复杂的非线性经济现象,在经济建模中的应用日益广泛。而经济敏感性分析是一种研究经济的有效方法,潜在函数关系的可微性是应用该方法的前提条件之一,其要点是用拟合函数的导数来近似潜在函数的导数。介绍了四种敏感性分析方法,给出了多层前馈网络计量经济模型正规化灵敏度的解析计算方法,并说明了对多层前馈网络计量经济模型进行敏感性分析是一种有效识别敏感因素的方法。     

设计前馈神经网络结构的一种新方法

提出了一种设计前馈神经网络结构的新方法,该方法对网络隐层节点的输出作奇异值分解,根据奇异值大小的分布情况来决定隐层节点的个数,优化网络结构。这种方法同样也适用于有多个隐含层前馈神经网络的设计。应用这种方法来设计一个前馈神经网络并对一复杂信号建模和进行预测,能取得令人满意的结果。     

基于重置的拟牛顿动态前馈神经网络

前馈神经网络的结构直接影响网络的性能。构造基于拟牛顿法(Quasi．NewtonAlgorithm)的前馈神经网络模型，为了优化神经网络结构，尝试引入重置算法(EarlyRestartAlgorithm)，得到基于重置的拟牛顿动态前馈神经网络。对比实验表明，重置算法的引入有效地解决了结构优化问题，优化后的神经网络具有良好的收敛性与稳定性。     

前馈神经网络结构优化新算法

前馈神经网络的结构直接影响网络的性能.首先基于拟牛顿NL2SOL法构造前馈神经网络模型,为了优化神经网络结构,尝试引入重置算法(Early Restart Algorithm),构建基于重置的NL2SOL动态前馈神经网络.最后通过对比实验表明,重置算法的引入有效地解决了神经网络的结构优化问题,优化后的神经网络具有良好的收敛性与稳定性.     

基于改进粒子群算法的电力系统负荷预测

为了提高电力系统负荷预测的精度,并考虑到电力系统负荷的混沌特性,提出了将蜜蜂进化型粒子群算法和混沌神经网络相结合的负荷预测方法.构建了混沌神经网络模型,提出了蜜蜂进化型PSO算法(Bee Evolution Modifying Particle Swarm Optimization, BEMPSO);以此来训练混沌神经网络参数,并且分别对基本粒子群优化算法和BEMPSO优化算法的模型进行仿真预测.结果表明提出的BEMPSO混沌神经网络负荷预测方法具有较强的泛化能力和较高的精度.     

深层前馈网络的单调同伦学习算法

本文研究前馈神经网络的结构以及快速二阶学习算法，首先提出一种能和适应分布网络结构的深层前馈网络模型，并利用构造性方法证明了该网络的通有逼近性质，为改进网络学习效率及大范围收敛性，提出了网络权值学习的单调同伦方法，该方法具有与牛顿法相同的二阶收敛性，数值实例显示了该方法的高效性与大范围收敛性，深层前馈网络模型具有自适应分布网络结构，高度非线性逼近性以及可实现快速学习算法等特点。     

用T-S型模糊神经网络的机械手轨迹跟踪自适应控制

对于常见的将 CMAC神经网络前馈控制器和常规反馈控制器相结合的机械手轨迹跟踪控制方案 ,它的控制性能同时受神经网络前馈控制器学习能力和反馈控制器控制精度的制约。该文提出的采用 T- S型模糊神经网络的机械手轨迹跟踪自适应控制方案充分利用了 T- S模糊模型的特点和优点 ,以一种基于简化的 T- S型的模糊神经网络作为前馈控制器 ,同时反馈控制器也采用 T- S型模糊神经网络实现。针对三自由度机械手轨迹跟踪问题的仿真实验表明 ,采用 T- S型模糊神经网络的机械手轨迹跟踪自适应控制方案是可行的和有效的     

基于Bernstein多项式构造前向神经网络的遗传算法

首先, 介绍一元Bernstein多项式的逼近定理和基本性质, 并引入二元甚至n元Bernstein多项式, 从而根据一元Bernstein多项式在相邻等距剖分点的差值为后置连接权构造一个三层前向神经网络; 其次, 通过编码机制、 模拟选择、 遗传复制、 交叉和变异等操作给出算法运行过程; 最后, 利用误差函数和适用度函数对前置连接权及阈值进行迭代更新设计遗传算法. 实验结果表明该算法有效.     

神经网络过学习问题的统计学分析及改进算法

着重分析了前向神经网络在学习过程中过学习问题产生的统计学机理,并根据统计学习理论提出了一种新的准则函数·该准则函数综合考虑了网络的逼近性、容错性和归纳性,并且算法实现起来简单,易于在线选择·同时还提出一种新的网络结构学习算法·最后用该学习算法进行网络训练,仿真结果显示了算法的有效性和实用性·     

基于GaussNewton-NL2SOL法的前馈神经网络及应用

目前基于高斯牛顿法及其衍生算法的前馈神经网络虽然可以达到局部二阶收敛速度,但只对小残量或零残量问题有效,对大残量问题则收敛很慢甚至不收敛.为了实时解决神经网络学习过程中可能遇到的小残量问题和大残量问题,引入NL2SOL优化算法,并与GaussNewton法相结合,构建基于GaussNewton-NL2SOL法的前馈神经网络.仿真实例表明,该神经网络较好地解决了残量问题,具有良好的收敛性和稳定性.     

前馈神经网络学习新算法及其仿真

目前基于高斯牛顿法及其衍生算法的前馈神经网络虽然可以达到局部二阶收敛速度,但只对小残量或零残量问题有效,对大残量问题则收敛很慢甚至不收敛．为了实时解决神经网络学习过程中可能遇到的小残量问题和大残量问题,引入拟牛顿(QuasiNewton)优化算法,并与LM(Levemberg—Marquardt)法相结合,构建基于LM—QuasiNewton法的前馈神经网络．仿真实例表明,该神经网络较好地解决了残量问题,具有良好的收敛性和稳定性．     

混沌算法神经网络与含噪声时间序列的预测

在前馈神经网络连接权的动力学方程中引进一非线性反馈预后,网络在权空间具有混沌动力学行为：应用这种算法的神经网络对基于Mackey-Glass方程含噪声的时间序列进行在线预测,结果表明网络具有很好的预测性能。