使用最小二乘法减少神经网络的隐单元

提出新的逐步减少神经元个数并保持神经网络性能的方法,每一步中利用提出的规则之一选择消去的单元,然后求解一个线性最小二乘问题调整网络中部分剩余权值,使简化网络的输入－输出关系在训练集上尽量保持不变,该方法可以得到比已有的启发式方法规模更小,但性能相近的网络,用反映国内生产总值与外贸总输出和总输入之间关系的例子说明了方法的有效性。     

一种适于非线性系统辨识的神经网络学习算法

提出基于卡尔曼滤波前向多层感知器快速学习算法，对此算法进行了详细的推证。仿真结果证实了这种神经网络结构用于非线性系统辨识的有效性。此算法收敛速度快、重复性好，且对存在观测噪声的输入输出能获得尽可能精确的辨识结果，从而提高了神经网络系统辨识的实用性。     

非线性系统的RBF神经网络建模方法研究

RBF神经网络理论为非线性系统辨识提供了有力的工具。针对多数RBF神经网络原有算法的计算量大、学习速度慢等缺点,采用一种混合算法,仿真结果表明算法具有一定的有效性。     

提高多目标输出神经网络模型泛化能力和预测精度的方法

为提高BP网络模型的泛化能力和学习精度,从神经网络的结构、参数设计,以及基本训练算法的选定等方面进行研究,给出了程序设计过程,提出了有效的解决方法。     

多层前馈神经网络隐单元数目上界的证明

研究前馈神经网络隐单元数目的上蜀和如何利用样本集的特性减少所需的隐单元个数。利用Ｓｉｇｍｏｉｄ函数的两端极限特性,使每个隐单元表示１～２个样本。在样本集具有局部单调性的情况下,可以用有〖（ｐ－１）／２〗个隐单元的３层前馈神经网络以任意小的误差表示ｐ个目标值。对一般的样本集,所需的隐单元数为〖（ｐ－１）／２〗～（ｐ－１）个。     

对提高BP神经网络泛化能力的分析和总结

BP神经网络是最著名的多层前向反馈式神经网络训练算法之一,如何提高BP神经网络的泛化能力成为人们研究的热点。本文从构造训练样本集、对样本集的处理、如何选取隐层节点以及对标准BP算法的改进这几个方面,对BP神经网络的泛化能力进行了分析和总结。     

分区前馈神经网络及其算法

基于鲎小眼间侧向抑制的Hartline Ratliff模型，文中将自组织网络与BP网络相结合，提出了一种分区前馈神经网络，并给出其具体学习，仿真算法.该网络结构能反映人脑多网络结构，并行处理信息的特点，因而具有学习快速，一定程度上克服局部极小和适合并行计算的特点.计算机仿真的算例证明，即使在患行计算机学习时间也可以减少到以往的50%以下，而与传统的前馈神经网络具有相同的泛化能力.     

基于粒子群优化算法的并行学习神经网络集成构造方法

为了提高神经网络集成中个体网络的差异性,并减少将集成用于预测时的计算量,本文结合粒子群优化算法和个体网络的并行学习机制,提出了一种基于粒子群优化的并行学习神经网络集成构造方法。实验表明,和传统的集成构造方法相比,该构造方法具有比较好的性能。     

线性约束非线性规划的神经网络方法

研究了线性约束的非线性凸规划问题,基于最优性的充要条件,提出了求解它的一个神经网络,该西式能同时求解原问题与对偶问题;利用LaSalle不变原理,证明了该网络是Lyapunov稳定的,并且当目标函数严格单调时,它必不范围渐近收敛于原问题的精确最优解,模拟实验表明,该模型是可行和有效的。     

前馈神经网络的容错性研究

以前馈神经网络为研究对象，提出了一种容错型神经网络学习算法，将系统运行过程中可能发生的各类故障随机地引入网络训练过程，使系统获得更加稳健的内部表示。仿真结果表明，该学习算法能够有效地提高神经网络的容错能力和泛化能力。     

多输入模糊神经网络结构优化的快速算法

采用规则前件提取,以获得较少的高效规则,对模糊神经网络(Fuzzy Neural Network)进行结构优化,解决了在多输入模糊系统中因规则数多导致的结构庞大问题,使之适用于多输入模糊系统．结构学习中采用竞争算法优化隶属函数,保证规则前件提取的高效;参数学习中采用梯度下降法调整网络参数。     

基于人工神经网络描述的编程

目的在神经网络结构和算法描述语言的基础上,提出神经网络编程的概念,建立神经网络仿真系统。方法采用具有强类型,并发性和面向对象等特点的Ａｄａ语言作为系统的宿主语言,建立基于结构,算法描述的神经网络认真系统。结果为神经网络的工程应用研究提供手段。结论采用神经网络编程,可以将神经网络与传统的编程语言在通用计算机的基础上统一起来,达到更新更高的处理能力。     

基于神经网络的函数逼近问题

给出了函数逼近问题,提出了一种新的神经网络模型,结合函数逼近问题及该神经网络模型给出了一种学习算法,并利用该算法对函数逼近进行了仿真.说明了该算法的实用性.     

产生式系统与神经元网络的结合

提出了产生式系统和神经元网络相结合的方法,研究了从推理网络转换到神经元网络的途径,研究了从神经元网络权矩阵转换到产生式规则的方法,从而使产生式系统能自动修正规则和获取规则.还提出了一种由二次型阈值元件组成的神经元网络,给出了它的学习算法,并严格证明了它的收敛性.     

一种快速选择性神经网络集成方法

选择性集成通过选择部分个体能够获得比传统全部集成更好的泛化性能．已有的一些选择性集成方法实现的时间复杂性较高，或没有充分利用个体的先验信息．提出了一种新的选择性集成方法FASEN（fast approach to selective ENsemble）．该方法在独立训练出一批神经网络后，采用一种近似搜索策略，只选择与其他个体差异较大且估计泛化误差较小的网络参加集成，把个体选择的搜索空间从2^N降到N．理论分析与实验结果表明，该方法简单高效，泛化性能与已有的几种选择性集成方法相当甚至占优．     

多层神经网络BP算法的改进

多层神经网络ＢＰ算法的改进姚瑞波孙国雄汤崇熙（东南大学机械工程系，南京２１００１８）目前，前馈型多层神经网络模型已广泛应用于模式识别、语音识别、数据压缩等领域．ＢＰ算法作为其学习方式有效地解决了ＸＯＲ、Ｔ－Ｃ匹配问题，但ＢＰ网络的学习过程是对一个高...     

高速神经网络HS-K-WTA-2的研究

该文提出了一种新的K-Winners-Take-All神经网络:High-Speed-K-Winners-Take-All-2(HS-K-WTA-2).HS-K-WTA-2以竞争学习算法为基础.HS-K-WTA-2能够从任何一个数集中识别出K个较大的数,或K个较小的数.该文给出HS-K-WTA-2算法及算法复杂度的分析结果.用专门为研究K-WTA神经网络开发的仿真程序对HS-K-WTA-2、HS-K-WTA和Winstrons进行仿真研究.结果显示:当所取的数集N较大时,HS-K-WTA-2要比Winstrons和HS-K-WTA速度更快.HS-K-WTA-2的硬件实现比Winston的硬件实现要简单,比HS-K-WTA的硬件实现复杂.     

基于神经网络结构搜索的目标识别方法

针对目标识别需求,对基于神经网络的深度学习方法展开研究。由于深度学习模型中包含了对数据的先验假设,因此人工设计神经网络需要领域内专家丰富的先验知识,且具有劳动密集与时间成本高的缺点。为了获得超越专家个人经验、表现更好的网络,采用一种可微神经结构搜索的高效结构搜索方法,将搜索空间放宽为连续的空间,然后通过梯度下降来优化体系结构的验证集性能,从而找到面向目标识别的最优神经网络结构。仿真实验结果表明,将基于神经网络结构搜索的目标识别方法应用于"低慢小"类目标识别是可行的。     

应用在系统辨识中的一种改进的遗传神经网络模型

分析了传统系统辨识方法和神经网络方法各自的优缺点,提出一种应用在强非线性系统辨识中的遗传神经网络模型。针对神经网络的收敛速度和全局收敛性的缺陷,分别采用高速收敛算法和遗传算法进行了改进,取得了较为满意的结果。针对神经网络泛化能力差不易应用的缺点,使用了结构进化方法和结构设计方法中的剪枝算法来改善模型的泛化能力。最后使用2个模拟信号进行仿真试验,结果与分析的结论一致。     

一个改进的BP神经网络自适应学习算法

提出了一个改进的自适应变步长ＢＰ网络学习算法,对多个布尔学习问题以及Ｆｉｓｈｅｒ收集的一个植物分类问题进行计算．结果表明,该算法不仅有相当快的收敛速度,而且在避免学习过程陷入局部极小方面也取得较好结果．