一种新型的前馈多层神经网络学习算法

利用矩阵Ｍｏｏｒｅ－Ｐｅｎｒｏｓｅ逆的方法,提出了一种新型的前馈多层神经网络学习算法－ＭＢＰ算法。该算法采用了群体搜索的策略,打破了ＢＰ算法一次一点的搜索方式,一次可搜索权空间中的一个超平面,仿真结果表明,该算法在提高收敛速度和避免陷入局部极小点方面都有一定的进展。     

多层神经网络BP算法的改进

多层神经网络ＢＰ算法的改进姚瑞波孙国雄汤崇熙（东南大学机械工程系，南京２１００１８）目前，前馈型多层神经网络模型已广泛应用于模式识别、语音识别、数据压缩等领域．ＢＰ算法作为其学习方式有效地解决了ＸＯＲ、Ｔ－Ｃ匹配问题，但ＢＰ网络的学习过程是对一个高...     

基于遗传算法的神经网络在局部放电模式识别中的应用

针对ＢＰ神经网络（ＮＮ） 在大型发电机局部放电模式识别中存在的收敛速度慢、容易陷入局部极小点的问题,提出采用遗传算法（ＧＡ） 作为神经网络的学习算法．并且根据神经网络结构的特点,构造了新的遗传算子．结果表明,与ＢＰ神经网络相比,ＧＡ 神经网络的收敛性能和推广能力都有了明显提高     

遗传神经网络算法改进研究

对传统的遗传算法编码方式进行了改进并与前馈神经网络ＢＰ算法相结合,从而克服了ＢＰ算法收敛速度慢的缺点。算例表明,改进后的算法是有效的。     

联想记忆系统的学习算法设计（Ⅰ）

基于牛顿向前插公式设计了一种新的联想记忆系（ＮＦＩ－ＡＭＳ）的学习算法,用以实现任意阶的多变量多项式函数的无误差逼近。该系统与传统类型的ＣＭＡＣ－ＡＭＳ相比,具有学习精度高和记忆空间小的特点;且比多层的ＢＰ网络具有学习算法简单和收敛速度快的特点。数值模拟表明,这种ＮＦＩ－ＡＭＳ在信号处理,模式识别,及高精度的实时智能控制等领域具有很大的应用潜力。     

联想记忆系统的学习算法设计(I)

基于牛顿向前插公式设计了一种新的联想记忆系（ＮＦＩ－ＡＭＳ）的学习算法，用以实现任意阶的多变量多项式函数的无误差逼近。该系统与传统类型的ＣＭＡＣ－ＡＭＳ相比，具有学习精度高和记忆空间小的特点；且比多层的ＢＰ网络具有学习算法简单和收敛速度快的特点。数值模拟表明，这种ＮＦＩ－ＡＭＳ在信号处理，模式识别，及高精度的实时智能控制等领域具有很大的应用潜力。     

前馈网络的一种线性化快速学习算法

针对前馈神经网络的反向传播（ＢＰ）学习算法收敛速度慢的缺点,提出了一种新的学习算法即线性化快速学习算法。这种学习算法在神经网络学习的初期,采用标准ＢＰ学习算法。而当神经网络接近最优点时,由于此时其连接权重调节幅度很小,因此采用对各层神经元的非线性作用函数进行泰勒级数展开,并取其一阶展开式近似逼近原函数,从而使其非线性作用函数转化为线性作用函数,简化了网络学习过程的计算量,加速了网络的学习速度。文中最后给出了采用线性化算法与标准ＢＰ算法对正弦函数的学习过程。     

MIMD机器上流水化BP算法的实现

神经网络训练过程中的高昂计算代价是有待克服的一个主要困难。作者把前馈多层神经网络的相继各层看做流水线的相继步骤，从而提出了一个在ＭＩＭＤ机器上实现的并行ＢＰ算法来提高误差反传递算法的效率。文章的最后，对ＢＰ算法的并行实现进行了分析，理论分析结果显示，多种神经网络结构都可有效地并行化。     

前向网络的两种混合学习策略

针对前向网络反向传播算法（ＢＰ）训练缓慢和易于陷入局部极小的缺点以及反向运算的复杂性,利用ＢＰ算法监督学习特点、模拟退火（ＳＡ）算法在局部极小处的概率突跳特性和遗传算法（ＧＡ）的并行化群体搜索的特点,有效结合ＢＰ和ＳＡ算法以及ＧＡ和ＳＡ算法,提出了前向网络的两种混合学习策略即ＢＰ＆ＳＡ混合策略和ＧＡ＆ＳＡ混合策略。以异或问题为例,通过计算机仿真对混合策略与ＢＰ、改进ＢＰ算法的比较表明混合学习策略较大程度改进了前向网络学习的收敛性能和收敛速度,并一定程度上避免了反向运算的复杂性,是前向神经网络学习的有效算法。     

基于PID调节的多层前馈网及其应用研究

介绍了多层前馈网的基本算法及其在镦粗压力计算中的应用。针对其基本学习算法（反向误差传播算法，ＢＰ算法）存在的收敛速度慢和易陷入局部最小值的问题，提出了基于ＰＩＤ调节的ＢＰ算法，由此建立起镦粗压力计算的神经网络知识库，经过测试集考核，证明该模型算法正确，能有效地提高模型的判别精度，是一种有效的和有前途的算法。     

改进的神经网络快速学习算法

提出了一种新颖的神经元模型和用于神经网络训练的推广准则，给出了多层神经网络的快速学习算法，研究了一种用于语音识别的时变多层神经网络及其相应的快速学习算法．语音识别实验表明：所给出的快速学习算法能有效地加速网络训练进程．     

一种量子神经网络说话人识别方法

针对说话人语音特征空间边界存在模糊性的特点,构建了一种量子神经网络识别分类器,用于说话人识别,以改善存在交叉数据的语音特征参数的分类效果。提出了一种基于人工免疫算法的量子间隔训练方法,以改善传统量子神经网络训练算法的不足。以TIMIT语音库为测试语音,与传统BP网络和基于常规梯度下降量子间隔训练算法的量子神经网络做对比实验。实验证明,算法能有效提高说话人识别系统的识别率,同时与高斯混合模型相比,具有更好的抗噪声性能。     

混沌免疫粒子群优化算法在BP网络训练中的应用

将人工免疫系统中的克隆选择和混沌算法引入粒子群优化算法,提出一种混沌免疫粒子群优化算法.算法的主要特点是利用克隆和混沌变异等操作,提高收敛速度和种群的多样性.结合Iris分类问题,将新算法应用到BP网络的权值优化中,并和基于标准PSO算法的方法和单纯BP网络训练进行比较.实验结果表明,该算法性能优于所比较的两种算法,并且具有良好的收敛性和稳定性.     

基于粒子群蛙跳算法优化BP神经网络的滚动轴承故障诊断方法

针对滚动轴承故障诊断方法存在的局限性及缺陷,在利用小波分析提取滚动轴承故障信号特征向量基础上,提出基于粒子群 蛙跳算法优化的BP神经网络滚动轴承故障诊断方法。该方法采用粒子群 蛙跳算法优化BP神经网络结构参数,利用改进BP算法和样本数据训练BP神经网络,实现滚动轴承运行正常和4种不同故障状态的诊断。实验验证结果表明,基于粒子群 蛙跳算法的BP神经网络方法诊断误差最大值仅为005,为未优化的神经网络诊断误差的1/16;与其他算法相比,基于粒子群 蛙跳算法优化的BP神经网络方法的训练时间、训练误差和诊断精度各项指标均为最优,可实现滚动轴承故障的快速、准确、有效诊断。     

基于粗糙集的改进BP神经网络算法研究

提出了一种基于粗糙集和遗传算法的改进BP神经网络算法.该算法首先对原始数据集进行属性约简,优化BP神经网络的输入变量;然后利用遗传算法全局搜索的特点,优化BP神经网络初始权重和阈值.将改进BP神经网络算法应用于客户分类,训练误差为5.92×10-12,测试总误差为0.00023;而改进前的一个比较理想的训练结果的训练误差为0.0016,测试总误差为0.073.Matlab仿真表明改进的BP神经网络算法有更好的训练精度和泛化能力.     

免疫遗传算法在BP神经网络中的应用

提出了一种基于免疫遗传算法(IGA)的BP神经网络设计方法.该算法在遗传算法(GA)的基础上引入生物免疫系统中的多样性保持机制和抗体浓度调节机制,有效地克服了GA算法的搜索效率低、个体多样性差及早熟现象,提高了算法的收敛性能.为了解决BP神经网络权值随机初始化带来的问题,用多样性模拟退火算法(SAND)进行神经网络权值初始化,并给出了算法详细的设计步骤.仿真结果表明,同混合遗传算法相比,该算法设计的BP神经网络具有较快的收敛速度和较强的全局收敛性能.     

一种新型前向神经网络用于汉语四声识别

提出了一种新型的前向神经网络，并研究了其在语音识别中的应用。该神经网络为只含一层非线性隐层的前向神经网络，以线性的输出层代替一般ＢＰ网络的非线性输出层，可以更准确地，范围更大地完成非线性函数估值功能。该神经网络采用了包括反向传播算法及最小均方算法的混合算法进行训练，可以减少落入局部最小点的概率以及提高收敛速度。     

速度自适应粒子群优化算法在故障诊断中的应用

在原始粒子群优化算法(PSO)中设置动态最大限制速度基础上,提出一种速度自适应粒子群优化算法。经过神经网络的测试表明,该算法在收敛速度和精度上都优于原始算法,并且参数选取灵活,容易实现。将改进算法应用于实验室变速箱的神经网络故障诊断系统中,并与PSO和BP算法进行了比较,得出该算法不仅对变速箱故障的识别准确率比较高,而且故障诊断的精度和效率也较高。     

基于小样本数据的BP神经网络建模

针对小样本条件下BP神经网络存在预测精度不高的问题,将专家知识融入BP神经网络训练过程中解决此问题。首先BP神经网络通过遗传算法获得最优初始权值和阈值;其次对专家知识进行数学表达;最后通过增广拉格朗日乘子法将专家知识融入BP神经网络训练过程中。利用实际中的结晶动力学问题对所提方法进行验证。仿真结果表明,与现有的解决小样本问题的方法相比,融合专家知识的BP神经网络在小样本条件下可以有效提高预测精度。