前馈神经网络权值学习综合算法

目前基于高斯牛顿法及其衍生算法的前馈神经网络虽然可以达到局部二阶收敛速度,但只对小残量或零残量问题有效,对大残量问题则收敛很慢甚至不收敛.为了实时解决神经网络学习过程中可能遇到的小残量问题和大残量问题,引入NL2SOL优化算法与GaussNewton法相结合,并引入熵误差函数,构建基于GaussNewton NL2SOL法的前馈神经网络.仿真实例表明,该神经网络较好地解决了残量问题,具有良好的收敛性和稳定性.     

基于GaussNewton-NL2SOL法的前馈神经网络及应用

目前基于高斯牛顿法及其衍生算法的前馈神经网络虽然可以达到局部二阶收敛速度,但只对小残量或零残量问题有效,对大残量问题则收敛很慢甚至不收敛.为了实时解决神经网络学习过程中可能遇到的小残量问题和大残量问题,引入NL2SOL优化算法,并与GaussNewton法相结合,构建基于GaussNewton-NL2SOL法的前馈神经网络.仿真实例表明,该神经网络较好地解决了残量问题,具有良好的收敛性和稳定性.     

基于重置的拟牛顿动态前馈神经网络

前馈神经网络的结构直接影响网络的性能。构造基于拟牛顿法(Quasi．NewtonAlgorithm)的前馈神经网络模型，为了优化神经网络结构，尝试引入重置算法(EarlyRestartAlgorithm)，得到基于重置的拟牛顿动态前馈神经网络。对比实验表明，重置算法的引入有效地解决了结构优化问题，优化后的神经网络具有良好的收敛性与稳定性。     

重置变结构神经网络的算法

神经网络的结构直接影响到网络性能的优劣，进而影响其推广使用，是目前研究的焦点之一．尝试将重置算法应用于经典BP神经网络的结构优化，研究了重置算法中最佳重置时间的性质，同时提出一种重置变结构经典BP神经网络．     

前馈神经网络学习新算法及其仿真

目前基于高斯牛顿法及其衍生算法的前馈神经网络虽然可以达到局部二阶收敛速度,但只对小残量或零残量问题有效,对大残量问题则收敛很慢甚至不收敛．为了实时解决神经网络学习过程中可能遇到的小残量问题和大残量问题,引入拟牛顿(QuasiNewton)优化算法,并与LM(Levemberg—Marquardt)法相结合,构建基于LM—QuasiNewton法的前馈神经网络．仿真实例表明,该神经网络较好地解决了残量问题,具有良好的收敛性和稳定性．     

基于组合神经网络的软件可靠性预测研究

为了进一步提高神经网络的预测能力,提出了一种前馈神经网络混合学习算法,并将其应用于组合神经网络.该算法由一种模式提取算法(Alopex)和伪逆算法组成.在该混合学习算法中,网络的学习任务被分解为2个部分:隐藏层的权值先随机给定,然后使用Alopex算法不断地对其进行扰动;输出层的权值使用伪逆算法确定.所使用的组合神经网络由多个结构相同的前馈神经网络组成,每个前馈神经网络都使用混合学习算法(采用不同的初值)进行训练.实验结果表明,这种组合神经网络能够显著提高软件可靠性的预测精度.     

基于粒子群优化和模拟退火的神经网络优化研究

文章把模拟退火思想引入到粒子群优化算法中,提出一种关于神经网络结构的优化设计方法,用于同时完成对网络结构空间和权值空间的搜索。算法对神经网络的结构和权值进行了优化,删除了网络中的冗余结点和权值,提高了网络的处理能力。实验结果表明,算法能够有效抑制粒子群优化算法不成熟收敛的发生,有效提高前馈神经网络的收敛精度和收敛速度,表现出良好的性能。     

径向基概率神经网络的结构优化算法研究

径向基概率神经网络（RBPNN）是在径向基函数神经网络（RBFNN）和概率神经网络（PNN）的基础上发展起来的一种新型的前馈神经网络（FNN）模型。该网络模型充分吸收了径向基函数神经网络和概率神经网络的优点,这种新的模型具有计算复杂度低、收敛速度快等优点。本文深入研究了径向基概率神经网络的结构优化算法,在遗传结构优化方法的基础上,提出一种新的两步学习算法,基于遗传算法的梯度学习算法。该算法一方面优化了网络结构,使网络结构尽可能的精简,另一方面有效地提高了网络的推广能力。     

自适应粒子群神经网络识别种蛋成活性

提出了一种自适应粒子群神经网络自动识别孵化早期种蛋成活性的方法.通过主成分分析提取孵化种蛋颜色特征,减少了神经网络输入节点数.提出的自适应粒子群优化算法,用于优化多层前馈神经网络的拓扑结构,提高了神经网络的学习质量和速度.实验表明该方法识别种蛋成活性切实可行,识别准确性高,算法具有鲁棒性.     

基于BP神经网络的切削力预报

切削力预报与控制直接影响切削加工的质量和成本.以多层前馈神经网络为基本结构,以误差反向传播算法(BP算法)为网络训练方法,借助VC 语言建立了切削力预报程序.通过引入共轭梯度法和拟牛顿法优化方法,解决了网络训练中局部最小和过早饱和问题,提高了神经网络的收敛速度和精度,实现了对切削加工过程中切削力的预报和仿真.通过对以两种难加工材料的铣削和磨削试验数据为基础的预报计算,发现传统经验公式方法预报误差偏大,最大相对误差达24.9%,而神经网络方法预报结果最大相对误差为2.01%,证明基于BP神经网络的切削力预报研究具有一定参考和应用价值.     

一种改进的多层前馈神经网络结构研究

通过将传统多层前馈神经网络结构改造为具有跨层连接的网络,提出了相应的多层前馈神经网络改进算法.通过分析网络误差函数,从理论上证明了:相对于无跨层连接网络,有跨层连接网络能以更加简洁的结构逼近理想状态.最后,用一个隐层神经元解决了传统网络必须用两个隐元才能解决的异或问题.     

神经网络过学习问题的统计学分析及改进算法

着重分析了前向神经网络在学习过程中过学习问题产生的统计学机理,并根据统计学习理论提出了一种新的准则函数·该准则函数综合考虑了网络的逼近性、容错性和归纳性,并且算法实现起来简单,易于在线选择·同时还提出一种新的网络结构学习算法·最后用该学习算法进行网络训练,仿真结果显示了算法的有效性和实用性·     

深层前馈网络的单调同伦学习算法

本文研究前馈神经网络的结构以及快速二阶学习算法，首先提出一种能和适应分布网络结构的深层前馈网络模型，并利用构造性方法证明了该网络的通有逼近性质，为改进网络学习效率及大范围收敛性，提出了网络权值学习的单调同伦方法，该方法具有与牛顿法相同的二阶收敛性，数值实例显示了该方法的高效性与大范围收敛性，深层前馈网络模型具有自适应分布网络结构，高度非线性逼近性以及可实现快速学习算法等特点。     

一种基于神经网络的非线性卫星HPA预失真器

卫星通信中放大器使用的行波管(TWT)会引起信号的非线性畸变,对通信质量造成较大影响.为解决这种不利影响,在放大器前端采用非线性预失真,能较理想地消除放大器的非线性.由于神经网络能够对非线性函数进行较好地拟合,可以将其引入预失真器的设计.为简化神经网络中的LM算法,提出了一种采用LMS算法的系统模型,并建立新的自适应预...     

基于改进粒子群算法的电力系统负荷预测

为了提高电力系统负荷预测的精度,并考虑到电力系统负荷的混沌特性,提出了将蜜蜂进化型粒子群算法和混沌神经网络相结合的负荷预测方法.构建了混沌神经网络模型,提出了蜜蜂进化型PSO算法(Bee Evolution Modifying Particle Swarm Optimization, BEMPSO);以此来训练混沌神经网络参数,并且分别对基本粒子群优化算法和BEMPSO优化算法的模型进行仿真预测.结果表明提出的BEMPSO混沌神经网络负荷预测方法具有较强的泛化能力和较高的精度.