前馈网络构造性设计中基于GP实现神经元激活函数类型优化

讨论了在前馈网络构造性设计中如何基于遗传编程(GP)实现神经元激活函数类型自动优化的问题.首先,提出了典型前馈网络的一种构造性设计方法框架,将整个网络的设计分解为单个神经元的逐个设计;然后,在此框架下提出了基于GP的单个神经元的设计方法,该方法可实现对激活函数类型的优化.仿真实验显示,本文的前馈网络构造性设计方案是可行的,与其他几种不优化激活函数类型的网络设计方法相比,本方法更有效,能用较小的网络规模获得更满意的泛化特性.     

基于构造性设计和GA的ANN建模方法

强调了激活函数在ANN设计中的重要性,提出一种基于构造性设计及GA的网络结构及神经元激活函数类型自动优化的ANN模型(constructived and GA based activation function,简称为CGBAF),并给出其一般形式和算法.本模型用于多层前向神经网络时,其网络结构及激活函数类型可自动优化,进而可大大提高ANN的泛化能力.通过例子验证了本方法的有效性,并进行了分析.     

新的组合激活函数BP网络模型研究

作者提出了一种新的BP神经网络模型，其隐层激活函数采用中心参数可调的Gaussian函数，输出层采用斜度可调的Sigmoid函数，从而神经元具有了更强的信息存储、处理能力。由于采用组合函数，将Gaussian函数良好的局部性和Sigmoid函数良好的全局性相结合，提高了神经网络的收敛速度。几个典型实验的结果表明，与传统BP网络模型相比，新网络模型在学习能力和泛化推广能力方面都有明显提高。     

一种多参数学习的门控激活函数

激活函数通过自身的非线性机制去激活神经网络,使其能够有效地运行,并保持较高的性能。选择好的激活函数可以对提高网络性能产生较大的影响。ReLU激活函数因其简单有效而成为深度神经网络中最常见的选择,然而,当输入为负时,在反向传播过程中,ReLU梯度将为零,进而导致发生神经元坏死的问题。为此,一种基于软性的门控机制的激活函数Swish和Mish相继提出,该类激活函数主要利用激活函数（如：Sigmoid或Tanh函数）来控制门的开或关,进而实现了神经网络的非线性化需求,并在许多具有挑战性的网络模型和数据集上取得了更好的效果。鉴于上述门控机制运行时,激活函数饱和区的范围相对固定,不能更好地拟合各种网络模型和数据分布。文中提出了一种多参数学习的门控激活函数（A Multi-parameterized Gated Action Function, Mpish）,该函数使用多个参数动态地调整激活函数的饱和区范围,从而适应不同的网络模型和数据分布。实验结果表明：该函数能有效提高神经网络训练结果的准确性和稳定性,且可以较好地工作在更深层次的网络模型中。     

基于ELM-SVR模型的装备关键部件寿命预测

摘 要 装备关键部件数量众多,其性能决定了武器系统的健康寿命。为解决单一模型预测精度不高的问题,提出了基于ELM-SVR模型的剩余寿命预测方法。使用ELM模型的隐层神经元激活函数将特征映射到高维空间,提高特征辨识度,对高维特征采用核函数SVR模型拟合,以软间隔函数代替均方误差函数为优化函数,有效提升了剩余寿命预测精度。依据多个装备关键部件的综合性能指标对其进行剩余寿命预测,实验结果表明：与ELM、SVR、KELM模型相比,平均预测精度分别提高了57.14%,44.44%,11.76%,可见ELM-SVR模型具有一定的泛化能力与鲁棒性,可显著提高剩余使用寿命预测精度。     

基于小波神经网络的股票预测

通过将Morlet母小波基函数作为神经网络隐含层神经元的激励函数,构建了Morlet小波神经网络,对网络结构进行了隐含层节点的优化,对股票收盘价的变化进行仿真和预测,实验结果表明,Morlet小波神经网络具有较好的逼近非线性映射的能力,其泛化性能和预测能力较优.     

高斯激活函数特征值分解修剪技术的D-FNN算法研究

 提出了一种D-FNN的新算法。其算法的最主要特点是：D-FNN选择高斯函数作为网络的激活函数和模糊系统的隶属函数,该算法不仅具有强大的全局映射泛化能力,而且在细化局部方面也有效;使用特征值分解修剪技术使得网络结构不会持续增长,可获得更为紧凑的D FNN结构,避免了过拟合现象。最后通过对Hermite多项式逼近能力来验证所提方案的有效性。仿真结果表明使用特征值分解修剪技术和高斯激活函数的D-FNN具有良好的性能。     

基于参数优化的RBF神经网络结构设计算法

针对径向基函数(RBF)神经网络的结构优化问题,提出了一种基于参数优化的RBF神经网络优化算法.首先,改进K-means++算法,使得聚类算法更精确,为RBF神经网络的隐含层节点找到一个合适的初始中心;然后,考虑数据分布和缩放因子选择的影响,采用方差度量法计算隐含层神经元基函数的宽度;最后,修正网络参数,提高网络的非线性逼近能力.实验结果表明,本文提出的基于参数优化的RBF神经网络具有良好的逼近效果和泛化能力.     

层数对线性神经元感知机性能的影响

用神经元激活函数的线性模型，研究层数对感知器网络性的影响。结论是，层数Ｌ的选取应不大于神经元最多层神经元的个数；权初值的设影响算法步长的选取范围。     

神经网络参数对地震类型识别的影响

由于震源识别模型判据选取不当或关键参数设置不合理,现有地震辨识模型的性能受到一定制约。为了改善地震类型识别效果,优化反向传播(back propagation, BP)神经网络参数设置,提出了一种经验模态分解(empirical mode decomposition, EMD)多尺度近似熵(multi-scale approximate entropy)判据,并讨论训练函数、激活函数、隐藏层神经元数目与学习速率等网络参数对地震辨识的影响。首先,针对多组天然地震事件及人工爆破事件波形进行关键信息提取与归一化,利用EMD算法提取6个本征模态函数(intrinsic mode function, IMF)和1个剩余分量(residual),然后分别计算近似熵得到EMD多尺度近似熵向量;再次,设计一系列BP神经网络调参实验,研究BP神经网络参数对地震类型识别的影响。结果表明,训练函数、激活函数、隐藏层数目等参数对地震辨识产生了明显的影响,辨识效果较好的参数组合为：训练函数采用共轭梯度法,输出层激励函数为purelin函数,隐层激励函数为logsig函数,隐层节点数和学习率分别设置为10和0.0...     

用人工神经网络技术表达船舶型线的算法

应用人工神经网络技术表达船舶型线,针对多元函数逼近问题,分析了影响ＢＰ算法的诸多因素。尝试了逐层学习算法,算法中的优化方法选用共轭梯度法,学习率的调整采用一维法求取最佳值的方法,编辑算结构表明,其收敛速度比普通ＢＰ算法快约一个数量级,在此基础上,以一般３．６万ｔ散货船的型线为例,完成了船舶型线的人工神经元网络表达。     

基于进化神经网络的灰色预测模型

为了弥补神经网络用于灰色理论中学习效率低、收敛速度慢、易陷入局部最优等缺点,采用了改进遗传算法IGA(im proved genetic algon ithm)来辅助优化神经网络,实现了对网络连接权的自适应进化,并应用于灰色预测中。提出了进化神经网络灰色预测模型,通过M atlab程序对某地区农村人均收入的数据进行了预测、比较,预测结果误差均在0.3%以下,明显优于传统的GM(1,1)(grey m odel)的预测结果,其误差在10%左右。实例验证,将进化神经网络应用于灰色预测模型中是可行和有效的。     

学习型机器人动力学模型及其应用

提出了一种基于神经网络学习的机器人动力学建模方法.其特点是在网络结构中引入积分单元,构成含有积分回路的动态网络,使之能够很好地学习对象的动态特征.讨论了该模型在最优化等领域中的应用,及其泛化能力等问题.依据实际高尔夫挥杆机器人的结构参数以及其控制器特性进行了仿真实验.仿真结果表明,该模型算法简单实用,完全不需要对象的数学描述,泛化能力极强,具有良好的应用前景.     

关于泛化神经网络与支持向量机的研究

人工神经网络(ANN)的泛化特性是神经网络最重要的特性,同时也是最不容易保证的特性。本文对改进泛化的神经网络算法以及新兴的机器学习算法——支持向量机算法进行研究,并分别用BP神经网络、改进泛化能力的神经网络、支持向量机对人体脂肪测试实例进行仿真预测分析,结果表明,支持向量机比神经网络、改进泛化神经网络具有更好的预测(泛化)能力,是人工神经网络的替代方法。     

支持向量机与人工神经网络

支持向量机（Support Vector Machine,SVM）是由Vapnik等人提出的一种基于统计学习理论的新型机器学习算法;而人工神经网络（Artificial Neural Network, ANN）已经成功用于解决模式识别和任意非线性函数回归估计问题中. 介绍了支持向量机与人工神经网络的基本原理,并对二者进行了逼近方面的比较,结果表明,支持向量机作为一种新兴技术而具有的独特的优越性.     

混合激活函数对BP算法收敛速度的影响

研究了不同激活函数选取对ＢＰ网络收敛速度的影响,得出了全采用组合激活函数可改善ＢＰ网络的收敛性的结论。以电力变压器的人工神经网络故障诊断为例选取的ＴＴＳ（Ｔ表示为双曲正切函数,Ｓ表示为Ｓｉｇｍｏｉｄ函数）的组合激活函数方式,具有快速收敛性和较高的故障诊断精度。     

基于BP神经网络的环境质量评估

利用人工神经网络对地区综合环境质量进行了评价,提出了基于BP人工神经网络、以Matlab为平台的算法程序的人工神经网络环境质量分类模型．并以某地区环境监测数据值为样本,进行了环境质量评价分析．研究结果表明,BP神经网络应用于环境质量评价无需构建复杂的参数方程,且具有基于知识学习的特性,结构简单实用,具有客观性和通用性．     

一种求解背包问题的新的神经网络模型

背包问题是一类经典的组合优化问题,在网络资源分配中有着广泛的运用。人工神经网络已成为求解大规模优化问题的一种有效方法,已经证明了合适的神经网络能实时地得到问题的精确解。研究了背包问题的神经网络解法,给出了一种求解背包问题的新的神经网络模型,并证明了该网络模型收敛到背包问题的最优解。算例说明了模型有效性和准确性。     

采用BP&SA混合学习策略的短期电力负荷预测方法

提出了一种BP混合模拟退火(SA)的ANN短期负荷预测方法,该方法针对传统BP学习算法的缺点,将BP算法和模拟退火算法的优点相结合以提高网络的学习性能.ANN模型中考虑了温度和预测日类型,可进行工作日和节假日的预测,实例表明ANN模型实用有效、精度高.     

基于BP人工神经网络的非饱和黄土湿陷系数计算方法

在综合分析非饱和黄土湿陷系数影响因素的基础上,采用BP人工神经网络方法建立了湿陷系数的计算模型.用西安地区黄土的实测资料作为网络模型的学习训练样本和测试样本,对网络模型的计算结果与实测进行了对比.结果表明,用人工神经网络方法计算非饱和黄土湿陷系数,结果准确、可靠,更接近于实际,为湿陷系数的理论计算提供一种新方法.