BP神经网络训练算法的改进

BP神经网络被广泛应用于分类模式识别、图像处理和系统控制等领域。 人们对BP网络算法进行了许多的研究,但尚有其不足之处,为完成其权的训练,问题的关键在于如何避免陷入局部极小及在此前提下如何提高学习速度。为此,就如何选取学习率η和动量矩α提出了改进方案,并应用于数字识别,得到了较为满意的结果。     

用混合遗传算法实现神经网络快速训练

快速神经网络训练算法的研究是人们所关注的问题之一。经过分析与研究 ,遗传算法是一种全局并行随机搜索优化算法 ,具有很强的全局搜索能力 ,而 BP算法的局部搜索能力较强。文章将两者结合起来 ,形成一种混合遗传算法 ,并就混合遗传算法的原理及其在实现时所涉及到的许多策略问题进行了分析比较 ,仿真结果表明它具有收敛速度快和不会陷入局部极小的特点。     

BP神经网络训练算法的改进

BP神经网络被广泛应用于分类模式识别、图像处理和系统控制等领域人们对BP网络算法进行了许多的研究,但尚有其不足之处为完成其权的训练,问题的关键在于如何避免陷入局部极小及在此前题下如何提高学习速度为此,就如何选取学习率η和动量矩α提出了改进方案,并应用于数字识别,得到了较为满意的结果     

蚁群算法训练神经网络辨识混沌系统

提出了一种利用蚁群算法训练神经网络的算法,进行混沌系统辨识,并与神经网络、遗传神经网络对同一混沌系统辨识的结果进行比较;实验表明:利用蚁群算法训练神经网络进行混沌系统的辨识,能克服BP求解精度低、搜索速度慢、易于陷入局部极小的缺点;与遗传神经网络相比,虽然执行时间有所增加,但求解精度显著提高,可有效用于混沌系统辨识.     

多层前传神经网络的随机训练算法

基于承机射线法,本文提出了一种对动态网络大新的多层前传神经网络的训练算法。     

一种训练循环神经网络的演化算法

根据演化算法具有内在的并行性、自组织、自适应和自学习性等优点,进而成功地运用到神经网络中,给出了一种能同时训练循环神经网络结构和参数的演化算法.     

基于深度神经网络和概率矩阵分解的混合推荐算法

针对个性化推荐中用户和项目描述信息未充分利用,用户评分矩阵数据集极端稀疏的情况,提出了基于深度神经网络和概率矩阵分解(PMF)的混合推荐算法.首先,对用户和项目描述信息进行预处理,形成包含用户偏好特征的用户和项目特征集,再将各特征输入深度神经网络模型中进行训练.同时,利用概率矩阵分解模型,根据用户评分矩阵通过最大后验估计优化得到潜在特征向量;然后,通过对概率矩阵分解模型的用户和项目潜在特征向量以及深度神经网络模型的真实特征向量进行迭代更新,收敛得到融合用户和项目真实信息的潜在特征向量;最后,利用该特征向量对用户进行个性化推荐.实验证明,本文算法较经典推荐算法以及前人算法在均方误差与平均绝对误差指标上均有改善,说明本文算法的有效性.     

感知机样本线性不可分的判定定理的简明证法

针对感知机的训练算法在训练样本线性不可分的情况下,感知机的学习不会收敛,需要判断解是否存在的问题,给出了一种直观的方法证明线性不可分的判定定理。通过将样本集定义为n维欧氏空间中的凸包,找到线性不可分问题两个等价命题。该方法具有要求条件较弱且几何意义明显的优点。     

基于Ogg Vorbis音乐的分解与重组方案

详细分析了vorbis.dll中的函数功能,并结合delphi的内存流、文件流实现了OggVorbis音乐文件按音乐片段方式的分解方案和重组方案以及将多个OggVorbis音乐合并成一个OggVorbis音乐的重组方案,并给出OggVorbis转化成其它音乐格式的基本框架.     

基于小波分解的PCNN遥感图像融合算法

在小波变换理论的基础上,提出了一种结合小波分解和脉冲耦合神经网络(PCNN)的遥感图像融合新方法.首先对两幅已经配准的原始遥感图像进行小波多尺度分解,得到低频子带系数和各带通子带系数;其次对低频子带系数采取一种基于边缘的方法以得到融合图像的低频子带系数;对各带通子带系数提出了一种改进的基于PCNN 的图像融合方法来确定融合图像的各带通子带系数;最后通过逆小波变换重构图像得到融合后的图像.仿真结果和评价指标结果表明,此方法更好地保留了原图像中的有用信息,提高了融合图像的质量.     

Improved Marquardt Algorithm for Training Neural Networks for Chemical Process Modeling

IntroductionResearch on artificial neural networks(ANN) hasmade great progress during the past few years.Neural networks have been widely used in chemicalprocesses.Among all kinds of networks,the back-propagation (BP) network is the most commonchoice forits high capability of nonlinear mapping,study and classification. Through adjustingnetwork weights according to samples,the BPnetwork can simulate systems with complexnonlinear mapping relationships,such as chemicalprocesses.　The most com…     

一种多层前馈神经网络的快速学习算法

对多层前馈神经网络的学习算法及其特点做了较为详细的讨论，提出了一种基于层内优化的快速学习算法。在该算法中，输出层的连接权矩阵（V）和前一层的输出矢量（B）被作为2个变量集合，通过最小化该层样本的总平方误差函数可求得一组它们的优化解（V^*,Bp^*）；并将Bp^*作为前一层（隐层）的期望输出，用类似的方法同样可以求出隐层的连接权矩阵和输出矢量，最后通过计算机仿真证明了该算法的有效性。     

前馈神经网络的二阶学习算法

前馈神经网络是神经网络中应用最广的一种。但由于神经网络采用Ｂ－Ｐ算法，收敛速度慢。在分析了神经网络算法原理的基础上，提出了一种基于变质量法的优化训练算法。仿真证明，这种算法能够大大提高神经网络的收敛速度。     

前馈神经网络结构自删除算法的研究

综述了利用删除法进行前馈神经网络设计的研究现状,并在重点分析根据隐节点输出相关性进行自删除的几种算法的基础上,在一个较高层次上提出了一种新的隐节点自删除算法。算例说明了这种法不仅可以压缩线性相关隐节点,而且可以删除不重要的隐节点。其重新计算量也大大减小。     

基于BP神经网络的并行算法

对强激光与等离子体相互作用三维数值模拟程序LARED_P数据输出进行分析,针对大规模数据模拟数据的特点,提出了基于BP神经网络的并行算法,即在各个搜索子空间内对训练集合中的学习样本进行并行训练。实例表明:不仅可避免陷入局部极小点,提高网络训练速度,而且仿真效果较好。     

神经网络中的正交设计法研究

提出用正交设计法选择前馈型神经网络训练样本的方法,并且对其基本原理进行了探讨。文中以三层BP网络为例,根据特定位级的正交表获取相应的训练样本集,利用该训练样本集对网络训练,然后用经过训练的网络对各取值域作离散预测。详细的对比计算表明：1）将正交设计法应用于神经网络学习训练样本的选取上是成功有效的;（2）选用四位级或五位级的正交表来对网络样本做选择精度已经足够。另外,将网络隐层神经元个数对网络的影响与选用正交表不同位级对网络的影响的效果也作了比较。     

前向多层感知器网络的逐层学习算法

提出一种改进的前向多层网络逐层学习算法,隐层神经元的输出函数由具体系统的样本输出值确定,先让前面的隐层及输入层的权值确定不变,然后对当前层的权值进行,前一隐层输出值地误差进行估计以得到新的输出值,将其作为临时教师信号用来训练前一层的权值,把每一层权值的改变量和输出值误差的估计转变为最小二乘问题,逐层处理,直到输入层,数字仿真和具体应用的结果表明了算法的有效性。     

RBF神经网络的一种鲁棒学习算法

用定标鲁棒代价函数代替传统的二次型指标 ,并结合改进的遗传算法 ,搜索近最优径向基函数神经网络 ( RBFNN)的结构和参数 .实验结果表明该训练方法比其他方法具有更强的鲁棒性 ,可提高 RBFNN的泛化能力 ,自动消除训练数据中的噪声 ,再现训练数据中的潜在规律 .     

基于混合学习算法的模糊小波神经网络控制

采用小波函数作为模糊隶属函数,将模糊控制与神经网络相结合,利用神经网络实现模糊推理.针对BP算法易陷入局部极值点的缺点和简单遗传算法局部搜索能力差的不足,提出了一种混合学习算法,即首先利用遗传算法全局搜索的特点来离线优化神经网络的参数,再利用BP算法较强的局部搜索能力对网络参数进行在线调整.仿真结果表明,该网络能对不同的对象实施有效控制,且具有快速、适应性强等特点.     

基因遗传算法用于人工神经网络的训练

根据基因遗传算法GA的基本原理,阐述了GA用于神经网络训练问题的适合度函数和编码方法,分析了标准GA的不足,提出了自适应浮动区间中心点、全局搜索和局部精确搜索等改进策略,发展了GENITOR算法.训练实例表明,GA不仅能代替BP算法,而且能完成神经元激发函数不可微的多层神经网络的训练.