基于GEP的层次有序BP神经网络优化

BP神经网络(BP-NN)因其自适应性、容错性和较强的泛化能力而得到广泛的研究及应用,但在实际应用中,却常常出现收敛速度慢、易陷入局部最优等问题.该文的新算法利用基因表达式编程(GEP)具有的良好全局搜索能力,对神经网络结构、权值及阈值进行优化;结合反向传播算法(BP)的局部搜索能力,有效提高了神经网络的性能;针对传统GEP设计神经网络会使网络结构失去层次性的问题,提出基于增加结构域染色体编码方法的GEP层次有序BP神经网络优化算法(GEPO-NN),保证网络结构层次有序符合人脑分层处理模型:最后,通过仿真实验对比GEP和遗传算法(GA)对BP神经网络的优化性能.结果表明,GEPO-NN有明显的性能提高.     

基于改进遗传算法的神经网络优化

针对在神经网络应用中,存在结构设计及权值训练算法的不足,提出一种新的基于混合编码方案的遗传算法.在算法中设计了用遗传算法全局优化神经网络拓扑结构和网络权值的新的编码方案,改进了适应度函数的设计和采用自适应的交叉和变异方法.试验结果表明本算法能有效地对神经网络的权值和结构同时优化,提高了训练效率.     

基于遗传算法和BP算法的混合算法

结合神经网络的优化问题,提出一种新的混合算法.该算法是在遗传操作中嵌入BP算子,有效地结合了遗传算法全局寻优与BP算法快速收敛的特点,同时采用二进制编码和实数编码将神经网络的结构与权值混合编码到串中,实现了结构与权值的同步优化.仿真结果表明,新算法既能够快速地收敛到全局最优解,又能够在简化网络结构复杂度的同时得到网络权值的最佳逼近.     

基于递阶遗传算法的模糊系统优化设计

给出一种基于递阶遗传算法的模糊神经网络优化算法, 在该算法中对每个染色体都采用递阶编码, 并提出一种改进的交叉算子, 可以同时优化模糊神经网络结构和权值参数. 算法中采用双目标函数作为适应度函数对模糊神经网络模型的精确度和复杂性进行估价, 且对应一个实际问题, 可以通过调整适应度函数的参数值确定所需模糊神经网络模型的精确度和复杂性之间的比例, 从而生成一个适当的模糊神经网络模型. 模拟实验结果验证了该算法的有效性.     

基于进化神经网络的RNA二级结构预测方法

本文提出了一种基于进化神经网络预测RNA二级结构的方法.该方法利用进化算法优化了神经网络结构和权值,改善了传统BP人工神经网络容易陷入局部最优等缺陷.实验结果表明该算法能够获得一个最优结构和权值的神经网络,利用该网络去预测不带伪结的RNA二级结构能获得理想的效果,敏感性和相关系数都有所提升,证明了该改进算法的可行性.     

基于免疫进化策略的神经网络优化方法

对神经网络的研究多年来主要集中于网络权值优化或结构优化上,却忽略了神经网络结构与权值之间密不可分的联系.针对上述问题,将免疫系统中的浓度机制和记忆机制引入进化策略,提出了一种基于免疫进化策略的神经进化算法,在优化网络拓扑结构的同时优化网络的连接权值.进一步地,用Cauchy变异算子代替传统的Gauss变异算子,以获得更为理想的全局收敛效果.理论分析和仿真结果表明,免疫进化策略能够很好地保持种群多样性,避免未成熟收敛,采用免疫进化策略设计神经网络具有良好的全局收敛性能和快速学习网络结构和网络权值的能力.     

基于改进粒子群算法优化神经网络结构和权值

神经网络识别能力的优劣是由网络结构和权值共同确定的.本文设计一种粒子群编码方式,实现神经网络结构和权值同时优化,并采用目标函数正则化的方式,使神经网络的学习能力和识别能力相结合,同时,设计出一种动态协同粒子寻优方式,在兼顾基本粒子群算法全局收敛的快速性的基础上,加强局部搜索的开发性,有效提高了算法寻优效率.将该模型应用到UCI标准数据集进行仿真实验,实验结果验证了本文方法可以提高神经网络的学习和识别能力.     

变结构神经网络自校正控制器的设计与研究

提出了一种变结构神经网络自校正控制器的设计方法,采用变结构神经网络BP优化算法设计控制器来控制实际对象,动态地修改神经网络的权值作为自校正方法,使系统较好地适应负荷和外扰的变化,获得满意了控制质量。     

基于粒子群优化和模拟退火的神经网络优化研究

文章把模拟退火思想引入到粒子群优化算法中,提出一种关于神经网络结构的优化设计方法,用于同时完成对网络结构空间和权值空间的搜索。算法对神经网络的结构和权值进行了优化,删除了网络中的冗余结点和权值,提高了网络的处理能力。实验结果表明,算法能够有效抑制粒子群优化算法不成熟收敛的发生,有效提高前馈神经网络的收敛精度和收敛速度,表现出良好的性能。     

控制系统神经网络结构优化问题研究

应用Δ目标函数法，研究了控制系统神经网络结构优化问题．给出一个推广算法及一个前向全连网络，并对用网络实现非线性映射进行仿真研究．结果表明：用推广算法训练前向全连网络，能同时得到优化结构与权值，训练速度快，适合控制系统神经网络使用     

基于Volterra基函数网络的自适应逆控制方法

提出了一种基于Ｖｏｌｔｅｒｒａ基函数（ＶＰＢＦ）网络的非线性系统自适应逆控制方法。对象和逆控制器各用一个ＶＰＢＦ网络表示,应用正交最小二乘算法进行离线网络结构确定和权值初始化,构造了一种动态归一化非线性最小均方（ＤＮＮＬＭＳ）权值更新算法,以进行网络权值的在线学习。仿真结果表明,该方法具有算法简单、学习速度快、鲁棒性能好等优点。     

改进型遗传神经网络在模式分类中的应用

为研究图像和语音的模式分类,提出一种采用可变长度串遗传算法(VGA)的进化神经网络.该算法可以全局搜索优化神经网络的结构,找到神经网络接近最优的连接权,再通过反向传播算法(BP),在该优化结构中找到最优连接权.对语音数据和SPOT图像数据的验证结果表明,在模式分类中,采用该算法的分类器(VGA-BP)的分类性能较贝叶斯(Bayes)分类器、最近邻规则(k-NN)分类器具有更高的分类精度.     

基于混沌神经网络的语音识别方法

基于语音信号的时变特性,研究了神经网络语音识别的方法．把混沌特性引入到神经元,构造了一种新的多层混沌神经网络结构,同时推导了相应的学习算法．把这种混沌神经网络用于语音识别,并与常用的神经网络语音识别方法作了比较．实验结果表明,混沌神经网络方法的平均识别率要高于同等条件下常用神经网络方法的识别率．     

神经网络迭代学习控制快速算法的研究

研究了非线性系统的神经网络迭代学习控制问题，为了提高神经网络学习控制的收敛速度，改进了权值的迭代学习算法，提出了一种新的训练权值方法，它以递推的方法来计算网络权值，不仅能减少计算量且收敛速度快，最后，用仿真结果对该算法作了进一步的验证。     

基于组合神经网络的软件可靠性预测研究

为了进一步提高神经网络的预测能力,提出了一种前馈神经网络混合学习算法,并将其应用于组合神经网络.该算法由一种模式提取算法(Alopex)和伪逆算法组成.在该混合学习算法中,网络的学习任务被分解为2个部分:隐藏层的权值先随机给定,然后使用Alopex算法不断地对其进行扰动;输出层的权值使用伪逆算法确定.所使用的组合神经网络由多个结构相同的前馈神经网络组成,每个前馈神经网络都使用混合学习算法(采用不同的初值)进行训练.实验结果表明,这种组合神经网络能够显著提高软件可靠性的预测精度.     

前向多层感知器网络的逐层学习算法

提出一种改进的前向多层网络逐层学习算法,隐层神经元的输出函数由具体系统的样本输出值确定,先让前面的隐层及输入层的权值确定不变,然后对当前层的权值进行,前一隐层输出值地误差进行估计以得到新的输出值,将其作为临时教师信号用来训练前一层的权值,把每一层权值的改变量和输出值误差的估计转变为最小二乘问题,逐层处理,直到输入层,数字仿真和具体应用的结果表明了算法的有效性。     

基于广义预测控制的对角递归神经网络控制器

提出一种基于广义预测控制的对角递归神经网络控制器，并给出该神经网络控制器和辨识器的学习率范围．仿真实验表明，所采用的神经网络控制结构适合于带纯时延的未知的非线性被控对象的广义预测控制，同时能有效地改善神经网络学习的收敛性．     

基于神经网络的迟滞非线性逆模型

为了补偿迟滞特性对系统的不良影响,提高迟滞非线性系统的控制精度,建立了神经网络迟滞非线性逆模型.由于神经网络不能够直接逼近迟滞逆这种具有记忆性的多映射现象,通过引入一个迟滞逆算子,将多映射的迟滞逆转换成一一映射,然后运用神经网络来逼近这个一一映射从而建立一个基于神经网络的迟滞逆模型.该模型的主要优点是结构简单、精度高,可以在线调整神经网络的权值以适应不同工作条件下的迟滞逆辨识.最后,运用该方法对压电执行器中的迟滞非线性建立了逆模型.     

变连接权细胞神经网络模型的稳定性分析

旨在研究一个带时滞的变连接权细胞神经网络模型的稳定性.运用Lyapunov函数方法、代数不等式和有关微分方程稳定性理论,给出了该模型稳定性的判据,并举例说明该判据的可行性.变连接权细胞神经网络模型的稳定性研究目前还是一个较新的研究领域,故所得到的稳定性判据在理论和应用上都具有一定的指导意义.     

手写数字识别中组合式神经网络的构建方法

将聚类技术和遗传算法相结合, 提出一种基于相似度传播算法和遗传算法的神经网络集成方法应用于手写数字识别问题. 先分别利用主成分分析和Fisher线性判别分析对数据集进行特征提取, 得到两类特征数据集, 再利用Bagging方法分别为这两类特征数据集训练简单的BP神经网络, 然后采用相似度传播算法对这些BP神经网络进行聚类, 找到作为类簇中心的网络(中心网络), 最后利用遗传算法对所有中心网络的权值进行训练, 将中心网络进行加权线性集成作为最终分类器. 在标准手写数字数据集MNIST上进行测试的实验结果表明, 该方法的识别率优于单个神经网络的识别率, 并兼顾了分类效率.