基于差分进化算法的神经网络优化设计

【目的】研究解决传统神经网络手动设计网络结构的局限性,并探究差分进化算法对神经网络优化的有效性。【方法】提出了一种基于差分进化算法的多层前馈神经网络的优化设计方案,用以同时完成神经网络的权值空间和网络结构空间的搜索,给出不同场景下的最优网络结构。该算法采用（1+1）-ES二元进化策略,使用一种新的网络结构交叉和变异方法,通过双种群结构共同进化及自适应变异率等策略加快网络结构的搜索以及算法的收敛。【结果】在预测、分类等问题中,基于差分进化算法的神经网络优化设计能够较好地搜索到最优的神经网络结构,并与传统的BP神经网络以及经典的预测分类算法进行比较,实验结果具有较强的鲁棒性。【结论】基于差分进化算法的神经网络优化设计是解决网络结构寻优问题的有效方法。     

基于Borges差分的RMSprop算法及在卷积神经网络参数训练中的应用

针对RMSprop算法存在梯度消失和局部最优的问题,本文提出了一种基于Borges差分的RMSprop算法并应用到卷积神经网络参数训练方法.根据Borges分形导数的定义,本文给出了Borges差分的定义;将Borges差分与RMSprop算法相结合,提出了基于Borges差分的RMSprop优化算法,提高了图像识别的精度和学习收敛速度;给出了一种基于梯度信息的自适应的调整阶次的方法.本文以Fashion-MNIST数据集为例,分析了阶次对网络参数训练结果的影响,验证了本文提出的算法提高卷积神经网络的识别精度和学习收敛速度的有效性.     

基于量子差分进化算法的神经网络优化方法

一般的神经网络的结构是固定的,在实际应用中容易造成冗余连接和高计算成本。该文采用了协同量子差分进化算法(cooperative quantum differential evolution algo-rithm,CQGADE)以同时优化神经网络的结构和参数,即采用量子遗传算法(quantum genetic algorithm,QGA)来优化神经网络的结构和隐层节点数,采用差分算法来优化神经网络的权值。训练后的神经网络的连接开关能有效删除冗余连接,算法的量子概率幅编码和协同机制可以提高神经网络的学习效率、逼近精度和泛化能力。仿真实验结果表明:用训练后的神经网络预测太阳黑子和蒸汽透平流量具有更好的预测精度和鲁棒性。     

基于改进差分进化算法的RBF神经网络在股指预测中的应用

为了提高径向基函数(RBF)神经网络的预测性能,文章提出改进的差分进化算法(IDE),通过引入混合变异策略和局部算子来增强算法的收敛速率和局部搜索能力,用改进的差分进化算法对径向基函数神经网络的网络结构参数进行优化,建立了IDE-RBF神经网络股指预测模型,并以上证综指为例进行了实证分析。实证结果表明,IDE-RBF神经网络的预测效果明显优于其他预测模型。     

基于改进差分进化算法的RBF神经网络优化方法

提出了一种新的RBF神经网络训练方法——改进差分进化算法,并用改进差分进化优化的神经网络对非线性系统进行逼近.采用改进差分进化算法对RBF神经网络的中心值、宽度和权值进行了优化.仿真实验结果表明,改进的差分进化算法具有比遗传算法更强的非线性系统逼近能力.     

改进的差分进化算法在工作分配中的应用

提出了一种改进的差分进化算法(IDE)以解决工作分配.它修正了DE算法的两个重要的参数:尺度因子和交叉率.尺度因子根据所有解向量的目标函数值而自适应地调整,交叉率随着迭代次数的增加而动态地调整.通过结合这两种参数,不仅增加了候选解的多样性,还增强了本算法的解空间开发能力.实验表明,在解决工作分配上,IDE算法比其他三种DE算法具有更强的收敛性和稳定性.     

差分进化聚类在分组中的应用研究

把差分进化和聚类相结合,以大学生5项常用的身体素质指标作为聚类特征,按照此特征数据的相似度进行聚类.以期实现高校体育教学自动分组的效果,从而达到因材施教的教学目的.     

改进差分进化算法在铝电解多目标优化中的应用

针对多目标优化问题,提出一种改进的差分进化算法(DE).该改进算法首先将DE与粒子群优化算法(PSO)结合,提高DE的收敛速度,然后引入多种群进化策略,有利于维持Pareto解的多样性.同时,在综合考虑机理与工艺的基础上建立铝电解多目标优化模型,并应用改进算法进行求解.仿真结果表明:在电流效率为92％时,改进算法所得的直流功耗为14.03 MW.h/t,比NSGA-Ⅱ的直流功耗降低了1.45％,比传统DE的直流功耗降低了1.75％.表明本文改进算法有效地提高了传统进化算法的性能.     

差分进化算法在机组组合问题中的应用

基于差分进化算法求解机组组合问题,差分进化算法具有全局寻优能力,通过群体内个体间的合作与竞争产生的群体智能指导优化搜索。给出了10台机组算例系统优化结果,验证了该算法用于求解机组组合问题时不易陷入局部最优解,有较好的收敛性和效率。     

差分进化网络在滚动轴承故障诊断中的应用

针对滚动轴承故障诊断问题,在分析传统的误差反向传播(BP)算法、莱文伯格马夸特(LM)算法等经典人工神经网络训练方法的基础上,提出了差分进化训练算法。在选取差分进化策略时,取消了变异个体选取限制,从而加快了算法收敛速度。采用不同故障部位和程度的滚动轴承故障实验数据构成样本集合,并分别运用最速下降法、LM算法和差分进化算法对相同结构的人工神经网络进行训练,对比分析其故障分类性能。实验结果表明,差分进化算法能较好地识别滚动轴承故障,准确度较高,总体上与LM算法相当,且其在多次实验中故障识别率的最大值与最小值差别较小,具有较好的稳定性,同时该算法避免了LM算法存在的"过学习"问题。     

RNN神经网络的应用研究

对动态回归神经网络模型结构与算法进行了分析，采用多层反馈ＲＮＮ网络，以典型的非线性化工过程ＣＳＴＲ为应用对象，比较了采用前馈ＢＰ网络和Ｅｌｍａｎ的ＲＮＮ网络进行模型化与模拟，最后用一个时变过程和苯酐工业生产过程模拟验证。结果表明，动态回归神经网络具有较好的收敛性和稳定性，可用于复杂动态过程的工业应用。     

机器人逆运动学的微分进化与粒子群优化BP神经网络求解

针对采用传统反向传播(BP)神经网络算法进行逆运动学求解收敛速度慢的问题,提出将微分进化(DE)与粒子群优化(PSO)算法相结合,对用于机器人逆运动学求解的BP神经网络进行优化。基于机器人正解映射建立优化算法的目标函数,在PSO过程中,引入DE操作优化粒子进化方向,并将此混合算法用于BP神经网络权值与阈值的优化。对KUKA机器人进行仿真实验,结果表明:采用该文方法对机器人逆运动学问题的求解精度高,求得的关节角度误差小于0.1°;逆运动学求解结果所对应位姿矩阵的位置误差在0.1 mm数量级,具有较好的泛化能力。该文方法满足机器人位置和姿态方面的精度要求。     

一种具有全局最优的神经网络BP算法

建立了描述上半周加热、下半周绝热不均匀热流边界条件下的水平管内受迫层流与自然对流叠加的混合对流换热的数学模型。该模型考虑了管壁导热和流体的变物性，研究了不同流体（水和乙二醇水溶液）、不同热流方向对对流换热的影响。同时也进行了上半周加热、下半周绝热边界条件下的水平管内混合对流换热的实验研究。理论和实验研究的结果都表明了，重力场对水平管内流体层流对流换热的影响，为在地面重力场中进行模拟太空微重力环境中的空间辐射器的传热实验研究提供了必要的理论和实验依据。     

一种新的前馈神经网络删剪算法

前馈神经网络中隐层神经元的个数与它的学习和泛化能力密切相关.通过广义逆矩阵算法解决最小二乘问题改进神经网络自构行学习算法,得到一种新的前馈神经网络删剪算法.将新算法用于已经训练好的大型网络,能删剪“冗余”的隐层神经元,得到一个最精简的神经网络.此精简的神经网络不需要重新训练仍能保持原有的性能,并且泛化能力很好.仿真实例说明此算法的有效性和可行性.     

补偿递归模糊神经网络及在热工建模中的应用

在传统的模糊神经网络中引入递归环节和补偿环节,构成了一种新型补偿递归模糊神经网络(CRFNN),改善了网络的动态响应特性和学习能力.在此基础上,采用一种新型序贯监督策略对网络进行结构辨识,能够有效地确定模糊规则的条数以及相关参数的初始值.针对CRFNN的结构特点,提出了改进的BP算法,能够对网络的结构参数进行进一步的学习.对典型的热工对象以及复杂的ALSTOM气化炉进行的建模计算结果表明,提出的CRFNN具有优良的动态响应特性和很强的学习能力,值得在热工建模与控制领域中推广应用.     

BP神经网络在清洁机器人路径规划中的应用

为了解决清洁机器人完全覆盖路径规划中最大覆盖率和最小重复率的要求,在清洁机器人犁田式全局路径规划算法的基础上,提出了BP神经网络方法作为清洁机器人的局部路径规划.运用基于深度优先遍历的改进型BP神经网络算法.解决清洁机器人的清扫死区问题.仿真的结果表明所提出的BP神经网络方法和改进型BP神经网络算法能够解决清洁机器人在家庭内的完全覆盖路径规划问题.     

采用BP-GA算法的一种LSI神经网络的电路设计

将误差反传 (BP)算法和遗传算法 (GA)有机地结合在一起 ,提出了一种新的算法 BP- GA。采用 BP- GA算法 ,设计了一个两层前向 L SI神经网络。作为神经网络的关键部件 ,提出的新型神经元性能优越。它的激活函数与理想sigmoid函数拟合很好 ;可实现对阈值及增益因子的编程并且不同增益因子下饱和输出电压值相同。采用标准 1.2 μmCMOS工艺的模型参数 ,对该两层前向神经网络电路进行的HSPICE模拟证明了它有解决异或 (XOR)问题的能力