最速下降法和共轭梯度的混合算法及全局收敛

将最速下降法与共轭梯度法有机结合起来,构造出一种混合优化算法,并证明其全局收敛性.这种混合优化算法结合了共轭梯度法和最速下降法产生搜索方向,既提高了共轭梯度算法的收敛速度,又解决了目标函数的等值线是扁长椭球时,最速下降法下降缓慢的问题,具有收敛速度快、收敛范围大、适应面广等特点.文中的算法实例表明,混合算法与单纯的共轭梯度法相比,效果更优.     

基于共轭梯度法和最速下降法的非线性测量数据处理

将共轭梯度法与最速下降法有机结合起来，构造出一种解决非线性测量数据处理问题的新方法——混合算法。这种方法充分利用了共轭梯度法和最速下降法良好的收敛优点，既提高了共轭梯度算法的收敛速度，又解决了目标函数“性态不优”时，最速下降法难以解决的问题。文中的算例结果表明，混合算法与单纯的共轭梯度法或最速下降法相比，具有收敛速度快、收敛范围大、适应面宽等特点。     

共轭梯度法和最速下降法的混合算法

将共轭梯度法与最速下降法有机地结合起来,构造了一种共轭梯度法和最速下降法的混合算法,并证明了该算法的全局收敛．混合算法既提高了共轭梯度算法的收敛速度,又解决了目标函数“性态不优”时,最速下降法难以求解的问题．同时也可以看到共轭梯度法与最速下降法仅仅是混合算法的特例．     

一种特殊的下降算法——分裂梯度法

求解无约束优化问题,常用的方法有下降算法,牛顿法,共轭梯度法等。当目标函数为几个光滑函数的和时,一些学者提出并研究了增量梯度算法。其基本思想是循环选取单个函数的负梯度作为迭代方向。增量梯度算法的迭代方向不一定是下降方向,所以不能用下降算法的一维搜索确定步长,因为受限于步长的选择,收敛效率不高。本文结合了下降算法和增量梯度算法的思想,提出了分裂梯度法。简单的说,分裂梯度法循环考虑单个函数的负梯度方向,如果这一方向是下降方向,则选择这一方向为迭代方向;否则选取函数的负梯度方向为迭代方向。最后通过数值实验与最速下降算法、随机下降算法以及增量梯度算法进行对比,结果表明对于某些优化问题,采用分裂梯度法更有效。     

一种自适应步长的复合梯度加速优化算法

自适应步长加速(Adam)类算法由于其计算效率高、兼容性好的特点，成为近期相关领域的研究热点.针对Adam收敛速度慢的问题，本文基于当前梯度、预测梯度以及历史动量梯度，提出一种新型Adam类一阶优化算法——复合梯度下降法(C-Adam)，并对其收敛性进行了理论证明.与其他加速算法的区别之处在于，C-Adam将预测梯度与历史动量区别开，通过一次真实的梯度更新找到下一次迭代更精准的搜索方向.利用两组常用测试数据集及45钢静拉伸破坏实验的实验数据对所提算法进行验证，实验结果表明C-Adam与其他流行算法相比较具有更快的收敛速度及更小的训练损失.     

基于共轭梯度法的函数优化混合遗传算法

综合遗传算法的全局搜索能力和共轭梯度法的局部搜索能力,提出了一种混合算法,该算法具有全局最优性和收敛性。同时,数值仿真表明算法是有效的。     

混沌变步长量子遗传算法

针对多数量子遗传算法在搜索解时没有充分利用搜索过程中的先验知识的问题,结合混沌运动的遍历性和量子遗传算法的群体搜索性,提出一种基于混沌变尺度梯度下降的量子遗传算法.算法采用梯度下降法对量子遗传操作获得的优良个体进行局部搜索,引导种群的进化.结合混沌优化策略产生自适应步长,在搜索初期加快寻优速度,随着搜索逐渐接近最优点,混沌产生的小步长实现在最优解所在的小范围内进行精确搜索.实验结果表明,该方法的综合性能优于传统的量子遗传算法及遗传算法.     

基于RBF神经网络的PID整定

针对非线性系统,采用了基于径向基函数（RBF）神经网络的PID整定,用遗传算法优化RBF神经网络,仿真结果表明,基于遗传算法优化的RBF神经网络PID整定收敛速度快,整定效果优于基于梯度下降法优化的RBF神经网络PID整定。     

基于Kalman滤波的基本Elman网络训练新算法

Kalman滤波算法应用于基本Elman网络学习时,收敛速度较快,但收敛精度往往不高;而基于梯度下降的BP算法可以以很高的精度实现输入输出的非线性映射,但在极值点处收敛速度缓慢.针对上述问题,提出一种将Kalman滤波算法应用于基本Elman网络的新学习训练算法.该算法结合Kalman滤波算法和基于梯度下降的BP算法的优点来训练网络,以基本Elman网络隐层单元输出作为非线性系统的状态变量,通过Kalman滤波算法实现状态变量的快速准确跟踪,然后通过梯度下降法修正权值以保证精度.另外,在训练过程中,通过增加训练样本的信息内容来提高网络收敛的精度.仿真结果表明了该算法的有效性.     

最速下降和共轭梯度混合算法在波束形成中的应用

介绍了一种最速下降法和共轭梯度法的混合算法,并将这种混合算法应用到自适应波束形成中。该方法根据最小均方（LMS）准则推导出代价函数,结合共轭梯度法和最速下降法产生搜索方向,既提高了共轭梯度算法的收敛速度,又解决了最速下降法下降缓慢的问题。计算机仿真表明,混合算法所需迭代次数少于最速下降法,且显著减少计算量,缩短运行时间。     

基于遗传算法的RBF神经网络设计

采用了遗传算法自动构造ＲＢＦ网络,把网络结构的形式作为一个子集选择问题来解决,并提出了新的遗传操作算子来改进遗传算法,加快了收敛速度,提出了算法的实用性,文中介绍了遗传算法的结构与优化原理,并给出了ＲＢＦ网络结构的生成方法,用仿真结果证明了本算法的可行性。     

非线性、大滞后系统神经网络辨识研究

基于神经网络的非线性、大滞后系统辨识是当前研究的热点之一,介绍了神经网络辨识的基本原理,研究了BP与RBF神经网络两种典型网络的设计和算法,最后通过MATLAB进行了仿真分析与比较。仿真结果表明:一致性方面RBF优于BP神经网络,RBF神经网络收敛速度更快,辨识效果更好;泛化性能方面RBF网络较差,不如BP网络。由此得出两种网络各自的优缺点,在实际应用中可以此作为神经网络模型辨识的参考。     

基于优化遗传算法的灰色-RBF神经网络预测模型研究

根据灰色系统、RBF神经网络的模型及遗传算法原理,提出了一种基于灰色系统与改进的遗传算法RBF神经网络的系统预测模型,采用改进的遗传算法对该模型进行全局优化,最后用实验验证了模型的有效性,对比分析了单独使用GM(1,1)和RBF神经网络模型的预测结果.结果证明,优化后的预测模型的预测精度高于另外两种模型的预测结果.     

遗传算法在汽轮机调速系统参数估计中的应用

汽车机液压调速系统是一复杂非线性系统,现有的参数估计算法存在不足之处。遗传算法寻优能力强,可以在该系统的参数估计中应用。通过２个仿算例,表明遗传算法的估计精度高于现有的算法,具有良好的应用前景。     

模糊 RBF 网络简化模型研究

在一定的前提条件下,提出一种简化的模糊ＲＢＦ网络模型．该网络由输入层、模糊化层、模糊联结层、合成联结层和输出层组成．同时,还给出网络的构造方法和自学习方法．仿真结果表明此网络对非线性、多变量函数具有良好的逼近能力．     

混杂系统生产调度与多种群交叉遗传算法

研究了连续离散混合生产过程的调度问题,采用递阶分层、分时调度方案,给出了系统的数学模型,并尝试建立了一种基于多种群交叉因子的遗传算法,就生产过程的实时性要求设计了适合连续离散规划问题求解的交叉遗传算子．通过对上海载重轮胎厂生产混杂系统调度的仿真,表明分层分时调度效果较好,多种群交叉算法比一般遗传算法收敛速度有较大提高,能够较好地解决混杂生产过程的调度问题．     

遗传算法在系统辨识中的应用

对遗传算法的机理和实现步骤进行了介绍,综述了遗传算法在系统辨识中的应用.针对不同的辨识模型,讨论了遗传算法不同的应用形式,研究了遗传算法结合神经网络技术在系统辨识中的应用,最后探讨了遗传算法在系统辨识中的研究方向.     

遗传算法优化工业对象的RBF神经网络模型

针对石油化学工业中的某一典型对象的建模过程,介绍一种以可变长度的自然数编码、以AIC(Akaike’sinformationcriterion)为优化目标的遗传算法(GA)设计径向基函数(RBF)神经网络隐含层结构。文中阐述了该方法的原理,实现步骤及网络泛化性能检验,并与正交最小二乘 (OLS)算法相比较,发现前者设计的网络结构相对简单且网络泛化能力有所改善。     

大变异遗传算法在非线性系统参数估计中的应用

针对传统非线性系统模型参数估计方法的局限性及基本遗传算法存在的"早熟收敛"问题,本文提出了基于大变异操作的改进遗传算法来进行非线性系统参数的辨识,并将其应用到活性污泥动态模型的参数估计中,取得了较好的效果.