前馈网络的混沌梯度搜索耦合学习算法及应用

针对BP神经网络易陷入局部极小的问题,提出了混沌梯度优化的神经网络的学习算法,其原理是采用梯度下降进行"粗搜索",混沌搜索进行"细搜索",并建立规则将两者结合起来,以构成BP神经网络的基于规则的混沌梯度耦合学习算法.它有效地利用了梯度下降算法的快速性和混沌寻优的全局性,将该算法应用于某智能决策支持系统模型库中的模型学习,有效地提高了前馈神经网络的学习效率.     

PSO-BP组合人工神经网络算法研究

基于梯度下降的BP人工神经网络应用广泛,但网络目标函数误差曲面极其复杂,网络初始值的选取对网络训练结果影响很大,导致收敛速度慢,容易陷入局部极小等问题.基于粒子群算法(pso)的训练方法能够摆脱陷入局部最优的困扰,但粒子群算法局部搜索能力不够,影响网络的训练效果,在充分研究两种算法特点的基础上,提出一种新的组合训练方法,建立了PSO-BP组合人工神经网络模型.     

神经网络在梯度功能材料制备中的应用

针对梯度功能材料（ＦＧＭ）制备过程的复杂性，提出了利用神经网络信息处理机制进行制备材料的特性预估，实例分析表明，这一方法是有效的，同时，针对ＢＰ学习算法速度较慢，易陷入局部极小的缺点，改函数型连接网络来提高学习速度，试验表明学习速度提高显著。     

一种新型的混沌BP混合学习算法

将一种新的快速BP(FBP)算法和混沌优化相结合,提出了混沌BP算法(CBP算法).FBP算法吸收了误差函数的非线性信息,大大加快了BP算法的收敛速度,但它仍然采用梯度下降法,不可避免地存在局部极小的缺陷.混沌动力学具有遍历性、随机性的特点.能在一定范围内按其自身规律不重复地遍历所有状态,将混沌优化搜索引入FBP算法中,形成一种新型的混沌BP算法.它既能较快地局部收敛,又能全局收敛,避免了陷入局部极小的可能性.CBP算法为多层前馈网络的全局性收敛学习提供了一种有效的方法.     

关于不可微最优化的下降方法

本文研究极小化局部Ｌｉｐｓｃｈｉｔｚ连续函数的下降算法。文中给出了一个模型算法，它使用目标函数的近似广义梯度确定下降方向，这使得有可能构造仅使用函数值的不可微极小化下降算法。在适当的条件下，我们证明了算法的收敛性，并给出了有关此算法的若干数值计算结果。     

基于梯度监督学习的理论与应用(Ⅰ)——基本算法

讨论了一类基于梯度的监督训练算法及其用于神经网络的参数优化。文中详细讨论了ＬＭ算法，它是梯度下降法与高斯牛顿法的结合，既有高斯牛顿法的局部收敛性，又有梯度下降法的全局特性。μ很大时，ＬＭ算法近似于梯度下降法；μ为零时，则是高斯牛顿法。由于利用了近似的二阶导数信息，ＬＭ算法比梯度法快得多。就训练次数及准确度而言，ＬＭ算法明显优于共轭梯度法和变学习率的ＢＰ算法。由于主矩阵的正定性，解总是存在的，从这种意义上说，ＬＭ算法优于高斯牛顿法     

加入动量项的改进盲分离算法

在盲信号分离算法的推导过程中,常采用最速下降法、自然梯度和牛顿法等对代价函数进行最小化,推导过程复杂．文中仿照在BP神经网络算法中加入动量项使算法得到改进这一方法,提出在互累积量迫零算法的推导中加入动量项．加入动量项的改进算法尽可能地保持了输出分量之间的独立,并在保持和原算法一样简单迭代的前提下,提高了收敛速度,且使训练避免陷入局部极小．仿真结果表明该算法的分离误差减小,能有效分离源信号．     

基于随机参数调整的改进反向传播学习算法

针对BP(反向传播)神经网络学习易陷入局部极小的缺陷,提出了一种改进BP神经网络学习算法——RMBP算法.RMBP算法在学习参数调整中增加了随机性,使其方便地跳出局部极小点,并沿梯度下降方向到达全局极小点.异或问题的学习试验结果表明,RMBP算法较BP学习算法和其他常见的改进BP算法具有学习速度快、学习精度高、资源占用少的优势.最后,结合民航飞机实时飞行仿真系统研究,对一组飞机空气动力参数样本进行了学习,以说明RMBP算法的有效性.     

多输入模糊神经网络结构优化的快速算法

采用规则前件提取,以获得较少的高效规则,对模糊神经网络(Fuzzy Neural Network)进行结构优化,解决了在多输入模糊系统中因规则数多导致的结构庞大问题,使之适用于多输入模糊系统．结构学习中采用竞争算法优化隶属函数,保证规则前件提取的高效;参数学习中采用梯度下降法调整网络参数。     

凸-凹极小极大优化问题的零阶梯度下降上升算法

【目的】为了解决基于梯度下降上升算法在某些应用中,目标函数的梯度信息计算昂贵或难以获取的问题。【方法】基于此,针对一类凸-凹极小极大优化问题,在梯度下降上升算法(OGDA)的框架下,基于均匀分布的平滑化方法用差商来近似函数梯度信息,提出了一类零阶梯度下降上升算法(ZO-OGDA)。【结果】基于带误差的邻近点算法的收敛性分析理论,证明得到所提算法ZO-OGDA取得ε-稳定点的迭代复杂度为O(ε^-1)。【结论】最后通过数值仿真,实验结果表明所提出的算法ZO-OGDA在数值上与算法OGDA表现相近。     

不光滑凸函数的下降算法

给出一个易在计算机上实现的极小化凸不光滑函数的下降算法，在目标函数下有界的条件下，证明了算法的全局收敛性；此外还把算法推广到约束凸规划问题，得到了与无约束问题同样的收敛结果，如果约束是线性的，则算法是数值可行的。和已有的下降算法相比，该算法具有更好的适应性。     

基于递阶进化规划的RBF网络设计新方法

针对RBF神经网络的特点 ,提出一种递阶进化规划算法 ,利用此方法同时对网络的拓扑结构和网络参数 (权值、隐节点中心和形状参数 )进行优化 ,克服梯度算法需要求导且易陷入局部极小的弱点 ,分别对单入单出和多入单出非线性函数的建模问题进行了仿真 ,验证了该算法的有效性     

极小极大问题的K—S函数及延拓算法

采用Ｋ－Ｓ函数近似极大值函数，在分析了近似函数的控制参数、梯度以及Ｈｅｓｓｉａｎ性质的基础上，证明了控制参数本身可以作为同伦参数，并据此提出了求解非线性极小极大问题的延拓算法。数值结果表明算法是可行的、有效的。     

解高维复杂函数优化问题的混合差分进化算法

鉴于传统方法用于高维复杂函数优化很容易陷入局部极小,为此提出了一类通用、易实现、具有全局优化特性的混合优化算法（CHADE算法）．该算法将混沌优化的随机性与差分进化算法（DE算法）相结合,利用混沌扰动算子增强算法的局部搜索能力;同时,随着搜索过程的进行随机地调整缩放因子和差分进化模式．多个典型高维复杂函数的数值仿真结果表明：CHADE算法寻优效率高、收敛速度快,尤其是具有避免局部极小的能力,其优化性能优于单一的DE算法．     

基于热重启学习率的NAG算法在图像分割中的应用

文章针对水平集演化模型的梯度下降法收敛速度较慢,且对局部极小值较为敏感的问题,提出一种热重启学习率和Nesterov加速梯度(Nesterov accelerated gradient, NAG)算法相结合的水平集演化方法,以替换Chan-Vese(CV)模型中用于演化水平集函数的梯度下降法,对2种算法的图像分割速度以及分割精准度进行了对比。首先根据CV模型和距离保持惩罚项建立初始的水平集演化方程;然后对NAG算法增加学习率动态变化项计算梯度来演化水平集函数;最后不断更新得到水平集函数直到收敛。使用ground truth(GT)图像评估分割精准度,通过与传统梯度下降法得到的实验结果对比,改进算法的CPU运行时间减少了30%以上且分割精确度明显提升,表明其可对图像进行有效且快速地分割。     

基于L-BFGS-B局部极小化的自适应尺度CLEAN算法

干涉阵列存在的点扩展函数旁瓣使得观测到的射电源出现不同程度的失真,对重建宇宙真实结构图景和理解宇宙起源造成影响.为解决观测中出现的伪影,本文在现有的CLEAN算法的基础上,提出了基于L-BFGS-B局部极小化的自适应尺度CLEAN算法.首先,基于L-BFGS-B局部极小化算法通过最小化目标函数,寻找最优分量,构建自适应...     

一类含奇点函数的数值积分方法

对于含奇点函数的积分问题,由于奇点的存在,使得Richarson外推的条件不成立,致使Romberg算法加速效果很差.通过推导该类函数积分的梯形公式的渐进估计式,得到了考虑奇点影响的外推算法—类Romberg算法.数值试验表明,该算法对于含奇点的函数的积分问题具有很好的加速效果.     

LS—共轭梯度算法的收敛性

对无约束规划（P）：minx∈R^nf(x)。其中f(x)是Rn→R^1上的二阶连续可微函数，通过引入强迫函数和逆连续模函数，证明了一类采用Curry-Altman步长规则的LS-共轭梯度算法的全局收敛性质，利用比较原理进一步讨论了LS-共轭梯度算法在采用另外三种步长规则下的全局收敛性。     

极小极大问题的K－S函数及延拓算法

采用Ｋ－Ｓ函数近似极大值函数，在分析了近似函数的控制参数、梯度以及Ｈｅｓｓｉａｎ性质的基础上，证明了控制参数本身可以作为同伦参数，并据此提出了求解非线性极小极大问题的延拓算法，数值结果表明算法是可行的、有效的．     

基于BP神经网络改进算法的数据压缩方案

论述了BP神经网络进行图像数据压缩的基本原理;为了进一步提高算法的收敛速度,分析了样本数据输入顺序对权值的影响、学习参数的选择及局部极小这三个影响算法收敛速度的重要问题;提出了消除样本数据输入顺序对权值的影响、如何避免局部极小的问题、学习参数自适应调整的改进算法．