蚁群算法训练神经网络辨识混沌系统

提出了一种利用蚁群算法训练神经网络的算法,进行混沌系统辨识,并与神经网络、遗传神经网络对同一混沌系统辨识的结果进行比较;实验表明:利用蚁群算法训练神经网络进行混沌系统的辨识,能克服BP求解精度低、搜索速度慢、易于陷入局部极小的缺点;与遗传神经网络相比,虽然执行时间有所增加,但求解精度显著提高,可有效用于混沌系统辨识.     

神经网络训练的分解重组算法

本文介绍了把线性不可分问题分解为一系列线性可分子问题、对线性不可分问题进行求解的网络分解重组算法．还证明了该算法的收敛性．实例研究表明：该算法不仅可以得到神经网络的隐层空间目标和隐层单元数，而且提高了对线性不可分问题的求解速度，因此是一个非常有效的神经网络训练算法．     

线性化逐层优化MLP训练算法

提出了线性化逐层优化ＭＬＰ训练算法（ＬＯＬＬ）．ＬＯＬＬ采用循环方式逐层对ＭＬＰ的连接权值进行训练．训练连接权值时用一阶泰勒级数表示神经元的非线性激活函数以实现神经网络的线性化,使ＭＬＰ的训练问题转化为一个线性问题．同时,为保证神经网络线性化条件不被破坏,ＬＯＬＬ通过在神经网络的误差函数中计入部分线性化误差限制参数的改变幅度,对神经网络的误差函数进行了修正．实验结果显示,ＬＯＬＬ训练算法的速度比传统的ＢＰ算法快４倍,用它构成的语音信号非线性预测器有较好的预测性能．     

一种训练循环神经网络的演化算法

根据演化算法具有内在的并行性、自组织、自适应和自学习性等优点,进而成功地运用到神经网络中,给出了一种能同时训练循环神经网络结构和参数的演化算法.     

用于训练神经网络的自适应梯度下降优化算法

由于神经网络规模的扩大,模型训练变得越来越困难.为应对这一问题,提出了一种新的自适应优化算法——Adaboundinject.选取Adam的改进算法Adabound算法,引入动态学习率边界,实现了自适应算法向随机梯度下降(SGD)的平稳过渡.为了避免最小值的超调,减少在最小值附近的振荡,在Adabound的二阶矩中加入一阶矩,利用短期参数更新作为权重,以控制参数更新.为了验证算法性能,在凸环境下,通过理论证明了Adaboundinject具有收敛性.在非凸环境下,进行了多组实验,采用了不同的神经网络模型,通过与其他自适应算法对比,验证了该算法相比其他优化算法具有更好的性能.实验结果表明,Adaboundinject算法在深度学习优化领域具有重要的应用价值,能够有效提高模型训练的效率和精度.     

Takagi-Sugeno型分层混合模糊-神经网络训练算法研究

为寻求适合离散和连续变量并存数据特点的最佳训练算法,本文对基于三角波,梯形,Gaussian隶属函数的Takagi-Sugeno型分层混合模糊-神经网络训练算法进行综合比较研究,使用梯度下降法详细推导了各个参数的迭代规则,并给出了完整的训练算法和详细的参数调整过程.以Pyrimidines和Heart-UCI为数据分别进行函数逼近与数据分类实验,并与经典的BP算法比较.实验结果表明Takagi-Sugeno型分层混合模糊-神经网络在高维且离散与连续变量混合的函数逼近和分类上比BP神经网络更具优势,而基于Gaussian隶属函数的训练算法函数逼近精度比基于三角波和梯形隶属函数的训练算法精度更高.     

多层前传神经网络的随机训练算法

基于承机射线法,本文提出了一种对动态网络大新的多层前传神经网络的训练算法。     

用混合遗传算法实现神经网络快速训练

快速神经网络训练算法的研究是人们所关注的问题之一。经过分析与研究 ,遗传算法是一种全局并行随机搜索优化算法 ,具有很强的全局搜索能力 ,而 BP算法的局部搜索能力较强。文章将两者结合起来 ,形成一种混合遗传算法 ,并就混合遗传算法的原理及其在实现时所涉及到的许多策略问题进行了分析比较 ,仿真结果表明它具有收敛速度快和不会陷入局部极小的特点。     

基于GPU的并行拟牛顿神经网络训练算法设计

针对人工神经网络训练需要极强的计算能力和高效的最优解搜寻方法的问题,提出基于GPU的BFGS拟牛顿神经网络训练算法的并行实现。该并行实现将BFGS算法划分为不同的功能模块,针对不同模块特点采用混合的数据并行模式,充分利用GPU的处理和存储资源,取得较好的加速效果。试验结果显示:在复杂的神经网络结构下,基于GPU的并行神经网络的训练速度相比于基于CPU的实现方法最高提升了80倍;在微波器件的建模测试中,基于GPU的并行神经网络的速度相比于Neuro Modeler软件提升了430倍,训练误差在1%左右。     

过程神经网络的训练及其应用

研究过程神经网络的学习算法及其在过程模式识别中的应用。针对权值基展开的过程神经网络讨论了权值基的选取规则和对采样曲线的标准化处理问题,给出了含一个隐层的过程神经网络的误差反传播学习算法。以聚合化学反应和渗流实验两个具体实例验证了算法的有效性,也说明了过程神经网络的广泛应用前景。     

识别数学符号的神经网络方法

采用 BP网络和 Kohonen自组织特征映射网络组成的多级神经网络模型 ,对数学符号进行识别 ,引入“雪球”和平滑训练方法以提高网络性能 .实验结果表明 ,该模型对数学符号的识别 ,特别在有噪音污染的情况下 ,具有较好的效果 .     

对小波网络中BP算法的实验改进与研究

多层前馈神经网络可以任意精度逼近任何连续函数,作为一种非线性工具得到了广泛的应用。其中,BP(Back-Propagation)神经网络即反向传播神经网络在非线性系统辨识建模、预测、控制、优化和决策中的应用最为成功。     

基于概率神经网络的机组状态多步预报方法

为了解决由单步预报递推运算获得的多步预报存在的预报误差的迭代累积问题,提出了相空间动力学轨道的相似多步预报概念,利用概率神经网络合理分配相似算子,构造了多步预报的概率神经网络结构．然后,以模拟振动数据比较了单步预报神经网络、多步预报神经网络和多步预报概率神经网络的预报能力,并预报了燕山石化大机组停车概率的变化趋势,实践表明该方法具有良好的多步预报能力．     

基于递归神经网络的多步预报方法

为了解决由多层前馈神经网络递推运算获得的多步预报存在的预报误差迭代累积问题 ,提出了基于局部递归神经网络的多步递归神经网络 (MSRN)模型 ,对时间序列进行了多步预报 .用模拟振动数据把MSRN模型用作单步和多步的预报能力 ,同经典的多层前馈神经网络进行了比较 ,并预报了天津石化总公司炼油厂大机组某测点振动的变化趋势 实践表明 ,用该方法进行多步预报误差小 ,并具有良好的预报能力 .     

基于小波网络的非线性多变量约束预测控制

为了解决非线性多变量系统的建模、控制和优化问题 ,论文扩展基于小波神经网络的单变量系统辨识到多变量系统辨识 ,并用它实现非线性预测控制。对开环稳定过程 ,引入一个具有输入约束的基于小波神经网络模型的区域预测控制方案 ,它的闭环稳定性能够通过适当选择它的预测水平来保证。基于上述动态控制方案 ,提出了一个稳态状态优化方案。通过对一个聚酯生产过程的仿真研究 ,证实了上述方法的有效性。由于能够通过线性最小二乘 (L S)估计方法来辨识 ,该模型易于实现并可用作通用模型。仿真研究的结果表明了该模型的通用性、辨识和控制方法的简单性 ,所提出方案能够被用于过程工业的非线性系统的建模和控制     

前馈神经网络的二阶学习算法

前馈神经网络是神经网络中应用最广的一种。但由于神经网络采用Ｂ－Ｐ算法，收敛速度慢。在分析了神经网络算法原理的基础上，提出了一种基于变质量法的优化训练算法。仿真证明，这种算法能够大大提高神经网络的收敛速度。     

忆阻神经网络图像处理综述

忆阻神经网络能有效改善传统神经网络电路复杂、不易集成以及能耗大等不足。概述了忆阻器与忆阻神经网络,以及目前忆阻神经网络在图像处理方面的应用。基于忆阻特性,实现神经网络突触的动态可变,使忆阻神经网络比传统神经网络在图像处理领域具备更多优势且应用范围更广。同时,展望了忆阻神经网络未来发展前景。     

基于差异性度量的选择性神经网络集成

基于神经网络间的差异性,提出一种选择性神经网络集成方法.该方法利用差异性度量,选择满足一定条件的个体神经网络组成神经网络集成,选出的个体神经网络既满足个体的精度要求,又满足个体神经网络之间的差异性要求.理论分析和实验结果表明,利用该方法能够提高神经网络集成的分类识别率.     

利用串/并联神经网络建立化学反应器模型

本文研究使用线性动态神经网络与非线性的静态网络相结合的混合建模方式解决复杂非线性系统的建模问题。使用混合神经网络建模，可以降低单个网络的训练难度，基于此，也可将非线性系统控制策略的求解分解，转换为线性系统的求解。从而改善使用单一神经网络建模存在的精度不高以及训练时间长等不足，也为非线性系统控制策略的求解提供方便。本文以一个典型多变量系统——连续搅拌釜式反应器（CSTR）作为仿真对象，详细研究和实现了两类神经网络串联和并联的混合建模方法，并对结果进行了比较。     

“基因算法”在人工神经元网络中的应用

在使用著名的ＢＰ算法来训练一个多层毅向神经网络时，首先要确定这个神经元网络的主结构以及网络的各种初始化参数，但拓扑结构和各种参数的确定到目前为止还无确定的规则可寻。本研究将基因算法引入人工神经元网络。通过它来自动确定神经元网络的拓扑结构以及具体参数，并给出了基因算法在神经元网络应用中的具体实现。