递归神经网络研究综述

递归神经网络(RNN)因具存储特性,可以处理前后输入有关系的序列数据,故广泛应用于文本音频、视频等领域.当输入间隙较大时,RNN存在短期记忆问题,无法处理很长的输入序列,而长短期记忆(LSTM)能很好地处理长期依赖性问题.自LSTM提出以来,几乎所有基于RNNs的令人兴奋的结果都是由LSTM实现的,因此LSTM成为深度...     

基于递归网络的混沌时间序列预测

为了能对时问序列充分建模,从混沌的慨念入手,将混沌与神经网络相结合,利用人工神经网络的拟合特性,提出了递归网络的混沌时间序列预测方法。给出了递归神经网络预测的基本理论、数学模型、及具体步骤,并通过由杜芬方程所产生的混沌时间序列对该神经网络进行了模拟实验。仿真结果表明,该方法远好于前馈网络的预测效果,其预测误差在10^-15的数量级上。     

自递归神经网络预测结构响应

推导了多输出自递归神经网络的学习算法,并基于Lyapunov函数得到保证网络快速收敛的自适应学习率.最后,应用此网络预测一3层建筑结构对于地震的响应.计算机仿真结果表明,网络学习算法的有效性,及此网络预测结构响应的可行性.     

基于小波递归神经网络的间歇过程迭代学习优化控制

针对间歇过程提出了基于小波神经网络的迭代学习优化控制算法,实现产品终点质量指标的控制。小波递归神经网络用于建立提供长期预测的间歇过程模型。由于模型误差以及未知干扰的影响,基于预测模型得到的控制变量在实际应用中得不到期望的终点质量指标。利用间歇过程的重复特性,采用迭代学习优化控制改善批次间的产品质量,根据以前批次的模型预...     

二阶整数递归序列的若干性质

利用一类求导互反关系的“正四面体程序”的方法,得到了二阶整数递归序列的若干恒等式和同余性质,推广了若干文献的结果,特别是文献「５」的结论。     

递归神经网络的学习算法

本文提出采用组合神经网络方法,对一类非线性控制对象进行学习以实现最优控制,仿真实验表明,这种方法对于复杂非线性系统的研究是有效的。     

递归神经网络的卡尔曼滤波及分层学习算法

将卡尔曼滤波算法引入到递归神经网络的训练当中,并针对递归神经网络、卡尔曼算法及ＢＰ算法的特点,提出了用于递归神经网络的分层学习算法,并给出了理论分析．仿真结果证明了本算法的有效性．     

联想记忆神经网络的学习算法设计

提出了联想记忆神经网的学习算法，并给出了算法的收敛性定理。     

二阶对角递归神经网络船舶横摇运动预测

提出一种船舶横摇时间序列预测方法.该方法使用在隐层具有2个反馈权值的对角递归神经网络进行预测,给出了此网络易于实现的动量梯度学习算法(DBP),并对其收敛性进行了验证.运用该模型对我国某型船舶在横浪中航行情况进行预测,结果表明:本网络可以储存更多的历史数据,有更好的记忆性能,所使用的模型比DRNN模型及前向网络BP模型能快速、准确地预测船舶横摇运动时间序列,仿真实验验证了该方法的可行性与有效性.     

基于记忆图样权重的联想记忆神经网络学习算法

提出了记忆图样对神经突触联接强度的贡献权重概念。通过使原图样成为稳定态即稳定条件得到的方案求解该权重,得到了突触联结强度矩阵,实现了神经网络相关模式的联想记忆。将此算法和其它联想记忆算法进行了比较和讨论,并用计算机进行了模拟。     

基于递归模糊神经网络的多时延基因调控网络构建方法

为了处理连续的时序基因表达数据,提出了一个基于递归模糊神经网络的多时延基因调控网络构建算法.该算法能直接用于分析连续的时序基因表达数据,避免离散化数据造成的信息损失.使用时序互信息估计基因间的转录时延,并限制每个基因的潜在调控基因,从而有效提高建网的效率和精确度.酵母菌细胞周期表达数据的实验结果表明该算法能正确选择潜在的调控基因,更加精确地构建基因调控网络.     

用反馈神经网络对非线性离散系统进行实时建模

利用时变反馈神经网络的概念及二维线性系统理论给出了非线性离散系统的一种实时建模方法,理论及仿真实验结果均表明,这种实时模型能够任意逼在线性离散系统。     

利用反馈神经网络对非线性连续系统进行实时建模

利用时变反馈神经网络的概念及二维线性连续 离散型系统的理论给出了非线性连续系统的一种实时建模方法.理论及仿真实验结果均表明,这种实时模型能够任意逼近非线性连续系统.     

协同神经网络聚类型学习算法

协同神经网络是一类全新的神经网络 ,它可以根据竞争神经网络的一般原则划分为匹配子网和竞争子网。其中 ,匹配子网的学习是协同神经网络的一个中心问题。改善匹配子网的学习效率有 2种途径 :对伴随向量求解算法的改进和原型向量选取方法的改进。文章浅析了这 2种类型的学习算法 ,着重研究了聚类算法在原型向量选取中的应用 ,并以一组交通标志图像作为识别样本 ,验证了选取原型向量 2种思路的有效性。     

RNN神经网络的应用研究

对动态回归神经网络模型结构与算法进行了分析，采用多层反馈ＲＮＮ网络，以典型的非线性化工过程ＣＳＴＲ为应用对象，比较了采用前馈ＢＰ网络和Ｅｌｍａｎ的ＲＮＮ网络进行模型化与模拟，最后用一个时变过程和苯酐工业生产过程模拟验证。结果表明，动态回归神经网络具有较好的收敛性和稳定性，可用于复杂动态过程的工业应用。     

简单动态递归神经网络在非线性系统辨识中的应用

提出了用一种结构非常简单的动态递归神经网络(SRNN)辨识非线性系统的方法。该方法研究了在递归层不加权的网络简单拓扑结构,推导出SRNN的预报误差(RPE)学习算法,并对算法进行了补充和改进。仿真实验结果表明,这种网络需要调整的权系值少,且改进后的学习算法简单、辨识速度快、模型精度高,解决了一般动态递归网络因网络拓扑结构复杂造成的训练算法复杂、收敛速度慢的问题,可以实时应用。     

回归神经网络控制器的研究与应用

分析了利用具有多层反馈的动态回归神经网络作为控制器的可行性 ,构造了基于RNN的控制系统,并对典型的非线性化工对象连续搅拌釜反应器(CSTR)和化工过程Benchmark问题进行了实时的控制应用。结果表明,多层反馈的回归神经网络控制器具有结构简单、控制效果好的优点,特别是在对Benchmark控制中采用了多入多出的RNN控制器构造的串级控制系统,体现了RNN控制系统的强适应能力,可用于复杂动态过程的控制。     

一种局部回归神经网络的在线学习算法

针对目前局部回归神经网络误差函数在线计算复杂的缺陷,利用信号流图(SFG)基本理论,通过分析信号流图(SFG)和转置信号流图(ASFG),将神经网络的误差导数的信号流图(SFG)和转置信号流图(ASFG)分别级联在原始信号流图(SFG)和转置信号流图(ASFG)上,构成单输出自回归神经网络．依据因果非线性时变系统流图计算仅仅与网络拓扑结构有关的理论,推导了一种与网络结构无关的在线后向BP学习算法,较好地解决了对任意结构的局部回归神经网络的在线学习问题．仿真结果表明了本算法的有效性．     

动态模糊神经网络研究

针对静态网络无法处理暂态问题，对具有递归环节的动态模糊神经网络进行了研究。通过在网络第二层中加入内部反馈连接，使其具有动态映射能力，从而对动态系统有更好的响应。网络使用遗传算法与反向传播BP(BackPropagation)算法相结合来训练，避免陷入局部最优解。采用时序预测和动态非线性系统进行了仿真研究，结果表明，动态模糊神经网络较之普通模糊神经网络在收敛速度、预测精度和网络规模等方面都有较大的改善，并具有更好的动态系统处理能力。