基于GRU改进RNN神经网络的飞机燃油流量预测

利用从飞机快速存储记录器(quick access recorder, QAR)中获取的大量数据设计研究了一种利用循环神经网络(recurrent neural network, RNN)及其改进网络门控循环单元(gate recurrent unit, GRU)进行飞机燃油流量预测的模型。首先使用基于时间的反向传播算法(back propagation trough time, BPTT)训练网络,Adam优化算法加速迭代更新神经网络权重。在参数调整实验中发现循环神经网络对历史信息利用能力不足,极易发生梯度消失与梯度爆炸,遂提出改进网络结构,引入GRU重构燃油流量预测模型。在最优的超参数条件下,重构模型在训练集和测试集上的损失函数均方误差(mean squared error, MSE)值分别为0.001 08、0.000 97。通过与朴素RNN的预测曲线和MSE对比可以发现,改进后的GRU网络能够"记忆"更多历史信息而不易出现梯度消失或梯度爆炸的问题,预测精度与曲线拟合能力显著提高。因此,GRU重构模型显著改善了预测能力,并通过实际案例验证该预测模型在故障诊断等领域的应用。     

基于回归神经网络的柴油机NOx排放预测及影响分析

针对柴油发动机NOx排放量的预测问题与其影响参数进行研究.通过构建训练神经网络回归算法模型(recurrent neural network,RNN),基于发动机试验过程中采集的大量样本数据训练和预测NOx排放情况;预测结果表明,该网络模型的预测值与目标输出值之间的误差满足实际工程需求,具有良好的预测精度和泛化性能.基...     

VAE_LSTM算法在时间序列预测模型中的研究

针对长短期记忆网络(LSTM)算法对时间序列预测存在的不足,考虑到样本序列如果包含线性关系或含有噪音时LSTM算法预测将不准确,同时分析了变分自编码器(VAE)对异常样本修复的原理,提出了一种改进的LSTM时间序列预测算法VAE_LSTM,将VAE网络修复样本的思想加入到传统的LSTM网络,对样本序列进行修复后再输入LSTM神经网络训练,最终建立了时间序列预测模型.阐述了模型建立的方法与步骤,详细分析了模型的原理.使用长江汉口历史水文数据序列进行仿真实验,结果表明:VAE_LSTM算法预测模型在时间序列预测方面有较好表现,满足预测精度要求,比传统LSTM时间序列预测模型的预测准确性高,尤其中短期预测更为准确;对比实验同时表明此模型准确性高于ARIMA,RNN等预测模型.     

自适应矩估计最大相关熵算法的混沌序列预测

为了提高非高斯噪声环境下混沌时间序列的预测精度,提出了一种基于自适应矩估计的最大相关熵算法(AdamMCC).在AdamMCC中,采用最大相关熵准则作为代价函数有效地抑制了异常噪声值对预测性能的影响,利用代价函数梯度的一阶矩和二阶矩估计自适应调整算法的权重参数,在不同阶段为算法提供了更好的最优权重搜索方向,从而提高了AdamMCC的预测性能.采用Mackey-Glass和Lorenz两类混沌时间序列进行仿真实验,验证文中提出的AdamMCC的收敛性能和稳态性能.实验结果表明,在非高斯环境下的预测过程中,相比于最小均方算法、最大相关熵算法和分数阶最大相关熵算法,文中提出的基于自适应矩估计的最大相关熵算法在保持鲁棒性的同时,还能以合理的计算复杂度获得更高的预测精度.     

双层循环神经网络框架下的USV路径规划方法

针对全连接神经网络结构下Actor-Critic算法在复杂路径规划环境下训练时间长、不宜收敛且难以处理长动作记忆序列的不足，本文提出了基于双层循环神经网络的水面无人艇(unmanned surface vessel, USV)路径规划算法。该算法的输入并不是单独的一个状态，而是由状态、动作和奖励所组成的具有一定长度的序列（宏动作）。从网络架构上来看，循环神经网络(recurrent neural network, RNN)会记住历史信息，并且使用历史信息影响当前的输入输出，基于RNN结构的双层循环神经网络(double-layer recurrent neural network, DRNN)也具有同样的性质，由于DRNN考虑了一定时间内的环境交互历史，有助于神经网络对于连续动作序列（宏动作）模式的识别。通过仿真实验，在多个地图上与常规的Actor-Critic算法进行对比验证。结果表明：该算法在平均步数、成功率与平均奖励上比Actor-Critic算法有明显提高。     

基于改进深度置信网络的木板表面缺陷检测模型

为了提高木板表面缺陷检测精度,采用连续型深度置信网络(DBN)建立木板表面缺陷检测模型。首先,对待检测的木板图片进行关键特征提取,并建立DBN检测模型。然后,将木板图片特征输入DBN的多个受限玻尔兹曼机(RBM)层进行深度训练,从而利用DBN的深度优势来获得木板表面缺陷检测结果。最后,引入人工蜂群(ABC)算法对DBN的权重参数进行优化从而缩短训练时间。实例测试实验结果表明：选择学习速率为0.075时,ABC-DBN算法在划痕、刮痕、裂缝、崩缺4类样本集中的均方根误差(RMSE)均值性能更优。采用卷积神经网络(CNN)、快速区域卷积神经网络(Faster R-CNN)、自适应增强卷积神经网络(AdaBoost-CNN)和ABC-DBN算法分别进行检测准确率对比实验。结果显示,ABC-DBN算法检测准确率RMSE为5.067×10^-2,是最优结果,Adaboost-CNN算法次之,CNN算法最差。     

基于互信息理论与递归神经网络的短期风速预测模型

风速的波动性和随机性为风电并网造成安全隐患,提高风速预测精度对于风电系统的稳定和风能发展十分重要.提出一种基于互信息(MI)理论和递归神经网络(RNN)的短期风速预测组合新模型(MI-RNN).该模型利用MI理论选择最优的历史风速序列长度(τ),通过每τ步预测下一时间点风速的方式,将历史风速数据输入RNN中进行模型训练,并由训练后的RNN模型输出最终的风速预测结果.将MI-RNN模型应用于风电场的风速数据集中,与传统机器学习风速预测模型进行比较,以验证模型的预测精度.结果显示,MI-RNN模型的预测精度更高,预测稳定性更强,并且能够准确预测未来风向,有望应用于含空间维度的风电场的风速预测.     

基于独立模型的非线性时间序列多步超前预测

提出一种非线性时间序列的多步超前独立预测方法. 对比逐步递归方法和独立预测方法, 分析了积累误差对多步超前预测性能的影响. 采用递归神经网络(RNN)实现了独立预测方法, 建立了城市轨道交通能耗预测模型. 通过MATLAB训练和测试该模型, 比较了两种方法下的多步超前预测输出. 结果表明,独立预测方法的误差优于逐步递归方法. 最后指出了独立预测方法的优缺点及适用范围.     

基于门控循环单元神经网络的金融时间序列预测

针对循环神经网络(recurrent neural networks,RNN)网络结构存在的长期依赖问题,门控循环单元(gated recurrent unit,GRU)神经网络作为RNN的一种变体被提出。在继承RNN对时间序列优秀记忆能力的前提下,GRU克服了时间序列的长期依赖问题。本文针对金融时间序列数据存在的依赖问题,将GRU扩展应用到金融时间序列预测,提出了基于差分运算与GRU神经网络相结合的金融时间序列预测模型。该模型能够处理金融时间序列数据的复杂特征,如非线性、非平稳性和序列相关性。通过对标准普尔(SP)500股票指数的调整后收盘价进行预测,实验结果表明,所提出的方案能够提高GRU神经网络的泛化能力和预测精度,并且与传统预测模型相比该模型对金融时间序列的预测拥有更好的预测效果和相对较低的计算开销。     

基于改进粒子群算法的LSTM股票预测模型

针对LSTM网络中存在的重要参数通常由经验决定,主观性强,或受计算成本影响无法确定最优值,导致模型的拟合能力降低等问题,提出使用改进的粒子群算法优化LSTM网络中的关键参数,减少人为因素影响,优化预测过程,从而构建预测精度更高的股票价格预测模型。该模型通过构建动态多群粒子群优化器来提高粒子群算法的寻优性能,避免出现局部最优。同时,针对股票市场数据维度高、噪声大及数据冗余导致模型训练成本增大、预测性能降低的问题,基于多种特征选择算法构建特征选择模型完成指标特征的过滤筛选,构建完善的预测指标体系。实验结果表明,所提出的股票价格预测模型的准确率得到了明显提高,且具有普遍适用性。     

基于PSO-Adam-GRU的煤矿瓦斯浓度预测模型

煤矿瓦斯浓度的精准预测是矿井瓦斯防治的关键。为了准确可靠地预测工作面瓦斯浓度,提出了一种基于门控循环单元方法的工作面瓦斯浓度预测模型。采用邻近均值法对数据缺失值和异常值进行补全,采用MinMaxScaler方法对实验数据进行归一化处理,为了提高模型精度和稳定性,采用粒子群算法和Adam算法对GRU超参数进行优化,从而构建了基于PSO-Adam-GRU的工作面瓦斯浓度预测模型。以崔家沟煤矿生产监测数据为样本数据进行模型训练,采用平均绝对误差、均方根误差、运行时间3种评价指标对预测模型性能进行评估,并将预测结果与BPNN和LSTM进行对比。结果表明:PSO-Adam-GRU较BPNN和LSTM具有更高的精度和稳定性,在预测过程中MAE可降低到0.058,RMSE可降低到0.005.结果表明,基于PSO-Adam-GRU的瓦斯浓度预测模型和参数优选方法可有效预测出瓦斯浓度,该模型在瓦斯浓度时间序列预测方面具有更高的准确性和鲁棒性,可为矿井瓦斯治理提供一定指导意见。     

一种建模社交化点过程序列预测算法

根据序列数据预测下次事件类型和时间是一个值得研究的课题.目前点过程强度函数算法仅从时间维度考虑背景知识和历史影响两个方面,没有从空间维度加入社交关系的影响.针对该问题,提出基于时空深度网络的社交化点过程的序列预测算法(SPSP算法).该模型首先运用双LSTM(long short-term memory)分别建模强度函数的背景知识和历史影响;然后经过联合层将双LSTM输出合并,生成事件类型和时间向量表征;最后在空间维度上加入社交关系网络影响,优化强度函数.通过深度时空社交网络的多次训练,得到最优网络模型.在新浪微博数据集上的实验验证算法的有效性,证明社交化点过程序列预测算法可高效准确预测出事件类型与时间.     

基于门控循环单元的全断面掘进机稳定段掘进性能预测

全断面隧道掘进机(tunnel boring machine, TBM)一个正常掘进循环分为空推段、上升段和稳定段3个阶段,其中稳定掘进段为主要施工阶段,稳定段掘进性能的好坏是TBM掘进的关键。为实现TBM安全高效掘进,建立一种基于门控循环单元(gated recurrent unit, GRU)神经网络的预测模型,预测TBM稳定段掘进性能。模型以新疆某供水工程Ⅱ标段TBM施工数据为依托,5种掘进循环上升段主要参数的时间序列数据作为主要输入,围岩等级作为辅助输入来考虑岩体对掘进性能的影响,输出为稳定段的总推进力和刀盘扭矩,为稳定段TBM性能预判提供参考。为显示预测效果,对比传统循环神经网络(recurrent neural network, RNN)预测模型,并分析不同长度时间序列输入对模型预测精度的影响。结果表明：GRU模型预测拟合优度均在0.9以上,平均绝对百分比误差均小于12.25%,同时能够适用不同长度时序输入。由此可见,所建模型具有较高预测精度,泛化能力较好,能够辅助预判掘进机稳定段性能。     

基于混合神经网络的序列推荐算法

为了提高推荐算法的推荐性能,在序列建模过程中,针对循环神经网络(recurrent neural network,RNN)无法并行运算导致建模速度与准确度较低,以及在偏好预测过程中对用户不同阶段偏好没有动态融合的问题,提出了一种基于混合神经网络的序列推荐算法.在算法模型的用户交互序列建模阶段,考虑到用户近期偏好变化频繁...     

面向匹配决策问题的漏整合神经元稀疏ESN网络

为了对匹配决策问题进行建模与预测,提出了一种具有更多神经生理学特征的稀疏回声状态网络(ESN),并基于在线监督学习方法对网络进行训练.为了评估网络的匹配决策性能,设计了三组测试数据集对网络性能进行测试,并提出了一种基于网络期望输出与实际输出序列最大相关系数的评价方法.仿真结果表明,新模型只需要较少的训练时间即可获得较好的决策性能,且对发放时间间隔、平移和网络噪声具有较好的鲁棒性.     

基于组合预测模型的飞机刹车系统性能趋势预测分析

为了对飞机刹车系统进行性能趋势预测分析,提出一种灰色关联分析确定权重的组合预测方法。首先,利用BP神经网络(back propagation network,BP)对刹车片的累积磨损量进行预测,得到网络输出序列与向后预测序列。对于灰色预测(grey model,GM)模型利用粒子群(particle swarm optimization,PSO)对其优化;用粒子群优化灰色模型(particle swarm optimization-grey model,PSO-GM)进行预测得到拟合序列与向后预测序列。在此基础上对BP网络输出序列、PSO-GM(1,1)拟合序列与原始数据序列进行灰色关联分析,确定组合加权的权重。最后对各预测模型的向后预测序列用灰色关联分析法得到的权重进行组合加权,得到最终的刹车片累积磨损量趋势预测值。仿真结果表明,采用灰色关联分析确定权重的组合预测方法具有比单预测模型更好的趋势预测效果,具有对刹车系统性能趋势预测分析很好的实际应用价值。     

结合时间注意力机制的Bi-GRU-Atten的短时交通流预测

为使用深度学习模型预测未来高速公路交通流的情况,利用双向门控循环单元算法（Bi-GRU）从双向传播中提取信息,充分学习到历史交通流的时间相关特征,同时采用注意力机制通过正确分配权重来区分交通时间序列的重要性,进一步提高预测的计算效率。采用开源高速公路数据集对模型进行验证,结果表明：与递归神经网络算法、长短期记忆网络算法、双向长短期记忆网络算法,以及没有结合注意力机制的双向门控循环单元算法相比,本文所提算法在计算效率和预测精度方面更优,可以用于短时交通流的预测。     

改进Markov过程的异构无线网络垂直切换算法

针对当前异构无线网络垂直切换算法存在切换次数多, 服务质量难以满足实际应用需要的问题, 以获得更优的异构无线网络服务质量为目标, 提出一种基于改进Markov过程的异构无线网络垂直切换算法. 首先, 建立异构无线网络整体性能评价指标体系, 然后采用灰色关联分析法确定网络整体性能评价指标的权重值, 最后利用Markov决策过程对异构无线网络的状态进行预测, 选择最优的接入网络, 并通过异构无线网络垂直切换的仿真对比实验测试和分析其性能. 实验结果表明, 相对其他异构无线网络垂直切换算法, 该算法可降低平均切换次数, 避免了频繁切换现象的发生, 大幅度减少了网络数据传输的丢包率, 改善了用户满意度, 获得了更高的服务质量.     

基于二向注意力循环神经网络的PM2.5浓度预测

针对PM2.5浓度预测模型效果不稳定、泛化能力差的问题,以循环神经网络和注意力机制为基础,提出了二向注意力循环神经网络（TDA RNN）。首先,TDA-RNN模型通过注意力机制获取输入数据的时序注意力和类别注意力,并将其进行融合;然后通过特征编码器对融合后的数据进行编码,获得中间特征;最后将中间特征与PM2.5浓度的历史信息融合,并通过特征解码器获取预测值。对北京地区的PM2.5浓度进行了预测。结果表明,相比前向型神经网络、长短期记忆神经网络、门控循环单元模型和滑动平均模型,TDA-RNN模型预测精度更高;在抗干扰测试中,当输入数据存在无关因素时,TDA RNN模型的预测精度出现轻微下降,但仍高于其他模型。该二向注意力循环神经网络特征提取能力强,预测精度高,同时可适用于其他场景的多变量时间序列预测。     

基于鲸鱼优化算法改进长短期记忆神经网络的资源推荐

为了改善资源推荐算法的性能,提出基于鲸鱼优化算法(WOA)改进长短期记忆神经网络(LSTM)的资源推荐算法;首先提取资源和用户特征,构建特征差异值加权函数;然后,以资源-用户特征作为输入,建立基于LSTM的资源推荐算法,通过输入门、遗忘门、输出门及记忆节点对历史资源推荐数据按权重进行遗忘与筛选,有选择性地挑选部分数据进行循环迭代训练;考虑到LSTM的门操作需要设置的参数较多,引入WOA进行参数智能优化求解,提出WOA-LSTM算法,以提高LSTM的参数优化的精度及效率。结果表明,通过合理设置WOA参数,可以有效改善LSTM的资源推荐性能,与常用资源推荐算法相比,所提出的WOA-LSTM算法具有更高的推荐精度及稳定性。