基于融合Dropout与注意力机制的LSTM-GRU车辆轨迹预测

在智能驾驶环境的车辆轨迹预测环节,为更好地获取环境车辆的轨迹时序特征,在长短期记忆神经网络（LSTM）基础上,嵌入Dropout层以增强网络泛化性,引入注意力机制予以预测效果影响较大的时序数据更大权重从而提高预测结果的可靠性,且将改进的LSTM模型与门控循环单元GRU模型结合,构建LSTM-GRU预测模型以进一步提升环境车辆轨迹预测的准确性.在此基础上,使用NGSIM公开数据集对模型进行训练、验证和测试.研究结果表明,融合了Dropout和注意力机制的LSTM-GRU神经网络轨迹预测模型相较标准的LSTM长短期记忆网络以及GRU门控循环单元,在预测较长时序的车辆轨迹上具有优势,提高了轨迹预测的准确性,降低了实际轨迹和预测轨迹之间的均方根误差和平均绝对误差.     

基于双通道模型的航空发动机剩余寿命预测

针对现阶段航空发动机单一剩余使用寿命预测模型数据挖掘深度不足导致预测精度低的问题,提出一种双通道模型的预测方法。首先,构建双通道网络结构：通道一使用时间卷积网络,通过残差结构和空洞卷积使得网络具有更大的感受野和计算速度;通道二使用卷积长短时间记忆网络,提取多维时空特征,捕捉数据长期依赖关系。其次,利用多头注意力机制为双通道网络特征重新赋予权重。最后,将双通道网络进行特征融合输出,实现对航空发动机剩余寿命预测。使用涡扇发动机退化数据集进行实验验证,并与其它文献中提到的卷积双向长短时间记忆网络模型、多特征注意力模型、多头注意力模型、卷积门控单元循环神经网络模型进行对比。结果表明,所提模型在3种评价指标上均取得更好的表现,为航空发动机剩余寿命预测提供了一种新思路。     

基于ACapsGRU的短时交通流预测研究

针对交通流预测中的时空相关性进行研究．首先,根据城市交通路网建立速度矩阵,将每个时刻的速度矩阵输入胶囊网络进行空间特征的提取;其次,利用注意力机制结合近期交通流数据生成注意力权重;最后,将带有注意力权重的数据输入到门控循环单元学习交通流的时间特征,进行组合模型的短时交通流预测．使用西安市的交通流数据进行验证,结果表明：提出的ACapsGRU组合模型有更好的预测结果,相比于卷积神经网络、胶囊网络及CapsNet-NLSTM等模型预测结果,在平均绝对误差(MAE)方面分别优化了17.08%,13.85%和4.78%.     

基于门控循环单元神经网络的交通流预测模型

针对交通流数据的时间序列关联性特征,在大数据处理技术基础上,构建了基于门控循环单元(GRU)神经网络的交通流预测模型.根据交通流数据产生速度快、数据量大的特征,基于Flink框架并应用Kafka消息队列机制对获取的实时交通流数据进行预处理;基于门控循环单元神经网络,设计了当前时间与上一步时间的隐藏交通流状态;计算了交通...     

基于生成对抗网络与深度学习的少数据云资源预测

精确的云资源预测对计算平台实现安全运行具有十分重要的意义,针对新公司的云计算资源缺乏足够数据样本而造成预测模型精度降低的问题,本文提出一种基于WasserStein生成对抗网络和双向门控循环单元网络的少样本云计算资源预测模型。通过生成对抗网络去学习原始少样本数据的分布规律,以高斯噪声作为输入生成与原始数据具有相同分布的新样本数据,实现数据增强的行为;由于传统门控单元网络无法完全利用数据的时间信息,本文采用双向门控循环单元网络对数据的前向、反向时间信息进行双向提取并预测。以Google公开数据集进行仿真,对无增强数据和增强数据后的不同机器算法模型的预测结果进行对比。实验结果表明,使用WasserStein生成对抗网络数据增强后的双向门控循环单元网络模型精度的达到98.3%,所提方法适用于少样本数据的云计算资源预测。     

短期风力发电负荷预测的新方法

以陆上风力发电负荷数据作为研究对象,将注意力机制引入双向长短期记忆与卷积神经网络（CNN）的混合模型来预测短期电力负荷．结果显示:1）注意力机制通过对不同时步的输入进行加权,能够显著提升双向长短期记忆网络的预测性能;2）双向长短期记忆网络-CNN结构比CNN-双向长短期记忆网络结构更适用于短期负荷预测,前者相较后者能够充分利用时序信息,不会在输入初期就丢失关键信息;3）基于注意力机制的双向长短期记忆网络-CNN混合模型的均方根误差（RMSE）、平均绝对百分比误差（MAPE）分别达到了575.35和7.02%,比次佳模型（基于注意力机制的双向长短期记忆网络-CNN混合模型）分别降低了2.75%和9.65%,其在风电短期负荷预测方面有很好的应用前景．      

结合双向LSTM和注意力机制的车辆轨迹预测

为提升智能交通、自动驾驶等系统的管理和服务质量,提出一种双向长短期记忆网络结合注意力机制的车辆轨迹预测模型。采用道格拉斯-普克压缩算法对轨迹数据进行压缩预处理,减少数据中的冗余;在编码器中使用双向长短期记忆网络充分捕获时间相关性特征,并采用自注意力机制获得与邻近车辆之间的全局空间相关性特征;通过解码器的全连接层获取车辆的未来位置,并通过模型迭代获得完整的预测轨迹路线。实验结果表明,提出的模型预测性能优于对比模型。此外,消融实验结果表明,引入轨迹压缩算法与改进的长短期记忆网络结合注意力机制对预测准确度均有积极贡献。     

基于两级分解和GRU-AT网络的短时交通流预测模型

为提升城市道路短时交通流预测准确性,提出了一种基于小波分解(wavelet decomposition,WD)、变分模态分解(variational mode decomposition,VMD)和融合注意力机制(attention ,AT)的门控循环单元(gated recurrent units,GRU)网络的短时交通流预测模型。首先采用WD算法将原始交通流数据分解重构成低频分量和高频分量;然后将各高频分量累加,利用VMD算法将其分解为多个本征模态函数(intrinsic mode functions,IMF)分量;最后通过建立GRU-AT模型,提高模型对交通流重要特征信息提取的能力,分别预测算法分解后的交通流分量,将各个分量预测的最优结果进行聚合后获得最终的交通流预测结果。以国内外道路交通流数据为基础进行实例验证,结果表明,WD+VMD+GRU-AT模型的均方误差的平方根、平均绝对误差均小于长短时记忆(long short-term memory,LSTM)网络模型、 GRU、WD+GRU、WD+VMD+GRU,提高了短时交通流预测结果的准确度和稳定性。     

基于二向注意力循环神经网络的PM2.5浓度预测

针对PM2.5浓度预测模型效果不稳定、泛化能力差的问题,以循环神经网络和注意力机制为基础,提出了二向注意力循环神经网络（TDA RNN）。首先,TDA-RNN模型通过注意力机制获取输入数据的时序注意力和类别注意力,并将其进行融合;然后通过特征编码器对融合后的数据进行编码,获得中间特征;最后将中间特征与PM2.5浓度的历史信息融合,并通过特征解码器获取预测值。对北京地区的PM2.5浓度进行了预测。结果表明,相比前向型神经网络、长短期记忆神经网络、门控循环单元模型和滑动平均模型,TDA-RNN模型预测精度更高;在抗干扰测试中,当输入数据存在无关因素时,TDA RNN模型的预测精度出现轻微下降,但仍高于其他模型。该二向注意力循环神经网络特征提取能力强,预测精度高,同时可适用于其他场景的多变量时间序列预测。     

基于并行双向门控循环单元与自注意力机制的中文文本情感分类

在基于深度学习的文本情感分类研究领域中,目前传统的模型主要是序列结构,即采用单一的预训练词向量来表示文本从而作为神经网络的输入,然而使用某一种预训练的词向量会存在未登录词和词语语义学习不充分的问题。针对此问题,提出基于并行双向门控循环单元（gated recurrent unit,GRU）网络与自注意力机制的文本情感分类模型,利用两种词向量对文本进行表示并作为并行双向GRU网络的输入,通过上下两个通道分别对文本进行上下文信息的捕捉,得到表征向量,再依靠自注意力机制学习词语权重并加权,最后对两个通道的输出向量进行向量融合,作为输入进入全连接层判别情感倾向。将本文模型与多个传统模型在两个公共数据集上进行实验验证,结果表明本文模型在查准率、查全率、F₁值和准确率等性能指标上相比于双向门控循环单元网络模型、双向长短时记忆网络模型和双向门控循环单元网络与自注意力机制的单通道网络模型均有所提升。     

基于Attention机制和ResNet的CNN-BiLSTM短期电力负荷预测模型研究

短期电力负荷预测有利于电力系统的高效运行,对电力市场实现有效调度有重要意义。短期电力负荷受多种因素影响,波动性大、随机性强,使得其预测准确率低。双向长短期记忆网络和卷积神经网络难以在短期负荷序列中提取足够多的信息,本文提出了一种结合注意力机制和残差网络的卷积神经网络-双向长短期记忆网络短期负荷预测方法。首先利用基准模型卷积神经网络-双向长短期记忆网络对输入特征进行信息提取,然后利用注意力机制突出提取到的关键信息,最后通过残差网络创建残差层以充分学习时序特征。通过某公开数据集进行实验,结果表明该方法的平均绝对百分比误差达到2.80%,均方根误差达到2.15,并与常用的五种模型预测结果对比,验证了所提模型的准确性及有效性。     

基于GPS轨迹数据的货车交通流量需求预测循环神经网络模型

动力性差、尺寸大是货车影响道路交通流运行效率的重要原因,为提高货车运行效率,对快速路货车流量预测问题进行研究.基于货车GPS轨迹数据,构建长短时循环神经网络(Long Short Term Memory,LSTM),门控神经单元(Gated Recurrent Unit,GRU),双向长短时记忆网络(Bidi-rectional Long Short Term Memory,Bi-LSTM)和双向门控神经单元(Bidirectional Gated Recurrent Unit,Bi-GRU)四种货车交通流量需求预测循环神经网络模型.研究结果表明:货车交通流量需求预测循环神经网络模型对货车交通流量具有很好的预测能力,平均预测精度为91.55％,较ARIMA高出10.45％;GRU模型对整体货车流量序列预测精度最高;低峰时段平均预测精度高于高峰时段,LSTM在波动较强的高峰时段预测精度最高,为96.83％;Bi-GRU在低峰时段的预测精度最高,为97.66％.研究成果将为政策制定者选用合适的循环神经网络模型,精准预测货车流量,提高货车交通运行效率提供理论和技术支持.     

基于流形距离的高速公路短时交通流预测模型

准确的高速公路短时交通流预测是实现交通诱导和控制的重要前提和基础。为了提高预测精度,提出一种基于流形距离(MD)的K近邻-长短期记忆(K-nearest neighbor-long short-term memory,KNN-LSTM)高速公路短时交通流预测模型。该模型利用流形相似性分析高速公路交通流的时空特性,计算多站点与目标站点之间的流形距离。然后,采用改进的KNN算法筛选出空间相关站点构造交通流数据集,通过LSTM模型提取时序特征得出预测结果。实验表明,与单一预测模型相比,该方法能更好地提取交通流时空特性且预测精度更高,可为高速公路的交通管理提供必要的依据。     

基于局部信息增强注意力机制的网络流量预测

针对网络流量具有强烈的非线性和不确定性导致传统统计方式或者机器学习方法难以准确预测的问题,为进一步提升网络流量预测精度,在传统时序序列预测模型的基础上设计实现了一种局部上下文信息增强的注意力机制,通过卷积计算将输入转换为注意力机制中的Query和Key,从微观角度对时间序列进行解释,提高了预测模型的局部感知能力。进而将提出的注意力机制分别与长短期记忆人工神经网络和门控循环单元两个时序预测模型相结合并将结合后的模型用于某运营商提供的两个不同网络流量数据集进行网络设备流量预测。实验结果表明基于局部上下文信息增强注意力机制的预测模型具有更好的预测效果。     

基于门控循环单元神经网络的公交到站时间预测

为提高用户公交出行积极性、方便管理部门合理调度公交班次,利用大数据分析公交浮动车辆历史GPS数据,考虑不同线路、公交站点地理位置、不同驾驶员、气象情况、时间分布等多因素的影响,建立了一种基于门控循环单元(gated recurrent unit, GRU)神经网络的公交到站时间预测模型。该模型结合5 000多万条原始数据,借助分布式Hadoop集群中的Spark弹性分布式数据集进行数据清理,并运用站点匹配算法进行源数据匹配、Lasso算法优化特征选项及去除干扰。实验仿真结果表明:改进的GRU模型R-square拟合度达到94.547%,并且算法效率较传统长短期记忆(long short-term memory,LSTM)神经网络提高了近14%,为进一步提高公交到站时间的预测精度与效率提供了参考。     

融合VMD和GRU模型的城市道路行程时间预测方法

城市道路交通环境复杂多变,城市道路行程时间具有较强的非线性与非稳定性,为提高城市道路行程时间的预测精度,提出了基于变分模态分解(variational mode decomposition,VMD)与门控循环单元(gated recurrent unit,GRU)相结合的组合预测模型。与传统分解算法相比,VMD拥有非递归求解和自主选择模态个数的优点。首先利用变分模态分解算法将原始行程时间序列分解为若干时间子序列,降低原始序列的非平稳性;然后对每个时间子序列建立GRU预测模型;最后将各个预测结果进行融合,得到行程时间序列预测的最终结果。实验结果表明,变分模态分解与门控循环单元结合的组合模型预测结果要比对照组的单一模型预测结果精准度高,均方根误差(root mean squared Error,RMSE)及下降约3.99～4.37,平均绝对误差(mean absolute error,MAE)下降约3.02～3.35;在组合预测模型中,门控循环单元(GRU)预测效果要比长短期记忆(long short-term memory,LSTM)预测效果表现更佳,均方根误差(root mean squared error,RMSE)下降0.34,平均绝对误差(mean absolute error,MAE)下降0.22。     

基于深度学习的短文本语义相似度计算模型

基于深度学习的短文本语义相似度度量方法是现代自然语言处理任务的基石，其重要性不言而喻。本文提出一种基于卷积神经网络和双向门控循环单元的文本编码模型，通过卷积层提取重要语义并且通过双向门控循环单元保证语义顺序，采用孪生神经网络结构保证文本编码的一致性。选取传统的卷积神经网络和长短期记忆网络以及BERT模型进行对比验证，在Quora、Sick和MSRP数据集上的验证结果表明，本文模型的精确率和召回率表现优异，且F₁值也优于传统模型。     

基于注意力与LSTM的航空发动机剩余寿命预测

预测性维护的核心技术之一是设备剩余寿命(remaining useful life, RUL)预测。为了提高航空发动机的剩余寿命预测精度,提出了一种基于注意力与长短期记忆(directional long short-term memory, LSTM)网络的航空发动机剩余寿命预测模型Attention-LSTM,通过引入注意力机制增强各时间点数据的特征权重,有效提升了模型预测精度。使用NASA C-MAPSS涡扇发动机仿真数据集进行实验,与未加注意力机制的长短期记忆网络等多种模型进行对比实验。实验结果表明,提到的Attention-LSTM模型的均方根误差相比较于未引入注意力机制的长短期记忆网络降低了17.8%,拟合度提升了3.2%,各项评估指标均也优于其他对比模型。     

融合多因素的“时间齿轮”交通流预测模型

为提高交通流预测的准确度,结合城市道路交通的特点,提出一种融合多因素的“时间齿轮”交通流预测模型（TGM）,将模型分为2个模块对交通流的影响因素进行特征挖掘。模块1通过深度分析天气因素的影响,挖掘提取天气因素的特征信息;模块2仿照转轴与齿轮的关系,将目标路段及其邻近交叉口各个方向路段的交通流量数据作为时间轴上的轮齿。模型框架采用正反2个方向都加入注意力机制(attention mechanism)的双向门控循环网络（bidirectional gated recurrent unit,Bi-GRU）。结果表明,TGM模型明显优于多种现有模型;与Bi-GRU模型相比,TGM模型对5,15,25 min的预测精度分别提高了4.75%,6.37%和6.73%。因此,TGM模型能够有效提高交通流预测的准确度,具有更优的中长时预测能力,可为交通组织的优化和交通流理论的研究提供帮助。     

基于时间序列分解与门控循环单元的地铁换乘客流预测

为丰富地铁内部换乘客流预测理论,更好地制定地铁运营计划,提出了一种基于时间序列分解方法(STL)与门控循环单元(GRU)的地铁换乘客流预测模型。该模型将预测过程分为3个阶段,第1阶段为原始地铁刷卡数据预处理,采用基于图的深度优先搜索算法识别乘客的出行路径,构建换乘客流时间序列;第2阶段运用STL时间序列分解算法将换乘客流时间序列转化为趋势量、周期量以及余量,并利用3σ原则对余量进行异常值的剔除与填充;第3阶段基于深度学习库Keras,完成GRU模型的搭建、训练及预测。以北京地铁西直门站的换乘客流数据为研究对象,对模型的有效性进行了验证,结果表明：与长短时记忆神经网络(LSTM)、门控循环单元、STL时间序列分解方法与长短时记忆神经网络组合模型(STL-LSTM)相比,STL-GRU组合预测模型可提升工作日(不含周五)、周五、休息日的换乘客流预测精度,预测结果的平均绝对百分比误差至少分别降低了2.3、1.36、6.42个百分点。