基于融合Dropout与注意力机制的LSTM-GRU车辆轨迹预测

在智能驾驶环境的车辆轨迹预测环节,为更好地获取环境车辆的轨迹时序特征,在长短期记忆神经网络（LSTM）基础上,嵌入Dropout层以增强网络泛化性,引入注意力机制予以预测效果影响较大的时序数据更大权重从而提高预测结果的可靠性,且将改进的LSTM模型与门控循环单元GRU模型结合,构建LSTM-GRU预测模型以进一步提升环境车辆轨迹预测的准确性.在此基础上,使用NGSIM公开数据集对模型进行训练、验证和测试.研究结果表明,融合了Dropout和注意力机制的LSTM-GRU神经网络轨迹预测模型相较标准的LSTM长短期记忆网络以及GRU门控循环单元,在预测较长时序的车辆轨迹上具有优势,提高了轨迹预测的准确性,降低了实际轨迹和预测轨迹之间的均方根误差和平均绝对误差.     

注意力机制下的EMD-GRU短期电力负荷预测

为进一步提高短期电力负荷预测精度,构建一种基于注意力机制的经验模态分解(EMD)和门控循环单元(GRU)混合模型,对时间序列的短期负荷进行预测.首先,对负荷序列进行EMD,将数据重构成多个分量;再通过GRU提取各分量中时序数据的潜藏特征;经注意力机制突出关键特征后,分别对各分量进行预测;最后,将各分量的预测结果叠加,得到最终预测值.仿真结果表明:相对于BP网络模型、支持向量机(SVR)模型、GRU网络模型和EMD-GRU模型,基于EMD-GRU-Attention的混合预测模型能取得更高的预测精度,有效地提高短期电力负荷预测精度.     

基于局部信息增强注意力机制的网络流量预测

针对网络流量具有强烈的非线性和不确定性导致传统统计方式或者机器学习方法难以准确预测的问题,为进一步提升网络流量预测精度,在传统时序序列预测模型的基础上设计实现了一种局部上下文信息增强的注意力机制,通过卷积计算将输入转换为注意力机制中的Query和Key,从微观角度对时间序列进行解释,提高了预测模型的局部感知能力。进而将提出的注意力机制分别与长短期记忆人工神经网络和门控循环单元两个时序预测模型相结合并将结合后的模型用于某运营商提供的两个不同网络流量数据集进行网络设备流量预测。实验结果表明基于局部上下文信息增强注意力机制的预测模型具有更好的预测效果。     

基于BiGRU的变频海水冷却系统状态参数预测

为解决传统统计学方法和机器学习法无法实现船舶变频海水冷却系统预期状态参数预测的问题,提出一种基于双向门控循环单元(Bidirectional Gated Recurrent Unit,BiGRU)的时序预测模型,采用数据归一化法处理高跨度数量级的特征数据,并结合敏感性分析法实现隐含层神经元的参数调优.以MATLAB S...     

基于图注意力网络和天气权重的短时车速预测

城市道路短时车速预测是智能交通系统中的一个重要组成部分，也是城市道路交通信号灯控制、公交调度、出行线路搜索等具体应用任务的基础.目前这方面的研究热点多是使用图卷积神经网络捕获空间特征，再使用直接的线性拼接方法进行特征处理，在准确度上有不足.针对短时车速预测的高准确性要求，提出一种融合图注意力网络、门控循环单元和天气权重因子的深度学习预测模型（Graph Attention Network Based with Weather Weight,W2-GAT）.其中，图注意力网络利用注意力机制捕获城市道路空间信息，门控循环单元用于提取车速时间特征，重点关注待预测点周边的路面车速情况；在特征处理方面，将天气因素作为可变权重超参数与具体的道路车速特征进行融合，提高预测的准确性.实验结果表明，和现有模型相比，W2-GAT模型预测结果的均方根误差平均降低7.5%，准确率平均提升4%，能够较好地反映实际路面情况下未来短时的车速特征，为具体应用提供数据支撑.     

基于RF-WOA-VMD-BiGRU-Attention的神经网络模型在海浪预测中的应用

海上风电场的海况数据极其复杂导致用于海浪高度预测的输入参数极其不稳定,筛选出关键信息,提高输入参数的质量可以极大地提高海浪高度预测的准确性。以乐亭菩提岛风电场近一年的海上数据为基础,构建了一种基于随机森林(random forest, RF)、鲸鱼优化算法(whale optimization algorithm, WOA)、变分模态分解(variational mode decomposition, VMD)和双向门控循环单元(bidirectional gated recurrent unit, BiGRU)的海浪预测模型。该模型利用随机森林对环境特征等输入变量进行筛选,有效减少数据冗余,然后基于WOA-VMD模型自适应确定最优参数和自适应分解原始序列,提高数据质量并消除数据噪声的干扰。此外,针对海浪预测提出了一种基于注意力机制优化的BiGRU算法,随机森林的注意力机制将为BiGRU的隐藏层状态分配不同的权重,加强关键信息的影响。实验结果表明该模型和其他模型对比,输入质量更高,预测精度更高,拟合程度更准确,对风电场海浪预测有着重大意义。     

基于HDCNN-BIGRU-Attention油田措施效果预测模型

为预测油田增油控水措施效果中月产油量与含水量,提出一种基于混合空洞卷积神经网络(HDCNN:Hybrid Dilated Convolutional Neural Network)-BIGRU-Attention的措施效果预测模型。模型通过HDCNN,提取生产数据多尺度全局特征;针对措施生产数据时序性较强与波动性较大的特点,利用双向门控循环单元(BIGRU:Bidirectional Gated Recurrent Unit)充分挖掘数据间长期依赖关系,提高时序信息利用率与学习效果;引入缩放点积注意力模块(Attention),为重要信息赋予较高权重并不断调整参数使模型始终关注与预测目标相关性较大的特征。为验证模型的有效性,将LSTM(Long Short-Term Memory)、 CNN(Convolutional Neural Network)-LSTM以及LSTM-Attention作为实验对比,结果表明该模型具有更低的预测误差与更好的泛化能力。     

基于二向注意力循环神经网络的PM2.5浓度预测

针对PM2.5浓度预测模型效果不稳定、泛化能力差的问题,以循环神经网络和注意力机制为基础,提出了二向注意力循环神经网络（TDA RNN）。首先,TDA-RNN模型通过注意力机制获取输入数据的时序注意力和类别注意力,并将其进行融合;然后通过特征编码器对融合后的数据进行编码,获得中间特征;最后将中间特征与PM2.5浓度的历史信息融合,并通过特征解码器获取预测值。对北京地区的PM2.5浓度进行了预测。结果表明,相比前向型神经网络、长短期记忆神经网络、门控循环单元模型和滑动平均模型,TDA-RNN模型预测精度更高;在抗干扰测试中,当输入数据存在无关因素时,TDA RNN模型的预测精度出现轻微下降,但仍高于其他模型。该二向注意力循环神经网络特征提取能力强,预测精度高,同时可适用于其他场景的多变量时间序列预测。     

基于张量特征-GRU和多头自注意力机制的水质预测模型方法

针对现有水质预测模型对水质监测指标间存在数据特征利用不足,导致预测精度不高的问题,本文提出了一种基于张量分解融合门控神经网络(gate recurrent unit, GRU)和多头自注意力机制(Multi Head Self-Attention)的多指标水质预测模型(TGMHA)。该模型通过标准延迟嵌入变换(Standard delay embedding transform, SDT)将时序水质指标数据转换为张量数据,利用Tucker张量分解提取数据特征,然后结合多头自注意力机制挖掘多种水质指标数据特征之间的潜在关系,最后采用GRU模型实现多指标水质预测。对比实验证明了该模型预测相比传统GRU水质预测模型,得到的均方根误差(RMSE)、平均绝对误差(MAE)、平均绝对百分比误差(MAPE)和决定系数(R²)四个指标有5-10%的提升,有效提升了水质预测的精度,具有较好的鲁棒性,为水质预测和环境监测管理提供了科学决策依据。     

基于并行特征提取和改进BiGRU的网络安全态势评估

针对目前网络安全态势评估方法在特征提取、高效性等方面存在的不足，该文提出了一种基于并行特征提取和改进双向门控循环单元(BiGRU)的网络安全态势评估方法，设计了一个由并行特征提取网络(PFEN)和基于注意力机制改进的BiGRU组成的深度学习模型(PFEN-ABiGRU)。PFEN模块由并行的稀疏编码器组成，用于差异化地提取不同网络威胁的关键信息并将提取的特征与原始信息融合；ABiGRU模块通过注意力机制对关键特征进行加权以提高模型的准确性。将训练好的PFEN-ABiGRU模型用于网络威胁检测，根据威胁检测结果，结合提出的网络安全态势量化指标，计算网络安全态势值。实验结果表明，PFEN-ABiGRU在精确率和召回率上均优于对比的其他模型。     

基于多特征融合和深度学习的微观扩散预测

准确地预测社交网络中的信息扩散节点可以对谣言、计算机病毒等不良信息的传播以及信息泄露做到早检测、早溯源和早抑制。为了提高微观扩散预测精度,该文提出了一个基于多特征融合和深度学习的微观信息扩散预测通用框架(MFFDLP)。为了获取信息扩散的时序特征,基于信息扩散序列和社交网络图,采用门控循环神经网络提取局部时序特征和全局时序特征,并融合形成信息扩散序列表征;为了获取用户交互行为和兴趣爱好的动态表示,根据历史信息构建信息扩散图,使用级联图注意力网络提取信息扩散子图中节点特征和边特征,并通过嵌入查找,融合形成当前信息扩散序列中相应节点的动态扩散表征;使用双多头注意力机制,进一步捕获静态和动态扩散特征的上下文信息,实现了高精度微观扩散预测。在3个公共数据集上的对比实验结果表明：所提方法优于对比方法,在微观扩散预测的精度上最高提高了9.98%。     

基于XLNet+BiGRU+Att(Label)的文本分类模型

传统的词向量嵌入模型,如Word2Vec、GloVe等模型无法实现一词多义表达;传统的文本分类模型也未能很好地利用标签词的语义信息。基于此,提出一种基于XLNet+BiGRU+Att(Label)的文本分类模型。首先用XLNet生成文本序列与标签序列的动态词向量表达;然后将文本向量输入到双向门控循环单元(BiGRU)中提取文本特征信息;最后将标签词与注意力机制结合,选出文本的倾向标签词,计算倾向标签词与文本向量的注意力得分,根据注意力得分更新文本向量。通过对比实验,本文模型比传统模型在文本分类任务中的准确率更高。使用XLNet作为词嵌入模型,在注意力计算时结合标签词能够提升模型的分类性能。     

一种基于Bi-GRU的卫星对地观测 任务可调度性预测方法

针对现有卫星观测任务可调度性预测模型难以建模长时间间隔的观测任务依赖关系的问题,提出一种基于双向门控循环单元(Bidirectional Gated Recurrent Unit,Bi-GRU)的卫星对地观测任务可调度性预测模型.该模型以卫星历史规划方案作为学习样本,能够以较低计算代价较高准确率地预测出对地观测任务集合中可以被响应的子集.该模型首先通过多层全连接感知机神经网络提取任务属性间的关联关系,然后采用多组多层双向门控循环单元组成的循环神经网络提取观测任务与其前驱及后继观测任务序列的潜在时序特征,最后融合各组双向门控循环单元的预测结果,从而利用观测任务之间的正向与反向信息依赖关系提升任务可调度性预测准确度.实验结果表明,与现有主流预测模型相比,本文提出方法在准确率、精确率、召回率和F1分数等指标上分别提升了2.27％、2.36％、3.45％和2.37％.     

基于 KPCA-AGRU 神经网络的火电机组 NO x排放预测

针对火电机组锅炉燃烧过程中预测 NOx 排放过程存在的非线性和时序性特点,提出一种基于核主成分分析 (KPCA)和注意力机制(AM)的门控循环神经网络(GRU)氮氧化物预测模型。 首先选用 KPCA 对模型的输入变量 进行降维,消除冗余变量;其次,将筛选的变量数据作为 GRU 的输入,并采用网格搜索优化 GRU 的超参数;最后, 引入 AM 计算权值,实现区分输入特征功能,提高 NOx 预测模型精度。 通过某 330 MW 电站锅炉实际数据对 AGRU 预测模型仿真验证,并将 AGRU 模型、GRU 模型和 BP 神经网络模型的预测结果进行对比。 结果表明:基于 AGRU 的 NOx 预测模型的均方根误差和平均绝对误差较 BP 神经网络和 GRU 模型均有减少,可精准预测非线性时序燃 烧过程的 NO x 排放。     

基于CEEMDAN-BO-BiGRU的矿井涌水量预测研究

为提高矿井涌水量预测的准确度，基于涌水量数据的不稳定性及随机性，提出一种自适应噪声完备集合经验模态分解(CEEMDAN)、贝叶斯优化(BO)与双向门控循环单元(BiGRU)相结合的矿井涌水量预测模型(CEEMDAN-BO-BiGRU)。该模型通过CEEMDAN将涌水量数据分解为多个较平稳的固有模态分量(IMF)和残差分量(Res)，过滤数据噪声，提取数据不同时间尺度波动特征，降低预测误差。利用贝叶斯优化对BiGRU模型多个超参数进行迭代寻优，进一步提高模型的预测精度。之后对各分量进行超前1至3步预测预测，最终将各分量预测结果加和得到涌水量多步预测结果。以小庄煤矿矿井涌水量数据进行试验，并将CEEMDAN-BO-BiGRU预测结果与CEEMDAN-BiGRU、BiGRU、BP、SVM进行对比实验，结果表明采用CEEMDAN-BO-BiGRU组合网络模型对矿井涌水量预测结果更准确，该方法对涌水量的短时预测提供了一种新思路。     

基于GA-Transformer模型的多因子股票预测

股票市场中拥有大量用于描述股票价格变化的财务指标,这些指标为股票价格预测提供了良好的数据基础.但由于股票数据存在高维相关性和时序性等特点,导致精确预测股票价格存在困难.为提高股票价格预测精度,文章提出了基于GA-Transformer模型的多因子股票预测方法,该方法使用遗传算法(GA)进行特征选择,并结合Transformer模型进行股票预测,提升了模型特征抽取能力.实验结果表明,GA-Transformer模型在包括建设银行和贵州茅台等六支股票数据集上的预测表现均优于股票预测主流模型.     

基于时空图注意力神经网络的交通道路拥塞和异常预测

为全面捕获交通路网的时空特性,分析路况的复杂多变性,实现道路拥堵和突发情况的高效准确预测,研究提出一种时空图注意力神经网络模型,通过将道路网络建模成一系列随时间变化的图,利用图注意力机制(Graph Attention Network,GAT)关注路网图关键节点的空间特性并捕获动态的全图空间特征,再利用门控循环单元(Gated Recurrent Neural Network,GRU)充分捕获相邻路网图的时间相关性并降低模型冗余,提升了对道路拥堵和异常情况的预测准确率。采用PEMSD数据集进行实验,结果表明,所提方法与对比模型相比准确率与召回率均优于现有方法,有效提升了交通异常预测精度。     

基于门控循环单元神经网络的交通流预测模型

针对交通流数据的时间序列关联性特征,在大数据处理技术基础上,构建了基于门控循环单元(GRU)神经网络的交通流预测模型.根据交通流数据产生速度快、数据量大的特征,基于Flink框架并应用Kafka消息队列机制对获取的实时交通流数据进行预处理;基于门控循环单元神经网络,设计了当前时间与上一步时间的隐藏交通流状态;计算了交通流数据的时间序列相关性,从而实现交通流的预测.实验结果表明,基于门控循环单元神经网络的交通流预测模型可有效降低平均绝对误差和均方根误差,提高交通流的预测精度.     

结合时间注意力机制的Bi-GRU-Atten的短时交通流预测

为使用深度学习模型预测未来高速公路交通流的情况,利用双向门控循环单元算法（Bi-GRU）从双向传播中提取信息,充分学习到历史交通流的时间相关特征,同时采用注意力机制通过正确分配权重来区分交通时间序列的重要性,进一步提高预测的计算效率。采用开源高速公路数据集对模型进行验证,结果表明：与递归神经网络算法、长短期记忆网络算法、双向长短期记忆网络算法,以及没有结合注意力机制的双向门控循环单元算法相比,本文所提算法在计算效率和预测精度方面更优,可以用于短时交通流的预测。     

基于ACapsGRU的短时交通流预测研究

针对交通流预测中的时空相关性进行研究.首先,根据城市交通路网建立速度矩阵,将每个时刻的速度矩阵输入胶囊网络进行空间特征的提取;其次,利用注意力机制结合近期交通流数据生成注意力权重;最后,将带有注意力权重的数据输入到门控循环单元学习交通流的时间特征,进行组合模型的短时交通流预测.使用西安市的交通流数据进行验证,结果表明:...