基于并行双向门控循环单元与自注意力机制的中文文本情感分类

在基于深度学习的文本情感分类研究领域中,目前传统的模型主要是序列结构,即采用单一的预训练词向量来表示文本从而作为神经网络的输入,然而使用某一种预训练的词向量会存在未登录词和词语语义学习不充分的问题。针对此问题,提出基于并行双向门控循环单元（gated recurrent unit,GRU）网络与自注意力机制的文本情感分类模型,利用两种词向量对文本进行表示并作为并行双向GRU网络的输入,通过上下两个通道分别对文本进行上下文信息的捕捉,得到表征向量,再依靠自注意力机制学习词语权重并加权,最后对两个通道的输出向量进行向量融合,作为输入进入全连接层判别情感倾向。将本文模型与多个传统模型在两个公共数据集上进行实验验证,结果表明本文模型在查准率、查全率、F₁值和准确率等性能指标上相比于双向门控循环单元网络模型、双向长短时记忆网络模型和双向门控循环单元网络与自注意力机制的单通道网络模型均有所提升。     

基于时空图注意力神经网络的交通道路拥塞和异常预测

为全面捕获交通路网的时空特性,分析路况的复杂多变性,实现道路拥堵和突发情况的高效准确预测,研究提出一种时空图注意力神经网络模型,通过将道路网络建模成一系列随时间变化的图,利用图注意力机制(graph attention network, GAT)关注路网图关键节点的空间特性并捕获动态的全图空间特征,再利用门控循环单元(gated recurrent neural network, GRU)充分捕获相邻路网图的时间相关性并降低模型冗余,提升了对道路拥堵和异常情况的预测准确率。采用PEMSD数据集进行实验。结果表明,所提方法与对比模型相比准确率与召回率均优于现有方法,有效提升了交通异常预测精度。     

基于卷积神经网络和双向门控循环单元网络注意力机制的情感分析

传统的情感分析方法不能获取全局特征,以及否定词、转折词和程度副词的出现影响句子极性判断.在深度学习方法基础上提出了基于卷积神经网络和双向门控循环单元网络注意力机制的短文本情感分析方法.将情感积分引入卷积神经网络,利用情感词自身信息,通过双向门控循环网络模型获取全局特征,对影响句子极性的否定词、转折词和程度副词引入注意力...     

基于BiGRU和残差图注意力网络的股票价格预测模型

高效、准确的股票价格预测能帮助投资者合理规划交易方式,提高投资收益。针对现有股票价格预测模型的准确率不高、投资收益率低等问题,提出一种结合双向门控循环单元(BiGRU)和残差图注意力网络(ResGAT)的股票价格预测模型(BiGRU-ResGAT)。首先,通过结合注意力机制的时间滑动窗口方法(TSWMCAM)动态计算不同股票之间的关联系数,构建表征股票之间关联关系的股票图结构;然后,使用BiGRU捕获股票在时序上的长距离依赖信息;最后,利用ResGAT对股票的时序特征与股票间的关联特征进行深度挖掘和融合,并对股票价格进行预测。在上海证券交易所主板市场498支股票上的价格预测结果显示,与支持向量机(SVM)、门控循环单元(GRU)、复合模型(CNN-LSTM)和关系股票排序模型(RSR)相比,BiGRU-ResGAT在股票测试集上平均绝对误差(MAE)分别降低79.53%、63.20%、48.17%、33.19%,均方根误差(RMSE)分别降低80.23%、66.22%、53.99%、29.99%,决定系数(R-Squared)分别提升23.34%、15.22%、9.54%、4.84%;...     

注意力机制下的EMD-GRU短期电力负荷预测

为进一步提高短期电力负荷预测精度,构建一种基于注意力机制的经验模态分解(EMD)和门控循环单元(GRU)混合模型,对时间序列的短期负荷进行预测.首先,对负荷序列进行EMD,将数据重构成多个分量;再通过GRU提取各分量中时序数据的潜藏特征;经注意力机制突出关键特征后,分别对各分量进行预测;最后,将各分量的预测结果叠加,得到最终预测值.仿真结果表明:相对于BP网络模型、支持向量机(SVR)模型、GRU网络模型和EMD-GRU模型,基于EMD-GRU-Attention的混合预测模型能取得更高的预测精度,有效地提高短期电力负荷预测精度.     

融合注意力机制的刀具磨损预测方法

刀具的磨损状态影响着工件表面质量与加工稳定性,故实现其磨损量的准确监测对于保证加工可靠性、维持生产加工连续性具有积极作用．为进一步提高刀具磨损预测模型的泛化性能和准确度,提出一种融合注意力机制的多尺度卷积双向门控循环(multiscale convolutional bidirectional gated recurrent unit-attention,MSCBGRU-A)神经网络的刀具磨损预测方法,其由特征拓展模块、多尺度卷积模块、双向GRU模块、注意力模块、回归模块组成．首先,将切削力、声发射、振动信号作为输入信号,输入信号通过多尺度卷积模块获得多个尺度的刀具磨损输出特征图,将多个卷积通道输出的特征图输入到连接层进行首尾和层叠两种方式的连接来获得两种输出数据．然后,将两种输出数据分别输入到双向GRU模块与注意力模块,通过双向GRU模块学习输出特征图动态变化来获取时序特征,通过注意力模块对多尺度卷积神经网络的输出进行权值分配,强化对刀具磨损预测结果贡献度更大的特征．最后,通过回归模块对磨损值进行预测．经过对比实验引入混合域注意力机制的基于卷积块的注意力机制(convolutiona...     

基于融合Dropout与注意力机制的LSTM-GRU车辆轨迹预测

在智能驾驶环境的车辆轨迹预测环节,为更好地获取环境车辆的轨迹时序特征,在长短期记忆神经网络（LSTM）基础上,嵌入Dropout层以增强网络泛化性,引入注意力机制予以预测效果影响较大的时序数据更大权重从而提高预测结果的可靠性,且将改进的LSTM模型与门控循环单元GRU模型结合,构建LSTM-GRU预测模型以进一步提升环境车辆轨迹预测的准确性.在此基础上,使用NGSIM公开数据集对模型进行训练、验证和测试.研究结果表明,融合了Dropout和注意力机制的LSTM-GRU神经网络轨迹预测模型相较标准的LSTM长短期记忆网络以及GRU门控循环单元,在预测较长时序的车辆轨迹上具有优势,提高了轨迹预测的准确性,降低了实际轨迹和预测轨迹之间的均方根误差和平均绝对误差.     

基于RF-WOA-VMD-BiGRU-Attention的神经网络模型在海浪预测中的应用

海上风电场的海况数据极其复杂导致用于海浪高度预测的输入参数极其不稳定,筛选出关键信息,提高输入参数的质量可以极大地提高海浪高度预测的准确性。以乐亭菩提岛风电场近一年的海上数据为基础,构建了一种基于随机森林(random forest, RF)、鲸鱼优化算法(whale optimization algorithm, WOA)、变分模态分解(variational mode decomposition, VMD)和双向门控循环单元(bidirectional gated recurrent unit, BiGRU)的海浪预测模型。该模型利用随机森林对环境特征等输入变量进行筛选,有效减少数据冗余,然后基于WOA-VMD模型自适应确定最优参数和自适应分解原始序列,提高数据质量并消除数据噪声的干扰。此外,针对海浪预测提出了一种基于注意力机制优化的BiGRU算法,随机森林的注意力机制将为BiGRU的隐藏层状态分配不同的权重,加强关键信息的影响。实验结果表明该模型和其他模型对比,输入质量更高,预测精度更高,拟合程度更准确,对风电场海浪预测有着重大意义。     

基于二向注意力循环神经网络的PM2.5浓度预测

针对PM2.5浓度预测模型效果不稳定、泛化能力差的问题,以循环神经网络和注意力机制为基础,提出了二向注意力循环神经网络（TDA RNN）。首先,TDA-RNN模型通过注意力机制获取输入数据的时序注意力和类别注意力,并将其进行融合;然后通过特征编码器对融合后的数据进行编码,获得中间特征;最后将中间特征与PM2.5浓度的历史信息融合,并通过特征解码器获取预测值。对北京地区的PM2.5浓度进行了预测。结果表明,相比前向型神经网络、长短期记忆神经网络、门控循环单元模型和滑动平均模型,TDA-RNN模型预测精度更高;在抗干扰测试中,当输入数据存在无关因素时,TDA RNN模型的预测精度出现轻微下降,但仍高于其他模型。该二向注意力循环神经网络特征提取能力强,预测精度高,同时可适用于其他场景的多变量时间序列预测。     

基于门控循环单元神经网络的公交到站时间预测

为提高用户公交出行积极性、方便管理部门合理调度公交班次,利用大数据分析公交浮动车辆历史GPS数据,考虑不同线路、公交站点地理位置、不同驾驶员、气象情况、时间分布等多因素的影响,建立了一种基于门控循环单元(gated recurrent unit, GRU)神经网络的公交到站时间预测模型。该模型结合5 000多万条原始数据,借助分布式Hadoop集群中的Spark弹性分布式数据集进行数据清理,并运用站点匹配算法进行源数据匹配、Lasso算法优化特征选项及去除干扰。实验仿真结果表明:改进的GRU模型R-square拟合度达到94.547%,并且算法效率较传统长短期记忆(long short-term memory,LSTM)神经网络提高了近14%,为进一步提高公交到站时间的预测精度与效率提供了参考。     

基于改进堆叠式循环神经网络的轴承故障诊断

提出基于改进堆叠式循环神经网络的轴承故障诊断模型.利用深层网络极强的非线性拟合能力以及循环神经网络特有的沿时间通道传播的特点,通过门控循环单元解决堆叠式循环神经网络梯度消失的问题,实现对轴承健康状况的分类识别.利用美国凯斯西储大学轴承数据集进行了轴承故障诊断试验,同时将支持向量机、粒子群优化的支持向量机、人工神经网络、卷积神经网络AlexNet以及循环神经网络作为对比以检验所提模型的分类性能.结果表明,提出的模型能够对轴承故障进行有效诊断,并且具有一定的可靠性与泛化能力.     

基于新型相似日选取和VMD-NGO-BiGRU的短期光伏功率预测

光伏功率预测在现代电力系统调度和运行中起着重要作用.针对光伏发电功率的多变性和复杂性,提出了一种基于新型相似日选取和北方苍鹰算法（Northern Goshawk Optimization, NGO）优化双向门控循环单元（Bidirectional Gated Recurrent Unit, BiGRU）的短期光伏功率预测方法.首先,利用斯皮尔曼相关系数选取主要气象因子,通过变分模态分解（Variational Mode Decomposition, VMD）将原始光伏功率和最大气象因子分解重构为一系列子信号.其次,通过构建新的评价指标筛选出相似日数据集,利用一组BiGRU建立以相似日子信号为网络输入的深度学习模型,并利用NGO对每个BiGRU网络的超参数进行有效优化.最后,对各子信号的预测结果进行综合,得到最终的光伏功率预测值.仿真结果表明,所提混合深度学习方法在预测精度和计算效率方面均优于其他方法.     

基于循环神经网络的微地震数据降噪方法

针对微地震信号中存在大量噪声干扰, 导致其识别困难的问题, 提出一种深度双向门控循环单元循环神经网络的方法, 并将其应用于微地震数据降噪中. 首先, 构建多层双向门控循环单元循环神经网络模型, 并设计该模型的网络结构及训练算法; 然后, 采用Ricker子波正演模拟微地震数据验证模型的有效性, 并将该方法与其他4种方法进行对比; 最后, 将真实的含噪声微地震数据输入到训练好的模型中, 即可得到降噪后的微地震数据. 仿真实验结果表明, 利用该方法降噪后与降噪前信号的峰值信噪比相比约提高36 dB, 且信号之间的相关系数值由0.088 6上升至0.933 5. 实际应用结果也表明, 该方法可有效降低实际微地震数据中的噪声.     

基于编码器-解码器结构的路面平整度预测

提出了基于编码器?解码器结构的路面平整度预测模型。对比分析了不同网络层的表现,并比较了网络层个数、隐藏节点数、数据时间窗口对模型精度的影响。在美国交通部公开的LTPP（long-term pavement performance）数据库的基础上构建了国际平整度指数（IRI）数据集,并对模型进行了训练和评估。结果表明：采用门控循环单元（GRU）网络层的编码器?解码器结构的预测性能最好,优于经典的机器学习模型XGBoost和单独长短期记忆（LSTM）网络。通过特征随机打乱的方式对不同输入特征的重要性进行了评估,结果显示路面结构和温度对于路面平整度预测比较重要,在数据库建设时应注意对这些数据的收集。     

基于鲸鱼优化混合神经网络的滑坡位移预测

针对静态机器学习模型难以有效反映滑坡的动态演化特性,且存在时序过长时历史数据遗忘导致位移预测结果不稳定的问题。本文提出了一种基于鲸鱼优化卷积神经网络(convolutional neural networks,CNN)和双向门控循环神经网络(bidirectional gated recurrent neural network,BiGRU)的滑坡位移动态预测方法。首先对滑坡影响因子进行特征筛选,构建数据集,建立CNN-BiGRU网络模型,使用鲸鱼优化算法(whale optimization algorithm,WOA)对模型进行超参数寻优,使用CNN网络模型从滑坡数据中提取潜在的特征向量,将特征向量以时间序列的形式输入到BiGRU模型中,利用其处理时间序列数据的优势,完成滑坡位移预测。结果表明,本文提出的模型得到的滑坡位移预测精度较高,与未优化的CNN-BiGRU相比均方根误差(RMSE)下降了0.0305mm。     

基于对角递归神经网络的建模及应用

介绍了对角递归神经网络,针对BP算法收敛慢的缺点,将递推预报误差学习算法应用到神经网络权值和域值的训练.通过对非线性系统辨识的仿真及在磷化温控系统建模中的应用,验证了这种建模方法的有效性.     

基于递归神经网络模型的传感器非线性动态补偿

讨论了递归神经网络模型在传感器非线性动态补偿中的应用，给出了递归神经网络模型的结构及相应的训练算法．递归神经网络模型本身具有动态映射能力，其结构仅与输入层和中间层的节点数有关，且不需要知道被补偿传感器的结构特性(如输出、输入的最大延迟)等先验知识，简化了动态补偿器的结构设计．采用递推预报误差算法训练神经网络，具有收敛速度快、收敛精度高的特点．实验结果表明，经过补偿后的传感器具有期望的输入输出特性，应用递归神经网络对传感器进行非线性动态补偿是一种行之有效的方法．