基于时间序列分解与门控循环单元的地铁换乘客流预测

为丰富地铁内部换乘客流预测理论,更好地制定地铁运营计划,提出了一种基于时间序列分解方法(STL)与门控循环单元(GRU)的地铁换乘客流预测模型。该模型将预测过程分为3个阶段,第1阶段为原始地铁刷卡数据预处理,采用基于图的深度优先搜索算法识别乘客的出行路径,构建换乘客流时间序列;第2阶段运用STL时间序列分解算法将换乘客流时间序列转化为趋势量、周期量以及余量,并利用3σ原则对余量进行异常值的剔除与填充;第3阶段基于深度学习库Keras,完成GRU模型的搭建、训练及预测。以北京地铁西直门站的换乘客流数据为研究对象,对模型的有效性进行了验证,结果表明：与长短时记忆神经网络(LSTM)、门控循环单元、STL时间序列分解方法与长短时记忆神经网络组合模型(STL-LSTM)相比,STL-GRU组合预测模型可提升工作日(不含周五)、周五、休息日的换乘客流预测精度,预测结果的平均绝对百分比误差至少分别降低了2.3、1.36、6.42个百分点。     

融合长短期记忆网络和图卷积网络的轨道交通短时客流起讫点预测

轨道交通客流起讫点(origin-destination,OD)矩阵存在时间相关性和空间相关性。根据客流OD的时空特征,提出长短期记忆(long short-term memory,LSTM)网络和图卷积网络(graph convolutional networks,GCN)的短时组合预测方法。预测方法主要利用LSTM网络来获取客流的时间相关性,利用GCN来获取客流的空间相关性,基于出站口建立客流OD矩阵,对整个路网的客流OD进行训练预测。实验表明:融合LSTM神经网络和GCN神经网络的短时预测模型能有效预测轨道交通客流OD。相较于单独的LSTM神经网络,组合模型在预测误差方面有所改善,更适用于短时客流OD的预测。     

基于融合Dropout与注意力机制的LSTM-GRU车辆轨迹预测

在智能驾驶环境的车辆轨迹预测环节,为更好地获取环境车辆的轨迹时序特征,在长短期记忆神经网络（LSTM）基础上,嵌入Dropout层以增强网络泛化性,引入注意力机制予以预测效果影响较大的时序数据更大权重从而提高预测结果的可靠性,且将改进的LSTM模型与门控循环单元GRU模型结合,构建LSTM-GRU预测模型以进一步提升环境车辆轨迹预测的准确性.在此基础上,使用NGSIM公开数据集对模型进行训练、验证和测试.研究结果表明,融合了Dropout和注意力机制的LSTM-GRU神经网络轨迹预测模型相较标准的LSTM长短期记忆网络以及GRU门控循环单元,在预测较长时序的车辆轨迹上具有优势,提高了轨迹预测的准确性,降低了实际轨迹和预测轨迹之间的均方根误差和平均绝对误差.     

基于S-Catboost算法的短时公交客流预测及影响因子分析

针对城市公交实时客流数据多样化和特征复杂的状况,提出一种基于S-Catboost模型的客流特征提取及短时客流预测方法和影响因子分析流程.首先,通过爬虫技术获取公交客流数据的环境和时变特征,扩充客流数据的特征维度.其次,通过对客流数据进行时间和精度加权并采用LSTM和随机森林2种基模型对客流数据进行堆叠(Stacking...     

基于循环神经网络的人体行为识别

使用4种类型的循环神经网络模型(RNN、GRU、LSTM、BLSTM)处理手机传感器采集的异构时间序列数据,用于人体行为识别研究.针对4种模型,分别构建自动特征提取方法,并对参数设置进行优化.在公开数据集UCI HAR上进行了行为识别测试实验,实验结果表明,BLSTM模型的识别精度高达95.7%,可以有效地用于行为识别,其识别率和性能优于其他3种循环神经网络,且高于卷积神经网络深度学习方法.     

双向LSTM神经网络的航空发动机故障预测

准确的航空发动机故障预测能够为维修决策提供依据,提高装备完好率,避免灾难性故障并最小化经济损失。根据航空发动机传感器数据特点,提出一种基于双向长短期记忆（LSTM）神经网络的故障预测方法,建立故障预测模型,包括数据预处理、网络模型设计、训练与测试,得到在多种工作条件和故障下具有较强泛化能力的神经网络预测模型。使用C-MAPSS数据集对模型进行仿真验证,所提出的双向LSTM故障预测模型通过与RNN、GRU、LSTM时间序列模型对比,误差下降33.58%,得到更高的预测精度,非对称评分下降71.22%,具有更好的适应性。     

基于GoogLeNet和双层GRU的图像描述

针对基于卷积神经网络(convolutional neural network,CNN)和长短期记忆网络(long short-term memory,LSTM)的方法存在计算复杂度高、收敛速度慢、训练时间长等问题,本文提出基于GoogLeNet和双层GRU的图像描述模型,在训练阶段采用适应性动量估计法(adaptiv...     

基于改进LSTM神经网络的化工过程故障诊断

针对现代化工过程中数据非线性、高维度以及动态时序等特点,传统的故障诊断模型对化工过程的故障诊断精度较低.基于此,设计了一种基于改进的长短时记忆神经网络(LSTM)故障诊断方法.首先,将采集的故障数据输入卷积神经网络(CNN),对数据进行特征提取和降维;其次,将处理过的数据输入改进的LSTM网络,进行深层特征提取;最后,把提取的深层特征信息输入到注意力机制进行特征“聚焦”,实现特征融合后输入softmax分类器实现故障分类.由田纳西-伊斯曼(TE)过程诊断实验结果表明,基于改进的LSTM网络的故障诊断方法在故障分类精度、训练速度方面都更优于递归神经网络(RNN)、门控循环神经网络(GRU)、卷积神经网络(CNN)和深度自编码网络(DAEN),在实际化工过程的应用有一定的优势.     

基于LSTM和注意力机制的蛋白质-配体结合亲和力预测

蛋白质-配体的结合亲和力预测是药物重定位回归中具有挑战性的任务。深度学习方法可以有效预测蛋白质与配体相互作用的结合亲和力,减少药物发现的时间和成本。由此,基于长短期记忆模块(LSTM)和注意力机制模块(attention)提出了一种深度卷积神经网络模型(DLLSA)。模型由嵌入LSTM和空间注意力模块(spatial-attention)的卷积网络并行模块构建,其中LSTM模块针对蛋白质-配体接触特征的长序列信息,spatial-attention注意力模块聚集接触特征局部信息。采用PDBbind(v.2020)数据集进行训练,CASF-2013和CASF-2016数据集进行验证,模型的皮尔逊相关系数相比于PLEC模型分别提高了0.6%和3%,实验结果显著优于其他相关方法。     

基于门控循环单元神经网络的公交到站时间预测

为提高用户公交出行积极性、方便管理部门合理调度公交班次,利用大数据分析公交浮动车辆历史GPS数据,考虑不同线路、公交站点地理位置、不同驾驶员、气象情况、时间分布等多因素的影响,建立了一种基于门控循环单元(gated recurrent unit, GRU)神经网络的公交到站时间预测模型。该模型结合5 000多万条原始数据,借助分布式Hadoop集群中的Spark弹性分布式数据集进行数据清理,并运用站点匹配算法进行源数据匹配、Lasso算法优化特征选项及去除干扰。实验仿真结果表明:改进的GRU模型R-square拟合度达到94.547%,并且算法效率较传统长短期记忆(long short-term memory,LSTM)神经网络提高了近14%,为进一步提高公交到站时间的预测精度与效率提供了参考。     

基于SSA-LSTM组合模型的城市轨道交通短时客流预测

随着我国经济的快速增长及城市化水平的不断提高，轨道交通在居民出行中发挥着越来越重要的作用。作为影响城市轨道交通运营效益和服务水平的关键因素，客流精准预测受到运营管理者和研究者的日益重视。为提高城市轨道交通客流预测精度，提出了基于麻雀搜索算法(SSA)和长短期记忆网络(LSTM)的SSA-LSTM组合模型。本文以杭州地铁一号线客流量数据为例，在选取轨道交通客流相关影响因素的基础上，利用建立的SSA-LSTM模型对相关站点进行短时客流预测，并与LSTM模型、遗传算法(GA)优化的LSTM模型(GA-LSTM)以及粒子群算法(PSO)优化的LSTM模型(PSO-LSTM)预测结果进行对比分析。结果表明，相比于前述参照模型，SSA-LSTM模型的预测精度分别提升了19.1%、9.7%和2.4%,并在均方根误差指标方面有更优异的表现。SSA-LSTM组合模型在城市轨道交通客流预测中具有一定的应用价值，具有协助运营管理者提高城市轨道交通运营管理效益和提高服务水平的潜力。     

基于并列GRU分类模型的日志异常检测方法

为了能够更有效地检测出系统日志的异常,该文对现有基于深度学习的日志异常检测算法Deeplog进行了研究和改进,提出一种基于并列门循环单元(Gate recurrent unit, GRU)分类模型的日志异常检测方法。该方法包含模型训练阶段和异常检测阶段。在训练阶段,利用日志模板解析器解析原始日志数据集中的日志模板,进而生成日志模板滑动窗口数据集和相应的日志模板频度向量集,并作为输入训练成并列GRU分类模型;在检测阶段,利用并列GRU分类模型,对进程日志序列进行异常检测。试验结果表明,该文提出的异常检测方法比现有方法在查全率、调和分数等评价指标上均有明显改善和提升。     

基于超距雷达数据的车辆跟驰行为分析及建模

针对高速公路车辆跟驰特性及速度预测问题,基于超距雷达数据分析了高速公路车辆跟驰特性,建立起基于长短期记忆（long short term memory,LSTM）的跟驰速度预测模型。首先,根据数据特点建立了处理规则并筛选跟驰序列。其次,根据车身长度将跟驰车划为大型车与小型车,分析了车辆在跟驰过程中速度、车速差、车间距和车头时距等参数的分布及相对变化关系。然后,将前车速度、位置差、上一时刻车头时距作为模型输入,跟驰车速度作为模型输出,构建了基于LSTM的跟驰速度预测模型,模型预测精度达到99.75%。最后,以高速公路数据为例进行验证,传统机器学习支持向量回归（support vector regression,SVR）模型的预测性能低于深度学习模型,LSTM模型的R Square较SVR模型提升了4.37%;作为LSTM的结构简化变体,在相同的结构参数下,门控循环单元（gated recurrent unit,GRU）模型的预测性能并未提升,但训练速度较LSTM模型提高了28.48%。深度学习LSTM、GRU模型能够更精准地预测高速公路的车辆跟驰速度。     

基于溶解氡数据和长短期记忆网络的地震预报

溶解气氡浓度异常为可靠地震前兆,通过对历史观测数据进行建模,预测溶解气氡未来趋势,是快速检测溶解气氡浓度异常、研究震-氡机制的前提。溶解气氡浓度数据为典型的时间序列数据,传统的时间序列预测技术主要为自回归(AR)方法和自回归滑动平均(ARMA)方法。这些方法以线性方法为主,其拟合精度有限。采用目前最流行的深度学习技术长短期记忆(LSTM)模型对姑咱地震台、西昌地震台和雅安地震台一段时间内连续观测的溶解气氡日观测数据集溶解气氡浓度数据进行建模,采用90%的数据作为训练数据训练LSTM网络,10%的数据作为预测数据,采用均方根误差评价指标来评价模型的效果。在三种数据集上,LSTM的预测误差均方根误差均明显低于AR和ARMA方法。该结果表明,LSTM的预测精度高于传统的AR、ARMA方法。     

基于注意力机制的CNN-GRU船舶交通流预测模型

为更准确地预测内河船舶交通流，提出基于注意力机制的CNN-GRU船舶交通流预测模型。该模型主要借助一维卷积单元提取数据的高维特征，GRU单元学习数据中的时序特征，并通过引入注意力机制加强重要特征的学习，实现对超长序列的学习。此外，通过分析内河上下游航道交通流间的关联性，提取长江中下游6个航段的船舶AIS数据，构造多航段船舶交通流序列数据集，并将其输入本文模型中进行训练及测试。结果表明：相比序列预测模型中的SAE、LSTM、GRU、CNN+GRU和GRU+Attention,本文模型在针对不同交通流参数的预测中均具有更高的预测精度，交通流量、交通流密度和交通流速度的预测精度分别达到95.42%、97.33%、94.99%,可更好地满足工程应用需求。     

基于LSTM的钓鱼邮件检测系统

提出了一种基于LSTM的钓鱼邮件检测方式.该方式主要由两部分构成:分别为数据扩充部分及模型训练部分.数据扩展部分中,通过KNN与K-means算法扩大训练数据集,保证数据的数量能够满足深度学习算法的需要.在模型训练部分中,通过对数据进行预处理并将其转化为词向量矩阵,最后将转化完词向量通过训练得到LSTM神经网络模型.最终,可以根据训练好的LSTM模型将邮件分为正常邮件以及钓鱼邮件.通过实验对提出的算法进行了评估,实验结果显示提出的算法准确率可以达到95%.      

一种基于卫向量的简化支持向量机模型

针对支持向量机(SVM)在处理大规模训练集时,训练速度和分类速度变慢的缺点,提出了一种基于卫向量的简化SVM模型.用对偶变换及求解线性规划方法提取卫向量,缩小训练集规模;在此基础上对训练得到的支持向量集,用线性相关性去除冗余支持向量,从而达到简化目的.对UCI标准数据集的实验表明:在保证不损失分类精度的前提下,该模型一定程度上改进了传统SVM,缩短了学习时间,取得了良好的效果.     

基于GRU改进RNN神经网络的飞机燃油流量预测

利用从飞机快速存储记录器(quick access recorder, QAR)中获取的大量数据设计研究了一种利用循环神经网络(recurrent neural network, RNN)及其改进网络门控循环单元(gate recurrent unit, GRU)进行飞机燃油流量预测的模型。首先使用基于时间的反向传播算法(back propagation trough time, BPTT)训练网络,Adam优化算法加速迭代更新神经网络权重。在参数调整实验中发现循环神经网络对历史信息利用能力不足,极易发生梯度消失与梯度爆炸,遂提出改进网络结构,引入GRU重构燃油流量预测模型。在最优的超参数条件下,重构模型在训练集和测试集上的损失函数均方误差(mean squared error, MSE)值分别为0.001 08、0.000 97。通过与朴素RNN的预测曲线和MSE对比可以发现,改进后的GRU网络能够"记忆"更多历史信息而不易出现梯度消失或梯度爆炸的问题,预测精度与曲线拟合能力显著提高。因此,GRU重构模型显著改善了预测能力,并通过实际案例验证该预测模型在故障诊断等领域的应用。     

基于LSTM的智能手机3D手写识别

针对传统传感器需要在特定的空间区域内才能进行人机交互,极易受到外部环境因素干扰的问题,提出一种新的基于长短时记忆神经网络(LSTM)的智能手机3D空间手写识别方法,用于非特定三维空间中实现的人机交互.首先,利用智能手机内置三轴加速度传感器,采集手部运动数据,并将采集的数据进行预处理操作,构建3D手写识别数据集;然后,基于LSTM构建3D手写识别模型,并利用构建的数据集进行训练;最后,利用训练后的模型实现智能手机的3D手写分类识别.通过在本文自建的非依赖用户数据集上进行测试,实验结果表明,该识别方法可以实现86.4%的准确率,88.1%的召回率,88.4%的精准率和88.0%的F₁分数.     

融合聚类-卷积-门循环的居民用电短期负荷预测方法

对居民用电进行准确的短期负荷预测是电力部门合理制定每日调度计划的重要依据。提出了一种基于BIRCH(balanced iterative reducing and clustering using hierarchies)聚类算法-卷积神经网络(convolutional neural network, CNN)-门控循环单元(gated recurrent unit, GRU)的短期电力负荷预测方法。根据智能电表采集的历史负荷数据，该方法首先采用BIRCH聚类算法分析不同用户的用电习惯，将用户聚类为多个用户群；然后构建由负荷数据和时间以及气候信息组成的多特征时间序列数据集，并采用训练集进行CNN-GRU预测模型构建。训练集首先输入到基于一维卷积层设计的CNN网络，以提取不同特征变量之间的非线性关系；之后将数据输入GRU网络，以提取数据在时间维度上的时序特性，最后由全连接层输出短期负荷预测结果。以爱尔兰能源管理委员会提供的公开数据集作为实际算例，以ANN网络、CNN网络及CNN-GRU网络为对比模型，实验结果表明，所提出方法的平均绝对百分比误差达到了2.932 1%,有较高的预测精度和...