注意力机制的长短时记忆神经网络航线订座需求预测

针对航线订座需求预测中存在的预测结果不稳定,偏差较大的问题,提出一种基于注意力机制的长短时记忆神经网络航线订座需求预测模型. 首先,对采集得到的航线订座需求数据进行数据清洗与指标计算处理;接着,对处理后的指标数据基于注意力机制做权重分配;然后进行长短时记忆神经网络航线订座需求预测模型的建立,从而得到航线订座需求的最终预测结果值. 将训练优化得到的模型应用于国内某航司的航线订座需求预测中,计算出预测结果. 实验结果表明,基于注意力机制的长短时记忆神经网络航线订座需求预测模型预测精度较高,以厦门-上海航线为例,预测结果与真实值对比,平均绝对误差为13.1,均方根误差为17.2,相比较于移动平均法、指数平滑法及循环神经网络,CNN-LSTM混合模型有较好的预测效果.     

基于长短期记忆神经网络的油田注水预测

为解决目前常用的人工智能注水预测无法考虑数据在时间上的相关性问题,通过选取一种基于循环神经网络(RNN:Recurrent Neural Network)改进的长短期记忆(LSTM:Long Short-Term Memory Neural Network)神经网络构建油田注水预测模型.该模型不仅能考虑到注水量和影响因...     

基于差分自回归移动平均模型、长短期记忆网络模型及相关模型的无人机俯仰角预测

为了提高无人机俯仰角故障数据处理和预测的精确性和可靠性,避免增加无人机试飞成本,利用长短期记忆网络（Long Short Term Memory,LSTM）、注意力机制+LSTM模型和差分自回归移动平均模型（Autoregressive Integrated Moving Average Model,ARIMA）模型预测无人机试飞俯仰角故障数据。结果表明,ARIMA预测结果：MAE（Mean Absolute Error）=0.35,RMSE（Root Mean Square Error）=0.73,MAPE(Mean Absolute Percentage Error)=23.80%;LSTM模型预测结果：MAE=0.49,RMSE=0.74,MAPE=45.20%;注意力机制+LSTM模型预测结果：MAE=0.17,RMSE=0.53,MAPE=18.93%。可见注意力机制+LSTM模型比其余两种模型更适合于试飞俯仰角的数据预测,以上三种方法对无人机故障数据预测都具有实际意义,有效的预测可以推进自动飞行器和移动机器人的异常检测或外国直接投资研究的最新进展,以进一步提高自动和远程飞行操作的安全性。     

基于CNN-LSTM-Attention的短期风向预测研究

风向预测对提高风能转化率、保障风力发电机偏航系统安全运行及增加风力发电效益具有重要意义。为准确预测风向,提出一种基于CNN-LSTM-Attention的短期风向预测模型。首先,利用卷积神经网络(Convolutional Neural Network, CNN)提取风向数据动态变化特征,然后将所提取的特征向量构成时间序列作为长短期记忆(Long Short-Term Memory,LSTM)网络的输入,最后使用注意力机制(Attention mechanism)分配LSTM隐含层不同权重,增强重要特征的作用,完成风向预测。采用北部湾海域历史风向数据,通过实验与其他神经网络预测模型进行对比,结果显示,CNN-LSTM-Attention模型的相对平均误差(MAPE)值为3.2119%,R²为0.982 6, 优于其他对比模型。所得结果为广西北部湾海域海上风电探索发展提供参考。     

基于VMDLSTNet的水质预测模型

针对水质时序预测中存在长期信息和短期信息混合导致预测精度低的问题,采用变分模态分解（Variational Mode Decomposition,VMD）和长短期时间序列网络（Long- and Short-term Time-series network,LSTNet）组合使用以期望解决该问题得出更准确的水质预测。LSTNet网络中使用卷积神经网络（Convolutional Neural Networks,CNN）提取短期局部水质信息,使用循环神经网络（Recurrent Neural Network,RNN）提取长期水质信息,并且通过Skip-RNN利用序列周期特性,提取更长期信息,同时模拟自回归（Autoregressive model,AR）,为水质预测增添线性成分来达到输出能够响应输入尺度变化的目的。采用珠江流域老口站隔日采样的溶解氧数据验证模型效果,结果表明,VMDLSTNet网络处理水质预测问题的能力,不仅优于传统的BP神经网络（Back Propagation Neural Network,BPNN）、支持回归机（Support Vector Regression,SVR）模型,而且优于深度学习中时域卷积网络（Temporal Convolutional Network,TCN）模型、门循环网络（Gate Recurrent Unit,GRU）、增加注意力机制的长短时记忆网络（Long Short-Term Memory Add Attention,LSTM-AT）模型,溶解氧的预测平均绝对误差（Mean Absolute Error,MAE）为0.0931,预测均方误差（Mean Square Error,MSE）为0.0146,预测均方根误差（Root Mean Square Error,RMSE）为0.1208,水质类别的预测准确率为95%。     

基于改进塘鹅算法优化BP神经网络的新型冠状病毒疫情预测

针对北京市和美国新型冠状病毒感染疫情的累计确诊人数的预测，提出了基于改进塘鹅优化算法（Improved Gannet Optimization Algorithm,IGOA）、优化反向传播神经网络（Back Propagation Neural Network,BP）权值和偏差的预测模型。将原塘鹅优化算法中塘鹅的位置更新方式由迭代次数的线性关系修改为非线性关系，并引入了随机数，更准确地模拟塘鹅的捕食过程；在两个阶段均采用随机选择机制，并改进了开发阶段塘鹅的位置更新方式，有效地平衡了探索阶段和开发阶段。在实验阶段利用23个基准函数的极值寻优验证了IGOA的有效性，并建立预测模型IGOA-BP，对北京市和美国新型冠状病毒感染累计确诊人数进行预测。与其他7种比较模型相比，预测模型IGOA-BP的预测结果的均方误差（Mean Square Error,MSE）、平均绝对百分比误差（Mean Absolute Percentage Error,MAPE）、平均绝对误差（Mean Absolute Error,MAE）、均方根误差（Root Mean Square Error,RMSE）均最小，表...     

基于多时相InSAR技术的大渡河瀑布沟水电站形变监测与预测

形变监测与预测是对水电站异常情况进行预警和及时采取补救措施的关键。本文提出了一种长短期记忆(LSTM, Long Short-Term Memory)神经网络方法来预测大渡河流域瀑布沟水电站干涉合成孔径雷达(InSAR, Interferometric Synthetic Aperture Radar)的时间序列形变。该方法首先利用多时相干涉合成孔径雷达(MT-InSAR, Multi-temporal Interferometric Synthetic Aperture Radar)技术对2018-2020年瀑布沟水电站的哨兵一号(Sentinel-1)图像进行时间序列形变监测，然后基于时间序列InSAR形变数据采用LSTM神经网络建立了形变预测模型，最终获取瀑布沟水电站的形变速率结果和时序形变的预测结果。结果表明，瀑布沟水电站最大沉降速率达到-34 mm/a-1，LSTM预测模型训练和测试过程中点尺度的均方根误差(RMSE Root Mean Squared Error)和绝对误差平均值(MAE, Mean Absolute Error)最小值分别为2.343 mm和2.010 mm，2.094 mm和1.654 mm。LSTM形变预测模型的预测结果显示2020年5月-9月的累计沉降值将达到71.29 mm。本研究证明了LSTM神经网络是一种有效InSAR时序形变预测方法。同时该模型的预测结果也可用于瀑布沟水电站的形变预警和辅助决策。     

基于注意力Seq2Seq模型的终端区航空器航迹预测

为充分挖掘机场终端区航空器航迹时间依赖性,解决中长期、多步长航迹预测精度不稳定的问题,引入注意力机制(Attention Mechanism)和教师监督(Teacher Forcing)中的指数衰减(Exponential Decay)采样方法,提出了一种基于序列到序列框架的机场终端区航迹预测模型(Seq2Seq-Attention Mechanism-Exponential Decay, SAE)。序列到序列框架实现了多步长预测,注意力机制提高解码器预测精度,指数衰减采样方法加速了训练阶段模型收敛,在一定程度上提高了模型的泛化性。最后,为了验证提出方法的有效性,利用天津终端区28架次、90天ADS-B航迹数据构建原始数据集,以平均绝对误差(Mean Squared Error, MAE)和均方根误差(Root Mean Squared Error, RMSE)作为模型性能评价指标,进行了航迹预测实验,实验结果表明：高度、经度和纬度在序列到序列框架中的循环神经网络分别采用LSTM、GRU和LSTM可以获得最好预测性能;以四种预测长度1分钟、3分钟、5分钟和10分钟进行建模,与基线模型中预测性能最好的结果比较,所提出方法在验证集上的高度、经度和纬度指标表现最优,10分钟预测窗口下的平均绝对误差分别降低了66.30%, 54.62%和36.59%,均方根误差分别降低了65.45%, 38.16%和20.57%,同时,上述四种预测时长下所提出方法预测结果的均值和方差最小,表明随着预测时长的增加,模型预测结果的稳定性最好。此外,引入的注意力机制与指数衰减采样方法对有效捕捉航迹时间依赖性、提高模型泛化性均具有积极的贡献.     

基于HDCNN-BIGRU-Attention油田措施效果预测模型

为预测油田增油控水措施效果中月产油量与含水量,提出一种基于混合空洞卷积神经网络(HDCNN:Hybrid Dilated Convolutional Neural Network)-BIGRU-Attention的措施效果预测模型。模型通过HDCNN,提取生产数据多尺度全局特征;针对措施生产数据时序性较强与波动性较大的特点,利用双向门控循环单元(BIGRU:Bidirectional Gated Recurrent Unit)充分挖掘数据间长期依赖关系,提高时序信息利用率与学习效果;引入缩放点积注意力模块(Attention),为重要信息赋予较高权重并不断调整参数使模型始终关注与预测目标相关性较大的特征。为验证模型的有效性,将LSTM(Long Short-Term Memory)、 CNN(Convolutional Neural Network)-LSTM以及LSTM-Attention作为实验对比,结果表明该模型具有更低的预测误差与更好的泛化能力。     

基于时间卷积网络的科技需求主题热度预测算法

得益于深度学习的快速发展,大数据分析技术不仅在自然语言处理领域应用广泛,在数值预测领域也更加成熟。为了提高科技需求数据主题热度预测的准确率,本文提出一种基于时间卷积网络（Time Convolution Network,TCN）的科技需求主题热度预测方法（Subject Heat of Science and Technology Demand Prediction Based on Time Convolution Network,SHDP-TCN）,该方法融入科技需求的主题特征,并基于TCN及自注意力机制进行时序预测。实验结果表明,在真实的科技需求数据集上,本算法对科技需求主题热度的预测准确率优于自回归积分滑动平均（Auto Regressive Integrated Moving Average,ARIMA）、长短时记忆（Long Short-Term Memory,LSTM）网络、卷积神经网络（Convolutional Neural Networks,CNN）和TCN等算法。     

基于LSTM-RBF的水路货运量预测

水路运输是交通和货运的重要组成部分,水路货运量的预测对各地经济发展有重要意义。近年来随着经济形势的变化和多式联运的快速发展,水路货运量的数据波动加大,精准预测的难度变得更大。因此提出一种基于长短期记忆网络（Long Short-Term Memory,LSTM）和径向基神经网络（Radial basis function,RBF）的组合预测模型 。在LSTM-RBF预测模型中,第一阶段通过LSTM对各指标进行精准预测,减少指标值误差对目标值预测带来的影响;第二阶段训练RBF神经网络并在未来指标值的基础上对目标值（水路货运量）进行预测。该模型既避免了时间序列预测仅考虑单一影响因素的缺陷,又能够把LSTM的长时记忆优势带入到RBF的回归预测中。实验结果表明,LSTM-RBF预测模型在均方根误差和拟合度方面,均优于其他对比模型,该预测模型对水路货运量的预测有着较高的准确度。     

基于AM-LSTM模型的超短期风电功率预测

近年来,中国的风力发电产业高速发展。然而风力发电具有不稳定性,风电功率超短期预测结果的准确性直接影响到电网安全有效的运行。为了进一步提高风电功率超短期预测的精确度,提出了长短期记忆网络-注意力模型(AM-LSTM)风电功率预测模型,该模型将长短期记忆网络(long-term and short-term memory,LSTM)和注意力模型(attention model,AM)相结合, LSTM网络能够处理好风速、风向等时间序列变量与风电功率之间的非线性关系,注意力模型能够优化LSTM网络的权重,从而使预测结果更加准确。采用真实的风电场历史数据进行实验,结果表明:提出的AM-LSTM预测模型能够有效利用多变量时间序列数据进行风电场发电功率的超短期预测,比传统的BP神经网络和LSTM网络具有更精确的预测效果。该预测模型为风电场地电力调度提供了科学参考。     

指数趋势预测的BP-LSTM模型

本文根据股指、股价等数据的时序特征将人工神经网络(ANN)与深度学习中的循环神经网络(RNN)引入股指预测,基于BP神经网络模型与长短期记忆(LSTM)神经网络模型构建了BP-LSTM模型.基于上证指数,本文进行了进行数值实验.结果表明BP-LSTM预测模型的准确率相比传统机器学习模型有明显提升,与普通LSTM模型相比也有较大提升.     

基于长短期记忆神经网络模型的共享单车短时需求量预测

共享单车具有很强的流动性和高随机性,为了更加准确地预测某区域内每小时的单车使用数量,通过爬取纽约市Citi Bike共享单车的天气特征数据信息,并分析时间因子、气象因子等对单车需求量的影响;采用长短期记忆(long short-term memory,LSTM)神经网络模型预测共享单车的短期需求量,并与传统的循环神经网络(recurrent neural network,RNN)和BP(back-propagation)神经网络模型预测结果进行比较。实验结果表明:影响单车需求量的主要因素包括温度、节假日、季节以及早晚高峰时间段等因素;与传统BP神经网络算法和循环神经网络RNN算法相比,LSTM鲁棒性高,泛化能力强,且预测结果曲线与真实结果曲线相吻合;预测精度高(精确度为0.860)均方根误差最小(为0.090),误差小。可见LSTM模型可以用来对共享单车的短时需求量进行预测。     

基于关联规则及组合模型的面料需求预测

由于服装的面料组成具有复杂性,企业在不同时间对不同规格型号面料需求量不一致,传统的人工预测及单维度智能预测模型难以解决问题。针对服装企业面料需求非确定性、预测难的痛点,提出基于关联规则及组合模型的面料需求预测方法。文章首先构建Apriori面料型号关联模型,挖掘多批多类面料间的型号关联规则;然后构建Prophet时间序列模型与长短期记忆神经网络(long short-term memory,LSTM)的组合预测模型Prophet-LSTM,结合其在解决面料需求预测问题上的优势;最后将挖掘出的高关联面料型号历史需求数据作为输入,采用量子粒子群算法(quantum particle swarm optimization,QPSO)优化组合模型权值系数,进行关联面料需求量预测。使用RMES(root mean squared error,RMSE)及MAE(mean absolute error,MAE)作为评价指标设计对比实验,实验结果表明：采用量子粒子群优化的QPSOProphet-LSTM面料需求预测模型RMES较Prophet降低5.464,较LSTM降低1.184;MAE较Prophet降低4.261,较LSTM降低0.819,需求预测精度更高,支持服装企业面料柔性生产。     

参数优化变分模态分解与LSTM的电力物资需求预测

国家电网物资采购管理水平不断提高,线上采购流程逐步完善,但仍存在由于采购计划预估不准导致招投标过程中,供应商利用招投标总标包机制进行价格博弈而造成电网公司采购成本增加,因此,建立准确有效的电力物资需求预测模型具有重要意义。针对电力物资序列的非稳定性、波动性和间歇性特点,提出一种基于参数优化变分模态分解(variational mode decomposition, VMD)与长短时记忆神经网络(long short-term memory, LSTM)的电力物资需求预测方法,选取国网电商专区平台的典型电力物资,采用鲸鱼优化算法(whale optimization algorithm, WOA)参数优化的VMD对原始序列进行模态分解,将分解获得的各模态分量分别构建LSTM模型,最后将各模态的预测值叠加重构为电力物资的预测值。实验结果表明：所提电力物资需求预测方法较LSTM、EMD-LSTM、VMD-LSTM、PSO-VMD-LSTM、SSA-VMD-LSTM有更高的准确率,对电网物资采购预测具有一定实际意义。     

基于局部信息增强注意力机制的网络流量预测

准确预测网络中设备的流量状态对网络测量和管理具有重要的意义，有助于进一步提高网络服务质量和用户体验质量。然而，由于网络流量具有强烈的非线性和不确定性使得传统的统计方式或者机器学习方法很难获得较好的预测效果。为了进一步提升网络流量预测精度，设计实现了一种局部上下文信息增强的注意力机制，通过卷积计算将输入转换为Q和K，从微观角度对时间序列进行解释，提高了注意力机制的局部感知能力。进而将提出的注意力机制分别与长短期记忆人工神经网络(LSTM)和门控循环单元(GRU)两个时序预测模型相结合并将结合后的模型用于某运营商提供的两个不同网络流量数据集进行网络设备流量预测。实验结果表明基于局部上下文信息增强注意力机制的预测模型具有更好的预测效果。     

基于时序分解和SSA-LSTM-Attention模型的尾矿坝位移预测

针对尾矿坝位移变形的动态特性和传统预测模型在进行尾矿坝位移预测中的不足，提出了一种基于时序分解和SSA-LSTM-Attention模型的尾矿坝位移预测方法。首先，通过ICEEMDAN将尾矿坝位移监测数据进行分解为趋势项和波动项；其次，一方面采用高斯拟合方法对趋势项进行拟合预测，另一方面通过灰色关联度进行波动项相关影响因子筛选，并将注意力机制与LSTM相结合，建立了基于注意力机制及LSTM的波动项位移预测模型，同时利用SSA对该模型的超参数寻优；最后，将趋势项与波动项叠加得到总的位移预测值。以攀西地区某尾矿库为例对模型性能进行了验证，并与BP、LSTM、LSTM-Attention等模型进行对比，结果表明，该方法得到的均方根误差、平均绝对误差和确定系数分别0.742mm、0.553mm和0.994，所提方法能较大幅度提高尾矿坝位移变形的预测精度。