基于LSTM的催化裂化装置NO_x排放预测模型及应用

催化裂化装置工艺复杂,调整工艺参数极易发生连锁反应,采用传统的集总模型对污染排放进行预测的难度较大。针对炼化企业海量生产数据和污染排放数据多参数多变量相互耦合的特点,利用主成分分析(PCA,Principal Component Analysis)对NO_x排放要素进行特征选择,确定原料中氮含量、反应温度、剂油比、停留时间等为关键生产要素;基于长短期记忆(LSTM,Long Short-Term Memory)网络建立NO_x排放预测模型,对某350万t重油催化裂化装置NO_x排放进行预测,与卷积神经网络(CNN,Convolutional Neural Networks)、支持向量机(SVM,Support Vector Machine)以及BP神经网络(Back Propagation Neural Networks)进行了对比分析。结果表明,由于考虑了时间序列内部的数据特性,LSTM的平均绝对误差、均方根误差、皮尔逊相关系数和可决系数等指标均优于其他方法。     

基于卷积神经网络与门控循环单元的交通流预测模型

为对交通流进行多步预测,支持智能交通系统的长期决策任务,一种基于编码器-解码器（encoder-decoder,ED）的卷积神经网络(convolutional neural networks,CNN)-门循环单元(gate recurrent unit, GRU)模型,简称ED CNN-GRU。首先使用CNN作为编码器,对交通流序列进行信息捕捉,再将上述信息通过GRU解码器进行解释并输出。实验证明,对比CNN、GRU单个模型,ED框架有效解决了误差的迅速累积问题。对比其他基准模型,CNN、 GRU模型对于交通流序列的特征提取及解释能力较为优秀。对于未来12个步长的交通流量预测任务,对比其他基准模型,单因素输入情况的ED CNN-GRU模型的均方根误差下降约0.344～6.464,平均绝对误差下降约0.192～0.425。对比单因素输入,多因素输入下ED CNN-GRU模型拥有更好的预测能力。证明了ED CNN-GRU模型在不同输入维度的多步交通流预测中任务中均具有良好的预测能力,为数据获取条件不同的城市提供了一个支持单因素及多因素输入情况的多步交通流预测模型。     

基于融合Dropout与注意力机制的LSTM-GRU车辆轨迹预测

在智能驾驶环境的车辆轨迹预测环节,为更好地获取环境车辆的轨迹时序特征,在长短期记忆神经网络（LSTM）基础上,嵌入Dropout层以增强网络泛化性,引入注意力机制予以预测效果影响较大的时序数据更大权重从而提高预测结果的可靠性,且将改进的LSTM模型与门控循环单元GRU模型结合,构建LSTM-GRU预测模型以进一步提升环境车辆轨迹预测的准确性.在此基础上,使用NGSIM公开数据集对模型进行训练、验证和测试.研究结果表明,融合了Dropout和注意力机制的LSTM-GRU神经网络轨迹预测模型相较标准的LSTM长短期记忆网络以及GRU门控循环单元,在预测较长时序的车辆轨迹上具有优势,提高了轨迹预测的准确性,降低了实际轨迹和预测轨迹之间的均方根误差和平均绝对误差.     

基于注意力机制的CNN-GRU船舶交通流预测模型

为更准确地预测内河船舶交通流，提出基于注意力机制的CNN-GRU船舶交通流预测模型。该模型主要借助一维卷积单元提取数据的高维特征，GRU单元学习数据中的时序特征，并通过引入注意力机制加强重要特征的学习，实现对超长序列的学习。此外，通过分析内河上下游航道交通流间的关联性，提取长江中下游6个航段的船舶AIS数据，构造多航段船舶交通流序列数据集，并将其输入本文模型中进行训练及测试。结果表明：相比序列预测模型中的SAE、LSTM、GRU、CNN+GRU和GRU+Attention,本文模型在针对不同交通流参数的预测中均具有更高的预测精度，交通流量、交通流密度和交通流速度的预测精度分别达到95.42%、97.33%、94.99%,可更好地满足工程应用需求。     

数据多维处理LSTM股票价格预测模型

股票的价格具有非线性、随机性等特征,为更精准地预测股票价格,充分利用股票价格数据的时间相关性和数据自身的变化趋势,提出数据多维处理的LSTM股票价格预测模型。通过对股票价格因子数据进行多维处理,提高数据有效信息,形成可以高度反映股票价格的多维数据,在此基础上建立长短期记忆网络组合预测模型,通过收集股市中的股票数据进行实验。实验结果表明,模型预测值与实际股价数据的均方根误差和平均绝对误差仅为0.013 2和0.010 3,相较于单一长短期记忆网络预测模型,2项误差分别降低90.81%和91.65%。数据多维处理LSTM股票价格预测模型具有较高的预测精度。     

基于自适应神经网络的云资源预测模型

为了避免容器云资源因资源供求不均衡而导致的资源利用率差等问题,需要对未来时刻的资源需求情况进行预测来进行更精准的调度和分配资源,因此,结合神经网络的高效学习能力与自适应调整的学习率,提出一种基于自适应神经网络的云资源预测模型。首先,融合卷积神经网络(convolutional neural network, CNN)和长短期记忆(long short-term memory, LSTM)网络的特点去挖掘历史数据的特征,预测未来的资源需求;然后,根据模型预测情况自适应调整学习率,提高模型预测的精度。使用Microsoft Azure公开数据集进行测试,相较于单一模型CNN、LSTM和未加入自适应学习率的神经网络模型,均方根误差分别下降了17.74%、18.27%和6%,证明了模型的有效性。     

基于深度学习的轨道不平顺估计车体横向加速度研究

针对轨道不平顺影响行车安全和乘坐舒适性的问题,开展轨道不平顺和车体振动响应之间关联关系的研究.根据轨道不平顺与车体横向加速度数据之间的时空传递特性,基于卷积神经网络（Convolutional Neural Network, CNN）与长短期记忆网络（Long Short-Term Memory, LSTM）,建立一种CNN-LSTM组合模型.首先,对轨道不平顺与车体横向加速度之间的相干性进行分析,同时探究列车运行速度对车体横向加速度的影响,进而确定模型的输入数据;然后,对模型进行优化,确定CNN-LSTM组合模型参数细节;最后,利用CNN-LSTM组合模型、LSTM模型和多体动力学仿真模型对车体横向加速度进行估计,并与实测的车体横向加速度进行对比分析.研究结果表明：CNN-LSTM组合模型预测的平均均方根误差值为0.046,相比于LSTM模型、多体动力学仿真模型的平均均方根误差值分别减少了0.006和0.026,说明了CNN-LSTM组合模型能够对车体横向加速度进行有效估计.     

基于数值与文本特征的LSTM股票价格预测研究

行为金融学理论指出，由社交媒体文本数据所折射出的投资者情绪在一定程度上影响着股票市场的波动。为了利用投资者情绪对股票市场作出更准确的预测，本文爬取2020年8月31日至2021年9月1日的沪深300指数股吧评论文本数据，使用基于融合基础情感词典和金融词典的分析方法将评论文本数据量化为投资者情绪指标，并利用长短期记忆（Long short-term memory,LSTM）神经网络构建了融合股票历史交易数据和基于股吧评论的投资者情绪指标的多特征预测模型。实验结果表明，基于数值和文本特征的LSTM股票价格预测模型的平均绝对误差（Mean absolute error,MAE）、均方根误差（Root mean squared error,RMSE）和均方误差（Mean square error,MSE）值较LSTM数值特征预测模型降低了18.84、15.79、1486.54。较GRU(Gated recurrent unit)数值文本特征模型，其MAE、RMSE、MSE值则降低了11.42、10.49、931.75。实验结果表明本文提出的方法可以有效预测股票价格指数。     

基于CNN-BiLSTM-Attention的超短期电力负荷预测

在长短期记忆神经网络(LSTM)的基础上,运用双向的长短期记忆神经网络(BiLSTM),结合卷积神经网络(CNN)提出了一个预测模型,对超短期电力负荷预测.运用合肥市2019年全年数据对该模型进行训练及预测,结果显示,CNN-BiLSTM预测精度高于CNN-LSTM预测模型,为进一步提升预测精确度,在BiLSTM神经网络后面连接了一个Attention在输出,发现其预测精度进一步提升了.     

基于Holt-Winters及长短期记忆的云资源组合预测模型

云资源的预测分析对于响应资源请求并及时做出决策非常重要,针对容器云资源的过度调配、供应不足的资源管理问题以及云资源预测精度低、数据波动性等问题,为使云资源的预测能够为工作负载的需求提前响应并做出合理分配,提出了一种基于Holt-Winters和长短期记忆神经网络(long short-term memory, LSTM)(HW-LSTM)的云资源组合预测模型,并以预测残差的变异系数赋权。对亚马逊CPU数据集的预测实验表明,提出的组合模型比Holt-Winters、LSTM及卷积神经网络(convolutional neural networks, CNN)模型预测性能及稳定性更好,均方根误差(root mean squared error, RMSE)、平均绝对误差(mean absolute error, MAE)、平均绝对百分比误差(mean absolute percentage error, MAPE)、平均绝对比例误差(mean absolute scaled error, MASE)、方差D(n)优化范围分别为0.065～1.026、0.023～0.269、0.001～0....     

融合VMD和GRU模型的城市道路行程时间预测方法

城市道路交通环境复杂多变,城市道路行程时间具有较强的非线性与非稳定性,为提高城市道路行程时间的预测精度,提出了基于变分模态分解(variational mode decomposition,VMD)与门控循环单元(gated recurrent unit,GRU)相结合的组合预测模型。与传统分解算法相比,VMD拥有非递归求解和自主选择模态个数的优点。首先利用变分模态分解算法将原始行程时间序列分解为若干时间子序列,降低原始序列的非平稳性;然后对每个时间子序列建立GRU预测模型;最后将各个预测结果进行融合,得到行程时间序列预测的最终结果。实验结果表明,变分模态分解与门控循环单元结合的组合模型预测结果要比对照组的单一模型预测结果精准度高,均方根误差(root mean squared Error,RMSE)及下降约3.99～4.37,平均绝对误差(mean absolute error,MAE)下降约3.02～3.35;在组合预测模型中,门控循环单元(GRU)预测效果要比长短期记忆(long short-term memory,LSTM)预测效果表现更佳,均方根误差(root mean squared error,RMSE)下降0.34,平均绝对误差(mean absolute error,MAE)下降0.22。     

基于CNN-LSTM-lightGBM组合的超短期风电功率预测方法

近年来,风电装机规模逐年增加,风电数据采集量呈现规模化增长,面对海量多维、强波动的风电数据,风电功率预测精度仍面临一定的挑战。为提高风电功率预测精度,提出了基于卷积神经网络(convolutional neural networks, CNN)-长短期记忆网络(long short-term memory, LSTM)和梯度提升学习(light gradient boosting machine, lightGBM)组合的超短期风电功率预测方法。首先,分别建立CNN-LSTM和lightGBM的风电功率超短期预测模型。其中,CNN-LSTM模型采用CNN对风电数据集进行特征处理,并将其作为LSTM模型的数据输入,从而建立CNN-LSTM融合的预测模型;然后,采用误差倒数法对CNN-LSTM和lightGBM的预测数据进行加权组合,建立CNN-LSTM-lightGBM组合的预测模型;最后,采用张北曹碾沟风电场的风电数据集,以未来4 h风电功率为预测目标,验证了组合模型的有效性。预测结果表明：相较于其他3种单一模型,组合模型具有更高的预测精度。     

融合聚类-卷积-门循环的居民用电短期负荷预测方法

对居民用电进行准确的短期负荷预测是电力部门合理制定每日调度计划的重要依据。提出了一种基于BIRCH(balanced iterative reducing and clustering using hierarchies)聚类算法-卷积神经网络(convolutional neural network, CNN)-门控循环单元(gated recurrent unit, GRU)的短期电力负荷预测方法。根据智能电表采集的历史负荷数据，该方法首先采用BIRCH聚类算法分析不同用户的用电习惯，将用户聚类为多个用户群；然后构建由负荷数据和时间以及气候信息组成的多特征时间序列数据集，并采用训练集进行CNN-GRU预测模型构建。训练集首先输入到基于一维卷积层设计的CNN网络，以提取不同特征变量之间的非线性关系；之后将数据输入GRU网络，以提取数据在时间维度上的时序特性，最后由全连接层输出短期负荷预测结果。以爱尔兰能源管理委员会提供的公开数据集作为实际算例，以ANN网络、CNN网络及CNN-GRU网络为对比模型，实验结果表明，所提出方法的平均绝对百分比误差达到了2.932 1%,有较高的预测精度和...     

毫米波雷达数据驱动的桥梁挠度预测

为监测公路桥梁健康状况从而保证车辆行驶桥面的安全性,基于毫米波雷达监测的桥梁挠度数据,结合深度学习理论,提出了一种基于卷积神经网络（convolutional neural network, CNN）与门控制循环单元（gate recurrent unit, GRU）组合的桥梁挠度预测模型。首先,获取高速公路大桥高精度挠度数据,通过数据预处理,在保留原始数据特征的基础上,修复部分噪声数据;其次,将处理后的样本数据、时间步长和特征数的三维数据,以桥梁挠度数据序列构造的输入矩阵作为输入层,经过CNN-GRU组合模型的密集连接层后,输出预测桥梁挠度值。最后,选取具有代表性的监测点数据,利用均方根误差 (root mean square error, RMSE)、平均绝对误差 (mean absolute error, MAE)、平均百分比误差 (mean absolute percentage error, MAPE)进行预测效果验证。结果表明,CNN-GRU模型的精度更高：较于传统LSTM（long short-term memory）模型在RMSE上提升了59.65%,MAE提升了61.30%;较于CNN-LSTM模型在RMSE上提升了2.48%,MAE提升了4.87%。其对于桥梁挠度极值及趋势的判断基本准确,可以作为桥梁健康状况预测的科学依据。     

基于CNN-GRU的冷水机组传感器偏差故障诊断方法

针对冷水机组传感器偏差故障识别率低的问题,提出一种基于卷积神经网络(Convolutional Neural Network,CNN)和门控递归单元(Gated Recurrent Unit,GRU)融合网络模型(CNN-GRU)的冷水机组传感器偏差故障诊断方法.该方法利用GRU记忆冷水机组因每个传感器动态响应特性不同造成的其每个传感器不同的时间相关性,克服了CNN在冷水机组传感器偏差故障诊断中仅能提取时间序列实时特征的缺点.首先采用CNN自动提取传感器时间序列的实时特征,然后利用具有长短期记忆能力的GRU实现对冷水机组传感器不同时间相关性的记忆,从而充分利用时间序列中的特征信息对数据进行表征建模,进而有效提升了冷水机组传感器偏差故障识别率.将该方法与CNN、主成分分析和自动编码器方法进行比较,实验结果表明:温度类和压力类传感器的偏差故障识别率分别在85％以上和90％以上;验证样本得到了83％以上的偏差故障识别率,验证了该方法的泛化能力良好;该方法对于同一传感器、故障大小互为相反数的偏差故障的故障识别率均具有良好的对称性;该方法的偏差故障识别率高于其他方法,尤其对于很小的偏差故障的识别率具有更明显的优势.     

基于注意力机制和CNN-GRU组合网络的海底电缆运行状态预测方法

海底电缆作为各类海上平台能源供给的生命线,一旦发生故障将产生巨大的经济及战略影响,准确预测海底电缆运行状态有助于提前把握其运行风险,从而实现预防性维护。本文在充分挖掘海底电缆运维数据中的动、静态特征的基础上,提出一种基于注意力机制和卷积神经网络-门控循环神经网络（CNN-GRU）海底电缆运行状态预测方法。首先,考虑在线监测、巡检指标、静态试验三类关键影响因素,建立海底电缆运行状态评估指标体系;然后,基于改进层次分析法及多层次变权评估思想构建海底电缆运行状态评估模型;最后,建立基于注意力机制和CNN-GRU组合神经网络模型,将历史运行参数及状态量化结果作为输入特征参量,实现海底电缆运行状态的演化趋势预测。算例分析表明,所提方法可有效预测海底电缆的运行状态,平均百分数误差低至1.04%,与全连接神经网络、CNN、CNN-长短期记忆神经网络(LSTM)等算法相比均具备更优的预测精度。     

超短期风电功率预测的混合深度学习模型

针对风电功率预测(WPF)问题,提出一种基于离散小波变换(DWT)、时间卷积网络(TCN)和长短期记忆(LSTM)神经网络的混合深度学习模型(DWT-TCN-LSTM),对超短期风电功率进行预测.将DWT-TCN-LSTM模型分别与差分整合移动平均自回归(ARIMA)模型,支持向量回归(SVR)模型,长短期记忆神经网络模型和卷积长短期记忆(TCN-LSTM)混合模型进行对比实验,通过对称平均绝对百分比误差(SMAPE),均方根误差(RMSE)和平均绝对误差(MAE)3种评价指标值对各个模型进行评价.实验结果表明:DWT-TCN-LSTM模型具有较好的预测性能.     

基于GoogLeNet和双层GRU的图像描述

针对基于卷积神经网络(convolutional neural network,CNN)和长短期记忆网络(long short-term memory,LSTM)的方法存在计算复杂度高、收敛速度慢、训练时间长等问题,本文提出基于GoogLeNet和双层GRU的图像描述模型,在训练阶段采用适应性动量估计法(adaptiv...     

基于时空特征组合模型的转辙机故障诊断

为解决转辙机故障诊断领域中存在的单一特征信息提取不足、单一诊断方法难以避免因方法局限性造成的分类误差,同时其存在一定程度的过拟合,以及泛化能力、鲁棒性不足的问题,提出了一种基于时空特征组合模型的故障诊断方法。首先,在ZYJ7电液转辙机的8种故障模式和正常模式所对应的油压曲线上提取时频域小波系数作为原始数据集,采用核主成分分析（KPCA）和长短期记忆网络（LSTM）提取其空间、时间特征,之后基于add思想构建时空特征集。其次,对卷积神经网络（CNN）、LSTM两分类器关键参数寻优后分别进行故障诊断,得到各个故障类型的概率值和误差系数。最后,利用误差倒数法对两分类器各个故障类型的概率值赋予权重,得到最终输出结果。仿真结果表明：CNN-LSTM组合模型诊断准确率达98.14%,较单一多层感知机（MLP）、CNN、LSTM模型准确率分别提升7.40%、5.55%、1.85%。可见此方法有效提高了转辙机诊断准确率,为集成学习模型在转辙机故障诊断领域的应用提供了一种思路。     

基于VMDLSTNet的水质预测模型

针对水质时序预测中存在长期信息和短期信息混合导致预测精度低的问题,采用变分模态分解（Variational Mode Decomposition,VMD）和长短期时间序列网络（Long- and Short-term Time-series network,LSTNet）组合使用以期望解决该问题得出更准确的水质预测。LSTNet网络中使用卷积神经网络（Convolutional Neural Networks,CNN）提取短期局部水质信息,使用循环神经网络（Recurrent Neural Network,RNN）提取长期水质信息,并且通过Skip-RNN利用序列周期特性,提取更长期信息,同时模拟自回归（Autoregressive model,AR）,为水质预测增添线性成分来达到输出能够响应输入尺度变化的目的。采用珠江流域老口站隔日采样的溶解氧数据验证模型效果,结果表明,VMDLSTNet网络处理水质预测问题的能力,不仅优于传统的BP神经网络（Back Propagation Neural Network,BPNN）、支持回归机（Support Vector Regression,SVR）模型,而且优于深度学习中时域卷积网络（Temporal Convolutional Network,TCN）模型、门循环网络（Gate Recurrent Unit,GRU）、增加注意力机制的长短时记忆网络（Long Short-Term Memory Add Attention,LSTM-AT）模型,溶解氧的预测平均绝对误差（Mean Absolute Error,MAE）为0.0931,预测均方误差（Mean Square Error,MSE）为0.0146,预测均方根误差（Root Mean Square Error,RMSE）为0.1208,水质类别的预测准确率为95%。