面向功能分区的大型商场建筑冷负荷预测方法

针对大型商场面向建筑整体冷负荷预测不能为商场各区域按需供冷提供合理控制策略的问题,通过研究商场不同区域冷负荷特点,采用灰色关联度分析法筛选影响商场不同区域冷负荷的关键影响因素,针对实际情况中各输入特征对冷负荷影响程度的不稳定性,提出了基于双重注意力机制和LSTM的短期分区冷负荷预测模型。LSTM网络充分考虑空调冷负荷与相关特征变量之间的非线性关系,特征注意力自主分析历史信息和输入变量之间的关系,提取重要特征,时序注意力选取LSTM网络关键时刻的历史信息,提升较长时间段预测效果的稳定性。以西安某大型商场建筑的冷负荷数据集为实验数据,实验结果表明所提模型相比于LSTM模型、CNN-LSTM模型和Attention-LSTM模型,误差指标MAPE和RMSE均有显著降低,R2明显增加且稳定0.99以上,具有较好的泛化能力和较强的稳定性。     

融合注意力机制的煤层气产量动态预测

为了提升煤层气产量的预测精度,提出融合注意力(Attention)机制并结合卷积神经网络（convolutional neural networks,CNN）和长短期记忆神经网络（long short term memory,LSTM)的煤层气产量动态预测模型。利用随机森林变量筛选方法,确定井底流压、动液面高度、套压、冲次为排采过程中影响煤层气产量的主控因素;利用CNN信息提取优势,提取煤层气排采数据的特征向量,并将特征向量作为LSTM网络的输入;再将LSTM隐含层融合注意力机制提取重要信息权重,有效解决信息长期依赖性和信息丢失。实验结果表明：融合注意力机制的CNN-LSTM煤层气产量动态预测模型各方面均表现较优。具体表现为：1. 模型预测性能较好,利用不同模型对比预测,改进后的煤层气产量预测模型精度最高,比标准的LSTM预测精度提升了3%~4%;2. 泛化性能较优,预测同一区块不同生产天数的6口煤层气井产量时,预测60天日产气量的平均相对误差均小于5%,预测200天日产气量的平均相对误差均小于8%。     

基于注意力机制的CNN-GRU船舶交通流预测模型

为更准确地预测内河船舶交通流，提出基于注意力机制的CNN-GRU船舶交通流预测模型。该模型主要借助一维卷积单元提取数据的高维特征，GRU单元学习数据中的时序特征，并通过引入注意力机制加强重要特征的学习，实现对超长序列的学习。此外，通过分析内河上下游航道交通流间的关联性，提取长江中下游6个航段的船舶AIS数据，构造多航段船舶交通流序列数据集，并将其输入本文模型中进行训练及测试。结果表明：相比序列预测模型中的SAE、LSTM、GRU、CNN+GRU和GRU+Attention,本文模型在针对不同交通流参数的预测中均具有更高的预测精度，交通流量、交通流密度和交通流速度的预测精度分别达到95.42%、97.33%、94.99%,可更好地满足工程应用需求。     

基于CNN-LSTM网络的在线多任务销售预测模型

有效的销售预测利于企业制定正确的营销策略,针对当前销售预测研究中存在无法进行实时在线多任务销售预测、稳定获取序列数据中的时序特征等问题,提出了一种基于CNN-LSTM网络的在线多任务销售预测模型。该模型上层CNN网络抽取得到重要的时序数据特征,进而输入到下层LSTM网络中进一步抽取复杂的不规则特征进行建模,最终得到预测结果。实验结果表明:CNN-LSTM模型不仅能在测试集上取得12.61%的最小平均绝对百分比误差,同时在长时间销售预测中,在线模型预测效果优于离线模型。     

基于深度学习的盾构隧道施工地表沉降预测方法

针对现有盾构隧道施工引发地表沉降预测方法中存在的难以同时挖掘数据之间的非线性特征关系和双向时序信息的问题,通过融合卷积神经网络(CNN)、双向长短期记忆(BiLSTM)与自注意力机制(SA)提出一种基于深度学习的地表最大沉降预测方法(CNN-BiLSTM-SA)。该方法首先利用CNN提取网络输入数据之间的非线性特征关系,利用BiLSTM网络提取输入数据的双向时序信息,然后引入SA机制为CNN提取的特征分配相应的权重,有效捕获时间序列中的关键信息,最后通过全连接层输出最终地表沉降预测结果。以湖南万家丽路电力盾构隧道工程为依托构建地表沉降数据集,并选用ANN、RNN、LSTM、BiLSTM模型开展对比分析。研究结果表明：评估指标CNN-BiLSTM-SA的平均绝对误差(MAE)、均方根(RMSE)、决定系数(R2)、平均绝对百分误差(MAPE)均为最优,具有更好的地表沉降预测性能。     

空战飞行对敌目标逼近航迹预测仿真

针对传统航迹预测方法考虑因素少、预测时间长的问题,提出基于实时反馈长短期记忆神经网络(FF-LSTM)的航迹预测模型。该模型在长短期记忆(LSTM)神经网络的基础上,引入实时反馈,并采用随机梯度下降法和批处理方法训练网络权值和阈值,构建FF-LSTM神经网络。根据目标航迹特点,选取敌机位置、姿态信息和两机之间互信息特征作为输入数据,将航迹预测视为序列到序列的映射问题。实验结果表明,与BP神经网络和递归神经网络相比,FF-LSTM模型有更好的预测能力,可以快速准确地完成航迹预测。     

基于融合注意力机制与CNN-LSTM的人体行为识别算法

为解决单一的卷积神经网络（CNN）缺乏利用时序信息与单一循环神经网络（RNN）对局部信息把握不全问题,提出了融合注意力机制与时空网络的深度学习模型（CLA-net）的人体行为识别方法。首先,通过CNN的强学习能力提取局部特征;其次,利用长短时记忆网络（LSTM）提取时序信息;再次,运用注意力机制获取并优化最重要的特征;最后使用softmax分类器对识别结果进行分类。仿真实验结果表明,CLA-net模型在UCI HAR和DaLiAc数据集上的准确率分别达到95.35%、99.43%,F1值分别达到95.35%、99.43%,均优于对比实验模型,有效提高了识别精度。     

基于融合Dropout与注意力机制的LSTM-GRU车辆轨迹预测

在智能驾驶环境的车辆轨迹预测环节,为更好地获取环境车辆的轨迹时序特征,在长短期记忆神经网络（LSTM）基础上,嵌入Dropout层以增强网络泛化性,引入注意力机制予以预测效果影响较大的时序数据更大权重从而提高预测结果的可靠性,且将改进的LSTM模型与门控循环单元GRU模型结合,构建LSTM-GRU预测模型以进一步提升环境车辆轨迹预测的准确性.在此基础上,使用NGSIM公开数据集对模型进行训练、验证和测试.研究结果表明,融合了Dropout和注意力机制的LSTM-GRU神经网络轨迹预测模型相较标准的LSTM长短期记忆网络以及GRU门控循环单元,在预测较长时序的车辆轨迹上具有优势,提高了轨迹预测的准确性,降低了实际轨迹和预测轨迹之间的均方根误差和平均绝对误差.     

短期风力发电负荷预测的新方法

以陆上风力发电负荷数据作为研究对象,将注意力机制引入双向长短期记忆与卷积神经网络（CNN）的混合模型来预测短期电力负荷．结果显示:1）注意力机制通过对不同时步的输入进行加权,能够显著提升双向长短期记忆网络的预测性能;2）双向长短期记忆网络-CNN结构比CNN-双向长短期记忆网络结构更适用于短期负荷预测,前者相较后者能够充分利用时序信息,不会在输入初期就丢失关键信息;3）基于注意力机制的双向长短期记忆网络-CNN混合模型的均方根误差（RMSE）、平均绝对百分比误差（MAPE）分别达到了575.35和7.02%,比次佳模型（基于注意力机制的双向长短期记忆网络-CNN混合模型）分别降低了2.75%和9.65%,其在风电短期负荷预测方面有很好的应用前景．      

基于注意力机制的车辆行为预测

为了解决智能驾驶场景中对周边车辆未来行为的预测问题,研究了基于注意力机制的长短时记忆网络(LSTM)模型的车辆行为预测方法.首先提出了一种非均匀步长的时间序列数据划分方法,将属于特定行为的车辆时序信息进行分类;以LSTM为基本的神经网络框架,用注意力机制判断输入时序信息中各个时间步信息的重要程度,分配不同的权重值;以目标车辆及其周边车辆的历史轨迹信息作为算法输入,用来预测目标车辆将来的运动行为.结果表明:该算法可以解决固定步长的时序分类方法导致的信息遗漏或计算资源负担增加的问题,同时能够有效提高行为预测准确性,减少车辆行为预测时间.     

基于CNN-LSTM-lightGBM组合的超短期风电功率预测方法

近年来风电装机规模逐年增加,风电数据采集量呈现规模化增长,面对海量多维、强波动的风电数据,风电功率预测精度仍面临一定的挑战。为提高风电功率预测精度,提出了基于CNN-LSTM和lightGBM组合的超短期风电功率预测方法。首先,分别建立CNN-LSTM和lightGBM的风电功率超短期预测模型。其中,CNN-LSTM模型采用CNN对风电数据集进行特征处理,并将其作为LSTM模型的数据输入,从而建立CNN-LSTM融合的预测模型;然后,采用误差倒数法对CNN-LSTM和lightGBM的预测数据进行加权组合,建立CNN-LSTM-lightGBM组合的预测模型;最后,采用华北某风电场的风电数据集,以未来4小时风电功率为预测目标,验证了组合模型的有效性。预测结果表明,相较于其他三种单一模型,组合模型具有更高的预测精度。     

注意力机制的长短时记忆神经网络航线订座需求预测

针对航线订座需求预测中存在的预测结果不稳定,偏差较大的问题,提出了一种基于注意力机制 的长短时记忆神经网络(Long Short-term Memory Neural Network,LSTM)航线订座需求预测模型。首先, 对采集得到的航线订座需求数据进行数据清洗与指标计算处理,接着,对处理后的指标数据基于注意力机 制做权重分配,然后进行 LSTM 航线订座需求预测模型的建立,从而得到航线订座需求的最终预测结果 值。将训练优化得到的模型应用于国内某航司的航线订座需求预测中,计算出预测结果。实验结果表明, 基于注意力机制的 LSTM 航线订座需求预测模型预测精度较高,以厦门-上海为例,预测结果在与真实值 的对比下,平均绝对误差(Mean Absolute Error,MAE)为 13.1,均方根误差(Root Mean Square Error,RMSE) 为 17.2,相比较于移动平均法,指数平滑法,循环神经网络（Recurrent Neural Network,,RNN）,CNN-LSTM 混合模型有较好的预测效果。     

基于CNN-LSTM的脑电情感四分类研究

为深入研究脑电信号时空特征之间的关联,解决因手动提取特征导致的脑电情感识别准确率较低问题。将卷积神经网络（Convolutional neural network, CNN）和长短时记忆网络（Long short- term memory, LSTM）相结合,构造出了CNN-LSTM模型。首先,提取了5个频段的5个不同特征：功率谱密度(PSD)、差分熵(DE)、差分不对称(DASM)、理性不对称(RASM)和差分熵差分(DCAU)。其次,将特征输入CNN-LSTM模型,在DEAP数据集中的效价和唤醒两种情感维度上展开四分类实验。最后,将堆栈自编密码器(SAE),卷积稀疏自编码器(CSAE),深度置信网络(DBN)分别与LSTM组合,构造SAE-LSTM,CSAE-LSTM,DBN-LSTM三种混合模型同CNN-LSTM进行分类准确率比较。实验结果表明,DE特征的分类识别效果在五种特征中占最优,β和γ频段上所有特征的识别准确率远高于其他频段,尤其是γ频段。CNN-LSTM模型获得了最高的平均分类准确率92.48%,充分证明了CNN-LSTM模型的有效性。     

基于Attention机制的CNN-LSTM驾驶人意图识别方法研究

在自动驾驶系统中，系统需要准确识别驾驶人的意图，来帮助驾驶人在复杂的交通场景中安全驾驶。针对目前驾驶人意图识别准确率低，没有考虑优化特征对模型准确率影响的问题，运用深度学习知识，提出了一种基于时间序列模型的驾驶人意图识别方法。该方法基于Attention机制融合了卷积神经网络(convolutional neural networks, CNN)和长短时记忆网络(long short-term memory network,LSTM),引入车辆自身信息和环境信息作为时空输入来捕捉周围车辆的空间交互和时间演化。该方法可同时预测目标车辆驾驶人横向驾驶意图和纵向驾驶意图，并在实际道路数据集NGSIM(next generation simulation)上进行了训练和验证。实验结果表明，所提出的CNN-LSTM-Attention模型能够准确预测高速公路环境下驾驶人的驾驶意图，与LSTM模型和CNN-LSTM模型相比具有明显的优势，为自动驾驶系统的安全运行提供了有效保障。     

基于Autoencoder-TCN的航空发动机排气温度预测

针对目前航空发动机排气温度预测模型精度不高、传统RNN类神经网络对飞行数据时间维度信息挖掘不充分的问题,提出了一种结合自编码器Autoencoder和时间卷积神经网络TCN的航空发动机排气温度预测模型。首先通过Autoencoder方法从飞行数据中提取与排气温度相关的特征,以降维后的特征作为输入,建立TCN网络深度学习模型,以航空发动机排气温度作为输出,充分挖掘飞行数据的时间维度信息,从而提高模型精度。最后选取真实飞行数据进行实验,结果表明,与BP、LSTM神经网络模型相比,该模型的平均绝对百分比误差由13.035%和9.593%降低至3.369%,有效提高了模型预测精度。     

基于变分自动编码器的车辆轨迹预测研究

针对轨迹预测中车辆与周边车辆、道路几何之间交互关系建模不充分,以及车辆轨迹多模态建模不完整等一系列问题,提出了一种基于变分自动编码器的车辆轨迹预测方法。首先,通过长短时记忆网络从原始数据中提取轨迹数据与车道信息的语义特征;其次,引入多头注意力机制,采用两个单独的注意力模块分别建立车辆与车辆交互模型及车辆与道路交互模型,能够更好地反映周边车辆与道路几何对车辆轨迹的交互影响,得到丰富的场景上下文信息;接着利用变分自动编码器对车辆轨迹多模态建模,捕捉轨迹预测的随机性质以生成合理的未来轨迹分布;最后从分布中多次重复采样以生成多条可能的未来轨迹。通过搭建实验平台和使用Argoverse自然驾驶数据集进行测试,改进后的预测方法在平均位移误差和最终位移误差指标下的数值分别为1.03和1.51,预测精度上相较于其他3种预测方法,分别提升了45%、46%、32%;实验结果表明：预测方法可以有效地改善车辆与周边车辆、道路几何之间交互关系建模不充分,以及车辆轨迹多模态建模不完整等问题,预测精度提高,总体预测性能良好。     

基于注意力Seq2Seq模型的终端区航空器航迹预测

为充分挖掘机场终端区航空器航迹时间依赖性,解决中长期、多步长航迹预测精度不稳定的问题,引入注意力机制(Attention Mechanism)和教师监督(Teacher Forcing)中的指数衰减(Exponential Decay)采样方法,提出了一种基于序列到序列框架的机场终端区航迹预测模型(Seq2Seq-Attention Mechanism-Exponential Decay, SAE)。序列到序列框架实现了多步长预测,注意力机制提高解码器预测精度,指数衰减采样方法加速了训练阶段模型收敛,在一定程度上提高了模型的泛化性。最后,为了验证提出方法的有效性,利用天津终端区28架次、90天ADS-B航迹数据构建原始数据集,以平均绝对误差(Mean Squared Error, MAE)和均方根误差(Root Mean Squared Error, RMSE)作为模型性能评价指标,进行了航迹预测实验,实验结果表明：高度、经度和纬度在序列到序列框架中的循环神经网络分别采用LSTM、GRU和LSTM可以获得最好预测性能;以四种预测长度1分钟、3分钟、5分钟和10分钟进行建模,与基线模型中预测性能最好的结果比较,所提出方法在验证集上的高度、经度和纬度指标表现最优,10分钟预测窗口下的平均绝对误差分别降低了66.30%, 54.62%和36.59%,均方根误差分别降低了65.45%, 38.16%和20.57%,同时,上述四种预测时长下所提出方法预测结果的均值和方差最小,表明随着预测时长的增加,模型预测结果的稳定性最好。此外,引入的注意力机制与指数衰减采样方法对有效捕捉航迹时间依赖性、提高模型泛化性均具有积极的贡献.