基于融合Dropout与注意力机制的LSTM-GRU车辆轨迹预测

在智能驾驶环境的车辆轨迹预测环节,为更好地获取环境车辆的轨迹时序特征,在长短期记忆神经网络（LSTM）基础上,嵌入Dropout层以增强网络泛化性,引入注意力机制予以预测效果影响较大的时序数据更大权重从而提高预测结果的可靠性,且将改进的LSTM模型与门控循环单元GRU模型结合,构建LSTM-GRU预测模型以进一步提升环境车辆轨迹预测的准确性.在此基础上,使用NGSIM公开数据集对模型进行训练、验证和测试.研究结果表明,融合了Dropout和注意力机制的LSTM-GRU神经网络轨迹预测模型相较标准的LSTM长短期记忆网络以及GRU门控循环单元,在预测较长时序的车辆轨迹上具有优势,提高了轨迹预测的准确性,降低了实际轨迹和预测轨迹之间的均方根误差和平均绝对误差.     

基于注意力机制的CNN-LSTM模型的航迹预测

基于数学模型或统计模型的传统航迹预测方法存在一定的局限性，无法满足现代航空领域对于高效、准确、实时的航迹预测需求。针对此问题，提出基于注意力机制的CNN-LSTM模型的实时航迹预测方法。该模型首先使用一维卷积对航迹数据的多维度特征进行提取，从而减少输入特征的数量。其次利用获取的多维度时序数据作为LSTM的输入，通过LSTM提取上下文的信息。最后使用注意力机制为LSTM中不同时序节点的输出赋予权重，达到聚焦关键航迹信息的作用。经过实验验证：本文的模型与LSTM模型和CNN-LSTM模型相比，预测出的路径更接近真实航迹；文中的模型比LSTM模型的平均预测误差降低了29.7%，比CNN-LSTM模型降低了25.4%。综上所述，文中方法可以显著提高航迹预测的精度。     

基于行业背景差异下的金融时间序列预测方法

股票市场预测可为投资决策提供重要依据,但在当前的量化投资领域,研究者大多基于单一行业对股票的金融时间序列进行预测研究,忽略了行业背景差异下的股票特征信息;同时,还存在难以有效提取股票时序数据特征、股票情感指标以及股票趋势预测不准确等问题.为解决上述问题,提出利用一种新的WBED(Word2vec-BiLSTM and EncoderDecoder)混合模型对不同行业背景下的股票信息进行时间序列预测研究.该方法采用WB模型进行情感分类,计算情感值,获取情感指标;然后引入双注意力机制,在Encoder模型中利用特征注意力机制给股票时序数据特征赋予不同权重以区别不同特征的重要程度,在Decoder模型中利用时间注意力机制给Encoder模型中LSTM的隐状态赋予不同权重以区别不同时间维度信息的重要程度;最后,利用股票时序数据和情感指标进行股票预测.另外,考虑到不同行业背景下的股票对象对模型超参数的敏感度可能不同,所以为不同行业的股票对象选择合适的超参数使模型的预测性能更好.参考"2019中国上市公司500强",选取三个行业中的九家上市公司股票作为研究对象,采用四种对比模型和四个模型评价指标进行实验分析.实验结果表明,提出的新的混合模型在行业背景差异下的金融时间序列预测研究中有一定的优越性.     

一种结合词性及注意力的句子情感分类方法

针对目前各种基于长短期记忆网络LSTM的句子情感分类方法没有考虑词的词性信息这一问题,将词性与自注意力机制相结合,提出一种面向句子情感分类的神经网络模型PALSTM(Pos and Attention-based LSTM).首先,结合预训练词向量和词性标注工具分别给出句子中词的语义词向量和词性词向量表示,并作为LSTM的输入用于学习词在内容和词性方面的长期依赖关系,有效地弥补了一般LSTM单纯依赖预训练词向量中词的共现信息的不足;接着,利用自注意力机制学习句子中词的位置信息和权重向量,并构造句子的最终语义表示;最后由多层感知器进行分类和输出.实验结果表明,PALSTM在公开语料库Movie Reviews、Internet Movie Database和Stanford Sentiment Treebank二元分类及五元情感上的准确率均比一般的LSTM和注意力LSTM模型有一定的提升.     

基于文本信息补充的图像描述模型

基于encoder-decoder的深度神经网络在图像描述任务中获得了很好的表现,LSTM解决梯度消失的良好能力使其成为解码器的主流.LSTM的门控机制较好地解决了 RNN的长期依赖问题,但该机制对信息的筛选导致信息缺失,使得LSTM隐藏单元表达能力不足,出现LSTM输入信息缺失、预测信息不充分问题.为解决这两个问题,...     

基于AM-LSTM模型的共享单车时空需求预测

为准确预测城市不同区域的共享单车需求量,解决区域间供需不平衡问题,在对上海市共享单车数据进行时空特征可视化分析的基础上,研究共享单车的出行分布规律. 针对时间出行分布的非严格周期性,提出了一种引入注意力机制的长短时记忆网络预测模型AM-LSTM. 利用Spearman相关性分析法分析特征影响因素,提取模型特征值. 分别构建不同输入序列的预测模型,与传统时序预测模型进行对比分析. 结果表明,采用30 min时间间隔的输入序列具有较高的预测精度,AM-LSTM模型能够较好地预测共享单车的出行需求量,预测精度优于单一的LSTM模型. 最后对预测曲线进行相关度分析,验证了AM-LSTM模型的预测性能,可以为城市共享单车的调度及分配提供有效信息.     

基于融合注意力机制与CNN-LSTM的人体行为识别算法

为解决单一的卷积神经网络（CNN）缺乏利用时序信息与单一循环神经网络（RNN）对局部信息把握不全问题,提出了融合注意力机制与时空网络的深度学习模型（CLA-net）的人体行为识别方法。首先,通过CNN的强学习能力提取局部特征;其次,利用长短时记忆网络（LSTM）提取时序信息;再次,运用注意力机制获取并优化最重要的特征;最后使用softmax分类器对识别结果进行分类。仿真实验结果表明,CLA-net模型在UCI HAR和DaLiAc数据集上的准确率分别达到95.35%、99.43%,F1值分别达到95.35%、99.43%,均优于对比实验模型,有效提高了识别精度。     

基于改进LSTM神经网络的化工过程故障诊断

针对现代化工过程中数据非线性、高维度以及动态时序等特点,传统的故障诊断模型对化工过程的故障诊断精度较低.基于此,设计了一种基于改进的长短时记忆神经网络(LSTM)故障诊断方法.首先,将采集的故障数据输入卷积神经网络(CNN),对数据进行特征提取和降维;其次,将处理过的数据输入改进的LSTM网络,进行深层特征提取;最后,把提取的深层特征信息输入到注意力机制进行特征“聚焦”,实现特征融合后输入softmax分类器实现故障分类.由田纳西-伊斯曼(TE)过程诊断实验结果表明,基于改进的LSTM网络的故障诊断方法在故障分类精度、训练速度方面都更优于递归神经网络(RNN)、门控循环神经网络(GRU)、卷积神经网络(CNN)和深度自编码网络(DAEN),在实际化工过程的应用有一定的优势.     

面向功能分区的大型商场建筑冷负荷预测方法

针对大型商场面向建筑整体冷负荷预测不能为商场各区域按需供冷提供合理控制策略的问题,通过研究商场不同区域冷负荷特点,采用灰色关联度分析法筛选影响商场不同区域冷负荷的关键影响因素,针对实际情况中各输入特征对冷负荷影响程度的不稳定性,提出了基于双重注意力机制和LSTM的短期分区冷负荷预测模型。LSTM网络充分考虑空调冷负荷与相关特征变量之间的非线性关系,特征注意力自主分析历史信息和输入变量之间的关系,提取重要特征,时序注意力选取LSTM网络关键时刻的历史信息,提升较长时间段预测效果的稳定性。以西安某大型商场建筑的冷负荷数据集为实验数据,实验结果表明所提模型相比于LSTM模型、CNN-LSTM模型和Attention-LSTM模型,误差指标MAPE和RMSE均有显著降低,R2明显增加且稳定0.99以上,具有较好的泛化能力和较强的稳定性。     

融合注意力机制的煤层气产量动态预测

为了提升煤层气产量的预测精度,提出融合注意力(Attention)机制并结合卷积神经网络（convolutional neural networks,CNN）和长短期记忆神经网络（long short term memory,LSTM)的煤层气产量动态预测模型。利用随机森林变量筛选方法,确定井底流压、动液面高度、套压、冲次为排采过程中影响煤层气产量的主控因素;利用CNN信息提取优势,提取煤层气排采数据的特征向量,并将特征向量作为LSTM网络的输入;再将LSTM隐含层融合注意力机制提取重要信息权重,有效解决信息长期依赖性和信息丢失。实验结果表明：融合注意力机制的CNN-LSTM煤层气产量动态预测模型各方面均表现较优。具体表现为：1. 模型预测性能较好,利用不同模型对比预测,改进后的煤层气产量预测模型精度最高,比标准的LSTM预测精度提升了3%~4%;2. 泛化性能较优,预测同一区块不同生产天数的6口煤层气井产量时,预测60天日产气量的平均相对误差均小于5%,预测200天日产气量的平均相对误差均小于8%。     

水下目标工频磁场扰动信号检测方法研究

为了解决水下目标磁场近程化探测中磁信号衰减快、干扰强及扰动特征不明确、无法有效探测信号等问题,提出了一种基于混合神经网络与注意力机制(Att-CNN-GRU)的工频磁场水下目标时间序列扰动信号检测方法。将CNN,GRU神经网络与Attention机制相结合拟合信号,构建分类神经网络,对目标信号进行分类识别,同时与未引入注意力机制的CNN-LSTM模型及单一CNN和LSTM网络模型的预测及检测性能进行比较。结果表明,相较于传统方法,信号拟合效果将误差分别减小了36.24%,14.44%和4.878%,目标检测准确率达到83.3%。因此,加入Attention机制的CNN-GRU模型检测性能比CNN,LSTM和CNN-GRU模型更优异,作为辅助手段,能有效解决工频磁场探测中扰动信号微弱、扰动规律不明确、背景噪声多等问题,实现对水下目标造成的工频磁场扰动信号的拟合与检测。     

基于商品评论的群体用户情感趋势预测研究

提出了一种基于商品评论的群体用户情感趋势预测方法.首先,提出了基于Boson NLP的情感特征词识别算法,对时间维度下的商品评论信息进行特征选取;其次,使用群体用户多维特征向量构造多层感知器(MLP)模型进行情感分析;最后,融合评论时间和用户情感倾向值构建群体用户时序情感倾向序列,并通过长短时记忆网络(LSTM)模型进行时序情感趋势预测.在大规模真实数据集上的实验结果表明,MLP模型具有较好的分类效果;相比于现有的自回归(AR)模型,LSTM模型的平均均方差降低了79. 06%,能够取得更加精准的预测结果.     

基于内联关系的方面级情感分析方法

方面级情感分析 (aspect-based sentiment analysis, ABSA) 旨在预测给定文本中特定目标的情感极性. 研究表明, 利用注意力机制对目标及其上下文进行建模, 可以获得更有效的情感分类特征表达. 然而, 目前常用的方法是通过对特定目标使用平均向量来计算该目标上下文的注意权值, 这类方法无法突出文本中个别单词对于整个句子的重要性. 因此, 提出了一种基于内联关系的方面级情感分析方法, 该方法可以对目标和上下文进行建模, 将关注点放在目标的关键词上, 以学习更有效的上下文表示. 首先使用门控循环单元 (gated recurrent unit, GRU) 对方面信息和句中单词进行融合分布式表达; 然后将分布式表达输入到结合注意力机制的长短时记忆网络 (long short-term memory network, LSTM), 通过查询机制来增加内联关系的权重, 最终得到方面级情感分类. 该模型在公开数据集上进行的实验结果表明, 该方法是有效的, 精确度均超过基线模型.     

基于内联关系的方面级情感分析方法

方面级情感分析(aspect-based sentiment analysis,ABSA)旨在预测给定文本中特定目标的情感极性.研究表明,利用注意力机制对目标及其上下文进行建模,可以获得更有效的情感分类特征表达.然而,目前常用的方法是通过对特定目标使用平均向量来计算该目标上下文的注意权值,这类方法无法突出文本中个别单词对于整个句子的重要性.因此,提出了一种基于内联关系的方面级情感分析方法,该方法可以对目标和上下文进行建模,将关注点放在目标的关键词上,以学习更有效的上下文表示.首先使用门控循环单元(gated recurrent unit,GRU)对方面信息和句中单词进行融合分布式表达;然后将分布式表达输入到结合注意力机制的长短时记忆网络(long short-term memory network,LSTM),通过查询机制来增加内联关系的权重,最终得到方面级情感分类.该模型在公开数据集上进行的实验结果表明,该方法是有效的,精确度均超过基线模型.     

基于Inception-LSTM-Attention的冷水机组传感器偏差故障诊断方法

为提升传统的冷水机组传感器偏差故障诊断方法的特征提取效果及故障诊断准确率,提出一种基于Inception模块和融合注意力机制(Attention)的长短时记忆网络(LSTM)相结合(Inception-LSTM-Attention)的冷水机组传感器偏差故障诊断方法。该方法通过Inception模块从冷水机组传感器时序数据中提取多尺度的实时特征,并利用LSTM学习传感器时序数据中存在的时间相关关系;通过在LSTM中融合注意力机制来保证其最终的输出综合了各个时间节点的输出,提升重要信息的影响程度,最大化保留时序数据的全局信息。同时,设计跳跃连接支路缓解网络中存在的梯度消失问题。最后,使用冷水机组实验平台的传感器实测数据对所提方法进行实验验证。研究结果表明：本文方法对于压力类、温度类各传感器的偏差故障诊断平均准确率均在94%以上;对于各传感器中较小偏差故障的故障诊断准确率均在87.6%以上;与主成分分析、卷积神经网络、Inception以及Inception-LSTM这4种方法相比,Inception-LSTM-Attention模型的传感器偏差故障诊断准确率更高。     

融入注意力机制的时间激励与聚集行为识别模型

视频行为识别通常应用短区间动作特征和长区间视频聚集特征进行时序建模.而这种时序建模方式在特征提取过程中,将不同时序区间的动作特征同等看待,忽略了关键通道信息和重要动作内容,不能达到理想的行为识别效果.注意力机制能够重点关注目标区间,在提取时间激励与聚集行为特征基础上融入通道-空间注意力模块.该模型分别通过通道和空间模块改变时序动作的特征分布,通道注意力关注关键通道信息是“哪些”,空间注意力机制关注重要视频内容在“哪里”,突出关键通道信息和重要内容等特征,提高了行为识别的识别率.同时在数据集Something-Something 1,UCF101和HMDB51对模型进行实验,融入通道-空间注意力模块的时间激励与聚集行为识别模型能够有效提高行为识别率.     

基于局部信息增强注意力机制的网络流量预测

针对网络流量具有强烈的非线性和不确定性导致传统统计方式或者机器学习方法难以准确预测的问题,为进一步提升网络流量预测精度,在传统时序序列预测模型的基础上设计实现了一种局部上下文信息增强的注意力机制,通过卷积计算将输入转换为注意力机制中的Query和Key,从微观角度对时间序列进行解释,提高了预测模型的局部感知能力。进而将提出的注意力机制分别与长短期记忆人工神经网络和门控循环单元两个时序预测模型相结合并将结合后的模型用于某运营商提供的两个不同网络流量数据集进行网络设备流量预测。实验结果表明基于局部上下文信息增强注意力机制的预测模型具有更好的预测效果。     

基于注意力机制的改进LSTM锂电池健康状态估计方法

将车载式安全工器具柜应用于配网抢修车辆中,其供电电池性能直接影响了工器具柜的稳定运行,因此需要精确预估供能电池的健康状态(state of health, SOH).本文提出一种基于海鸥算法(SOA)和注意力机制优化改进长短时记忆神经网络(long short-term memory neural network, LSTM)的锂电池健康状态估计方法.首先提取出4种与电池老化特性强相关的健康因子,将其历史运行数据输入到结合SOA-LSTM思想设计的SOH估计方法;其次利用Attention机制对输入变量进行权重分配,以强调关键特征在SOH预测中的作用;最后利用已公开的电池充放电曲线数据集对所提算法进行测试验证,并与其他算法进行对比.结果表明,本文方法可实现高精度SOH预测,均方根误差为0.011,模型拟合度达到98%以上.     

基于变分自动编码器的车辆轨迹预测研究

针对轨迹预测中车辆与周边车辆、道路几何之间交互关系建模不充分,以及车辆轨迹多模态建模不完整等一系列问题,提出了一种基于变分自动编码器的车辆轨迹预测方法。首先,通过长短时记忆网络从原始数据中提取轨迹数据与车道信息的语义特征;其次,引入多头注意力机制,采用两个单独的注意力模块分别建立车辆与车辆交互模型及车辆与道路交互模型,能够更好地反映周边车辆与道路几何对车辆轨迹的交互影响,得到丰富的场景上下文信息;接着利用变分自动编码器对车辆轨迹多模态建模,捕捉轨迹预测的随机性质以生成合理的未来轨迹分布;最后从分布中多次重复采样以生成多条可能的未来轨迹。通过搭建实验平台和使用Argoverse自然驾驶数据集进行测试,改进后的预测方法在平均位移误差和最终位移误差指标下的数值分别为1.03和1.51,预测精度上相较于其他3种预测方法,分别提升了45%、46%、32%;实验结果表明：预测方法可以有效地改善车辆与周边车辆、道路几何之间交互关系建模不充分,以及车辆轨迹多模态建模不完整等问题,预测精度提高,总体预测性能良好。     

基于深度学习的盾构隧道施工地表沉降预测方法

针对现有盾构隧道施工引发地表沉降预测方法中存在的难以同时挖掘数据之间的非线性特征关系和双向时序信息的问题,通过融合卷积神经网络(CNN)、双向长短期记忆(BiLSTM)与自注意力机制(SA)提出一种基于深度学习的地表最大沉降预测方法(CNN-BiLSTM-SA)。该方法首先利用CNN提取网络输入数据之间的非线性特征关系,利用BiLSTM网络提取输入数据的双向时序信息,然后引入SA机制为CNN提取的特征分配相应的权重,有效捕获时间序列中的关键信息,最后通过全连接层输出最终地表沉降预测结果。以湖南万家丽路电力盾构隧道工程为依托构建地表沉降数据集,并选用ANN、RNN、LSTM、BiLSTM模型开展对比分析。研究结果表明：评估指标CNN-BiLSTM-SA的平均绝对误差(MAE)、均方根(RMSE)、决定系数(R2)、平均绝对百分误差(MAPE)均为最优,具有更好的地表沉降预测性能。