基于耦合特征LSTM的船舶运动预报方法研究

采用长短期记忆(LSTM)神经网络模型对船舶在不同海况下的运动姿态进行预报．针对LSTM模型难以优化的特点,提出了一种耦合特征LSTM神经网络模型．首先对船舶运动时间序列数据进行了归一化处理;然后基于深度学习框架TensorFlow搭建了具有输入层、隐藏层和输出层的LSTM模型;接着将原始数据按照不同特征输入形式进行划分;最后采用不同耦合特征LSTM模型分别对测试样本进行预报．结果表明：相比于其他LSTM模型,六自由度耦合特征LSTM神经网络模型的预报精度有明显优势;在四级海况下,运动预报误差降低了2.1%～12.9%;在五级海况下,运动预报误差降低了2.4%～12.3%;六特征耦合LSTM模型只须进行一次计算,就能同时输出六自由度运动,可减少51.4%～82.7%的计算时间,提升了计算效率．     

VAE_LSTM算法在时间序列预测模型中的研究

针对长短期记忆网络(LSTM)算法对时间序列预测存在的不足,考虑到样本序列如果包含线性关系或含有噪音时LSTM算法预测将不准确,同时分析了变分自编码器(VAE)对异常样本修复的原理,提出了一种改进的LSTM时间序列预测算法VAE_LSTM,将VAE网络修复样本的思想加入到传统的LSTM网络,对样本序列进行修复后再输入LSTM神经网络训练,最终建立了时间序列预测模型.阐述了模型建立的方法与步骤,详细分析了模型的原理.使用长江汉口历史水文数据序列进行仿真实验,结果表明:VAE_LSTM算法预测模型在时间序列预测方面有较好表现,满足预测精度要求,比传统LSTM时间序列预测模型的预测准确性高,尤其中短期预测更为准确;对比实验同时表明此模型准确性高于ARIMA,RNN等预测模型.     

基于注意力Seq2Seq模型的终端区航空器航迹预测

为充分挖掘机场终端区航空器航迹时间依赖性,解决中长期、多步长航迹预测精度不稳定的问题,引入注意力机制(Attention Mechanism)和教师监督(Teacher Forcing)中的指数衰减(Exponential Decay)采样方法,提出了一种基于序列到序列框架的机场终端区航迹预测模型(Seq2Seq-Attention Mechanism-Exponential Decay, SAE)。序列到序列框架实现了多步长预测,注意力机制提高解码器预测精度,指数衰减采样方法加速了训练阶段模型收敛,在一定程度上提高了模型的泛化性。最后,为了验证提出方法的有效性,利用天津终端区28架次、90天ADS-B航迹数据构建原始数据集,以平均绝对误差(Mean Squared Error, MAE)和均方根误差(Root Mean Squared Error, RMSE)作为模型性能评价指标,进行了航迹预测实验,实验结果表明：高度、经度和纬度在序列到序列框架中的循环神经网络分别采用LSTM、GRU和LSTM可以获得最好预测性能;以四种预测长度1分钟、3分钟、5分钟和10分钟进行建模,与基线模型中预测性能最好的结果比较,所提出方法在验证集上的高度、经度和纬度指标表现最优,10分钟预测窗口下的平均绝对误差分别降低了66.30%, 54.62%和36.59%,均方根误差分别降低了65.45%, 38.16%和20.57%,同时,上述四种预测时长下所提出方法预测结果的均值和方差最小,表明随着预测时长的增加,模型预测结果的稳定性最好。此外,引入的注意力机制与指数衰减采样方法对有效捕捉航迹时间依赖性、提高模型泛化性均具有积极的贡献.     

基于AM-LSTM模型的超短期风电功率预测

近年来,中国的风力发电产业高速发展。然而风力发电具有不稳定性,风电功率超短期预测结果的准确性直接影响到电网安全有效的运行。为了进一步提高风电功率超短期预测的精确度,提出了长短期记忆网络-注意力模型(AM-LSTM)风电功率预测模型,该模型将长短期记忆网络(long-term and short-term memory,LSTM)和注意力模型(attention model,AM)相结合, LSTM网络能够处理好风速、风向等时间序列变量与风电功率之间的非线性关系,注意力模型能够优化LSTM网络的权重,从而使预测结果更加准确。采用真实的风电场历史数据进行实验,结果表明:提出的AM-LSTM预测模型能够有效利用多变量时间序列数据进行风电场发电功率的超短期预测,比传统的BP神经网络和LSTM网络具有更精确的预测效果。该预测模型为风电场地电力调度提供了科学参考。     

犯罪时间序列的混沌特征分析与短期预测

现有犯罪时间序列预测方法侧重于捕捉序列自相关性来构建预测模型,但缺少对犯罪时间序列所反映的社会治安系统非线性和复杂性特征的考虑。 针对这一不足,提出了一种基于混沌分析的长短期记忆(long short-term memory, LSTM)LSTM 预测方法(Chaos-LSTM)。 首先将犯罪时间序列进行相空间重构得到其重构参数以及高维特征,然后计算犯罪时间序列的 Lyapunov 指数判断其混沌特性,最后对符合混沌特征的犯罪时间序列利用重构参数进行序列重建,输入 LSTM 模型进行时序预测。 以北方某特大城市 2007—2014 年的抢劫、入室盗窃、抢夺、诈骗类犯罪的日序列数据进行了实验验证,结果表明:4类案件的时序数据均表现出明显的混沌特征。 Chaos-LSTM 模型在预测精度上较 LSTM 模型有明显提升,平均绝对百分误差(mean absolute percentage error, MAPE)提 升 度 最 高 可 达 19. 7% ,百 分 比 均 方 根 误 差 (percentage root mean square error,PRMSE)提升度最高为 4. 19% ,其中对稀疏性数据序列的提升效果更为明显,显示出该方法对稀疏犯罪时间序列具有更好的适应性。     

基于EEMD-Attention-GRU的大坝变形组合预测模型

根据观测数据构建高精度的大坝变形分析模型,可以提前预知大坝行为的发展趋势.结合EEMD和Attention机制优势对GRU模型进行优化以构建大坝变形组合预测模型,旨在提高变形预测精度.首先应用EEMD对原始序列进行分解,得到一组相对平稳的分量;然后利用GRU深入挖掘各变形分量的时间相关性,引入Attention机制,在神经网络内部提取关键时序特征并传递到下一层,最终得到各分量预测结果;最后组合分量预测结果得到总的预测结果.结果表明,EEMD-Attention-GRU模型可以获得很高的变形预测精度,可为大坝行为分析提供参考.     

基于鲸鱼优化混合神经网络的滑坡位移预测

针对静态机器学习模型难以有效反映滑坡的动态演化特性,且存在时序过长时历史数据遗忘导致位移预测结果不稳定的问题。本文提出了一种基于鲸鱼优化卷积神经网络(convolutional neural networks,CNN)和双向门控循环神经网络(bidirectional gated recurrent neural network,BiGRU)的滑坡位移动态预测方法。首先对滑坡影响因子进行特征筛选,构建数据集,建立CNN-BiGRU网络模型,使用鲸鱼优化算法(whale optimization algorithm,WOA)对模型进行超参数寻优,使用CNN网络模型从滑坡数据中提取潜在的特征向量,将特征向量以时间序列的形式输入到BiGRU模型中,利用其处理时间序列数据的优势,完成滑坡位移预测。结果表明,本文提出的模型得到的滑坡位移预测精度较高,与未优化的CNN-BiGRU相比均方根误差(RMSE)下降了0.0305mm。     

基于小波优化LSTM-ARMA模型的岩土工程非线性时间序列预测

为了更精确地预测岩土工程应力、变形等的非线性时间序列,提出了基于小波优化的长短时记忆神经网络?自回归滑动平均模型（LSTM-ARMA）预测模型。首先使用小波分析将监测序列分解成趋势项和噪声项,采用LSTM网络滚动预测趋势项、ARMA模型预测噪声项,并将趋势项预测值与噪声项预测值之和作为总的时间序列预测值。在此基础上,以上海云岭超深基坑工程为案例进行了基坑地表沉降分析,结果表明组合模型的预测精度要高于单一LSTM模型且更加稳定;进一步采用弹塑性有限元对基坑开挖诱发的地表沉降进行了预测,并与人工智能预测结果进行对比,验证了人工智预测模型的合理性。分析表明,当后续工况与前置工况所诱发的变形机理突变时,人工智能预测误差增大,但伴随后续工况的推进,人工智能预测误差将逐渐减小。     

基于贝叶斯优化注意力机制LSTNet模型的短期电力负荷预测

为更充分挖掘多元负荷序列间的有效信息,从而提高预测精度,提出了一种集成贝叶斯超参数优化算法、注意力机制的长期和短期时间序列网络（long and short-term time-series network with attention,LSTNet-attention）以及误差修正的短期负荷预测模型。首先,构建基于贝叶斯优化的LSTNet-attention模型进行初步预测,利用贝叶斯算法优化模型多个结构参数,降低人工设置参数的随机性,并通过注意力机制合理分配特征权重;然后,通过基于贝叶斯参数优化的极端梯度提升算法(extreme gradient boosting,XGBoost)误差修正模型来挖掘初步预测误差序列中潜在、未被利用的有效信息,进行误差预测和修正,进而得到最终的预测结果。通过使用澳大利亚某地真实负荷数据进行实证分析,实验结果表明,所提预测模型相较于其它模型具有更好的预测效果,可为负荷预测等工作提供一定参考。     

基于注意力机制的特征融合序列标注模型

序列标注任务是自然语言处理领域的重要问题,包括命名实体识别、词性标注、意见抽取等具有重要应用价值的子任务。目前,长短期记忆网络-条件随机场模型(LSTM-CRF)作为序列标注任务的主流框架,虽然取得了很好的性能并被广泛使用,但仍存在局部依赖性以及受限于序列化特征学习的缺点。为了同步建模句子中每个词的局部上下文语义与全局语义,并将两部分语义进行有效融合,提出基于注意力机制的特征融合序列标注模型。具体地,本模型利用多头注意力机制建模句子中任意两个词之间的语义关系,得到每个词应关注的全局语义。考虑到LSTM学习的局部上下文信息和注意力机制学习的全局语义具有互补性,进一步设计了三种特征融合方法将两部分语义深度融合以得到更丰富的语义依赖信息。为验证模型的有效性,在四个数据集上进行了大量的实验,实验结果表明本模型达到较优的性能。     

基于LSTM神经网络深度序列机械钻速实时预测

机械钻速是钻井优化、缩短钻井周期的关键因素,传统的机械钻速预测大多是在钻井后进行钻井分析,预测效率和精度低、地层适用性不广。为了以更高效的方法预测得到高精度机械钻速,提出基于长短期记忆(LSTM)神经网络的深度序列机械钻速预测方法。采集实时钻井数据集,使用皮尔逊相关系数衡量各特征之间的相关性,筛选出井深、伽玛射线、地层密度、孔隙压力、井径、钻时、排量、钻井液密度等8个参数。构建LSTM神经网络模型,训练LSTM模型并预测ROP,对预测结果进行分析,并用决定系数(R²)、均方根误差(RMSE)、平均绝对百分比误差(MAPE)等指标对LSTM模型、BP模型和SVM模型性能进行对比分析。结果表明：LSTM模型其R²、RMSE和MAPE的值分别为0.948、1.151和17.075,相较于BP模型和SVM模型,其R²更大,RMSE和MAPE较小,说明LSTM模型预测性能更好。该方法有助于钻井工程师和决策者提前获得钻井信息,从而更好地规划钻井作业,缩短钻井周期,同时为钻井参数预测提供新的途径,能改善以往预测方法在处理复杂地层问题时...     

空战飞行对敌目标逼近航迹预测仿真

针对传统航迹预测方法考虑因素少、预测时间长的问题,提出基于实时反馈长短期记忆神经网络(FF-LSTM)的航迹预测模型。该模型在长短期记忆(LSTM)神经网络的基础上,引入实时反馈,并采用随机梯度下降法和批处理方法训练网络权值和阈值,构建FF-LSTM神经网络。根据目标航迹特点,选取敌机位置、姿态信息和两机之间互信息特征作为输入数据,将航迹预测视为序列到序列的映射问题。实验结果表明,与BP神经网络和递归神经网络相比,FF-LSTM模型有更好的预测能力,可以快速准确地完成航迹预测。     

基于改进ESN的时间序列数据预测及误差分析

为了解决时间序列数据的预测问题,传统ESN预测方法对关键参数的设置采取经验法和测试法,不能达到全局最优,因此,提出一种改进的ESN预测方法。该方法映射了关键参数的谱半径,设置优化目标,采用随机梯度下降法进行优化计算。实验结果表明,改进ESN方法的预测误差小,可以实现预测值对真实值的理想逼近。     

基于LSTM和注意力机制的蛋白质-配体结合亲和力预测

蛋白质-配体的结合亲和力预测是药物重定位回归中具有挑战性的任务。深度学习方法可以有效预测蛋白质与配体相互作用的结合亲和力,减少药物发现的时间和成本。由此,基于长短期记忆模块(LSTM)和注意力机制模块(attention)提出了一种深度卷积神经网络模型(DLLSA)。模型由嵌入LSTM和空间注意力模块(spatial-attention)的卷积网络并行模块构建,其中LSTM模块针对蛋白质-配体接触特征的长序列信息,spatial-attention注意力模块聚集接触特征局部信息。采用PDBbind(v.2020)数据集进行训练,CASF-2013和CASF-2016数据集进行验证,模型的皮尔逊相关系数相比于PLEC模型分别提高了0.6%和3%,实验结果显著优于其他相关方法。     

基于改进粒子群优化算法和极限学习机的混凝土坝变形预测

混凝土坝变形预测是评价大坝运行状态和预测大坝行为的重要方法.但是,混凝土坝的随机荷载和强非线性变形限制了传统多元线性回归模型的应用.而人工神经网络模型则对复杂和高度非线性行为具有良好适应性.针对基于梯度下降法的常规神经网络模型收敛速度慢和过度拟合等问题,提出了一种基于改进型粒子群优化算法选取极限学习机(ELM-IPSO)最优参数的大坝变形预测模型.针对传统粒子群算法搜索时间长、容易陷入局部最优的特点,采用自适应惯性权重和动态调整学习因子,对粒子群算法进行了改进.研究表明,IPSO算法提高了粒子群优化的全局搜索能力,提高了计算效率.应用IPSO优化ELM模型的初始权值和阈值.通过东江混凝土拱坝的实测资料,验证ELM-IPSO模型的预测性能.将计算结果与BPNN模型、ELM模型和传统ELM-PSO模型的结果进行比较.BPNN模型、ELM模型、ELM-PSO模型和ELM-IPSO模型的平方相关系数R2分别为89.15%、91.13%、93.87%和94.36%.ELM模型的R2大于BPNN模型,说明ELM模型比常规的BPNN模型预测精度更高,泛化性能更好.ELM-PSO模型的预测精度大于ELM模型,说明PSO对ELM的优化在提高预测精度方面具有良好的作用.4个模型中,ELM-IPSO模型的R2最大,预测精度最高,这表明提出的ELM-IPSO模型能够有效提高混凝土坝变形的预测能力.     

水下目标工频磁场扰动信号检测方法研究

为了解决水下目标磁场近程化探测中磁信号衰减快、干扰强及扰动特征不明确、无法有效探测信号等问题,提出了一种基于混合神经网络与注意力机制(Att-CNN-GRU)的工频磁场水下目标时间序列扰动信号检测方法。将CNN,GRU神经网络与Attention机制相结合拟合信号,构建分类神经网络,对目标信号进行分类识别,同时与未引入注意力机制的CNN-LSTM模型及单一CNN和LSTM网络模型的预测及检测性能进行比较。结果表明,相较于传统方法,信号拟合效果将误差分别减小了36.24%,14.44%和4.878%,目标检测准确率达到83.3%。因此,加入Attention机制的CNN-GRU模型检测性能比CNN,LSTM和CNN-GRU模型更优异,作为辅助手段,能有效解决工频磁场探测中扰动信号微弱、扰动规律不明确、背景噪声多等问题,实现对水下目标造成的工频磁场扰动信号的拟合与检测。     

基于二次分解与LSTM的金融时间序列预测算法研究

现有结合特征提取与预测模型的方法不能准确把握金融时间序列的混沌性与交互性,导致预测精度不高。针对此问题,提出一种基于二次分解与长短期记忆(long short term memory, LSTM)网络的金融时间序列预测算法。使用变分模态分解方法与集成经验模态分解方法依次解析金融时间序列数据,得到能表达数据混沌性特征的模态;将模态信息输入到融合有因子分解机(factorization machine, FM)的长短期记忆网络模型中,融合获取到的长记忆性特征与交互性特征,进而预测最终的结果;选取沪深300指数的历史数据作为实验数据集,通过多组对比实验验证算法的有效性。实验结果表明,提出的算法可以有效提升模型的预测能力,同时表达金融时间序列的混沌性、长记忆性、交互性。     

基于递归长短期记忆网络和镜头序列注意网络的视频摘要生成

为解决基于长短期记忆网络LSTM的视频摘要生成方法当输入序列过长时LSTM网络中的记忆单元不能集中在长时间序列的跨度上。通过深度学习的方法研究了一种基于递归长短期记忆网络(ReLSTM)和序列注意(SSA)的视频摘要生成模型用以提高深度学习网络学习时序特征的能力。该模型使用ReLSTM网络提取时间特征。同时,利用SSA动态调整每个视频序列输入到ReLSTM网络中的特征权重。结果表明：在数据集TVSum上F1-score平均提高2.5%,最高提高0.2%。在数据集SumMe上F1-score平均提高7.8%,最高提高3.4%。可见该方法能有效地学习镜头之间的时序特征。     

基于双阶段注意力机制的大坝变形深度学习预测模型

为提升大坝结构变形预测精度，采用完全自适应噪声集合经验模态分解(CEEMDAN)法将变形实测序列解耦为一系列具有不同时频特征的本征模态函数，使用小波阈值消噪对高频分量平稳化处理后进行重构，利用基于双阶段注意力机制的长短期记忆网络(DA-LSTM)模型对重构变形序列进行预测。实例验证结果表明，联合CEEMDAN算法和小波阈值消噪方法能够有效识别并清洗实测数据中的异常值，提升了测值对大坝运行性态的表征能力，同时DA-LSTM模型可以充分挖掘大坝变形的滞后性和增强网络的可解释性，据此构建的变形预测模型具有优良的稳健性。     

基于注意力LSTM和多任务学习的远场语音识别

由于背景噪声、混响以及人声干扰等因素,远场语音识别任务一直充满挑战性。该文针对远场语音识别任务,提出基于注意力机制和多任务学习框架的长短时记忆递归神经网络(long short-term memory,LSTM)声学模型。模型中嵌入的注意力机制使其自动学习调整对扩展上下文特征输入的关注度,显著提升了模型对远场语音的建模能力。为进一步提高模型的鲁棒性,引入多任务学习框架,使其联合预测声学状态和干净特征。AMI数据集上的实验结果表明:与基线模型相比,引入注意力机制和多任务学习框架的LSTM模型获得了1.5%的绝对词错误率下降。