基于递归长短期记忆网络和镜头序列注意网络的视频摘要生成

为解决基于长短期记忆网络LSTM的视频摘要生成方法当输入序列过长时LSTM网络中的记忆单元不能集中在长时间序列的跨度上。通过深度学习的方法研究了一种基于递归长短期记忆网络(ReLSTM)和序列注意(SSA)的视频摘要生成模型用以提高深度学习网络学习时序特征的能力。该模型使用ReLSTM网络提取时间特征。同时,利用SSA动态调整每个视频序列输入到ReLSTM网络中的特征权重。结果表明：在数据集TVSum上F1-score平均提高2.5%,最高提高0.2%。在数据集SumMe上F1-score平均提高7.8%,最高提高3.4%。可见该方法能有效地学习镜头之间的时序特征。     

基于长短时记忆网络的Encoder-Decoder多步交通流预测模型

交通流序列多为单步预测.为实现交通流序列的多步预测,提出一种基于编码器解码器(encoder-decoder,ED)框架的长短期记忆网络(long short-term memory,LSTM)模型,即ED LSTM模型.将自回归滑动平均、支持向量回归机、XGBOOST、循环神经网络、卷积神经网络、LSTM作为对照组进行实验验证.实验结果表明,当预测时间步长增加时,ED框架能够减缓模型性能的下降趋势,LSTM能够充分挖掘时间序列中的非线性关系.除此之外,在单变量输入的情况下,在PEMS-04数据集上,当预测时间步长为t+1到t+12的12个时间步时,ED LSTM模型的均方根误差(root mean squard error,RMSE)及平均绝对误差(mean absolute error,MAE)分别下降0.210～5.422、0.061～0.191.相较于单因素输入,多因素输入的ED LSTM模型在12个预测时间步长下,RMSE、MAE分别下降0.840、0.136.实验证明了ED LSTM模型能够有效地用于交通流序列的多步及单因素、多因素预测任务.     

基于耦合特征LSTM的船舶运动预报方法研究

采用长短期记忆(LSTM)神经网络模型对船舶在不同海况下的运动姿态进行预报．针对LSTM模型难以优化的特点,提出了一种耦合特征LSTM神经网络模型．首先对船舶运动时间序列数据进行了归一化处理;然后基于深度学习框架TensorFlow搭建了具有输入层、隐藏层和输出层的LSTM模型;接着将原始数据按照不同特征输入形式进行划分;最后采用不同耦合特征LSTM模型分别对测试样本进行预报．结果表明：相比于其他LSTM模型,六自由度耦合特征LSTM神经网络模型的预报精度有明显优势;在四级海况下,运动预报误差降低了2.1%～12.9%;在五级海况下,运动预报误差降低了2.4%～12.3%;六特征耦合LSTM模型只须进行一次计算,就能同时输出六自由度运动,可减少51.4%～82.7%的计算时间,提升了计算效率．     

基于动态时间规整和长短期记忆的空中交通流量短期预测

空中交通短期流量预测的准确性对于精准实施空中交通流量管理具有重要意义。为提高空中交通短期流量预测准确性,充分利用历史运行数据,本文提出了一种基于DTW-LSTM的空中交通流量短期预测方法。首先,分析了空中交通流的时空相关性特征,基于此特征采用DTW算法衡量扇区之间的空间相关性;然后,由空间相关性度量结果选取不同扇区的数据进行组合,构建输入时间序列长度不同的数据集,将历史时间数据输入LSTM模型中训练;最后,对不同时空参数组合模型的预测结果进行分析,与不考虑时空相关性LSTM模型、考虑时空特性的SVR模型的预测结果进行对比。实验结果表明,相比于传统方法,本文提出的空中交通流量短期预测方法通过考虑交通流的时空相关性,提高了预测结果的准确性,相比LSTM模型,MAE降低24.5%,RMSE降低31.4%,相比时空相关SVR模型,MAE降低36.4%,RMSE降低30.6%。     

采用ALSTM模型的温度和降雨关联预测研究

短时的降雨和温度等预报一直是天气预报中的重要问题。为了准确和及时预测局部区域的降雨及温度,提出了一种基于Attention和LSTM组合模型(ALSTM)的关联多值预测算法。该算法利用天气时间序列中的前期数据,对下一小时的降雨量和温度进行关联预测,以此实现对天气要素的多值预测。该算法首先对输入数据进行归一化处理;然后利用数据对ALSTM模型进行训练;最后将训练好的模型用于多值预测。将ALSTM模型与LSTM、BP以及基于LSTM的深度循环神经网络(DRNN)的预测结果进行了比较。实验结果表明,ALSTM模型的温度和降雨预测精度优于比较的其他模型,其平均预测精度在97%以上。     

基于LSTM神经网络的畸形波预测

采用长短时记忆(LSTM)神经网络预测方法对某岛礁地形模型的四个典型波浪试验数据进行预测分析,并建立了单步和多步预测模型.首先对波高时间序列数据进行归一化处理;然后建立了包括输入层、隐藏层和输出层的LSTM网络模型框架;最后对测试样本进行单步预测,将预测结果与支持向量机(SVM)模型和反向传播(BP)模型进行了对比.结果表明:LSTM神经网络预测精度有明显优势;多步预测中,提高预测时长其预测精度并无明显降低.     

“数据分析与计算专栏”主持人语

<正>中国大数据和人工智能技术正处于蓬勃发展阶段,先进模型算法不断涌现。本期专栏推出3篇论文,以大数据和人工智能应用为中心,面向工业界和学术界的应用场景,介绍前沿模型算法的相关应用案例。第1篇是张冬雯等撰写的《基于长短期记忆神经网络模型的空气质量预测》。这是一篇算法类的文章,主要针对当前空气质量预测研究中预测精度低、效率低、缺失时间因素等问题,从时间角度提出了一种简单的空气质量预测方法——LSTM神经网络模型,使用MAPE,RMSE,R,IA和MAE等指标检测LSTM神经网络与对比模型的预测性能。实验结果表明,LSTM神经网络可以适应多个变量或多输入的时间序列预测问题,具有预测精度高、速度快和鲁棒性较强等优点,使用LSTM神经网络进行空气质量预测可以有效提高预测的准确性。     

基于改进激活函数和学习率的双向LSTM研究

[目的]目前双向长短期记忆网络(Long short term memory,LSTM)在语音识别、图像识别和情感分类等方面的应用越来越广泛,基于此研究如何提高双向LSTM的准确率.[方法]提出一种改进的双向LSTM,通过对LSTM中输入门与输出门激活函数的改进,并结合改进的学习率,能够大大地提高神经网络的收敛速度与准...     

电池储能系统SOC神经网络融合估计方法

为了更好地获取电池储能系统当前的运行状态，提出了基于神经网络融合的电池储能系统SOC估计方法.首先，对比分析了前馈（BP）、门控循环单元（GRU）和长短时记忆（LSTM）神经网络算法的优劣，BP计算时间较短，LSTM对时序数据估计精度较高；然后，利用KL散度、皮尔逊相关系数和灰色关联度分析了不同输入参量和SOC的相关程度，并和LSTM估计结果相比对，筛选出对电池储能系统SOC影响较大的特征参量；最后，应用经验模态分解算法将SOC数据分解为多个分量，利用样本熵将分量聚合为高低两个频段，进而应用BP、LSTM神经网络算法分频段估计，和单一策略相比，该方法在提高SOC估计精度的同时，减少了计算时间.     

基于深度学习和小波分析的 LSTM-Wavelet 模型股价预测

针对股价数据具有高噪声、非线性和非平稳性等特征,使得股价精确预测非常困难的问题,提出小波-长短 记忆网络(LSTM-Wavelet)模型应用于股价预测。 首先,利用小波(Wavelet)分解降低金融时间序列的不稳定性,并 分析小波系数的细节特征;接着,发挥长短记忆网络(LSTM)模型的优势,深层挖掘小波系数中的长期依赖关系,对 分解后的各层小波系数分别建模预测;最后进行预测小波系数的数据重构。 使用中石油近两年的股价数据进行实 证分析,以每个交易日的开盘价、最高价、最低价、交易量为特征输入,预测当日中石油的收盘价。 结果表明:相较 于标准 LSTM 模型和小波- ARIMA (ARIMA-Wavelet)模型,提出的 LSTM-Wavelet 模型有更好的预测效果; 通过 小波分析将复杂股票数据,分解为长短记忆网络(LSTM)容易识别的小波系数,根据各层小波系数不同的数据特征 进行分层预测,提高了预测精度。     

基于鲸鱼优化算法改进长短期记忆神经网络的资源推荐

为了改善资源推荐算法的性能,提出基于鲸鱼优化算法(WOA)改进长短期记忆神经网络(LSTM)的资源推荐算法;首先提取资源和用户特征,构建特征差异值加权函数;然后,以资源-用户特征作为输入,建立基于LSTM的资源推荐算法,通过输入门、遗忘门、输出门及记忆节点对历史资源推荐数据按权重进行遗忘与筛选,有选择性地挑选部分数据进行循环迭代训练;考虑到LSTM的门操作需要设置的参数较多,引入WOA进行参数智能优化求解,提出WOA-LSTM算法,以提高LSTM的参数优化的精度及效率。结果表明,通过合理设置WOA参数,可以有效改善LSTM的资源推荐性能,与常用资源推荐算法相比,所提出的WOA-LSTM算法具有更高的推荐精度及稳定性。     

递归神经网络研究综述

递归神经网络(RNN)因具存储特性,可以处理前后输入有关系的序列数据,故广泛应用于文本音频、视频等领域.当输入间隙较大时,RNN存在短期记忆问题,无法处理很长的输入序列,而长短期记忆(LSTM)能很好地处理长期依赖性问题.自LSTM提出以来,几乎所有基于RNNs的令人兴奋的结果都是由LSTM实现的,因此LSTM成为深度...     

VAE_LSTM算法在时间序列预测模型中的研究

针对长短期记忆网络(LSTM)算法对时间序列预测存在的不足,考虑到样本序列如果包含线性关系或含有噪音时LSTM算法预测将不准确,同时分析了变分自编码器(VAE)对异常样本修复的原理,提出了一种改进的LSTM时间序列预测算法VAE_LSTM,将VAE网络修复样本的思想加入到传统的LSTM网络,对样本序列进行修复后再输入LSTM神经网络训练,最终建立了时间序列预测模型.阐述了模型建立的方法与步骤,详细分析了模型的原理.使用长江汉口历史水文数据序列进行仿真实验,结果表明:VAE_LSTM算法预测模型在时间序列预测方面有较好表现,满足预测精度要求,比传统LSTM时间序列预测模型的预测准确性高,尤其中短期预测更为准确;对比实验同时表明此模型准确性高于ARIMA,RNN等预测模型.     

一种基于深度学习的快速DGA域名分类算法

提出了一种基于深度学习的CNN-LSTM-Concat快速DGA域名分类算法,使用多层一维卷积网络对域名字符进行序列化处理,LSTM网络层用于强化获取字符间长距离依赖关系。通过将LSTM的多序列输入转化为单向量输入,在保证检测性能的前提下,能够大幅提高训练和检测速度。实验证明,我们的方法对DGA域名分类的准率在公开数据集上达到98.32%。同时,在准确率相比主流的LSTM方法更高的情况下,检测时间比LSTM方法快6.41倍。     

基于改进LSTM神经网络的化工过程故障诊断

针对现代化工过程中数据非线性、高维度以及动态时序等特点,传统的故障诊断模型对化工过程的故障诊断精度较低.基于此,设计了一种基于改进的长短时记忆神经网络(LSTM)故障诊断方法.首先,将采集的故障数据输入卷积神经网络(CNN),对数据进行特征提取和降维;其次,将处理过的数据输入改进的LSTM网络,进行深层特征提取;最后,把提取的深层特征信息输入到注意力机制进行特征“聚焦”,实现特征融合后输入softmax分类器实现故障分类.由田纳西-伊斯曼(TE)过程诊断实验结果表明,基于改进的LSTM网络的故障诊断方法在故障分类精度、训练速度方面都更优于递归神经网络(RNN)、门控循环神经网络(GRU)、卷积神经网络(CNN)和深度自编码网络(DAEN),在实际化工过程的应用有一定的优势.     

基于WiFi探针数据的短时交通状态预测

针对传统交通数据获取成本高,以及单参数输入的LSTM模型预测精度不高等问题,提出一种基于WiFi探针数据的短时交通状态预测方法.首先利用WiFi探针数据构建交通状态指数数据集,然后采用LSTM网络构建预测模型,并分析不同交通参数组合对模型预测精度的影响,最后比较不同模型对同一路段的预测性能.试验结果表明:交通流量会影响...     

基于注意力机制的CNN-LSTM模型的航迹预测

基于数学模型或统计模型的传统航迹预测方法存在一定的局限性，无法满足现代航空领域对于高效、准确、实时的航迹预测需求。针对此问题，提出基于注意力机制的CNN-LSTM模型的实时航迹预测方法。该模型首先使用一维卷积对航迹数据的多维度特征进行提取，从而减少输入特征的数量。其次利用获取的多维度时序数据作为LSTM的输入，通过LSTM提取上下文的信息。最后使用注意力机制为LSTM中不同时序节点的输出赋予权重，达到聚焦关键航迹信息的作用。经过实验验证：本文的模型与LSTM模型和CNN-LSTM模型相比，预测出的路径更接近真实航迹；文中的模型比LSTM模型的平均预测误差降低了29.7%，比CNN-LSTM模型降低了25.4%。综上所述，文中方法可以显著提高航迹预测的精度。     

融合词汇特征的生成式摘要模型

生成过程中利用词汇特征(包含n-gram和词性信息)识别更多重点词汇内容,进一步提高摘要生成质量,提出了一种基于sequence-to-sequence(Seq2Seq)结构和attention机制的、融合了词汇特征的生成式摘要算法。算法的输入层将词性向量与词向量合并后作为编码器层的输入,编码器层由双向LSTM组成,上下文向量由编码器的输出和卷积神经网络提取的词汇特征向量构成。模型中的卷积神经网络层控制词汇信息,双向LSTM控制句子信息,解码器层使用单向LSTM为上下文向量解码并生成摘要。实验结果显示,在公开数据集和自采数据集上,融合词汇特征的摘要生成模型性能优于对比模型,在公开数据集上的ROUGE-1,ROUGE-2,ROUGE-L分数分别提升了0.024,0.033,0.030。因此,摘要的生成不仅与文章的语义、主题等特征相关,也与词汇特征相关,所提出的模型在融合关键信息的生成式摘要研究中具有一定的参考价值。     

基于双向LSTM和自注意力机制的中文关系抽取研究

在采取远程监督方法构建大规模的关系抽取语料库时,一般会不可避免地引入大量冗余和噪声,从而影响关系抽取的效果。为此,文章提出基于双向长短期记忆网络(LSTM)和结构化自注意力机制的方法来缓解训练数据的噪声问题。结合中文语言的特点,在输入层采用结合义原训练的词向量作为输入,通过双向LSTM来抽取句子的语义特征,利用结构化的自注意力机制来学习面对实体对的上下文表示,通过多实例选择的方法来选择有效的实例,从而尽量避免噪声数据的影响。实验结果表明,文章提出的模型能有效提高实体关系抽取的准确率与召回率,其F1值比加上了注意力机制的CNN与双向LSTM分别提升了4.3%和1.2%。     

数据多维处理LSTM股票价格预测模型

股票的价格具有非线性、随机性等特征,为更精准地预测股票价格,充分利用股票价格数据的时间相关性和数据自身的变化趋势,提出数据多维处理的LSTM股票价格预测模型。通过对股票价格因子数据进行多维处理,提高数据有效信息,形成可以高度反映股票价格的多维数据,在此基础上建立长短期记忆网络组合预测模型,通过收集股市中的股票数据进行实验。实验结果表明,模型预测值与实际股价数据的均方根误差和平均绝对误差仅为0.013 2和0.010 3,相较于单一长短期记忆网络预测模型,2项误差分别降低90.81%和91.65%。数据多维处理LSTM股票价格预测模型具有较高的预测精度。