LSTM在煤矿瓦斯预测预警系统中的应用与设计

针对煤矿瓦斯浓度的预测的问题,以亭南煤矿正常生产期间302工作面的监测数据为研究背景,采用深度学习技术LSTM(Long Short Time Memory,长短时记忆网络)建立瓦斯预测模型,研究与设计了基于LSTM的煤矿瓦斯预测预警系统。LSTM网络针对时间序列数据具有较强的建模能力,能够实现信息的长期依赖,自动挖掘数据之间潜在的关联关系。采集煤矿正常生产期间的瓦斯监测数据作为训练数据,利用深度学习框架TensorFlow进行算法的仿真,并研究了不同时间步长、网络深度下的LSTM以及多信息融合对瓦斯预测模型性能的影响。实验结果在1 000条测试数据集上获得了3.61%平均相对偏差,LSTM瓦斯预测模型具有较高的准确度,泛化能力强。在系统研究与设计中,使用Spring,SpringMVC和Hibernate框架按照适应性、易用性、可扩展性等原则对系统进行了设计。系统部署阶段,将训练好的LSTM瓦斯预测模型部署在TensorFlow Serving服务器中,对外提供服务,实现了煤矿瓦斯预警系统,增强了煤矿瓦斯监控系统的预警能力,提高了煤炭企业安全生产管理水平,具有一定的实用价值。     

基于PaddlePaddle的股票预测深度学习模型

利用上证指数股票历史数据中的开盘价、收盘价、最低价、最高价、交易量、交易额、跌涨幅等数据,通过对股票数据进行归一化等预处理操作后,使用Python语言和PaddlePaddle库编写算法程序,构建股票预测的LSTM神经网络模型,对上证指数的股票下一日的最高价股票价格进行分析预测,预测结果显示本文所构建的基于PaddlePaddle的LSTM神经网络模型能够取得较好的预测效果,可见基于PaddlePaddle的股票预测深度学习模型有很好的应用前景.     

指数趋势预测的BP-LSTM模型

本文根据股指、股价等数据的时序特征将人工神经网络(ANN)与深度学习中的循环神经网络(RNN)引入股指预测,基于BP神经网络模型与长短期记忆(LSTM)神经网络模型构建了BP-LSTM模型.基于上证指数,本文进行了进行数值实验.结果表明BP-LSTM预测模型的准确率相比传统机器学习模型有明显提升,与普通LSTM模型相比也有较大提升.     

“数据分析与计算专栏”主持人语

<正>中国大数据和人工智能技术正处于蓬勃发展阶段,先进模型算法不断涌现。本期专栏推出3篇论文,以大数据和人工智能应用为中心,面向工业界和学术界的应用场景,介绍前沿模型算法的相关应用案例。第1篇是张冬雯等撰写的《基于长短期记忆神经网络模型的空气质量预测》。这是一篇算法类的文章,主要针对当前空气质量预测研究中预测精度低、效率低、缺失时间因素等问题,从时间角度提出了一种简单的空气质量预测方法——LSTM神经网络模型,使用MAPE,RMSE,R,IA和MAE等指标检测LSTM神经网络与对比模型的预测性能。实验结果表明,LSTM神经网络可以适应多个变量或多输入的时间序列预测问题,具有预测精度高、速度快和鲁棒性较强等优点,使用LSTM神经网络进行空气质量预测可以有效提高预测的准确性。     

基于IVMD-CS-LSTM的超短期风电功率预测算法设计

功率预测对提高风电电能质量、减少风电并网时对电网的冲击起着重要作用.针对风电功率数据特征，提出一种基于改进变分模态分解（Improved Variational Mode Decomposition,IVMD）的长短期记忆神经网络（Long-Short Term Memory Network,LSTM）的风电功率预测算法，并利用布谷鸟（Cuckoo Search,CS）算法对LSTM进行超参数寻优.首先，通过相关性分析，对风电场10类数据进行特征筛选，确定与功率相关性最大的两类数据作为模型的输入数据.接着，利用IVMD计算最大包络线峰度，确定变分模态分解的最佳分解参数，将原始风速序列进行分解，得到时间尺度各异的本征模态分量（Intrinsic Mode Functions,IMF）.最后，针对LSTM神经网络模型的超参数优化困难、难以得到最优解等问题，提出采用CS算法对关键超参数进行寻优，建立了IVMD-CS-LSTM预测模型，得到了风电功率短期预测结果.采用实际风电场数据对算法进行测试，与常用预测算法比较，预测结果有更高的精度.     

采用ALSTM模型的温度和降雨关联预测研究

短时的降雨和温度等预报一直是天气预报中的重要问题。为了准确和及时预测局部区域的降雨及温度,提出了一种基于Attention和LSTM组合模型(ALSTM)的关联多值预测算法。该算法利用天气时间序列中的前期数据,对下一小时的降雨量和温度进行关联预测,以此实现对天气要素的多值预测。该算法首先对输入数据进行归一化处理;然后利用数据对ALSTM模型进行训练;最后将训练好的模型用于多值预测。将ALSTM模型与LSTM、BP以及基于LSTM的深度循环神经网络(DRNN)的预测结果进行了比较。实验结果表明,ALSTM模型的温度和降雨预测精度优于比较的其他模型,其平均预测精度在97%以上。     

基于数据扩展的短时交通流量预测

多种机器学习和深度学习的模型和算法应用于短时交通流量预测,但是,大多数模型尤其是深度学习模型对训练样本的数量要求较高。为此,提出了一种基于数据扩展的短时交通流量预测方法,该方法基于自编码神经网络分别结合长短时记忆神经网络(LSTM)和支持向量机回归(SVR)构建预测模型,该模型利用自编码神经网络扩展的数据分别训练长短时记忆神经网络和支持向量回归进行交通流量的预测,结果表明,所提出的预测模型具有较高的精度和较好的泛化能力。     

基于耦合特征LSTM的船舶运动预报方法研究

采用长短期记忆(LSTM)神经网络模型对船舶在不同海况下的运动姿态进行预报．针对LSTM模型难以优化的特点,提出了一种耦合特征LSTM神经网络模型．首先对船舶运动时间序列数据进行了归一化处理;然后基于深度学习框架TensorFlow搭建了具有输入层、隐藏层和输出层的LSTM模型;接着将原始数据按照不同特征输入形式进行划分;最后采用不同耦合特征LSTM模型分别对测试样本进行预报．结果表明：相比于其他LSTM模型,六自由度耦合特征LSTM神经网络模型的预报精度有明显优势;在四级海况下,运动预报误差降低了2.1%～12.9%;在五级海况下,运动预报误差降低了2.4%～12.3%;六特征耦合LSTM模型只须进行一次计算,就能同时输出六自由度运动,可减少51.4%～82.7%的计算时间,提升了计算效率．     

基于鲸鱼算法优化长短时记忆神经网络的锂电池剩余寿命预测

为确保锂电池在军用无人机以及新能源汽车使用期间的安全性,需要对其进行全生命周期的健康监测和寿命预测。针对长短期记忆神经网络(Long Short-Term Memory, LSTM)模型参数较难选取导致所建立的锂电池剩余使用寿命预测方法精度不足问题,文中提出一种基于鲸鱼优化算法(Whale Optimization Algorithm, WOA)对LSTM的剩余寿命预测模型(WOA-LSTM)进行优化。首先使用WOA算法对LSTM的隐含层神经元数量、学习率进行寻优,避免经验选取参数的盲目性;其次将寻优后的超参数重新赋值给LSTM网络,构建与锂电池数据特征更为匹配的预测模型;最后采用NASA PCoE实验室锂电池的失效数据集验证算法的有效性。仿真结果表明,文中所提出的预测模型相较于LSTM模型、Elman模型、PSO-LSTM模型精度平均分别提升了7%、4%、3%,具有较好的预测效果。     

基于LSTM的钓鱼邮件检测系统

提出了一种基于LSTM的钓鱼邮件检测方式.该方式主要由两部分构成:分别为数据扩充部分及模型训练部分.数据扩展部分中,通过KNN与K-means算法扩大训练数据集,保证数据的数量能够满足深度学习算法的需要.在模型训练部分中,通过对数据进行预处理并将其转化为词向量矩阵,最后将转化完词向量通过训练得到LSTM神经网络模型.最终,可以根据训练好的LSTM模型将邮件分为正常邮件以及钓鱼邮件.通过实验对提出的算法进行了评估,实验结果显示提出的算法准确率可以达到95%.      

多价值链视角下基于深度学习算法的制造企业产品需求预测

多价值链协同发展背景下,制造企业没有充分考虑服务链、营销链等其他价值链对产品需求的影响。为提高制造企业产品需求预测的精度,本文提出了产品数据空间和一维卷积神经网络(One-dimensional convolutional neural networks, 1D-CNN)-长短期记忆神经网络(Long short-term memory, LSTM)的深度学习算法。首先,整合不同价值链对产品需求影响的相关数据构建产品数据空间。其次,从数据空间中获取多链数据集用于1D-CNN-LSTM模型的预测。其中,1D-CNN通过两次卷积池化操作获取数据的深层次特征,LSTM则通过进一步学习数据特征中的重要信息来进行时间序列预测。最后,通过某电气设备制造企业生产销售的环网柜产品的相关数据进行算例分析,并与其他几种模型进行预测结果比较。结果表明：1D-CNN-LSTM模型的预测效果优于神经网络模型和单一的LSTM模型。可见本文提出的1D-CNN-LSTM深度学习模型更具优越性,预测效果好。     

基于长短时记忆-反向传播级联模型的湿法脱硫系统性能预测

为利用深度强化学习实现石灰石/石膏湿法烟气脱硫(wet flue gas desulfurization, WFGD)过程中脱硫成本的运行优化,需要建立WFGD系统与强化学习的环境模型。考虑到传统WFGD系统机理建模较为复杂以及脱硫数据具有时序性特征,构建长短时记忆(long short-term memory, LSTM)网络和反向传播(back propagation, BP)神经网络结合的LSTM-BP级联模型算法,采用数据预处理技术确定模型的输入量,并以给浆密度和给浆流量作为预测量验证模型的可靠性。以国内某2×600 MW电厂WFGD系统为例,验证模型在实际工况下的应用表现。基于Python语言和TensorFlow框架下的仿真结果表明,级联模型中LSTM具有2层隐含层时相比其他传统模型具有更高的预测精确度,均方根误差(root mean squared error, RMSE)和平均绝对百分比误差(mean absolute percentage error, MAPE)分别为3.47 kg/m~3、0.28%和0.97 m~3/h、6.4%,为进一步实现脱硫成本运行优化建立了良好的前提。     

VAE_LSTM算法在时间序列预测模型中的研究

针对长短期记忆网络(LSTM)算法对时间序列预测存在的不足,考虑到样本序列如果包含线性关系或含有噪音时LSTM算法预测将不准确,同时分析了变分自编码器(VAE)对异常样本修复的原理,提出了一种改进的LSTM时间序列预测算法VAE_LSTM,将VAE网络修复样本的思想加入到传统的LSTM网络,对样本序列进行修复后再输入LSTM神经网络训练,最终建立了时间序列预测模型.阐述了模型建立的方法与步骤,详细分析了模型的原理.使用长江汉口历史水文数据序列进行仿真实验,结果表明:VAE_LSTM算法预测模型在时间序列预测方面有较好表现,满足预测精度要求,比传统LSTM时间序列预测模型的预测准确性高,尤其中短期预测更为准确;对比实验同时表明此模型准确性高于ARIMA,RNN等预测模型.     

基于改进的长短期记忆网络的调制识别算法

自动调制分类技术是无线通信技术中的一个重要研究领域,卷积神经网络以及长短期记忆网络(Long Short-Term Memory,LSTM)两种深度学习模型在基于特征的自动调制分类技术中得到了广泛的应用.然而在实际应用中这两种模型都存在着一些问题,卷积神经网络模型在处理长时间依赖序列的分类任务时的准确率不佳,LSTM模型的时间性能会随着输入数据规模的增大显著下降.针对以上问题,提出一种基于带有注意力机制的LSTM网络的调制识别算法.首先,读取一定采样长度的信号原始数据,并通过长短期记忆网络提取信号特征;然后,利用注意力机制为学习到的特征分配权重以减少数据冗余;最后,分类器根据学习到的特征输出分类结果.仿真实验结果表明,新算法能以较低的时间代价取得较高的准确率.     

高频数据下基于LSTM的协方差矩阵预测模型

协方差矩阵的建模与预测,对于金融风险管理、投资组合管理等至关重要。 针对时间序列模型 对高维变量预测精度较低的问题,利用长短记忆神经网络模型(LSTM),提出了基于深度学习的高频数据已 实现协方差矩阵预测模型。 利用金融高频数据得到已实现协方差矩阵,对其进行 DRD 分解,针对相关系数 矩阵 R 进行向量化处理,利用向量异质自回归模型(HAR)预测已实现相关系数矩阵 R;针对已实现波动率 矩阵 D,利用半协方差(semi covariance)思想,结合 LSTM 模型,得到已实现波动率矩阵 D 的深度学习预测模 型,构建了 LSTM-SDRD-HAR 已实现协方差矩阵动态预测模型。 LSTM 模型和 HAR 模型能捕捉实际数据 的长期记忆性,半协方差有利于捕捉金融数据的杠杆性。 实证分析表明:相较于传统向量 HAR 已实现协方 差矩阵预测模型,LSTM-SDRD-HAR 预测已实现协方差矩阵更为准确,基于 LSTM-SDRD-HAR 预测已实现 协方差矩阵构造的有效前沿组合投资效果更佳。     

基于长短时记忆网络的结构智能控制算法研究

为提高建筑结构智能控制的控制精度及稳定性,在长短时记忆(LSTM)网络理论基础上,提出一种基于深度学习的智能控制算法.通过构建深度学习框架,设计LSTM智能控制器,并将其性能测试结果与反向传播(BP)和径向基函数(RBF)神经网络控制器进行对比.以Benchmark模型为对象,分析了不同外部激励工况下LSTM智能控制器的泛化能力,并提出了基于结构响应的H_2范数评价指标.结果表明:BP和RBF神经网络框架的预测结果相比LSTM框架可能发生局部最优现象,且收敛精度较低;原输入工况下,LSTM控制器的误差为3.30×10~(-4),控制效果最高达65.0%;变激励工况下,LSTM控制器的响应峰值及H_2范数评价指标均优于BP和RBF神经网络控制器,说明LSTM智能控制器具有良好的控制和泛化性能.     

基于深度学习网络模型与大数据自动训练的工件缺陷识别算法研究

针对工件缺陷种类多样和特征不明显,造成机器视觉识别精度不稳定的问题,提出了一种基于深度学习网络模型与大数据自动训练的工件缺陷识别算法,并以软件工程来实现其功能。首先,对存在缺陷的工件进行取样,采集缺陷图像,建立识别标准。然后,基于深度神经网络模型和缺陷标准图像,进行模型训练,采取分批训练,逐步迭代收敛的方式,达到准确识别工件缺陷目的。最后,基于Python语言与TensorFlow框架实现深度神经网络模型,并将模型移植到C++平台调用,嵌入到商业版本软件中,实现算法的落地应用。实验测试结果显示,相对于已有的缺陷识别技术而言,本文算法具有更高的识别准确性,可为机器视觉软硬件设备提供技术基础。     

基于LSTM的短波频率参数预测

针对现有短波通信频率参数预测方法操作繁琐、预测精度不足的缺点,首次提出一种基于长短期记忆型循环神经网络（LSTM RNN）的预测方法。通过对电离层参数f0F2数据的分析,利用LSTM在处理时序相关数据时可以长期记忆网络历史数据的优势,对f0F2值进行预测。对比反向传播神经网络（BPNN）,LSTM将误差降低了7%,并将均方误差控制在2%以下。研究结果表明：基于LSTM搭建的提前预报5天的f0F2值的模型是可行的且比BP神经网络更适合预测电离层的f0F2值。     

基于LSTM神经网络的乘用车能耗预测

为改善当今石油供需矛盾和环境问题,针对乘用车提出了基于LSTM神经网络的燃油乘用车能耗预测模型。通过纵向动力学建模并匹配相应车型进行求解,结合GB/T 38146.1行驶工况数据,得出能耗随时间的变化率。构建LSTM神经网络架构,根据处理后的数据样本,对LSTM神经网络进行训练和评价。最后,通过LSTM神经网络和BP神经网络的仿真对比表明,随着迭代周期的增加,LSTM神经网络模型具有更高的精度,对能耗预测的准确性较好,对改善无人驾驶车辆的节能减排具有工程应用价值。     

基于LSTM神经网络的畸形波预测

采用长短时记忆(LSTM)神经网络预测方法对某岛礁地形模型的四个典型波浪试验数据进行预测分析,并建立了单步和多步预测模型.首先对波高时间序列数据进行归一化处理;然后建立了包括输入层、隐藏层和输出层的LSTM网络模型框架;最后对测试样本进行单步预测,将预测结果与支持向量机(SVM)模型和反向传播(BP)模型进行了对比.结果表明:LSTM神经网络预测精度有明显优势;多步预测中,提高预测时长其预测精度并无明显降低.