基于长短时记忆网络的Encoder-Decoder多步交通流预测模型

交通流序列多为单步预测.为实现交通流序列的多步预测,提出一种基于编码器解码器(encoder-decoder,ED)框架的长短期记忆网络(long short-term memory,LSTM)模型,即ED LSTM模型.将自回归滑动平均、支持向量回归机、XGBOOST、循环神经网络、卷积神经网络、LSTM作为对照组进行实验验证.实验结果表明,当预测时间步长增加时,ED框架能够减缓模型性能的下降趋势,LSTM能够充分挖掘时间序列中的非线性关系.除此之外,在单变量输入的情况下,在PEMS-04数据集上,当预测时间步长为t+1到t+12的12个时间步时,ED LSTM模型的均方根误差(root mean squard error,RMSE)及平均绝对误差(mean absolute error,MAE)分别下降0.210～5.422、0.061～0.191.相较于单因素输入,多因素输入的ED LSTM模型在12个预测时间步长下,RMSE、MAE分别下降0.840、0.136.实验证明了ED LSTM模型能够有效地用于交通流序列的多步及单因素、多因素预测任务.     

基于CNN-BiLSTM-Attention的超短期电力负荷预测

在长短期记忆神经网络(LSTM)的基础上,运用双向的长短期记忆神经网络(BiLSTM),结合卷积神经网络(CNN)提出了一个预测模型,对超短期电力负荷预测.运用合肥市2019年全年数据对该模型进行训练及预测,结果显示,CNN-BiLSTM预测精度高于CNN-LSTM预测模型,为进一步提升预测精确度,在BiLSTM神经网...     

CNLSTM模型预测城市积水

物联网平台能够为积水预测提供海量的传感器时间序列数据基础.为了精准且快速地预测城市内涝点积水趋势,提出一种基于神经网络的组合时序预测模型(CNLSTM),对多变量积水时间序列数据进行建模预测.此模型利用卷积神经网络(convolutional neural network,CNN)提取多变量数据之间的空间特征,得到具有空间相关性的特征量,利用长短时记忆网络(long short-term memory,LSTM)提取特征量之间的时间相关性预测未来积水水位.仿真结果表明,所提预测模型可以很好地捕获积水点水位与各输入量之间的非线性关系,并且比CNN,LSTM以及反向传播(back propagation,BP)神经网络具有能更好拟合实际水位的效果,更高的精度和泛化能力.此模型在城市积水预测中的有效性和适用性得到了验证,能够为积水点的提前预警、准备及汛前、汛中汛后治理方案的制定提供可靠的参考依据.     

采用ALSTM模型的温度和降雨关联预测研究

短时的降雨和温度等预报一直是天气预报中的重要问题。为了准确和及时预测局部区域的降雨及温度,提出了一种基于Attention和LSTM组合模型(ALSTM)的关联多值预测算法。该算法利用天气时间序列中的前期数据,对下一小时的降雨量和温度进行关联预测,以此实现对天气要素的多值预测。该算法首先对输入数据进行归一化处理;然后利用数据对ALSTM模型进行训练;最后将训练好的模型用于多值预测。将ALSTM模型与LSTM、BP以及基于LSTM的深度循环神经网络(DRNN)的预测结果进行了比较。实验结果表明,ALSTM模型的温度和降雨预测精度优于比较的其他模型,其平均预测精度在97%以上。     

基于耦合特征LSTM的船舶运动预报方法研究

采用长短期记忆(LSTM)神经网络模型对船舶在不同海况下的运动姿态进行预报．针对LSTM模型难以优化的特点,提出了一种耦合特征LSTM神经网络模型．首先对船舶运动时间序列数据进行了归一化处理;然后基于深度学习框架TensorFlow搭建了具有输入层、隐藏层和输出层的LSTM模型;接着将原始数据按照不同特征输入形式进行划分;最后采用不同耦合特征LSTM模型分别对测试样本进行预报．结果表明：相比于其他LSTM模型,六自由度耦合特征LSTM神经网络模型的预报精度有明显优势;在四级海况下,运动预报误差降低了2.1%～12.9%;在五级海况下,运动预报误差降低了2.4%～12.3%;六特征耦合LSTM模型只须进行一次计算,就能同时输出六自由度运动,可减少51.4%～82.7%的计算时间,提升了计算效率．     

基于多机器学习模型的逐小时PM2.5浓度预测对比

【目的】比较分析XGBoost模型、LightGBM模型、随机森林模型(RF)、K最近邻模型(KNN)、长短期记忆神经网络(LSTM)、决策树模型(DT)共6个PM_2.5浓度预测模型,以准确、及时预测环境PM_2.5浓度。【方法】基于重庆市合川区2020年全年空气质量监测数据和气象数据,通过最大相关最小冗余算法(MRMR)进行数据降维选择最优特征子集,作为模型的输入,逐一进行PM_2.5浓度预测;考虑到不同季节PM_2.5浓度差异较大,故分季节预测了PM_2.5浓度;为了探究各模型预测性能,计算了各模型运行时间和内存占用,并基于PM_2.5与特征变量的相关性和特征变量的重要性探讨了模型预测性能季节性差异原因。【结果】模型总体预测精度从高到低排序为 XGBoost、RF、LightGBM、LSTM、KNN、DT模型;预测性能方面,6个模型均表现为秋冬季节预测精度高于春夏季节;LightGBM模型可在保证模型精度的情况下,大幅减少模型训练时间和内存占用;特征重要性显示PM₁₀浓度、气温和气压的重要性高,O₃浓度、风向和NO₂浓度重要性相对较弱。【结论】采取MRMR方法进行数据降维选取的最优特征子集能较好地预测PM_2.5浓度;相比较而言,XGBoost、RF、LightGBM、LSTM模型在PM_2.5浓度预测上具有较优性能,其中综合性能较好的为LightGBM模型。     

基于无迹卡尔曼滤波的LSSVR在线多步时间序列预测

准确宽范围多步预测在时间序列预测应用中带来了巨大挑战.提出了一种基于最小二乘支持向量回归(LSSVR)和无迹卡尔曼滤波(UKF)的在线多步预测方法,利用时间滑动窗口减小算法的计算负荷,UKF方法实现LSSVR模型参数更新以提高预测精度.当预测范围达到预定步长p时,由核宽度σ、支持值参数{α_k}_k~L_(=1)以及偏移项b所构成的模型参数通过新的测量值和UKF进行在线更新.提出的方法不仅以较少的训练数据建立在线预测模型(所需训练数据集大小为相空间维数与滑动窗口长度之和),且多步预测值的精度相比于传统方法得到进一步提高.最后,通过几个实验研究论证了提出方法的有效性和优越性.     

基于递归神经网络的多步预报方法

为了解决由多层前馈神经网络递推运算获得的多步预报存在的预报误差迭代累积问题 ,提出了基于局部递归神经网络的多步递归神经网络 (MSRN)模型 ,对时间序列进行了多步预报 .用模拟振动数据把MSRN模型用作单步和多步的预报能力 ,同经典的多层前馈神经网络进行了比较 ,并预报了天津石化总公司炼油厂大机组某测点振动的变化趋势 实践表明 ,用该方法进行多步预报误差小 ,并具有良好的预报能力 .     

基于PLS-PSO-Elman的飞机燃油流量预测

传统的Elman神经网络处理高维度、多样本的复杂数据时,将出现一系列问题.如网络结构冗余、训练不完善、学习精度差等.这些缺陷不仅会导致网络工作效率低,而且还会使其识别精度差.将偏最小二乘回归(partial least squares,PLS)和粒子群算法(particle swarm optimization,PSO)与Elman神经网络相结合,提出了一种基于PLS和PSO优化的Elman神经网络算法(PLS-PSO-Elman).该算法通过PLS减少数据维度,获得较为理想的低维数据,达到简化网络结构的目的;然后利用PSO算法优化神经网络连接权重、阈值和隐含层神经元数量,弥补Elman算法训练不完善、学习精度差的缺陷;最后基于PLS与PSO双重优化的新算法对飞机燃油流量进行预测.实验表明,新算法有较高的运算效率与预测精度.     

基于季节性自回归积分滑动平均与深度学习长短期记忆神经网络的降水量预测

降水量数据是一种非线性、非平稳的时序序列,传统的方法较难获取数据的变化规律,深度学习LSTM能较好地处理好多要素变量与降水量之间的非线性关系。本文利用扬州市区1960-2019年8种气象基本要素数据,采用传统SARIMA和深度学习LSTM神经网络方法对降水量数据进行预测比对,并着重分析了LSTM在不同类型不同输入与输出模式形态下的预测水平差异。结果表明：(1)传统的SARIMA模型中静态模式较动态模式能更好地反映出扬州市区月降水量数据变化趋势,且与实际值差距较小。动态模式容易造成误差累积或整体易呈现周期性稳态变化,实时性欠缺。(2)深度学习LSTM 多输入单输出动态预测模式下,完整周期的数据输入可以让神经网络更好地学习数据的变化规律。然而将多个周期数据作为一个输入单位,易造成模型过拟合。LSTM模型(look_back=12)对扬州市区月降水量预测精度优于传统的SARIMA模型,RMSE训练值低0.02。(3)LSTM多输入单输出动态模式(look_back=12)较LSTM多输入多输出静态模式,RMSE测试值低0.33,体现出该模式对扬州市区月降水量预测准确度更高。与此同时,M-LSTM多输入多输出静态模式预测准确度优于LSTM多输入多输出静态模式,RMSE测试值低0.19,反映出M-LSTM多输入多输出静态模式的优点。     

基于GPS轨迹数据的货车交通流量需求预测循环神经网络模型

动力性差、尺寸大是货车影响道路交通流运行效率的重要原因,为提高货车运行效率,对快速路货车流量预测问题进行研究.基于货车GPS轨迹数据,构建长短时循环神经网络(Long Short Term Memory,LSTM),门控神经单元(Gated Recurrent Unit,GRU),双向长短时记忆网络(Bidi-rectional Long Short Term Memory,Bi-LSTM)和双向门控神经单元(Bidirectional Gated Recurrent Unit,Bi-GRU)四种货车交通流量需求预测循环神经网络模型.研究结果表明:货车交通流量需求预测循环神经网络模型对货车交通流量具有很好的预测能力,平均预测精度为91.55％,较ARIMA高出10.45％;GRU模型对整体货车流量序列预测精度最高;低峰时段平均预测精度高于高峰时段,LSTM在波动较强的高峰时段预测精度最高,为96.83％;Bi-GRU在低峰时段的预测精度最高,为97.66％.研究成果将为政策制定者选用合适的循环神经网络模型,精准预测货车流量,提高货车交通运行效率提供理论和技术支持.     

基于PSO-BP的钻井机械钻速预测模型

机械钻速预测是优化钻进过程、提高钻井效率的关键技术,现有的计算模型主要建立在物理实验和理论分析的基础上,缺少对钻井工程实测数据的应用,导致计算精度难以满足复杂的现场需求.基于此,提出一种人工智能算法与BP(back propagation)神经网络相结合的钻井机械钻速预测模型.首先,利用小波滤波方法对实测数据进行降噪处理,并依据互信息关联分析优选输入参数降低模型冗余.其次,利用粒子群优化(particle swarm optimization,PSO)算法实现对BP神经网络初始权值、阈值的优化,建立机械钻速预测新模型,并将PSO-BP新模型与标准BP、BAS(Beetle Antennae Search,天牛须算法)-BP及GA(genetic algorithm,遗传算法)-BP等三种模型进行对比分析.最后,根据实际工况对PSO-BP钻井机械钻速预测模型进行模型评价.结果表明,PSO-BP机械钻速预测模型不仅具有良好的预测精度,而且为钻进过程中提高机械钻速提供科学的参考.     

基于二次模态分解的LSTM短期电力负荷预测

为进一步提高短期电力负荷的预测精度,需要更深层次发掘负荷数据中隐藏的非线性关系。提出一种基于信号分解技术的二次模态分解的长短期记忆神经网络(long short-term memory network, LSTM)用于电力负荷的短期预测。所提算法先对原始负荷序列进行自适应噪声的完全集合经验模态分解(complete ensemble empirical mode decomposition with adaptive noise, CEEMDAN),再将CEEMDAN分解后分量中的强非平稳分量进行变分模态分解(variational mode decomposition, VMD),同时用中心频率法对VMD分解个数进行优化,然后将两次分解后得到的负荷子序列送入LSTM中进行预测,并将所得分量预测结果进行叠加。结果表明,本文所提方法对短期电力负荷预测结果精度和模型性能都有较大提升。     

基于CNN-LSTM混合神经网络的光伏发电量预测方法研究

光伏发电量受天气状况,光伏逆变器的质量,光伏组件的清洁度等诸因素影响,其中天气状况的时序性变化较大程度影响发电量。针对不同地区天气时序性变化导致的光伏发电量预测不准确等问题,提出了一种由卷积神经网络(CNN)和长短期记忆(LSTM)混合模型的光伏发电量预测方法,其中通过CNN建立地域之间的空间相关性,LSTM捕捉发电数据之间的时间依赖关系。对神木县红民发电厂和庆城县绿能动力发电厂的光伏发电数据进行测试,实验结果表明,本文所提出的CNN-LSTM混合神经网络方法在光伏发电量预测方面具有较高的准确性和稳定性,比LSTM神经网络模型精度提升4.3%左右。     

指数趋势预测的BP-LSTM模型

本文根据股指、股价等数据的时序特征将人工神经网络(ANN)与深度学习中的循环神经网络(RNN)引入股指预测,基于BP神经网络模型与长短期记忆(LSTM)神经网络模型构建了BP-LSTM模型.基于上证指数,本文进行了进行数值实验.结果表明BP-LSTM预测模型的准确率相比传统机器学习模型有明显提升,与普通LSTM模型相比也有较大提升.     

基于长短期记忆神经网络模型的空气质量预测

随着城市化和工业化的快速发展,空气污染问题日益突出,空气质量预测显得尤为重要。当前一些有代表性的研究对空气质量进行实时监测和预报,例如周广强等采用数值预报的方法对中国东部地区的空气质量进行分析,但其实验结果表明该方法难以预测非常重的污染;SANKAR等使用多元线性回归对空气质量进行预测,但其实验结果表明线性模型预测精度低、效率慢;PéREZ等使用统计方法对空气质量进行预测,实验结果证明统计方法的预测精度比较低;WANG等采用改进的BP神经网络建立了空气质量指数的预测模型,其实验验证了BP神经网络收敛速度慢、容易陷入局部最优解的问题;YANG等利用相邻网格的空气质量浓度效应,建立了基于随机森林的PM_(2.5)浓度预测模型,通过实验过程证明网格划分程序削弱了后续空气质量分析的质量和效率。这些方法都难以从时间角度建模,其中预测精度低是比较重要的问题。因为预测精度低可能会导致空气质量预测结果出现较大的误差。针对空气质量研究中预测精度低的问题,提出了基于长短期记忆单元(long short-term memory,LSTM)的神经网络模型。该模型使用MAPE,RMSE,R,IA和MAE等指标来检测LSTM神经网络与对比模型的预测性能。由于Delhi和Houston是空气污染程度比较严重的城市,所以使用的实验数据集来自Delhi的Punjabi Bagh监测站2014—2016年的空气质量数据和Houston的Harris County监测站2010—2016年的空气质量数据。LSTM神经网络与多元线性回归和回归模型(SVR)的比较结果表明,LSTM神经网络适应多个变量或多输入的时间序列预测问题,LSTM神经网络具有预测精度高、速度快和较强的鲁棒性等优点。     

基于鲸鱼算法优化长短时记忆神经网络的锂电池剩余寿命预测

为确保锂电池在军用无人机以及新能源汽车使用期间的安全性,需要对其进行全生命周期的健康监测和寿命预测。针对长短期记忆神经网络(Long Short-Term Memory, LSTM)模型参数较难选取导致所建立的锂电池剩余使用寿命预测方法精度不足问题,文中提出一种基于鲸鱼优化算法(Whale Optimization Algorithm, WOA)对LSTM的剩余寿命预测模型(WOA-LSTM)进行优化。首先使用WOA算法对LSTM的隐含层神经元数量、学习率进行寻优,避免经验选取参数的盲目性;其次将寻优后的超参数重新赋值给LSTM网络,构建与锂电池数据特征更为匹配的预测模型;最后采用NASA PCoE实验室锂电池的失效数据集验证算法的有效性。仿真结果表明,文中所提出的预测模型相较于LSTM模型、Elman模型、PSO-LSTM模型精度平均分别提升了7%、4%、3%,具有较好的预测效果。     

基于神经网络的IGBT结温预测

针对大电流下绝缘栅型双极晶体管(IGBT)饱和压降和集电极电流与结温之间的非线性关系带来的结温预测难题,搭建了大电流下IGBT饱和压降测试系统,获取了结温和集电极电流与饱和压降之间的非线性关系曲线,分析了关系曲线变化规律对应的物理机制.采用Matlab软件建立了误差反向传播(BP)神经网络模型和径向基函数(RBF)神经网络模型进行结温预测.与多项式数学模型预测结果对比表明:两种神经网络模型的预测相对误差和预测误差90%置信区间比多项式数学模型更小,结温预测精度更高;并且BP神经网络模型的预测精度高于RBF神经网络模型,结温预测模型选择时应优先考虑BP神经网络模型.     

融合注意力机制的煤层气产量动态预测

为了提升煤层气产量的预测精度,提出融合注意力(Attention)机制并结合卷积神经网络（convolutional neural networks,CNN）和长短期记忆神经网络（long short term memory,LSTM)的煤层气产量动态预测模型。利用随机森林变量筛选方法,确定井底流压、动液面高度、套压、冲次为排采过程中影响煤层气产量的主控因素;利用CNN信息提取优势,提取煤层气排采数据的特征向量,并将特征向量作为LSTM网络的输入;再将LSTM隐含层融合注意力机制提取重要信息权重,有效解决信息长期依赖性和信息丢失。实验结果表明：融合注意力机制的CNN-LSTM煤层气产量动态预测模型各方面均表现较优。具体表现为：1. 模型预测性能较好,利用不同模型对比预测,改进后的煤层气产量预测模型精度最高,比标准的LSTM预测精度提升了3%~4%;2. 泛化性能较优,预测同一区块不同生产天数的6口煤层气井产量时,预测60天日产气量的平均相对误差均小于5%,预测200天日产气量的平均相对误差均小于8%。     

基于集成式长短期记忆神经网络模型的股价涨跌预测分析

在股价预测领域,预测的准确率比估计的相合性更有价值,因此保证相合估计的传统线性模型正逐渐被长短期记忆神经网络(long short-term memory,简称LSTM)等深度学习方法替代.然而,影响股价的因素是多源的,不仅包括股市历史交易信息,还包括企业基本面信息和宏观经济信息等,这些不同来源的信息间有长期确定关系,而关于此关系的数据记忆会被传统LSTM模型在学习过程中抛弃.构建"集成式长短期记忆神经网络模型"即ensemble LSTM,应用动态网络生成机制保证不同来源数据间的长期均衡关系不会被遗忘,且采用多个LSTM并联,让各神经网络独立处理单来源数据,再通过稠密层融合,因此该模型具有节约运算资源的能力.随机选取了16支个股,对比LSTM和ensemble LSTM在预测股价涨跌方面的性能,发现后者在节约运算资源上具有优势,且准确率也大多高于前者.