基于Attention机制和ResNet的CNN-BiLSTM短期电力负荷预测模型研究

短期电力负荷预测有利于电力系统的高效运行,对电力市场实现有效调度有重要意义。短期电力负荷受多种因素影响,波动性大、随机性强,使得其预测准确率低。双向长短期记忆网络和卷积神经网络难以在短期负荷序列中提取足够多的信息,本文提出了一种结合注意力机制和残差网络的卷积神经网络-双向长短期记忆网络短期负荷预测方法。首先利用基准模型卷积神经网络-双向长短期记忆网络对输入特征进行信息提取,然后利用注意力机制突出提取到的关键信息,最后通过残差网络创建残差层以充分学习时序特征。通过某公开数据集进行实验,结果表明该方法的平均绝对百分比误差达到2.80%,均方根误差达到2.15,并与常用的五种模型预测结果对比,验证了所提模型的准确性及有效性。     

基于CNN-LSTM-lightGBM组合的超短期风电功率预测方法

近年来,风电装机规模逐年增加,风电数据采集量呈现规模化增长,面对海量多维、强波动的风电数据,风电功率预测精度仍面临一定的挑战。为提高风电功率预测精度,提出了基于卷积神经网络(convolutional neural networks, CNN)-长短期记忆网络(long short-term memory, LSTM)和梯度提升学习(light gradient boosting machine, lightGBM)组合的超短期风电功率预测方法。首先,分别建立CNN-LSTM和lightGBM的风电功率超短期预测模型。其中,CNN-LSTM模型采用CNN对风电数据集进行特征处理,并将其作为LSTM模型的数据输入,从而建立CNN-LSTM融合的预测模型;然后,采用误差倒数法对CNN-LSTM和lightGBM的预测数据进行加权组合,建立CNN-LSTM-lightGBM组合的预测模型;最后,采用张北曹碾沟风电场的风电数据集,以未来4 h风电功率为预测目标,验证了组合模型的有效性。预测结果表明：相较于其他3种单一模型,组合模型具有更高的预测精度。     

短期风力发电负荷预测的新方法

以陆上风力发电负荷数据作为研究对象,将注意力机制引入双向长短期记忆与卷积神经网络（CNN）的混合模型来预测短期电力负荷．结果显示:1）注意力机制通过对不同时步的输入进行加权,能够显著提升双向长短期记忆网络的预测性能;2）双向长短期记忆网络-CNN结构比CNN-双向长短期记忆网络结构更适用于短期负荷预测,前者相较后者能够充分利用时序信息,不会在输入初期就丢失关键信息;3）基于注意力机制的双向长短期记忆网络-CNN混合模型的均方根误差（RMSE）、平均绝对百分比误差（MAPE）分别达到了575.35和7.02%,比次佳模型（基于注意力机制的双向长短期记忆网络-CNN混合模型）分别降低了2.75%和9.65%,其在风电短期负荷预测方面有很好的应用前景．      

基于CNN-BiLSTM-Attention的超短期电力负荷预测

在长短期记忆神经网络(LSTM)的基础上,运用双向的长短期记忆神经网络(BiLSTM),结合卷积神经网络(CNN)提出了一个预测模型,对超短期电力负荷预测.运用合肥市2019年全年数据对该模型进行训练及预测,结果显示,CNN-BiLSTM预测精度高于CNN-LSTM预测模型,为进一步提升预测精确度,在BiLSTM神经网络后面连接了一个Attention在输出,发现其预测精度进一步提升了.     

基于GWO-CNN-BILSTM的超短期风电预测

在未来高渗透率风电场景下,超短期风电功率预测研究对于实现电力系统优化运行具有重要意义。为此,提出一种基于GWO-CNN-BiLSTM的超短期风电预测方法。首先,搭建基于卷积神经网络(convolutional neural network, CNN)与双向长短期记忆神经网络(bidirectional long short term memory, BiLSTM)的组合模型,然后,为提升风电预测结果的精度,通过灰狼优化算法(grey wolf optimizer, GWO)对组合模型进行优化,使该组合模型参数能实时适应风电历史数据。最后,仿真结果验证了所提出方法的有效性和优越性。     

基于完全集成经验模态分解和模糊熵分频的短期风电功率预测

随着风电接入电力系统的比例日益增大,准确的风电功率预测显得愈发重要。为此,提出了一种基于模糊熵和完全集成经验模态分解(complete ensemble empirical mode decomposition with adaptive noise,CEEMDAN)的短期风电功率预测模型。采用完全集成经验模态分解将原始风电功率序列进行分解,得到一系列不同频率的子序列。再使用模糊熵(Fuzzy Entropy,FE)算法识别各频率分量特征,将子序列分量分为高、中频分量类和趋势项。趋势项为低频分量,具有较为平稳,波动性小的特点,采用麻雀算法(sparrowSsearch algorithm,SSA)优化支持向量回归(support vector regression,SVR)进行预测；高、中频分量的波动性大且特点较为复杂,则采用SSA优化长短期记忆神经网络(Long Short-Term Memory,LSTM),同时引入注意力机制(Attention Mechanism,AM)对重要信息进行更好的权值分配。最后,经过实验结果分析表明,该模型具有更高的风电功率预测精度。     

基于融合多注意力机制的深度学习的盾构荷载预测方法

盾构荷载作为盾构的主要性能指标,准确的荷载预测对于保证盾构安全高效工作和周边环境稳定具有重要意义.鉴于传统预测方法精度差的局限性,本研究以数据的高维度特征和时序特征为切入点,提出一种结合卷积神经网络、双向长短期记忆神经网络和注意力机制的混合模型(CNN-BiLSTM-Multiattention, CBM),对盾构荷载进行精准预测.该模型不仅可以提取数据的高维度特征和时序特征,还能突出高维度特征的重要性和关键时间节点信息.通过实验证明了相较于4种现有的模型,本文所提出的模型在3种评价指标上均优于其他模型,对推力和扭矩预测的准确率达到94.2%和96.2%.     

基于AM-LSTM模型的超短期风电功率预测

近年来,中国的风力发电产业高速发展。然而风力发电具有不稳定性,风电功率超短期预测结果的准确性直接影响到电网安全有效的运行。为了进一步提高风电功率超短期预测的精确度,提出了长短期记忆网络-注意力模型(AM-LSTM)风电功率预测模型,该模型将长短期记忆网络(long-term and short-term memory,LSTM)和注意力模型(attention model,AM)相结合, LSTM网络能够处理好风速、风向等时间序列变量与风电功率之间的非线性关系,注意力模型能够优化LSTM网络的权重,从而使预测结果更加准确。采用真实的风电场历史数据进行实验,结果表明:提出的AM-LSTM预测模型能够有效利用多变量时间序列数据进行风电场发电功率的超短期预测,比传统的BP神经网络和LSTM网络具有更精确的预测效果。该预测模型为风电场地电力调度提供了科学参考。     

基于ARIMA与神经网络的备件需求组合预测方法

针对备件需求量波动大预测精度不高的问题,提出一种基于差分自回归移动平均(ARIMA)、BP神经网络、串联的卷积与长短期记忆神经网络(CNN-LSTM)组合模型的备件需求预测方法。该方法能够充分发挥ARIMA模型出色的线性拟合能力和神经网络突出的非线性拟合能力,克服了单一方法的局限性,并通过实例分析,验证了该组合预测模型的预测精确度高于单一预测模型。     

基于长短时记忆网络的Encoder-Decoder多步交通流预测模型

交通流序列多为单步预测.为实现交通流序列的多步预测,提出一种基于编码器解码器(encoder-decoder,ED)框架的长短期记忆网络(long short-term memory,LSTM)模型,即ED LSTM模型.将自回归滑动平均、支持向量回归机、XGBOOST、循环神经网络、卷积神经网络、LSTM作为对照组进行实验验证.实验结果表明,当预测时间步长增加时,ED框架能够减缓模型性能的下降趋势,LSTM能够充分挖掘时间序列中的非线性关系.除此之外,在单变量输入的情况下,在PEMS-04数据集上,当预测时间步长为t+1到t+12的12个时间步时,ED LSTM模型的均方根误差(root mean squard error,RMSE)及平均绝对误差(mean absolute error,MAE)分别下降0.210～5.422、0.061～0.191.相较于单因素输入,多因素输入的ED LSTM模型在12个预测时间步长下,RMSE、MAE分别下降0.840、0.136.实验证明了ED LSTM模型能够有效地用于交通流序列的多步及单因素、多因素预测任务.     

基于CNN-Transformer的锂离子电池健康状态估计

目的 健康状态是评估锂离子电池状态的关键参数,对锂离子电池的安全使用有着十分重要的意义,为了获得准确可靠的健康状态估计结果,建立基于卷积神经网络和Transformer的锂离子电池健康状态估计方法,利用不同模型的数据挖掘特性,将健康指标的深层信息和随循环周期增加的时序信息并行提取。方法 从锂离子电池放电过程中的部分电压和温度曲线中提取3个与健康状态相关性较强的健康指标作为模型输入,利用卷积神经网络强大的特征提取能力挖掘健康指标的局部特征,利用Transformer的顺序处理能力挖掘健康指标的时序特征,将健康指标的局部特征和时序特征进行特征融合,通过卷积和全局平均池化层输出健康状态估计值。结果 本研究使用MIT数据集进行实验验证,并与卷积神经网络和长短时记忆神经网络进行对比分析,所提出的方法的均方根误差和平均绝对误差是最低的,为0.11和0.08,最小相对误差为0.61%。结论 所提出的CNN-Transformer健康状态估计采用不同模型挖掘健康指标不同的特征信息,能够充分利用锂离子电池放电数据,且具有良好的估计效果。     

多尺度卷积循环神经网络的情感分类技术

结合卷积神经网络对于特征提取的优势和循环神经网络的长短时记忆算法的优势,提出一种新的基于多尺度的卷积循环神经网络模型,利用卷积神经网络中的多尺寸滤波器提取出具有丰富上下文关系的词特征,循环神经网络中的长短时记忆算法将提取到的词特征与句子的结构联系起来,从而完成文本情感分类任务.实验结果表明:与多种文本情感分类方法相比,文中算法具有较高的精度.     

机器学习模型在地下水埋深模拟中的适应性分析

基于京津冀气象、社会资料及地下水埋深数据,构建支持向量机(SVM)、循环神经网络(RNN)和长短期记忆神经网络(LSTM)模型对京津冀地区13个城市地下水埋深进行了模拟,并以确定系数、均方根误差、平均绝对百分比误差、纳什系数对3个模型的适应性进行了评价。结果表明：LSTM模型模拟效果最好,其次是RNN,SVM最差;不同城市基于LSTM模型进行地下水埋深模拟时参数调整最少,适应性最好,SVM模型参数调整最多。将3个模型应用于随机选择的6个测站进行验证,在华北地区浅层地下水埋深模拟方面,LSTM模型模拟精度和可信度最好,适应性最强,是该地区地下水埋深模拟的首选机器学习模型。     

毫米波雷达数据驱动的桥梁挠度预测

为监测公路桥梁健康状况从而保证车辆行驶桥面的安全性,基于毫米波雷达监测的桥梁挠度数据,结合深度学习理论,提出了一种基于卷积神经网络（convolutional neural network, CNN）与门控制循环单元（gate recurrent unit, GRU）组合的桥梁挠度预测模型。首先,获取高速公路大桥高精度挠度数据,通过数据预处理,在保留原始数据特征的基础上,修复部分噪声数据;其次,将处理后的样本数据、时间步长和特征数的三维数据,以桥梁挠度数据序列构造的输入矩阵作为输入层,经过CNN-GRU组合模型的密集连接层后,输出预测桥梁挠度值。最后,选取具有代表性的监测点数据,利用均方根误差 (root mean square error, RMSE)、平均绝对误差 (mean absolute error, MAE)、平均百分比误差 (mean absolute percentage error, MAPE)进行预测效果验证。结果表明,CNN-GRU模型的精度更高：较于传统LSTM（long short-term memory）模型在RMSE上提升了59.65%,MAE提升了61.30%;较于CNN-LSTM模型在RMSE上提升了2.48%,MAE提升了4.87%。其对于桥梁挠度极值及趋势的判断基本准确,可以作为桥梁健康状况预测的科学依据。     

基于数据增强技术与CNN-BiLSTM-Attention的油田注水流量预测及效果

准确识别地层注水情况是油田开发的重要前提,对制定合理的注水发展规划也具有重要的指导意义。为准确预测注水,提出一种结合卷积神经网络、双向长短期记忆网络与注意力机制的油田注水流量预测方法,该方法首先将卷积神经网络(convolutional neural network,CNN)和双向长短期记忆网络(bidirection long short-term memory,BiLSTM)进行联合,用于捕获注水流量的复杂非线性时空关系,然后采用注意力机制来关注输入的重要特征。并针对油田历史数据匮乏问题,提出使用数据增强技术来增加一维时间序列的数据量。采用国内某油田注水井真实历史注水数据进行实验,研究结果表明,本研究中提出的CNN-BiLSTM-Attention预测模型的平均绝对误差(Mmean absolute error,MAE)、均方根误差(root mean square errorRoot Mean Square Error, RMSE)、平均绝对百分比误差(mean absolute percentage errorMean Absolute Percentage Error,MAPE)和决定系数(Ccoefficient of Ddetermination,R2)MAE、RMSE、MAPE 和R2 分别为0.027、0.043、9.936和0.968,通过多种模型对比,表明该方法具有较高的预测精度,可以更准确地预测注水流量。此外,研究还证实,采用数据增强技术可以有效提高模型的预测精度。研究成果可为油田精细化注水提供调整方案与高质量数据,从而为油田智能化开发提供理论依据。     

利用SVM-LSTM-DBN的短期光伏发电预测方法

为解决传统预测算法的不足,利用深度信念网络(DBN)耦合支持向量机(SVM)和长短期记忆神经网络(LSTM),提出一种新的光伏功率组合预测方法.分别构建以高斯径向基函数为核函数的支持向量机预测模型、4层长短期记忆神经网络为单项预测模型,通过深度信念网络组合,优化预测结果并输出.根据实际出力和预测结果的误差,利用DBN动态调整以获得最优值,进一步验证SVM-LSTM-DBN模型的有效性和准确性,并以新疆维吾尔自治区某光伏电站的实测数据进行仿真验证.结果表明:基于SVM-LSTM-DBN组合的光伏出力预测模型与单一模型相比,预测精度明显提高.     

基于CNN-BiLSTM的脑电情绪分类模型及验证

情绪在人们的思考、行为和交流方式中起着重要作用。为提高脑电信号的情绪识别准确率,充分利用脑电信号的频率、空间和时间维度上的信息,提出一种基于CNN-BiLSTM(convolutional neural networks-bidrectional long short term memory)的脑电情绪分类神经网络模型。该模型由卷积神经网络和多层特征融合的双向长短时神经网络构成,卷积神经网络用于学习脑电信号的频率和空间特征,双向长短时神经网络则从卷积神经网络的输出中挖掘脑电切片之间的时序信息。借助离散情绪模型的SEED(sjtu emotion eeg dataset)数据集和连续情绪模型的DEAP(database for emotion analysis using physiological signals)数据集来进行情绪分类实验。实验结果表明,在SEED和DEAP两个数据集上,CNN-BiLSTM模型均取得了目前最好的情绪分类性能。此外,该模型的时序信息挖掘模块性能优于单层长短时神经网络,能够学习更多的时序信息。