基于Attention机制和ResNet的CNN-BiLSTM短期电力负荷预测模型研究

短期电力负荷预测有利于电力系统的高效运行,对电力市场实现有效调度有重要意义。短期电力负荷受多种因素影响,波动性大、随机性强,使得其预测准确率低。双向长短期记忆网络和卷积神经网络难以在短期负荷序列中提取足够多的信息,本文提出了一种结合注意力机制和残差网络的卷积神经网络-双向长短期记忆网络短期负荷预测方法。首先利用基准模型卷积神经网络-双向长短期记忆网络对输入特征进行信息提取,然后利用注意力机制突出提取到的关键信息,最后通过残差网络创建残差层以充分学习时序特征。通过某公开数据集进行实验,结果表明该方法的平均绝对百分比误差达到2.80%,均方根误差达到2.15,并与常用的五种模型预测结果对比,验证了所提模型的准确性及有效性。     

多通道CNN-BiLSTM的短时温度预测

温度数据具有明显的反向、时序相关性及多尺度特征，提升温度预测精度的关键在于能否有效提取温度数据的上述特征.为提取这些特征，该文提出一种多通道卷积双向长短期记忆网络(convolutional neural network-bidirection long short-term memory, CNN-BiLSTM)的短时温度预测模型.该模型首先利用双向长短期记忆网络(BiLSTM)提取数据的反向特征、时序相关性特征；再利用多通道且不同尺寸、不同膨胀率的卷积神经网络(CNN)提取数据的多尺度特征，组成在学习多尺度特征后的数据，将其和原始数据作为BiLSTM层的多通道输入，输出的数据经过全连接层，形成最终的预测结果.实验结果表明：多通道CNN-BiLSTM的短时温度预测模型能有效地提取数据的时序相关性、反向及多尺度特征，可有效地提升温度预测精度，是一种行之有效的短时温度预测模型.     

短期风力发电负荷预测的新方法

以陆上风力发电负荷数据作为研究对象,将注意力机制引入双向长短期记忆与卷积神经网络（CNN）的混合模型来预测短期电力负荷．结果显示:1）注意力机制通过对不同时步的输入进行加权,能够显著提升双向长短期记忆网络的预测性能;2）双向长短期记忆网络-CNN结构比CNN-双向长短期记忆网络结构更适用于短期负荷预测,前者相较后者能够充分利用时序信息,不会在输入初期就丢失关键信息;3）基于注意力机制的双向长短期记忆网络-CNN混合模型的均方根误差（RMSE）、平均绝对百分比误差（MAPE）分别达到了575.35和7.02%,比次佳模型（基于注意力机制的双向长短期记忆网络-CNN混合模型）分别降低了2.75%和9.65%,其在风电短期负荷预测方面有很好的应用前景．      

基于宽卷积核神经网络与BiLSTM的渔船轨迹分类方法

【目的】针对使用船舶自动识别系统(automatic identification system, AIS)数据进行船舶类型识别中原始特征较少和时空特征利用不充分的问题,提出了基于数据块的双向长短期记忆卷积神经网络的渔船类型分类方法。【方法】首先将数据以数据块的形式输入模型,保留短时内的时序特征;然后利用宽卷积核深度卷积神经网络(wide convolutional kernel deep convolutional neural network, WDCNN)模型首层的大卷积对数据进行特征提取;最后采用双向长短期记忆网络(bidirectional long-short-term memory networks, BiLSTM)提取数据的深层时间信息,得到最终的船舶分类结果。【结果】在真实的船舶AIS数据集上进行测试后发现：本模型较主流船舶分类模型对渔船分类的正确率有一定的提升,F₁值达到了5%左右的提高。【结论】本试验模型更有利于海事部门对渔船的监管,同时对海上渔场、鱼群分布的研究也有一定的参考价值。     

采用运动传感器的人体运动识别深度模型

针对传统机器学习方法在采用运动传感器数据的人体运动识别领域中识别效果严重依赖人工特征且准确率受限的问题,提出一种改进的卷积网络与双层长短期记忆网络的深层混合(VGGLSTM)模型以实现特征自提取并进行运动识别。该模型结合传感器数据层状、时序的结构特点,将多维传感器数据类比于图像的RGB矩阵进行适应性处理;由一维串联卷积网络与双层长短期记忆网络复合而成。实验结果表明,在开源的人体运动识别(HAR)数据集和无线传感器信息控掘(WISDM)数据集上采用该模型的人体运动识别方法的平均准确率分别达到了97.17%和96.53%,该模型可以有效避免复杂的特征工程,在人体运动识别问题中具有很好的准确性和适应性。     

基于Mixup数据增强的LSTM-FCN时间序列分类

在时间序列分类任务中,针对时间序列数据少和多样性导致深度学习模型准确率不高的问题,提出Mixup数据增强的长短期记忆网络–全卷积网络(LSTM-FCN)时间序列分类算法.该算法首先使用Mixup对原始数据进行数据增强,通过简单的线性插值对时序数据进行混合,得到新的混合之后的增强数据;然后使用增强数据训练LSTM-FCN...     

基于经验模态分解-粒子群优化-长短期记忆的车间电力能耗预测方法

针对传统能耗预测方法不能充分提取数据特征并利用神经网络的学习、预测能力，提出了一种基于经验模态分解-粒子群优化-长短期记忆(EMD-PSO-LSTM)的电力能耗预测模型。该模型首先采用经验模态分解算法将时间序列数据分解为多个本征模函数分量和趋势分量，然后对每个分量分别建立长短期记忆网络进行预测。各个长短期记忆网络的参数则由粒子群算法分别进行最优化求解，最后将所有分量的预测结果进行叠加得到最终的能耗预测结果。将预测结果与实际能耗数据进行对比分析来验证所提模型的预测性能。试验结果表明，该方法能够对电力能耗数据进行合理预测，预测精度较高。     

融合空间和统计特征的CNN-GRU臭氧浓度预测模型研究

近年来，空气污染问题备受关注，近地面臭氧逐渐成为我国部分城市的首要污染物，因此对臭氧浓度的精准预测尤为重要.为了进一步提高臭氧浓度预测的精度，提出一种融合空间特征和统计特征的卷积神经网络和门控循环单元（Convolutional Neural Networks and Gate Recurrent Unit,CNN-GRU）臭氧浓度组合预测模型.首先，通过对时空因素以及其他大气污染物与臭氧浓度进行相关性分析，利用基于统计域的方法和克里金插值法对臭氧浓度时序数据进行预处理来提取臭氧浓度数据的时空特征，采用并联杂交CNN和GRU结构的组合预测模型得到最终的臭氧浓度预测结果 .实验结果表明，CNN-GRU组合预测模型预测未来一小时的臭氧浓度可决系数、均方根误差和均方误差的值分别为0.9598,11.9508和8.2753，未来两小时的臭氧浓度可决系数、均方根误差和均方误差的值分别为0.8985,18.5373和13.0045，优于独立的CNN、长短期记忆（LongShortTermMemory,LSTM）网络、GRU、卷积-长短期记忆网络（Convolutional LSTM Network...     

超短期风电功率预测的混合深度学习模型

针对风电功率预测(WPF)问题,提出一种基于离散小波变换(DWT)、时间卷积网络(TCN)和长短期记忆(LSTM)神经网络的混合深度学习模型(DWT-TCN-LSTM),对超短期风电功率进行预测.将DWT-TCN-LSTM模型分别与差分整合移动平均自回归(ARIMA)模型,支持向量回归(SVR)模型,长短期记忆神经网络模型和卷积长短期记忆(TCN-LSTM)混合模型进行对比实验,通过对称平均绝对百分比误差(SMAPE),均方根误差(RMSE)和平均绝对误差(MAE)3种评价指标值对各个模型进行评价.实验结果表明:DWT-TCN-LSTM模型具有较好的预测性能.     

基于多变量时间序列模型的高含水期产量预测方法

针对油田高含水期地质条件复杂、地层物性变化多样导致产量预测正确率低的问题,提出一种基于多变量时间序列模型即多变量长短期记忆神经网络(LSTM)的产量预测方法。在基于极限梯度提升算法(XGBoost)筛选产量主控因素的基础上,建立综合考虑产量与地质、开发等影响因素之间相关性特征,并兼顾产量自身的时序性变化特征的产量预测模型;实验选取中国某中高渗透砂岩区块油田生产历史数据进行高含水期产量预测模型的训练和测试,并与单变量长短时记忆模型以及其他全连接网络模型结果进行比较。结果表明：该方法具有较好的预测性能,新模型克服了传统全连接神经网络无法描述产量时序数据相关性,以及单变量LSTM无法表征高含水期产量变化受多因素影响的问题,有效地提高了油田高含水期产量预测的准确性。     

基于图Transformer网络的城市路网短时交通流预测模型

针对城市路网短时交通流预测问题,在考虑路网交通状态时空相关性基础上,提出一种基于图Transformer（graph transformer,Graformer）的预测方法。该方法将多条路段的交通状态预测问题转化为图节点状态预测问题,针对区分相同结构的空间路网结构图,本文将带有边的图同构网络（graph isomorphism network with edges,GINE）和Transformer网络相结合,对交通状态在路网层面的时空相关性进行建模,从而实现城市路网短时交通流预测。具体来说,Graformer模型首先利用长短期记忆网络（long short-term memory,LSTM）对交通数据的时序信息进行预处理,接着采用基于GINE与Transformer的全局注意力机制提取交通数据的空间特征,最后实现路网各路段交通流的同步预测。通过使用PeMS数据集进行实验验证,结果表明提出的Graformer模型在各项性能指标上均优于对比模型,证明了其作为一种可靠且高效的路网短时交通流预测方法的有效性。     

结合双向LSTM和注意力机制的车辆轨迹预测

为提升智能交通、自动驾驶等系统的管理和服务质量,提出一种双向长短期记忆网络结合注意力机制的车辆轨迹预测模型。采用道格拉斯-普克压缩算法对轨迹数据进行压缩预处理,减少数据中的冗余;在编码器中使用双向长短期记忆网络充分捕获时间相关性特征,并采用自注意力机制获得与邻近车辆之间的全局空间相关性特征;通过解码器的全连接层获取车辆的未来位置,并通过模型迭代获得完整的预测轨迹路线。实验结果表明,提出的模型预测性能优于对比模型。此外,消融实验结果表明,引入轨迹压缩算法与改进的长短期记忆网络结合注意力机制对预测准确度均有积极贡献。     

基于CNN-Transformer的锂离子电池健康状态估计

目的 健康状态是评估锂离子电池状态的关键参数,对锂离子电池的安全使用有着十分重要的意义,为了获得准确可靠的健康状态估计结果,建立基于卷积神经网络和Transformer的锂离子电池健康状态估计方法,利用不同模型的数据挖掘特性,将健康指标的深层信息和随循环周期增加的时序信息并行提取。方法 从锂离子电池放电过程中的部分电压和温度曲线中提取3个与健康状态相关性较强的健康指标作为模型输入,利用卷积神经网络强大的特征提取能力挖掘健康指标的局部特征,利用Transformer的顺序处理能力挖掘健康指标的时序特征,将健康指标的局部特征和时序特征进行特征融合,通过卷积和全局平均池化层输出健康状态估计值。结果 本研究使用MIT数据集进行实验验证,并与卷积神经网络和长短时记忆神经网络进行对比分析,所提出的方法的均方根误差和平均绝对误差是最低的,为0.11和0.08,最小相对误差为0.61%。结论 所提出的CNN-Transformer健康状态估计采用不同模型挖掘健康指标不同的特征信息,能够充分利用锂离子电池放电数据,且具有良好的估计效果。     

基于时空信息的区域内光伏电站功率预测

准确的光伏电站输出功率预测对于电力系统的稳定安全运行具有重要的意义。为充分挖掘区域内多个电站间的时空信息特征,提高区域内电站功率的预测精度,提出了一种基于图卷积和长短期记忆网络(graph convolutional network-long short-term memory,GCN-LSTM)的光伏电站功率预测方法。该方法首先采用K均值聚类算法(K-means clustering algorithm, Kmeans)将区域内电站的总功率划分3种不同的天气类型;然后,为预测区域内总功率,构建了一个假想电站,并利用图卷积网络(graph convolutional network,GCN)提取电站间的动态空间相关信息特征;最后,将GCN挖掘的信息构成时间序列作为长短期记忆网络(long short-term memory network,LSTM)的输入,提取电站的时间信息特征,从而对区域内的光伏功率进行预测。结果表明,该方法可充分挖掘电站间的时空相关信息,可较为准确地对光伏电站输出功率进行预测,能够为保障电力系统的稳定安全运行提供一定参考价值。     

基于双通道模型的航空发动机剩余寿命预测

针对现阶段航空发动机单一剩余使用寿命预测模型数据挖掘深度不足导致预测精度低的问题,提出一种双通道模型的预测方法。首先,构建双通道网络结构：通道一使用时间卷积网络,通过残差结构和空洞卷积使得网络具有更大的感受野和计算速度;通道二使用卷积长短时间记忆网络,提取多维时空特征,捕捉数据长期依赖关系。其次,利用多头注意力机制为双通道网络特征重新赋予权重。最后,将双通道网络进行特征融合输出,实现对航空发动机剩余寿命预测。使用涡扇发动机退化数据集进行实验验证,并与其它文献中提到的卷积双向长短时间记忆网络模型、多特征注意力模型、多头注意力模型、卷积门控单元循环神经网络模型进行对比。结果表明,所提模型在3种评价指标上均取得更好的表现,为航空发动机剩余寿命预测提供了一种新思路。     

基于CNN-BiLSTM的脑电情绪分类模型及验证

情绪在人们的思考、行为和交流方式中起着重要作用。为提高脑电信号的情绪识别准确率,充分利用脑电信号的频率、空间和时间维度上的信息,提出一种基于CNN-BiLSTM(convolutional neural networks-bidrectional long short term memory)的脑电情绪分类神经网络模型。该模型由卷积神经网络和多层特征融合的双向长短时神经网络构成,卷积神经网络用于学习脑电信号的频率和空间特征,双向长短时神经网络则从卷积神经网络的输出中挖掘脑电切片之间的时序信息。借助离散情绪模型的SEED(sjtu emotion eeg dataset)数据集和连续情绪模型的DEAP(database for emotion analysis using physiological signals)数据集来进行情绪分类实验。实验结果表明,在SEED和DEAP两个数据集上,CNN-BiLSTM模型均取得了目前最好的情绪分类性能。此外,该模型的时序信息挖掘模块性能优于单层长短时神经网络,能够学习更多的时序信息。     

融合长短期记忆网络和图卷积网络的轨道交通短时客流起讫点预测

轨道交通客流起讫点(origin-destination,OD)矩阵存在时间相关性和空间相关性。根据客流OD的时空特征,提出长短期记忆(long short-term memory,LSTM)网络和图卷积网络(graph convolutional networks,GCN)的短时组合预测方法。预测方法主要利用LSTM网络来获取客流的时间相关性,利用GCN来获取客流的空间相关性,基于出站口建立客流OD矩阵,对整个路网的客流OD进行训练预测。实验表明:融合LSTM神经网络和GCN神经网络的短时预测模型能有效预测轨道交通客流OD。相较于单独的LSTM神经网络,组合模型在预测误差方面有所改善,更适用于短时客流OD的预测。     

基于数据增强技术与CNN-BiLSTM-Attention的油田注水流量预测及效果

准确识别地层注水情况是油田开发的重要前提,对制定合理的注水发展规划也具有重要的指导意义。为准确预测注水,提出一种结合卷积神经网络、双向长短期记忆网络与注意力机制的油田注水流量预测方法,该方法首先将卷积神经网络(convolutional neural network,CNN)和双向长短期记忆网络(bidirection long short-term memory,BiLSTM)进行联合,用于捕获注水流量的复杂非线性时空关系,然后采用注意力机制来关注输入的重要特征。并针对油田历史数据匮乏问题,提出使用数据增强技术来增加一维时间序列的数据量。采用国内某油田注水井真实历史注水数据进行实验,研究结果表明,本研究中提出的CNN-BiLSTM-Attention预测模型的平均绝对误差(Mmean absolute error,MAE)、均方根误差(root mean square errorRoot Mean Square Error, RMSE)、平均绝对百分比误差(mean absolute percentage errorMean Absolute Percentage Error,MAPE)和决定系数(Ccoefficient of Ddetermination,R2)MAE、RMSE、MAPE 和R2 分别为0.027、0.043、9.936和0.968,通过多种模型对比,表明该方法具有较高的预测精度,可以更准确地预测注水流量。此外,研究还证实,采用数据增强技术可以有效提高模型的预测精度。研究成果可为油田精细化注水提供调整方案与高质量数据,从而为油田智能化开发提供理论依据。     

基于Softmax函数增强卷积神经网络-双向长短期记忆网络框架的交通拥堵预测算法

对交通状态进行预测,就需要准确识别和判断交通状态。该文没有采用传统的以车辆速度为基准的预测方法,而是使用TTI交通拥堵系数,该系数的计算基于道路自身的自由流速度,可以让具有不同速度等级的街道都统一到TTI系数上来作为拥堵评价,因此相较以传统的车辆速度为基准的预测方法更能表现出道路的拥堵状态。该文提出了一种改进的深度学习预测模型（CS-BiLSTM）,该模型基于卷积神经网络（CNN）和双向长短期记忆网络（BiLSTM）,并结合Softmax函数增强CNN提取出的交通空间特征信息。深度学习预测模型（CS-BiLSTM）中的S代表的就是Softmax的缩写。使用成都市出租车GPS数据进行验证,结果表明,所提出的CS-BiLSTM模型具有更高的准确性,其性能相比C-BiLSTM网络预测框架提升了13%。