基于CNN-BiLSTM-Attention的超短期电力负荷预测

在长短期记忆神经网络(LSTM)的基础上,运用双向的长短期记忆神经网络(BiLSTM),结合卷积神经网络(CNN)提出了一个预测模型,对超短期电力负荷预测.运用合肥市2019年全年数据对该模型进行训练及预测,结果显示,CNN-BiLSTM预测精度高于CNN-LSTM预测模型,为进一步提升预测精确度,在BiLSTM神经网...     

双向多尺度LSTM的短时温度预测

针对长短期记忆网络(long short-term memory,LSTM)无法有效提取温度数据的多尺度特征和反向特征的问题,该文提出了一种双向多尺度跳跃LSTM(bidirectional multi-scale skip long short-term memory,BMS-LSTM)的短时温度预测模型.该模型以LSTM为核心单元,采用双向深层网络结构提取反向特征; 根据温度数据日的周期性设置跳跃连接数提取多尺度特征,解决了指数增长的跳跃连接数后期跳跃尺度过大的问题; 最后使用全连接层进行特征融合预测.实验结果表明:BMS-LSTM成功提取了温度数据的多尺度特征和反向特征,预测均值误差仅为3.890,优于对比模型,是一种有效的短时温度预测模型.     

基于深度学习的盾构隧道施工地表沉降预测方法

针对现有盾构隧道施工引发地表沉降预测方法中存在的难以同时挖掘数据之间的非线性特征关系和双向时序信息的问题,通过融合卷积神经网络(CNN)、双向长短期记忆(BiLSTM)与自注意力机制(SA)提出一种基于深度学习的地表最大沉降预测方法(CNN-BiLSTM-SA)。该方法首先利用CNN提取网络输入数据之间的非线性特征关系,利用BiLSTM网络提取输入数据的双向时序信息,然后引入SA机制为CNN提取的特征分配相应的权重,有效捕获时间序列中的关键信息,最后通过全连接层输出最终地表沉降预测结果。以湖南万家丽路电力盾构隧道工程为依托构建地表沉降数据集,并选用ANN、RNN、LSTM、BiLSTM模型开展对比分析。研究结果表明：评估指标CNN-BiLSTM-SA的平均绝对误差(MAE)、均方根(RMSE)、决定系数(R2)、平均绝对百分误差(MAPE)均为最优,具有更好的地表沉降预测性能。     

基于KPCA和BiLSTM的分解炉出口温度预测

水泥生产过程中，分解炉出口温度是非常重要的工艺参数，为了应对出口温度变量的多样性，文章提出一种核主成分分析(kernel principal component analysis, KPCA)与双向长短期记忆(bidirectional long short-term memory, BiLSTM)神经网络相结合的温度预测组合模型用来预测分解炉的出口温度。通过KPCA筛选出影响因素的主成分从而达到数据降维目的，将降维后的主成分作为BiLSTM神经网络的输入，分解炉出口温度作为BiLSTM神经网络的输出。经BiLSTM神经网络训练，得到分解炉出口温度预测模型。通过对比验证表明，使用KPCA-BiLSTM相结合的温度预测模型具有较好的预测精度。     

基于宽卷积核神经网络与BiLSTM的渔船轨迹分类方法

【目的】针对使用船舶自动识别系统(automatic identification system, AIS)数据进行船舶类型识别中原始特征较少和时空特征利用不充分的问题,提出了基于数据块的双向长短期记忆卷积神经网络的渔船类型分类方法。【方法】首先将数据以数据块的形式输入模型,保留短时内的时序特征;然后利用宽卷积核深度卷积神经网络(wide convolutional kernel deep convolutional neural network, WDCNN)模型首层的大卷积对数据进行特征提取;最后采用双向长短期记忆网络(bidirectional long-short-term memory networks, BiLSTM)提取数据的深层时间信息,得到最终的船舶分类结果。【结果】在真实的船舶AIS数据集上进行测试后发现：本模型较主流船舶分类模型对渔船分类的正确率有一定的提升,F₁值达到了5%左右的提高。【结论】本试验模型更有利于海事部门对渔船的监管,同时对海上渔场、鱼群分布的研究也有一定的参考价值。     

基于Attention机制和ResNet的CNN-BiLSTM短期电力负荷预测模型研究

短期电力负荷预测有利于电力系统的高效运行,对电力市场实现有效调度有重要意义。短期电力负荷受多种因素影响,波动性大、随机性强,使得其预测准确率低。双向长短期记忆网络和卷积神经网络难以在短期负荷序列中提取足够多的信息,本文提出了一种结合注意力机制和残差网络的卷积神经网络-双向长短期记忆网络短期负荷预测方法。首先利用基准模型卷积神经网络-双向长短期记忆网络对输入特征进行信息提取,然后利用注意力机制突出提取到的关键信息,最后通过残差网络创建残差层以充分学习时序特征。通过某公开数据集进行实验,结果表明该方法的平均绝对百分比误差达到2.80%,均方根误差达到2.15,并与常用的五种模型预测结果对比,验证了所提模型的准确性及有效性。     

基于DSCNN-BiLSTM的入侵检测方法

针对传统的入侵检测方法无法有效提取网络流量数据特征的问题,提出了一种基于DSCNN-BiLSTM的入侵检测方法,该方法引入了深度可分离卷积代替标准卷积从而减少了模型参数,降低了计算量,并应用双向长短期记忆网络(BiLSTM)提取长距离依赖信息的特征,充分考虑了前后特征之间的影响.首先,通过主成分分析法(PCA)对网络流量数据进行特征降维,并创新性地将一维网络流量数据转化为三维图像数据;然后,分别运用深度可分离卷积神经网络(DSCNN)和双向长短期记忆网络(BiLSTM)提取网络流量数据的空间特征和时间特征;最后,利用KDDCUP99数据集进行训练、验证和测试.实验结果表明,与其他传统的入侵检测方法相比,该方法具有更高的准确率和更低的漏报率.     

融合空间和统计特征的CNN-GRU臭氧浓度预测模型研究

近年来，空气污染问题备受关注，近地面臭氧逐渐成为我国部分城市的首要污染物，因此对臭氧浓度的精准预测尤为重要.为了进一步提高臭氧浓度预测的精度，提出一种融合空间特征和统计特征的卷积神经网络和门控循环单元（Convolutional Neural Networks and Gate Recurrent Unit,CNN-GRU）臭氧浓度组合预测模型.首先，通过对时空因素以及其他大气污染物与臭氧浓度进行相关性分析，利用基于统计域的方法和克里金插值法对臭氧浓度时序数据进行预处理来提取臭氧浓度数据的时空特征，采用并联杂交CNN和GRU结构的组合预测模型得到最终的臭氧浓度预测结果 .实验结果表明，CNN-GRU组合预测模型预测未来一小时的臭氧浓度可决系数、均方根误差和均方误差的值分别为0.9598,11.9508和8.2753，未来两小时的臭氧浓度可决系数、均方根误差和均方误差的值分别为0.8985,18.5373和13.0045，优于独立的CNN、长短期记忆（LongShortTermMemory,LSTM）网络、GRU、卷积-长短期记忆网络（Convolutional LSTM Network...     

基于卷积神经网络-双向长短期记忆网络的人体活动识别方法

针对人体活动传感器数据的时序性特点,以及当前机器学习算法过度依赖手工特征提取的问题,提出了一种融合卷积神经网络和双向长短期记忆网络的深度学习模型(convolutional neural network-bidirectional long short term memory network,CNN-BiLSTM)进行...     

基于流形距离的高速公路短时交通流预测模型

准确的高速公路短时交通流预测是实现交通诱导和控制的重要前提和基础。为了提高预测精度,提出一种基于流形距离(MD)的K近邻-长短期记忆(K-nearest neighbor-long short-term memory,KNN-LSTM)高速公路短时交通流预测模型。该模型利用流形相似性分析高速公路交通流的时空特性,计算多站点与目标站点之间的流形距离。然后,采用改进的KNN算法筛选出空间相关站点构造交通流数据集,通过LSTM模型提取时序特征得出预测结果。实验表明,与单一预测模型相比,该方法能更好地提取交通流时空特性且预测精度更高,可为高速公路的交通管理提供必要的依据。     

融合多通道信息的社交网络人格预测模型

构建了融合多通道信息的社交网络人格预测模型(MCIPP),在深度学习框架内用客观行为数据自动预测用户人格特质，并分析用户在线行为与其线下人格特质是否具有一致性。具体而言，利用双向长短期记忆网络(BiLSTM)和注意力机制(Attention)捕捉文本的上下文语义特征，通过图卷积网络((GCN)构造句法依存树，得到基于句法的结构表示，将Attention融入主题模型(Topic Model)从而提取深层语义信息，最后共同输入Softmax层得到用户微博的人格倾向。结果表明：MCIPP模型预测效果较好，准确率最高可达0.806 4.个体线上线下对应维度存在显著正相关，因此可采用该模型对用户网络数据进行心理建模，使理论驱动的心理科学研究能够客观解读个体心理和行为。     

集成局部和全局关键特征的文本情感分类方法

融合卷积神经网络(convolutional neural network,CNN)和双向长短期记忆网络(Bi-directional long short-term memory,BiLSTM)的情感分析模型(CNN_BiLSTM)是一个流行的模型,其学习文本的局部特征和全局特征实现情感分类,但是忽略了特征对分类结果的重要程度,且没充分利用词语间的特征,导致分类准确率不高.提出一种集成基于多卷积核的卷积神经网络和注意力双向长短期记忆网络特征的文本情感分类方法(MCNN_Att-BiLSTM),其集成局部和全局的重要特征作为文本语义特征,该特征进而用于训练文本情感分类器XGBoost(eXtreme gradient Boosting).该方法基于注意力机制的BiLSTM提取对分类影响大的全局关键特征,基于多卷积核的CNN获得更全面的词语间特征,为集成分类器准备了有效分类的特征.实验结果表明,该模型具有更好的情感分类准确率,与CNN_BiLSTM模型相比,在IMDB数据集上准确率提升了1.75%,在txt-sentoken数据集上准确率提升了1.67%,在谭松波-酒店评论数据集上准确率提升了3.81%.     

融合粗糙数据推理的卷积记忆网络文本情感分析

为解决现有情感分类算法在特征提取中缺乏对语义关联规则的运用,以及在分词后产生大量与情感预测无关的词,导致挖掘出的特征不具代表性的问题。提出一种融合粗糙数据推理的卷积记忆网络情感分析模型。通过上下文信息使用粗糙数据推理获得文本的情感词集Word2Vec词向量表示,并融合FastText词向量来改进特征向量嵌入层。其次使用卷积神经网络（CNN）拼接双向长短期记忆网络（BiLSTM）提取更深层次的情感特征。最后加入Attention机制计算权重,筛选显著重要特征。通过多组对比实验表明该模型具有较高的准确率和F1值,有效提升了情感分类的预测能力。     

基于深度学习的地铁短时客流量预测

为了对地铁短时客流流量进行准确预测,建立了一种基于深度学习的地铁短时客流预测方法。通过分析地铁的客流数据,发现周一至周四、周五以及周末的发展模式存在一定的差异。依据该发现,基于深度学习的理论框架,建立了双向长短期记忆网络的地铁短时客流量预测模型。最后以广州体育西路地铁站数据为例进行预测分析,并将预测结果与决策树模型、支持向量机算法以及长短期记忆网络的预测结果进行对比分析。结果表明,双向长短期记忆网络全面优于其他预测算法,且该算法的平均预测精度超过90%,对地铁运力的合理配置等有一定的应用价值。     

基于CNN-BiLSTM的脑电情绪分类模型及验证

情绪在人们的思考、行为和交流方式中起着重要作用。为提高脑电信号的情绪识别准确率,充分利用脑电信号的频率、空间和时间维度上的信息,提出一种基于CNN-BiLSTM(convolutional neural networks-bidrectional long short term memory)的脑电情绪分类神经网络模型。该模型由卷积神经网络和多层特征融合的双向长短时神经网络构成,卷积神经网络用于学习脑电信号的频率和空间特征,双向长短时神经网络则从卷积神经网络的输出中挖掘脑电切片之间的时序信息。借助离散情绪模型的SEED(sjtu emotion eeg dataset)数据集和连续情绪模型的DEAP(database for emotion analysis using physiological signals)数据集来进行情绪分类实验。实验结果表明,在SEED和DEAP两个数据集上,CNN-BiLSTM模型均取得了目前最好的情绪分类性能。此外,该模型的时序信息挖掘模块性能优于单层长短时神经网络,能够学习更多的时序信息。     

基于TCN-LSTM神经网络的线缆性能衰退预测方法

针对复杂机电产品线缆在长时间使用后会出现性能衰退现象,而导致运作出现的安全问题可以对线缆衰退进行预警预知以预防突发事故,提出了基于时序卷积网络结合长短期记忆网络的复杂机电产品线缆性能衰退预测方法。首先通过对线缆的衰退原因进行分析,依据分析结果选取参数指标来确定数据集,将其中反映线缆性能状态的数据在时序卷积网络下进行时序特征的提取。最后将这些特征数据与经过皮尔逊相关系数分析确定的相关性、影响系数足够高的非时序数据一同通过长短期记忆网络进行训练预测,得到预测结果。通过案例分析以及不同神经网络之间预测的结果对比,验证了构建的方法的预测效果同实际情况贴合程度高。     

CNLSTM模型预测城市积水

物联网平台能够为积水预测提供海量的传感器时间序列数据基础.为了精准且快速地预测城市内涝点积水趋势,提出一种基于神经网络的组合时序预测模型(CNLSTM),对多变量积水时间序列数据进行建模预测.此模型利用卷积神经网络(convolutional neural network,CNN)提取多变量数据之间的空间特征,得到具有空间相关性的特征量,利用长短时记忆网络(long short-term memory,LSTM)提取特征量之间的时间相关性预测未来积水水位.仿真结果表明,所提预测模型可以很好地捕获积水点水位与各输入量之间的非线性关系,并且比CNN,LSTM以及反向传播(back propagation,BP)神经网络具有能更好拟合实际水位的效果,更高的精度和泛化能力.此模型在城市积水预测中的有效性和适用性得到了验证,能够为积水点的提前预警、准备及汛前、汛中汛后治理方案的制定提供可靠的参考依据.     

基于CATPCA的优化Transformer卫星电源消耗时序预测研究

提出一种由基于最优尺度量化的分类主成分分析数据处理模块和优化Transformer时序预测模块组成的卫星电源消耗预测方法.针对卫星工程数据的高冗余问题，建立了基于赫斯特指数分析（Hurst）、灰色关联分析以及分类主成分分析（CATPCA）的卫星高维数据处理模型，对百维度时序数据进行有效提取，重构输入数据.采用对抗学习网络架构，建立多学习Transformer的卫星电量预测模型，模型综合考虑影响卫星能源消耗的多种因素以及时序数据依赖，可以在较短的时间内完成高精度卫星电源消耗时序预测.实验部分采用卫星真实运行数据，综合考虑影响卫星能源消耗的多种因素，12 h预测拟合优度达到94%，比BP神经网络，长短期记忆网络（LSTM）精度更高.可以有效克服常规工程数据的冗余、缺失以及脏数据问题，解决了常规时序预测需要依赖长期数据的不足缺陷，有效完成卫星能源短时消耗高精度预测.这对卫星在轨任务规划、卫星在轨健康管理等后续任务提供可靠支持.     

基于融合多注意力机制的深度学习的盾构荷载预测方法

盾构荷载作为盾构的主要性能指标,准确的荷载预测对于保证盾构安全高效工作和周边环境稳定具有重要意义.鉴于传统预测方法精度差的局限性,本研究以数据的高维度特征和时序特征为切入点,提出一种结合卷积神经网络、双向长短期记忆神经网络和注意力机制的混合模型(CNN-BiLSTM-Multiattention, CBM),对盾构荷载进行精准预测.该模型不仅可以提取数据的高维度特征和时序特征,还能突出高维度特征的重要性和关键时间节点信息.通过实验证明了相较于4种现有的模型,本文所提出的模型在3种评价指标上均优于其他模型,对推力和扭矩预测的准确率达到94.2%和96.2%.     

结合时间注意力机制的Bi-GRU-Atten的短时交通流预测

为使用深度学习模型预测未来高速公路交通流的情况,利用双向门控循环单元算法（Bi-GRU）从双向传播中提取信息,充分学习到历史交通流的时间相关特征,同时采用注意力机制通过正确分配权重来区分交通时间序列的重要性,进一步提高预测的计算效率。采用开源高速公路数据集对模型进行验证,结果表明：与递归神经网络算法、长短期记忆网络算法、双向长短期记忆网络算法,以及没有结合注意力机制的双向门控循环单元算法相比,本文所提算法在计算效率和预测精度方面更优,可以用于短时交通流的预测。