基于改进LSTM神经网络的化工过程故障诊断

针对现代化工过程中数据非线性、高维度以及动态时序等特点,传统的故障诊断模型对化工过程的故障诊断精度较低.基于此,设计了一种基于改进的长短时记忆神经网络(LSTM)故障诊断方法.首先,将采集的故障数据输入卷积神经网络(CNN),对数据进行特征提取和降维;其次,将处理过的数据输入改进的LSTM网络,进行深层特征提取;最后,把提取的深层特征信息输入到注意力机制进行特征“聚焦”,实现特征融合后输入softmax分类器实现故障分类.由田纳西-伊斯曼(TE)过程诊断实验结果表明,基于改进的LSTM网络的故障诊断方法在故障分类精度、训练速度方面都更优于递归神经网络(RNN)、门控循环神经网络(GRU)、卷积神经网络(CNN)和深度自编码网络(DAEN),在实际化工过程的应用有一定的优势.     

基于AMCNN-LSTM的电力无线接入专网异常流量检测

为了减轻电力无线专网系统因网络业务增多而带来的网络攻击以及异常流量入侵的安全事故隐患,提出了一种基于注意力机制的卷积-长短期记忆网络(convolution-long short-term memory network based on attention mecha-nism,AMCNN-LSTM)模型.该模型为避免序列特征稀疏分布的问题,采用卷积神经网络(convolutional neural net-work,CNN)提取时间序列数据特征并转化为维度固定的稠密向量;为防止记忆丢失和梯度分散问题,使用融合注意力机制的CNN单元来捕捉重要的时间序列细粒度特征;将CNN提取局部特征与长短期记忆网络(long short-term memory network,LSTM)提取序列特征的优势相结合,对电力接入专网流量数据进行异常检测.通过在电力网真实数据集上实验表明,基于注意力机制的算法能够在150轮次迭代下达到89.14％的召回率及89.67％的综合F-meas-ure得分.所提出的模型能够及时、准确地检测电力网络异常流量,有效提高检测效率及准确度.     

基于CNN的核电站主冷却剂系统压力预测

卷积神经网络(Convolutional Neural Network,CNN)模型应用在核电领域预测传感器参数走势,以帮助核电站操作员分析当下工况.模型利用CNN对深层次信息进行特征提取,通过除以各传感器参数最大值进行归一化处理和多步窗格滚动进行数据分割,并在模拟仿真软件PCTRAN上完成实验验证.实验结果表明,此模型能够在小破口冷却剂失流事故(Small Break Loss of Coolant Accident,SBLOCA)事件发生后有效地预测主冷却剂系统压力变化趋势,并在破口程度不同的同一类型事件上具有良好的适应性.与循环神经网络的变形方法-长短期记忆(Long and Short-Term Memory,LSTM)进行对比,CNN在时间序列的应用上同样具有LSTM的准确度和时效性,并且预测值的平均绝对误差更低.     

基于CNN-LSTM-LOF的过程故障预测模型

在现代工业过程中,故障预测可以及时预测设备的潜在故障,减少事故的发生以及降低经济损失,因此故障预测对于过程系统至关重要。由于过程系统的复杂性以及运行数据集分布不均,使用正常数据集离线预测运行状态的方法没有较好的泛用性,且不太准确。针对以上问题,将卷积神经网络(CNN)与长短期记忆网络(LSTM)相结合,用于提取设备运行数据的特征,在线预测之后的运行状态;随后将预测结果送入在离线状态下训练好的局部异常因子(LOF)模型中,计算预测出时间序列的异常值;最后将异常值与离线状态下训练出的故障阈值进行比较,大于阈值则认为存在潜在故障。将模型用于田纳西-伊斯曼(TE)时间序列进行验证,并与传统的故障预测方法进行比较,实验结果表明：本文所提模型对于多故障以及单故障预测相比传统故障预测方法均具有更好的效果,可以提前1个采样窗口检测到数据异常,有应用于工业故障预测的潜力。     

基于自适应神经网络的云资源预测模型

为了避免容器云资源因资源供求不均衡而导致的资源利用率差等问题,需要对未来时刻的资源需求情况进行预测来进行更精准的调度和分配资源,因此,结合神经网络的高效学习能力与自适应调整的学习率,提出一种基于自适应神经网络的云资源预测模型。首先,融合卷积神经网络(convolutional neural network, CNN)和长短期记忆(long short-term memory, LSTM)网络的特点去挖掘历史数据的特征,预测未来的资源需求;然后,根据模型预测情况自适应调整学习率,提高模型预测的精度。使用Microsoft Azure公开数据集进行测试,相较于单一模型CNN、LSTM和未加入自适应学习率的神经网络模型,均方根误差分别下降了17.74%、18.27%和6%,证明了模型的有效性。     

基于CNN的棉田杂草识别方法

针对杂草的精确喷洒问题提出一种基于卷积神经网络(Convolution Neural Network, CNN)的棉花植株和杂草的检测识别方法。首先采集不同环境下棉田中棉花植株和不同种类的杂草图像作为网络模型的数据集，对数据集进行数据增强来增加数据集的数量，将其分为训练集与测试集；然后构建CNN模型，在模型中添加Dropout层，以防止网络出现过拟合，将训练集数据输入网络模型，使模型学习棉花植株和杂草的特征信息；最后将测试集数据输入CNN模型，测试CNN模型对棉花植株和杂草的识别能力。研究结果表明CNN对于棉花植株和杂草的分类结果精度超过了99.95%,识别时间为197.2s,证明CNN可以快速高效的识别棉田中棉花植株和杂草，为农业智能精确除草装备的研发提供研究基础。     

基于序列标注的事件联合抽取方法

事件抽取是自然语言处理领域的重要研究方向。传统的事件类型抽取系统采用分类方式,无法解决跨句子的事件角色和事件类型匹配问题。为了解决该问题,提出一种基于序列标注的事件联合抽取模型,结合卷积神经网络(convolutional neural networks, CNN)与长短期记忆网络(long short-term memory, LSTM)提取全局特征和局部特征;并在浅层LSTM层共享参数实现联合抽取,以序列标注方式抽取事件论元并匹配事件类型。实验结果表明,模型能有效提取司法领域的文档事件信息。     

基于融合注意力机制与CNN-LSTM的人体行为识别算法

为解决单一的卷积神经网络（CNN）缺乏利用时序信息与单一循环神经网络（RNN）对局部信息把握不全问题,提出了融合注意力机制与时空网络的深度学习模型（CLA-net）的人体行为识别方法。首先,通过CNN的强学习能力提取局部特征;其次,利用长短时记忆网络（LSTM）提取时序信息;再次,运用注意力机制获取并优化最重要的特征;最后使用softmax分类器对识别结果进行分类。仿真实验结果表明,CLA-net模型在UCI HAR和DaLiAc数据集上的准确率分别达到95.35%、99.43%,F1值分别达到95.35%、99.43%,均优于对比实验模型,有效提高了识别精度。     

基于深度学习的含未知复合故障多传感器信号故障诊断

深度学习在故障诊断领域的应用已比较成熟,其中卷积神经网络（CNN,convolution neural networks）和长短时记忆网络（LSTM,long short-term memory networks）就是典型模型之一。CNN作为一种常用的多传感器信号故障诊断方法,能够获得较好的诊断效果,却无法实现未知复合故障的诊断,为解决这个问题,提出CNN-LSTM-FCM （fuzzy C-means）模型。LSTM对具有前后联系的时间信号更敏感,利用这个特点将LSTM与CNN相结合,实现未知信号的诊断,并通过概率分类输出实现了复合故障的解耦,CNN-LSTM-FCM模型本身优化参数设计,进一步提高了诊断精度。使用化学过程故障测量数据进行实验,结果表明CNN-LSTM-FCM模型诊断准确率可达到97.15%,优于CNN模型和LSTM模型,具有较高的应用价值。     

基于RNN的视频模型构建和动作识别策略研究

递归神经网络(RNN)和长短时记忆(LSTM)在处理顺序多媒体数据方面取得显著成就。因此,提出了一种双向长短时记忆的递归神经网络(DLSTM),该方法结合了卷积神经网络(CNN)和递归神经网络的动作识别新方法。首先,利用CNN提取视频的深度特征,构建视频特征模型,以减少冗余和复杂性。然后,利用递归神经网络学习帧特征之间的序列信息。该方法具有学习长序列的能力,能够在一定的时间间隔内通过分析特征来处理较长的视频。实验结果与现有的方法比较,该方法在动作识别方面有明显完善。     

一种基于联合深度学习模型的情感分类方法

针对情感分析问题中长句和短句进行情感分类时不同的建模特点,提出了一种基于联合深度学习模型的情感分类方法。该方法融合长短期记忆模型(LSTM)与卷积神经网络(CNN)对影视评论数据进行情感极性判别,该方法采用LSTM模型对上下文进行建模,通过逐词迭代得到上下文的特征向量,采用CNN模型从词向量序列中自动发现特征,并从局部抽取特征后将局部特征整合成全局特征来提高分类效果。所提出的方法在COAE2016评测的任务2的情感极性分类任务中,其系统准确率获得最好结果。     

基于LSTM的列车测速测距设备故障诊断

列车测速测距设备是列车运行控制系统的重要组成部分,也是故障率较高的设备之一.针对测速测距设备故障诊断自动化程度低的问题,提出一种基于LSTM(Long Short-Term Memory)神经网络的列车测速测距设备故障诊断方法,利用自适应最小支持度的加权Apriori算法从测速测距设备的时间序列中提取与故障分类关联度高的时间序列,构建故障数据集;利用LSTM神经网络对故障进行分类对比,测试结果表明:在以时间序列为故障特征的条件下,LSTM分类效果优于全卷积神经网络(Fully Convolutional Neural Networks,FCNN)与循环神经网络(Recurrent Neural Network,RNN).     

基于CNN和LSTM的图像隐写分析

为了进一步降低隐写分析算法的检测错误率，文章提出一种基于卷积神经网络(convolutional neural network, CNN)和长短期记忆网络(long short-term memory, LSTM)的隐写分析算法。该算法利用CNN捕获载体图像的结构特征，同时利用LSTM捕获图像的前后时序特征。为了验证混合神经网络的有效性，该算法以XuNet和SRNet为基准隐写分析网络，探讨CNN与LSTM的有效组合方式。实验结果表明，所提方法可以有效提高隐写分析算法的检测能力。     

基于VMDLSTNet的水质预测模型

针对水质时序预测中存在长期信息和短期信息混合导致预测精度低的问题,采用变分模态分解（Variational Mode Decomposition,VMD）和长短期时间序列网络（Long- and Short-term Time-series network,LSTNet）组合使用以期望解决该问题得出更准确的水质预测。LSTNet网络中使用卷积神经网络（Convolutional Neural Networks,CNN）提取短期局部水质信息,使用循环神经网络（Recurrent Neural Network,RNN）提取长期水质信息,并且通过Skip-RNN利用序列周期特性,提取更长期信息,同时模拟自回归（Autoregressive model,AR）,为水质预测增添线性成分来达到输出能够响应输入尺度变化的目的。采用珠江流域老口站隔日采样的溶解氧数据验证模型效果,结果表明,VMDLSTNet网络处理水质预测问题的能力,不仅优于传统的BP神经网络（Back Propagation Neural Network,BPNN）、支持回归机（Support Vector Regression,SVR）模型,而且优于深度学习中时域卷积网络（Temporal Convolutional Network,TCN）模型、门循环网络（Gate Recurrent Unit,GRU）、增加注意力机制的长短时记忆网络（Long Short-Term Memory Add Attention,LSTM-AT）模型,溶解氧的预测平均绝对误差（Mean Absolute Error,MAE）为0.0931,预测均方误差（Mean Square Error,MSE）为0.0146,预测均方根误差（Root Mean Square Error,RMSE）为0.1208,水质类别的预测准确率为95%。     

基于HDCNN-BIGRU-Attention油田措施效果预测模型

为预测油田增油控水措施效果中月产油量与含水量,提出一种基于混合空洞卷积神经网络(HDCNN:Hybrid Dilated Convolutional Neural Network)-BIGRU-Attention的措施效果预测模型。模型通过HDCNN,提取生产数据多尺度全局特征;针对措施生产数据时序性较强与波动性较大的特点,利用双向门控循环单元(BIGRU:Bidirectional Gated Recurrent Unit)充分挖掘数据间长期依赖关系,提高时序信息利用率与学习效果;引入缩放点积注意力模块(Attention),为重要信息赋予较高权重并不断调整参数使模型始终关注与预测目标相关性较大的特征。为验证模型的有效性,将LSTM(Long Short-Term Memory)、 CNN(Convolutional Neural Network)-LSTM以及LSTM-Attention作为实验对比,结果表明该模型具有更低的预测误差与更好的泛化能力。     

基于CNN-LSTM-Attention的短期风向预测研究

风向预测对提高风能转化率、保障风力发电机偏航系统安全运行及增加风力发电效益具有重要意义。为准确预测风向,提出一种基于CNN-LSTM-Attention的短期风向预测模型。首先,利用卷积神经网络(Convolutional Neural Network, CNN)提取风向数据动态变化特征,然后将所提取的特征向量构成时间序列作为长短期记忆(Long Short-Term Memory,LSTM)网络的输入,最后使用注意力机制(Attention mechanism)分配LSTM隐含层不同权重,增强重要特征的作用,完成风向预测。采用北部湾海域历史风向数据,通过实验与其他神经网络预测模型进行对比,结果显示,CNN-LSTM-Attention模型的相对平均误差(MAPE)值为3.2119%,R²为0.982 6, 优于其他对比模型。所得结果为广西北部湾海域海上风电探索发展提供参考。     

融合空间和统计特征的CNN-GRU臭氧浓度预测模型研究

近年来，空气污染问题备受关注，近地面臭氧逐渐成为我国部分城市的首要污染物，因此对臭氧浓度的精准预测尤为重要.为了进一步提高臭氧浓度预测的精度，提出一种融合空间特征和统计特征的卷积神经网络和门控循环单元（Convolutional Neural Networks and Gate Recurrent Unit,CNN-GRU）臭氧浓度组合预测模型.首先，通过对时空因素以及其他大气污染物与臭氧浓度进行相关性分析，利用基于统计域的方法和克里金插值法对臭氧浓度时序数据进行预处理来提取臭氧浓度数据的时空特征，采用并联杂交CNN和GRU结构的组合预测模型得到最终的臭氧浓度预测结果 .实验结果表明，CNN-GRU组合预测模型预测未来一小时的臭氧浓度可决系数、均方根误差和均方误差的值分别为0.9598,11.9508和8.2753，未来两小时的臭氧浓度可决系数、均方根误差和均方误差的值分别为0.8985,18.5373和13.0045，优于独立的CNN、长短期记忆（LongShortTermMemory,LSTM）网络、GRU、卷积-长短期记忆网络（Convolutional LSTM Network...     

基于LSTM-DAE的化工故障诊断方法研究

现代化工过程愈加精密化、复杂化,使得化工过程数据呈现高度非线性、强耦合等特点,传统的故障诊断模型难以学习此类数据的有效特征表示,且无法挖掘隐含的时间序列信息。针对上述问题,提出了一种长短期记忆（long short-term memory,LSTM）网络与降噪自编码器（denoising auto-encoder,DAE）结合的LSTM-DAE化工故障诊断方法,用基于LSTM的特殊编码方式代替传统DAE模型的全连接网络编码方式,并结合高斯噪声处理和全连接网络解码层,搭建出基于LSTM-DAE的特征提取模型,最后由Softmax分类器输出故障诊断结果。该方法结合了DAE与LSTM的优点,确保了编码特征获取的有效性。使用田纳西-伊斯曼（Tennessee-Eastman,TE）过程数据设计所提方法与其他5类模型的对比实验,实验结果表明：在多故障诊断效果上,基于LSTM-DAE的化工故障诊断方法的训练集正确率达到了96.02%,测试集正确率达到了97.31%,平均误报率仅为0.65%,平均漏检率仅为3.19%,在6类模型中为最优;在单故障诊断效果上,基于LSTM-DAE的化工故障诊断方法能够提高对故障14的分辨能力,并缩短对故障18的检测延迟时间,有效降低了漏检率,表明所提方法能够在实际化工过程中进行有效的故障诊断。     

多尺度时空信息融合驱动的图神经网络故障诊断方法

行星齿轮箱作为机械系统中常见的减速装置,由于长期在强噪声环境和变工况工作条件下运行,导致采集到的振动信号故障特征微弱、信号模式多变难以识别,针对行星齿轮箱故障诊断效果不佳,泛化能力差的问题,提出一种多尺度时空信息融合驱动的图神经网络故障诊断方法来提高故障诊断模型准确率和泛化能力。该方法首先构建多尺度卷积核对原始时序信号进行不同尺度特征提取,削弱强噪声信号对有效信息的掩盖作用并增强故障特征的表达能力;然后再构造通道注意力机制,根据通道特征重要程度,给不同尺度卷积核提取的特征自适应分配不同权重,对含有关键故障特征的信息片段进行特征强化;最后对卷积输出的多尺度特征,构造空域下的图数据并通过图卷积网络聚合多尺度特征,从而有效利用数据的时序多维信息和空域结构关联信息,实现多尺度下时空域故障信息的深度融合,提高诊断的准确精度和模型的泛化性能。通过利用具有行星齿轮箱结构的风电装备故障数据集对所提方法进行验证,并与其他深度学习方法（第一层宽卷积核深度卷积神经网（WDCNN）、长短时记忆网络（LSTM）、残差网络（ResNet）、多尺度卷积神经网络（MSCNN））进行比较,结果表明：本研究提出的方法在跨...     

基于CNN-GRU的冷水机组传感器偏差故障诊断方法

针对冷水机组传感器偏差故障识别率低的问题,提出一种基于卷积神经网络(Convolutional Neural Network,CNN)和门控递归单元(Gated Recurrent Unit,GRU)融合网络模型(CNN-GRU)的冷水机组传感器偏差故障诊断方法.该方法利用GRU记忆冷水机组因每个传感器动态响应特性不同造成的其每个传感器不同的时间相关性,克服了CNN在冷水机组传感器偏差故障诊断中仅能提取时间序列实时特征的缺点.首先采用CNN自动提取传感器时间序列的实时特征,然后利用具有长短期记忆能力的GRU实现对冷水机组传感器不同时间相关性的记忆,从而充分利用时间序列中的特征信息对数据进行表征建模,进而有效提升了冷水机组传感器偏差故障识别率.将该方法与CNN、主成分分析和自动编码器方法进行比较,实验结果表明:温度类和压力类传感器的偏差故障识别率分别在85％以上和90％以上;验证样本得到了83％以上的偏差故障识别率,验证了该方法的泛化能力良好;该方法对于同一传感器、故障大小互为相反数的偏差故障的故障识别率均具有良好的对称性;该方法的偏差故障识别率高于其他方法,尤其对于很小的偏差故障的识别率具有更明显的优势.