基于改进LSTM神经网络的化工过程故障诊断

针对现代化工过程中数据非线性、高维度以及动态时序等特点,传统的故障诊断模型对化工过程的故障诊断精度较低.基于此,设计了一种基于改进的长短时记忆神经网络(LSTM)故障诊断方法.首先,将采集的故障数据输入卷积神经网络(CNN),对数据进行特征提取和降维;其次,将处理过的数据输入改进的LSTM网络,进行深层特征提取;最后,把提取的深层特征信息输入到注意力机制进行特征“聚焦”,实现特征融合后输入softmax分类器实现故障分类.由田纳西-伊斯曼(TE)过程诊断实验结果表明,基于改进的LSTM网络的故障诊断方法在故障分类精度、训练速度方面都更优于递归神经网络(RNN)、门控循环神经网络(GRU)、卷积神经网络(CNN)和深度自编码网络(DAEN),在实际化工过程的应用有一定的优势.     

基于注意力机制BiLSTM的设备智能故障诊断方法

状态监测与故障诊断是保证机械设备安全稳定运行的必要手段.本文提出一种基于注意力机制双向LSTM网络(ABiLSTM)的深度学习框架用于机械设备智能故障诊断.首先,将传感器采集的设备原始数据进行预处理,并划分为训练样本集与测试样本集;其次,训练多个不同尺度的双向LSTM网络对原始时域信号进行特征提取,得到设备故障多尺度特征;再次,通过引入注意力机制,对不同双向LSTM网络提取特征的权重参数进行优化,筛选保留目标特征,滤除冗杂特征,以实现精准提取有效故障特征;最后,在输出端利用Softmax分类器输出故障分类结果.通过利用发动机气缸振动实验数据和凯斯西储大学滚动轴承实验数据进行故障诊断实验,故障识别准确率均达到99%以上.实验结果表明,ABiLSTM模型可以实现对原始时域信号的多尺度特征提取和故障诊断,通过与深度卷积网络(CNN)、深度去噪自编码器(DAE)和支持向量机(SVM)等方法进行对比,ABiLSTM模型的故障识别性能优于各类常见模型.另外,通过利用凯斯西储大学滚动轴承在不同工况条件下的数据,对ABiLSTM模型进行泛化性能实验,变工况样本的故障识别准确率仍然能够达到95%以上.     

采用递归图编码技术与残差网络的滚动轴承故障诊断

针对传统故障诊断方法未充分挖掘故障信号的时间序列间关联性特征的问题,将递归图编码技术引入故障诊断领域,提出了递归图编码技术与残差网络的滚动轴承故障诊断模型。采用递归图编码方式将振动信号转换为增强信号特征的二维纹理图像;将这些特征图像输入残差网络中,结合残差网络对二维图像数据优秀的自适应特征提取能力,对滚动轴承进行故障诊断。使用凯斯西储大学轴承数据集和某局机务段采集的真实机车轴承数据进行试验验证,结果表明：所提模型对轴承故障诊断的识别准确率为99.99%和99.83%;在输入不同的数据长度和变工况的试验中,所提模型均保持了良好的故障诊断效果;对比其他常见的故障诊断方法,所提模型拥有更好的泛化性能和识别准确率。     

基于并行LSTM-CNN的化工过程故障检测

为保证生产过程的安全稳定运行，避免因故障导致损失，及时检测出异常工况并对异常工况进行准确诊断十分重要。针对化工过程的复杂性，提出一种并行长短时记忆网络和卷积神经网络（Parallel Long and Short-Term Memory Network and Convolutional Neural Network,PLSTM-CNN）模型进行化工生产过程故障检测。该模型有效结合LSTM对时间序列数据全局特征提取能力和CNN模型善于提取局部特征的能力，减少了特征信息的丢失，实现了较高的故障检测率。采用一维稠密卷积神经网络作为CNN的主体，结合LSTM网络对序列信息变化敏感的特点，在构建更深层网络的同时避免模型过拟合。采用最大互信息（Maximum Mutual Information Coefficient,MMIC）数据预处理方法，提高了数据的局部相关性以及从不同初始条件下PLSTM-CNN模型检测故障的效率。以TE(Tennessee Eastman)过程为研究对象，PLSTM-CNN模型在故障平均检测率和漏报率等指标上明显优于传统循环神经网络。     

基于深度学习的含未知复合故障多传感器信号故障诊断

深度学习在故障诊断领域的应用已比较成熟,其中卷积神经网络（CNN,convolution neural networks）和长短时记忆网络（LSTM,long short-term memory networks）就是典型模型之一。CNN作为一种常用的多传感器信号故障诊断方法,能够获得较好的诊断效果,却无法实现未知复合故障的诊断,为解决这个问题,提出CNN-LSTM-FCM （fuzzy C-means）模型。LSTM对具有前后联系的时间信号更敏感,利用这个特点将LSTM与CNN相结合,实现未知信号的诊断,并通过概率分类输出实现了复合故障的解耦,CNN-LSTM-FCM模型本身优化参数设计,进一步提高了诊断精度。使用化学过程故障测量数据进行实验,结果表明CNN-LSTM-FCM模型诊断准确率可达到97.15%,优于CNN模型和LSTM模型,具有较高的应用价值。     

基于Inception-LSTM-Attention的冷水机组传感器偏差故障诊断方法

为提升传统的冷水机组传感器偏差故障诊断方法的特征提取效果及故障诊断准确率,提出一种基于Inception模块和融合注意力机制(Attention)的长短时记忆网络(LSTM)相结合(Inception-LSTM-Attention)的冷水机组传感器偏差故障诊断方法。该方法通过Inception模块从冷水机组传感器时序数据中提取多尺度的实时特征,并利用LSTM学习传感器时序数据中存在的时间相关关系;通过在LSTM中融合注意力机制来保证其最终的输出综合了各个时间节点的输出,提升重要信息的影响程度,最大化保留时序数据的全局信息。同时,设计跳跃连接支路缓解网络中存在的梯度消失问题。最后,使用冷水机组实验平台的传感器实测数据对所提方法进行实验验证。研究结果表明：本文方法对于压力类、温度类各传感器的偏差故障诊断平均准确率均在94%以上;对于各传感器中较小偏差故障的故障诊断准确率均在87.6%以上;与主成分分析、卷积神经网络、Inception以及Inception-LSTM这4种方法相比,Inception-LSTM-Attention模型的传感器偏差故障诊断准确率更高。     

基于时空特征组合模型的转辙机故障诊断

为解决转辙机故障诊断领域中存在的单一特征信息提取不足、单一诊断方法难以避免因方法局限性造成的分类误差,同时其存在一定程度的过拟合,以及泛化能力、鲁棒性不足的问题,提出了一种基于时空特征组合模型的故障诊断方法。首先,在ZYJ7电液转辙机的8种故障模式和正常模式所对应的油压曲线上提取时频域小波系数作为原始数据集,采用核主成分分析（KPCA）和长短期记忆网络（LSTM）提取其空间、时间特征,之后基于add思想构建时空特征集。其次,对卷积神经网络（CNN）、LSTM两分类器关键参数寻优后分别进行故障诊断,得到各个故障类型的概率值和误差系数。最后,利用误差倒数法对两分类器各个故障类型的概率值赋予权重,得到最终输出结果。仿真结果表明：CNN-LSTM组合模型诊断准确率达98.14%,较单一多层感知机（MLP）、CNN、LSTM模型准确率分别提升7.40%、5.55%、1.85%。可见此方法有效提高了转辙机诊断准确率,为集成学习模型在转辙机故障诊断领域的应用提供了一种思路。     

基于循环卷积生成对抗网络的风机齿轮箱故障诊断

风机齿轮箱是风力涡轮传动系统中的关键部分,其故障发生随机、故障样本数量不足,严重影响故障诊断的准确性。针对此问题,提出一种基于循环卷积生成对抗网络的风机齿轮箱故障诊断方法。首先,构建基于循环卷积生成对抗网络的样本生成模型,利用卷积网络和循环网络作为生成器增强样本间的时间相关性;借助Wasserstein距离与梯度惩罚项改进目标函数,并通过博弈对抗机制优化生成器和判别器,提高模型的泛化能力。然后,结合真实样本和生成样本,设计基于堆叠去噪自编码器的故障诊断方法,实现齿轮箱的故障诊断。最后,利用风力涡轮传动系统数据集验证所提出的风机齿轮箱故障诊断方法的性能。结果显示,所提方法能够有效平衡故障样本数据集,进一步提高风机齿轮箱故障诊断的准确率。     

利用改进ResNet和暂稳态时间序列的光伏阵列在线故障诊断方法

光伏阵列在线故障诊断方法主要采用实时电压电流时序信号作为输入故障特征。然而,这些时序信号因受最大功率点跟踪和时变环境因素的影响,往往包含暂态和稳态交替过程以及时变噪声,显著制约了故障诊断精度及可靠性。针对这些问题,本文首先利用相对位置矩阵方法将三种一维暂稳态时序数据,包括加权总电流以及光伏阵列时序电压和电流,转换为二维数据,以此生成红、绿、蓝三通道图像。而后,将图像输入到所提的基于与坐标注意力结合的残差网络（Residual Network, Resnet）模型中,该模型能提取其丰富的故障信息,有效地提升故障诊断精度。最后,通过仿真和实际的故障模拟实验获取故障样本数据,以训练和测试所提的网络模型,并与多种其它网络模型进行对比,还对仿真数据集进行了可靠性验证。经实验分析证明,本文提出的故障检测与诊断方法在准确性和稳定性方面都有更佳的表现,根据仿真平台获得的数据集也有较高的可靠性。     

串行集成CNN模型的两种机械故障诊断算法

表征机械故障的数据种类和数量多样,数据质量参差不齐,故障信息的价值密度也较低,对机械故障诊断提出了挑战。由于浅层神经网络模型自学能力较弱,无法达到精确诊断故障的要求,因此对故障特征提取和故障诊断模型进行了深入研究。利用时间序列排序转换和连续小波变换,分别构建了基于时间序列图像和时频图的两种2D-CNN故障特征数据集,结合卷积神经网络（convolutional neural network,CNN）和梯度提升决策树（gradient boosting decision tree,GBDT）算法的优点,提出了基于GBDT的CNN-Z和CNN-F两种故障诊断算法。通过实验,两种算法的故障诊断精度分别为9433%和9862%。与传统CNN算法相比较,实验结果展示了所提的两种故障诊断算法的精度更高,另外基于GBDT的CNN-F故障诊断算法的误差收敛时间为前者的三分之一,验证了所提算法的有效性和精确性。     

双向LSTM神经网络的航空发动机故障预测

准确的航空发动机故障预测能够为维修决策提供依据,提高装备完好率,避免灾难性故障并最小化经济损失。根据航空发动机传感器数据特点,提出一种基于双向长短期记忆（LSTM）神经网络的故障预测方法,建立故障预测模型,包括数据预处理、网络模型设计、训练与测试,得到在多种工作条件和故障下具有较强泛化能力的神经网络预测模型。使用C-MAPSS数据集对模型进行仿真验证,所提出的双向LSTM故障预测模型通过与RNN、GRU、LSTM时间序列模型对比,误差下降33.58%,得到更高的预测精度,非对称评分下降71.22%,具有更好的适应性。     

基于改进信息熵和LSTM网络的轴承故障诊断

针对传统的时频域故障诊断方法无法对故障实现自适应识别和分类,且准确率较低的问题,提出一种基于改进信息熵(improved information entropy, IIE)的长短时记忆网络(long-short time memory network, LSTM)方法。首先对原始信号分别进行集合经验模态分解(ensemble empirical mode decomposition, EEMD)和变分模态分解(variational mode decomposition, VMD);将包含故障信息的所有本征模式分量(intrinsic mode functions, IMF)进行信息熵的求取;通过信息熵反映IMF的信息量和峭度指标对描述冲击成分的优势改进信息熵,构成特征向量;最后结合LSTM处理非线性数据的优势,利用组合特征训练LSTM网络建立诊断模型。实验结果表明：该方法能准确、高效地识别多种故障,准确率要比单一的EEMD-LSTM、VMD-LSTM、人工神经网络等传统方法更高。     

基于改进长短时记忆网络的文本分类方法

针对传统长短时记忆网络(long short-term memory,LSTM)在文本分类中无法自动选取最重要潜在语义因素的问题,提出一种改进的LSTM模型。首先,将传统LSTM的运算关系拓展为双向模式,使网络充分记忆输入特征词的前后关联关系;然后在输出层前面增加池化层,以便更好选择找到最重要的潜在语义因素。互联网电影资料库评论数据实验结果表明,该模型优于传统长短时记忆神经网络以及其他同类模型,揭示了改进方案对提高文本分类准确率是有效的。     

基于门控循环单元神经网络的公交到站时间预测

为提高用户公交出行积极性、方便管理部门合理调度公交班次,利用大数据分析公交浮动车辆历史GPS数据,考虑不同线路、公交站点地理位置、不同驾驶员、气象情况、时间分布等多因素的影响,建立了一种基于门控循环单元(gated recurrent unit, GRU)神经网络的公交到站时间预测模型。该模型结合5 000多万条原始数据,借助分布式Hadoop集群中的Spark弹性分布式数据集进行数据清理,并运用站点匹配算法进行源数据匹配、Lasso算法优化特征选项及去除干扰。实验仿真结果表明:改进的GRU模型R-square拟合度达到94.547%,并且算法效率较传统长短期记忆(long short-term memory,LSTM)神经网络提高了近14%,为进一步提高公交到站时间的预测精度与效率提供了参考。     

降噪自编码器在机械设备故障预警中的应用

针对目前复杂机械设备大多采用单特征值门限报警法,无法实现提前预警的现状,提出一种基于降噪自编码器（denoising autoencoder,DAE）的特征自学习方法,将高维监测数据编码成低维特征,作为设备运行状态的特征表示,通过度量待测样本编码特征与基准的距离实现故障预警。实验结果表明,本文方法能够区分正常样本特征与任意故障样本特征,并能降低变工况及环境噪声干扰的影响;工程应用案例表明,本文方法能够发现设备故障发生前的微弱征兆,实现提前预警。     

融合预训练的港口吞吐量LSTM预测模型

港口吞吐量时序变化数据量较小且变化快,传统LSTM神经网络在此类数据上易出现过拟合,导致模型预测性能不佳。针对此问题,本文提出融合预训练与LSTM时序模型,通过预训练捕获任务领域的全局信息,再用LSTM模型精确描述各个港口的吞吐量变化规律,以提升模型对全部港口吞吐量预测的准确性。以天津港等15个中大型港口过去二十一年的月吞吐量为实验数据,以BP、ARIMA、传统LSTM等预测模型和目前流行的GNN-LSTM模型为比较基准进行仿真实验,结果显示本文所提出的融合预训练的LSTM模型能有效解决LSTM神经网络的过拟合问题,整体预测准确率高于所有基准模型。与传统LSTM模型相比,基于预训练的LSTM的MAE指标平均降低45.2%%,最多降低80.0%。     

一种利用LSTM和稳态时间序列的光伏阵列故障诊断方法

受最大功率点跟踪算法和时变环境条件的影响,光伏阵列的电气工作参数包含了复杂的暂态过程以及工频干扰噪声,严重影响了故障特征质量以及诊断算法性能。针对该问题,本文首先提出了一种基于最大功率点（MPP）的稳态时间序列预处理方法,以自动过滤数据中的暂态过程和干扰噪声,获取连续的稳态时间序列电气特征数据,作为故障诊断模型的输入参数;然后,提出了一种基于长短期记忆网络（LSTM）的深度网络模型,以实现对光伏阵列常见故障的检测及分类;最后,在一个小型光伏并网发电系统及其Simulink仿真模型上,进行故障模拟及仿真以验证所提出的故障诊断方法。实验结果表明所提出的故障诊断方法具有良好的精度和泛化性能,并且优于常规的反向传播神经网络（BPNN）和循环神经网络（RNN）。     

深度残差网络和LSTM结合的图像序列表情识别

为了改善图像表情和图像序列表情识别效果,针对传统表情识别特征提取复杂和效果不理想问题,提出了一种深度残差网络和局部二值模式(local binary patterns,LBP)相结合的特征提取方法,利用深度残差网络提取数据集的空域特征,长短期记忆网络(long short-term memory,LSTM)处理时域特征,实现空域与时域特征的结合。研究了不同层数的残差网络、不同形式的LBP算子以及其他网络结构对人脸表情识别的影响,对比了支持向量机和随机森林实现的序列表情识别算法。在Cohn-Kanade数据集和AFEW6.0数据集上进行了验证,实验结果表明,算法在验证集上的准确率分别为73.1%和58.4%,相比其他算法有一定程度的提升。