基于注意力与LSTM的航空发动机剩余寿命预测

预测性维护的核心技术之一是设备剩余寿命(remaining useful life, RUL)预测。为了提高航空发动机的剩余寿命预测精度,提出了一种基于注意力与长短期记忆(directional long short-term memory, LSTM)网络的航空发动机剩余寿命预测模型Attention-LSTM,通过引入注意力机制增强各时间点数据的特征权重,有效提升了模型预测精度。使用NASA C-MAPSS涡扇发动机仿真数据集进行实验,与未加注意力机制的长短期记忆网络等多种模型进行对比实验。实验结果表明,提到的Attention-LSTM模型的均方根误差相比较于未引入注意力机制的长短期记忆网络降低了17.8%,拟合度提升了3.2%,各项评估指标均也优于其他对比模型。     

基于改进卷积神经网络的航空发动机剩余寿命预测

完成了不同拧紧力矩下复合材料层合板与金属板单钉连接拉伸静强度实验。建立了三维有限元模型,对层合板失效过程进行了分析。基于实验数据调整了层合板初始刚度,对数值模型进行了修正。修正后数值计算模型的连接强度与实验数据基本吻合。由分析可知,拉伸实验曲线达到强度极限前呈现近似双线性特征,斜率突变处发生了载荷衰减波动。试件接触面经历了初始静摩擦-瞬时动摩擦-静摩擦平衡的动态过程。M6螺栓拧紧力矩为8 N·m时,静载拉伸强度最大。连接强度的试验值与计算值误差均在6.7%以内。合适的拧紧力矩可获得最佳的连接强度,拧紧力矩过大会导致连接强度降低。     

基于健康指数相似的航空发动机剩余寿命预测

针对机载快速存取记录器(QAR)详细记录了发动机全周期多源性能参数的特点,提出了一种基于时间序列相似性匹配的航空发动机剩余寿命预测方法。首先通过相关分析选取与发动机性能衰退密切相关的参数,利用狄克松判定准则剔除原始数据异常值,将多个性能参数通过状态空间模型融合为健康指数来表征发动机衰退状态;然后通过K-means聚类分析法重构发动机健康指数序列;最后计算序列之间的相似度,依据相似度大小赋予参照样本不同权重预测发动机剩余寿命。通过航空公司实际数据对该方法进行验证,结果表明该方法具有较好的预测精度。     

基于概率稀疏自注意力的航空发动机剩余寿命预测

航空发动机剩余寿命预测对其健康管理具有重要意义,针对长序列、多维度的航空发动机监测参数,提出一种基于概率稀疏自注意力（ProbSparse Self-Attention）的Transformer模型以实现航空发动机剩余寿命的准确预测。用ProbSparse Self-Attention取代原始Transformer中的常规自注意力机制,使得模型更关注时间序列中重要的时间节点,大幅缩减时间维度,减小了时间和空间复杂度;通过注意力层整合后的信息,进一步通过前馈神经网络层和卷积层,提取传感器的空间特征,编码层之间通过扩张因果卷积相连接,扩大了感受野,提高了模型对长序列信息的捕获能力。在新公开的N-CMAPSS数据集上验证算法,实验结果表明,相比于实验中的对比模型,所提模型的RMSE和Score值均有提升,推理速度也优于其他模型。     

基于TCK-LSTM-ATT模型的城市用水量预测

针对LSTM神经网络模型的计算量较大,不可控的自主选择过程以及容易过拟合等问题,提出了TCK-LSTM-ATT模型,利用卷积核对数据特征进行提取合并,采用注意力机制对重要数据进行加权的组合模型方法。为了验证该模型对于供水量预测的准确性,利用中国东北某市2019年到2020年的某供水管网系统供水数据进行验证。实验结果表明,与普通模型相比,组合模型的预测误差减少约20%,R²值约为9.5,取得了较好的预测效果。     

双通道深度卷积神经网络的航空发动机剩余使用寿命预测方法

提出了一种基于双通道的深度卷积神经网络方法,用来预测航空发动机剩余使用寿命。该方法在传统卷积神经网络上,应用最大信息系数进行数据降维、卡尔曼滤波进行数据降噪;通过数据切片,将数据片标签设置为最后一个循环的剩余使用寿命,实现数据重构;引入分段和线性剩余使用寿命衰减模型,并给出了寿命衰减起始点判断方法;将寿命衰减前、寿命衰减中2种特征作为双通道网络模型的输入。在NASA涡轮风扇发动机仿真数据集（CMAPSS）上测试结果显示,在测试数据范围较大时,该方法相关指标明显优于其他方法,在航空发动机剩余寿命预测上具有显著优势。     

多源统计数据驱动的航空发动机剩余寿命预测方法

针对统计数据驱动方法中多变量无法建立退化模型的问题,提出了一种多源统计数据驱动的航空发动机剩余寿命(RUL)预测方法。建立了基于欧氏距离的航空发动机监测信息融合模型,综合多源监测数据以量化发动机健康状态退化过程;构建了基于非线性漂移维纳过程的航空发动机退化模型,推导发动机剩余寿命概率密度函数解析式,实现对发动机剩余寿命的估计。选取C-MAPSS数据集进行仿真实验,结果表明,与已有研究结果相比,所提方法预测结果在确定系数和惩罚得分两项均有所改进。该方法可为其他非线性退化系统的RUL预测提供一定的参考。     

基于Autoencoder-TCN的航空发动机排气温度预测

针对目前航空发动机排气温度预测模型精度不高、传统RNN类神经网络对飞行数据时间维度信息挖掘不充分的问题,提出了一种结合自编码器Autoencoder和时间卷积神经网络TCN的航空发动机排气温度预测模型。首先通过Autoencoder方法从飞行数据中提取与排气温度相关的特征,以降维后的特征作为输入,建立TCN网络深度学习模型,以航空发动机排气温度作为输出,充分挖掘飞行数据的时间维度信息,从而提高模型精度。最后选取真实飞行数据进行实验,结果表明,与BP、LSTM神经网络模型相比,该模型的平均绝对百分比误差由13.035%和9.593%降低至3.369%,有效提高了模型预测精度。     

基于监督局部模型的设备剩余寿命预测

精确预测设备的剩余使用寿命能帮助厂商衡量所生产设备的质量,也有利于使用者及时更换或修理设备。截至2021年,基于相似性预测剩余寿命的研究大多使用欧式距离进行相似性的判定,容易出现维度灾难。本研究结合长短期记忆网络和自编码器提取设备的时序特征,之后使用监督局部模型进行剩余使用寿命预测,以随机森林为基础进行相似性的判定。最后,本研究使用C-MAPSS数据集验证了所提出方法的有效性,所提出方法在预测精度上要优于其余几个对比方法,并进行相关的讨论。     

基于注意力模型的卷积循环神经网络城市声音识别

环境声音识别（Eenvironment Ssound Rrecognition ,ESR）在基于情景感知和辅助技术等领域发挥着重要作用。卷积神经网络（CNN）和循环神经网络（RNN）作为两种最具代表性的特征提取方法,在语音和音乐信号处理方面都取得显著效果,然而二者都存在一定缺点,CNN无法有效提取时间特征,RNN在提取空间特征上也存在明显劣势。为了有效的提取并利用时间特征和空间特征,提出一种新模型,利用时间分布卷积神经网络（CNN）从梅尔频谱图中提取城市环境声音特征,然后应用双向长短时记忆网络（BiLSTM）从CNN输出中获取时间信息,最后在BRNN的输出序列上实施注意力机制,从而关注到与城市环境声音最相关的特征进而做出分类判断,注意力机制既提高了分类准确性,又增强了模型的可解释性。实验结果表明,在Urbansound8K数据集中,该模型可获得80.2%的分类准确率,这优于以前在同一数据集的报告结果     

基于Attention机制和ResNet的CNN-BiLSTM短期电力负荷预测模型研究

短期电力负荷预测有利于电力系统的高效运行,对电力市场实现有效调度有重要意义。短期电力负荷受多种因素影响,波动性大、随机性强,使得其预测准确率低。双向长短期记忆网络和卷积神经网络难以在短期负荷序列中提取足够多的信息,本文提出了一种结合注意力机制和残差网络的卷积神经网络-双向长短期记忆网络短期负荷预测方法。首先利用基准模型卷积神经网络-双向长短期记忆网络对输入特征进行信息提取,然后利用注意力机制突出提取到的关键信息,最后通过残差网络创建残差层以充分学习时序特征。通过某公开数据集进行实验,结果表明该方法的平均绝对百分比误差达到2.80%,均方根误差达到2.15,并与常用的五种模型预测结果对比,验证了所提模型的准确性及有效性。     

融合注意力机制的煤层气产量动态预测

为了提升煤层气产量的预测精度,提出融合注意力(Attention)机制并结合卷积神经网络（convolutional neural networks,CNN）和长短期记忆神经网络（long short term memory,LSTM)的煤层气产量动态预测模型。利用随机森林变量筛选方法,确定井底流压、动液面高度、套压、冲次为排采过程中影响煤层气产量的主控因素;利用CNN信息提取优势,提取煤层气排采数据的特征向量,并将特征向量作为LSTM网络的输入;再将LSTM隐含层融合注意力机制提取重要信息权重,有效解决信息长期依赖性和信息丢失。实验结果表明：融合注意力机制的CNN-LSTM煤层气产量动态预测模型各方面均表现较优。具体表现为：1. 模型预测性能较好,利用不同模型对比预测,改进后的煤层气产量预测模型精度最高,比标准的LSTM预测精度提升了3%~4%;2. 泛化性能较优,预测同一区块不同生产天数的6口煤层气井产量时,预测60天日产气量的平均相对误差均小于5%,预测200天日产气量的平均相对误差均小于8%。     

基于自适应神经网络的云资源预测模型

为了避免容器云资源因资源供求不均衡而导致的资源利用率差等问题,需要对未来时刻的资源需求情况进行预测来进行更精准的调度和分配资源,因此,结合神经网络的高效学习能力与自适应调整的学习率,提出一种基于自适应神经网络的云资源预测模型.首先,融合卷积神经网络(convolutional neural network,CNN)和长...     

基于混合神经网络的序列推荐算法

为了提高推荐算法的推荐性能,在序列建模过程中,针对循环神经网络(recurrent neural network,RNN)无法并行运算导致建模速度与准确度较低,以及在偏好预测过程中对用户不同阶段偏好没有动态融合的问题,提出了一种基于混合神经网络的序列推荐算法.在算法模型的用户交互序列建模阶段,考虑到用户近期偏好变化频繁...     

基于MIC特征提取与BO-CatBoost的航空发动机RUL预测

针对航空发动机传感器监测的退化参数提取困难,易受噪声干扰及发动机剩余使用寿命预测精度不足等问题,利用最大信息系数、贝叶斯优化算法和类别特征梯度提升算法,提出了一种新的发动机剩余使用寿命预测模型。首先,为有效解决特征提取不足的问题,对采集的传感器历史监测特征进行最大信息系数相关性计算,提取出对发动机寿命运行周期影响较大的关键退化特征。其次,为解决剩余使用寿命预测中的梯度偏差及预测偏移问题,使用基于贝叶斯优化的类别特征梯度提升方法对航空发动机进行剩余使用寿命预测。最后,在美国航空航天局提供的商用模块化航空推进系统仿真数据集上进行实验,结果表明所提预测方法的性能较好,验证了该方法的有效性。     

基于注意力机制的区域小学入学规模预测

学龄人口是区域教育资源配置的重要依据,对区域内下一年小学入学规模进行准确预测,可以为区域内教育管理部门对教育资源进行调配提供辅助决策支持.该文针对区域内小学入学规模预测问题,考虑区域经济、人口等相关因素和小学入学规模的关联关系,提出了基于注意力机制的循环网络预测模型.该模型以长短时记忆网络模型为基础,引入注意力机制,自动提取小学入学规模与经济、人口等特征之间的关联关系以及进一步增强历史关键时间点的信息表达,提升预测准确率.在采用真实数据集进行试验的结果说明,该模型对比其它模型在多个评价指标上均有提升,具有更准确和更稳定的预测效果.     

基于DBN-LSTM的滚动轴承剩余寿命预测模型

针对滚动轴承退化数据的复杂性和传统的寿命预测方法不能充分利用数据的相关性从而导致预测精度不高的问题,提出了一种基于融合深度置信神经网络（deep belief neural , DBN）和长短时记忆神经网络（long-short term memory , LSTM）的剩余寿命预测模型。该模型首先采用带通滤波降噪对滚动轴承振动数据进行去噪,然后依据均方根特征和峭度特征在轴承全寿命周期内的趋势图确定模型的预测起始点;其次利用优化后的4层DBN网络完成深度特征提取并用于LSTM的训练与测试。通过轴承全寿命周期试验证明提出模型的可靠性,并且与传统LSTM、BP(back propagation)神经网络和DBN-BP模型的预测结果进行对比,验证了本文模型的有效性。     

基于注意力机制结合CNN-BiLSTM模型的电子病历文本分类

为了解决中文电子病历文本分类的高维稀疏性、算法模型收敛速度较慢、分类效果不佳等问题,提出了一种基于注意力机制结合CNN-BiLSTM模型的病历文本分类模型。该模型首先使用word2vec工具进行词向量表示,利用多层卷积神经网络(convolutional neural networks, CNN)结构提取病历文本的局部特征,通过拼接操作丰富局部特征表示,再利用双向长短期记忆网络(bi-directional long short-term memory, BiLSTM)提取上下文的语义关联信息,获取句子级别的高层特征表达。最后通过Attention机制进行特征加权,降低噪声特征的影响,并输入softmax层进行分类。在多组对比实验的实验结果表明,该模型取得了97.85%的F₁,有效地提升了文本分类的效果。