基于注意力与LSTM的航空发动机剩余寿命预测

预测性维护的核心技术之一是设备剩余寿命(remaining useful life, RUL)预测。为了提高航空发动机的剩余寿命预测精度,提出了一种基于注意力与长短期记忆(directional long short-term memory, LSTM)网络的航空发动机剩余寿命预测模型Attention-LSTM,通过引入注意力机制增强各时间点数据的特征权重,有效提升了模型预测精度。使用NASA C-MAPSS涡扇发动机仿真数据集进行实验,与未加注意力机制的长短期记忆网络等多种模型进行对比实验。实验结果表明,提到的Attention-LSTM模型的均方根误差相比较于未引入注意力机制的长短期记忆网络降低了17.8%,拟合度提升了3.2%,各项评估指标均也优于其他对比模型。     

基于改进卷积神经网络的航空发动机剩余寿命预测

完成了不同拧紧力矩下复合材料层合板与金属板单钉连接拉伸静强度实验。建立了三维有限元模型,对层合板失效过程进行了分析。基于实验数据调整了层合板初始刚度,对数值模型进行了修正。修正后数值计算模型的连接强度与实验数据基本吻合。由分析可知,拉伸实验曲线达到强度极限前呈现近似双线性特征,斜率突变处发生了载荷衰减波动。试件接触面经历了初始静摩擦-瞬时动摩擦-静摩擦平衡的动态过程。M6螺栓拧紧力矩为8 N·m时,静载拉伸强度最大。连接强度的试验值与计算值误差均在6.7%以内。合适的拧紧力矩可获得最佳的连接强度,拧紧力矩过大会导致连接强度降低。     

基于健康指数相似的航空发动机剩余寿命预测

针对机载快速存取记录器(QAR)详细记录了发动机全周期多源性能参数的特点,提出了一种基于时间序列相似性匹配的航空发动机剩余寿命预测方法.首先通过相关分析选取与发动机性能衰退密切相关的参数,利用狄克松判定准则剔除原始数据异常值,将多个性能参数通过状态空间模型融合为健康指数来表征发动机衰退状态;然后通过K-means聚类分...     

基于概率稀疏自注意力的航空发动机剩余寿命预测

航空发动机剩余寿命预测对其健康管理具有重要意义,针对长序列、多维度的航空发动机监测参数,提出一种基于概率稀疏自注意力(ProbSparse Self-Attention)的Transformer模型以实现航空发动机剩余寿命的准确预测.用ProbSparse Self-Attention 取代原始Transformer中的常规自注意力机制,使得模型更关注时间序列中重要的时间节点,大幅缩减时间维度,减小了时间和空间复杂度;通过注意力层整合后的信息,进一步通过前馈神经网络层和卷积层,提取传感器的空间特征,编码层之间通过扩张因果卷积相连接,扩大了感受野,提高了模型对长序列信息的捕获能力.在新公开的N-CMAPSS数据集上验证算法,实验结果表明,相比于实验中的对比模型,所提模型的RMSE和Score值均有提升,推理速度也优于其他模型.     

基于TCK-LSTM-ATT模型的城市用水量预测

针对LSTM神经网络模型的计算量较大,不可控的自主选择过程以及容易过拟合等问题,提出了TCK-LSTM-ATT模型,利用卷积核对数据特征进行提取合并,采用注意力机制对重要数据进行加权的组合模型方法。为了验证该模型对于供水量预测的准确性,利用中国东北某市2019年到2020年的某供水管网系统供水数据进行验证。实验结果表明,与普通模型相比,组合模型的预测误差减少约20%,R²值约为9.5,取得了较好的预测效果。     

双通道深度卷积神经网络的航空发动机剩余使用寿命预测方法

提出了一种基于双通道的深度卷积神经网络方法,用来预测航空发动机剩余使用寿命。该方法在传统卷积神经网络上,应用最大信息系数进行数据降维、卡尔曼滤波进行数据降噪;通过数据切片,将数据片标签设置为最后一个循环的剩余使用寿命,实现数据重构;引入分段和线性剩余使用寿命衰减模型,并给出了寿命衰减起始点判断方法;将寿命衰减前、寿命衰减中2种特征作为双通道网络模型的输入。在NASA涡轮风扇发动机仿真数据集（CMAPSS）上测试结果显示,在测试数据范围较大时,该方法相关指标明显优于其他方法,在航空发动机剩余寿命预测上具有显著优势。     

多源统计数据驱动的航空发动机剩余寿命预测方法

针对统计数据驱动方法中多变量无法建立退化模型的问题,提出了一种多源统计数据驱动的航空发动机剩余寿命(RUL)预测方法。建立了基于欧氏距离的航空发动机监测信息融合模型,综合多源监测数据以量化发动机健康状态退化过程;构建了基于非线性漂移维纳过程的航空发动机退化模型,推导发动机剩余寿命概率密度函数解析式,实现对发动机剩余寿命的估计。选取C-MAPSS数据集进行仿真实验,结果表明,与已有研究结果相比,所提方法预测结果在确定系数和惩罚得分两项均有所改进。该方法可为其他非线性退化系统的RUL预测提供一定的参考。     

电动汽车IGBT剩余使用寿命预测

引入一种基于贝叶斯优化(BOA)的双向长短时记忆网络(Bi-LSTM),同时结合注意力机制,应用于绝缘栅双极型晶体管(IGBT)剩余使用寿命预测,所提方法可有效提高IGBT剩余使用寿命预测的准确性.通过IGBT加速老化试验收集V_CE-on,验证了其作为失效特征参数的可行性,并将其作为实验数据集对所提方法进行仿真验证.实验分析结果表明,所提的混合预测模型与经典LSTM及其他预测模型相比,有更低的退化预测误差,具备较高的理论意义和实践价值.     

基于监督局部模型的设备剩余寿命预测

精确预测设备的剩余使用寿命能帮助厂商衡量所生产设备的质量,也有利于使用者及时更换或修理设备。截至2021年,基于相似性预测剩余寿命的研究大多使用欧式距离进行相似性的判定,容易出现维度灾难。本研究结合长短期记忆网络和自编码器提取设备的时序特征,之后使用监督局部模型进行剩余使用寿命预测,以随机森林为基础进行相似性的判定。最后,本研究使用C-MAPSS数据集验证了所提出方法的有效性,所提出方法在预测精度上要优于其余几个对比方法,并进行相关的讨论。     

基于混合神经网络的序列推荐算法

为了提高推荐算法的推荐性能,在序列建模过程中,针对循环神经网络(recurrent neural network,RNN)无法并行运算导致建模速度与准确度较低,以及在偏好预测过程中对用户不同阶段偏好没有动态融合的问题,提出了一种基于混合神经网络的序列推荐算法.在算法模型的用户交互序列建模阶段,考虑到用户近期偏好变化频繁...     

融合注意力机制的煤层气产量动态预测

为了提升煤层气产量的预测精度,提出融合注意力(Attention)机制并结合卷积神经网络（convolutional neural networks,CNN）和长短期记忆神经网络（long short term memory,LSTM)的煤层气产量动态预测模型。利用随机森林变量筛选方法,确定井底流压、动液面高度、套压、冲次为排采过程中影响煤层气产量的主控因素;利用CNN信息提取优势,提取煤层气排采数据的特征向量,并将特征向量作为LSTM网络的输入;再将LSTM隐含层融合注意力机制提取重要信息权重,有效解决信息长期依赖性和信息丢失。实验结果表明：融合注意力机制的CNN-LSTM煤层气产量动态预测模型各方面均表现较优。具体表现为：1. 模型预测性能较好,利用不同模型对比预测,改进后的煤层气产量预测模型精度最高,比标准的LSTM预测精度提升了3%~4%;2. 泛化性能较优,预测同一区块不同生产天数的6口煤层气井产量时,预测60天日产气量的平均相对误差均小于5%,预测200天日产气量的平均相对误差均小于8%。     

基于Attention机制和ResNet的CNN-BiLSTM短期电力负荷预测模型研究

短期电力负荷预测有利于电力系统的高效运行,对电力市场实现有效调度有重要意义。短期电力负荷受多种因素影响,波动性大、随机性强,使得其预测准确率低。双向长短期记忆网络和卷积神经网络难以在短期负荷序列中提取足够多的信息,本文提出了一种结合注意力机制和残差网络的卷积神经网络-双向长短期记忆网络短期负荷预测方法。首先利用基准模型卷积神经网络-双向长短期记忆网络对输入特征进行信息提取,然后利用注意力机制突出提取到的关键信息,最后通过残差网络创建残差层以充分学习时序特征。通过某公开数据集进行实验,结果表明该方法的平均绝对百分比误差达到2.80%,均方根误差达到2.15,并与常用的五种模型预测结果对比,验证了所提模型的准确性及有效性。     

基于注意力机制结合CNN-BiLSTM模型的电子病历文本分类

为了解决中文电子病历文本分类的高维稀疏性、算法模型收敛速度较慢、分类效果不佳等问题,提出了一种基于注意力机制结合CNN-BiLSTM模型的病历文本分类模型。该模型首先使用word2vec工具进行词向量表示,利用多层卷积神经网络(convolutional neural networks, CNN)结构提取病历文本的局部特征,通过拼接操作丰富局部特征表示,再利用双向长短期记忆网络(bi-directional long short-term memory, BiLSTM)提取上下文的语义关联信息,获取句子级别的高层特征表达。最后通过Attention机制进行特征加权,降低噪声特征的影响,并输入softmax层进行分类。在多组对比实验的实验结果表明,该模型取得了97.85%的F₁,有效地提升了文本分类的效果。     

基于注意力机制的区域小学入学规模预测

学龄人口是区域教育资源配置的重要依据,对区域内下一年小学入学规模进行准确预测,可以为区域内教育管理部门对教育资源进行调配提供辅助决策支持.该文针对区域内小学入学规模预测问题,考虑区域经济、人口等相关因素和小学入学规模的关联关系,提出了基于注意力机制的循环网络预测模型.该模型以长短时记忆网络模型为基础,引入注意力机制,自动提取小学入学规模与经济、人口等特征之间的关联关系以及进一步增强历史关键时间点的信息表达,提升预测准确率.在采用真实数据集进行试验的结果说明,该模型对比其它模型在多个评价指标上均有提升,具有更准确和更稳定的预测效果.     

基于时序模型的水上飞机运动极短期预报方法及适用性分析

水上飞机运动极短期预报可以提供未来数秒的摇荡运动姿态,对确保大风浪条件下的起飞与降落阶段的安全有重要意义。目前已有相关水上飞机运动极短期预报方法研究,但是对不同方法适用性差异分析的研究较少。针对该情况,本文以NACA TN 2929飞机为例,基于势流理论计算其在典型工况下三自由度运动仿真数据,通过构建AR(Auto regressive)、LSTM(Long Short Term Memory)和TCN(Temporal Convolutional Network)三种典型运动极短期预报模型,对比三种模型在不同预报条件下的预报性能。结果表明：与AR模型相比,以LSTM、TCN为代表的神经网络模型在预报时长较长时具有更好的预报精度,可较好的实现对水上飞机的垂荡、横摇和纵摇运动十秒级的准确预报,为水上飞机运动预报算法的选取提供较好的理论参考价值。     

基于时间卷积和长短期记忆网络的短期云资源预测模型

随着容器云技术的不断深入发展,通过预测分析云资源请求的整体趋势及高峰期,对于容器云资源的高效利用和合理分配具有重要意义。利用深度学习技术进行负载预测已经成为解决容器云资源利用率不平衡的关键技术。针对目前负载预测的单一模型和组合模型所存在的预测精度低以及捕获序列特征不充分问题,提出基于时间卷积和长短期记忆网络(temporal convolutional network-long short-term memory, TCN-LSTM)的短期云资源组合预测模型,组合模型中的空洞卷积在不减少特征尺寸的情况下增加感受野获取更长久的时间序列特征,其中残差网络可以跨层传递信息以加快网络的收敛,所获取的时间序列特征可有效提高LSTM的预测精度。利用阿里巴巴公开数据集的进行预测,实验表明所提出的模型与单一的预测模型以及其他组合模型进行对比分析,误差指标-平均绝对误差(mean absolute error, MAE)降低8%～13.7%,均方根误差(root mean squared error, RMSE)降低9.8%～13.1%,证明所提模型的有效性。     

任意方向自然场景文本识别

自然场景文本识别是计算机视觉领域一项极具挑战性的任务,为此提出一种适用于任意方向的自然场景文本识别算法.使用高分辨分割网络作为基础框架提取文本的空间信息,利用卷积长短时记忆网络提取文本的时空序列信息,同时通过设计字符注意机制使模型专注于字符上,并采用可微分二值化函数进一步加大网络对前景的注意力,削弱对背景区域的关注,网...     

基于双阶段注意力机制的大坝变形深度学习预测模型

为提升大坝结构变形预测精度,采用完全自适应噪声集合经验模态分解(CEEMDAN)法将变形实测序列解耦为一系列具有不同时频特征的本征模态函数,使用小波阈值消噪对高频分量平稳化处理后进行重构,利用基于双阶段注意力机制的长短期记忆网络(DA-LSTM)模型对重构变形序列进行预测。实例验证结果表明,联合CEEMDAN算法和小波阈值消噪方法能够有效识别并清洗实测数据中的异常值,提升了测值对大坝运行性态的表征能力,同时DA-LSTM模型可以充分挖掘大坝变形的滞后性和增强网络的可解释性,据此构建的变形预测模型具有优良的稳健性。