双通道深度卷积神经网络的航空发动机剩余使用寿命预测方法

提出了一种基于双通道的深度卷积神经网络方法,用来预测航空发动机剩余使用寿命。该方法在传统卷积神经网络上,应用最大信息系数进行数据降维、卡尔曼滤波进行数据降噪;通过数据切片,将数据片标签设置为最后一个循环的剩余使用寿命,实现数据重构;引入分段和线性剩余使用寿命衰减模型,并给出了寿命衰减起始点判断方法;将寿命衰减前、寿命衰减中2种特征作为双通道网络模型的输入。在NASA涡轮风扇发动机仿真数据集（CMAPSS）上测试结果显示,在测试数据范围较大时,该方法相关指标明显优于其他方法,在航空发动机剩余寿命预测上具有显著优势。     

基于注意力机制非对称残差网络和迁移学习的玉米病害图像识别

为实现玉米病害图像快速、准确识别,提出了一种基于非对称注意力机制残差网络(asymmetric convolution attention resnet,ACA-Resnet)的图像检测模型.在残差网络的基础上,通过引入非对称卷积结构减少参数量,加快模型训练速度,同时引入注意力机制,改善模型的表达能力,提高检测准确率.为减小由于病害图片数量不足而造成的过拟合现象,采用迁移学习的方法提高模型的稳定性和泛化能力.结果 表明,ACA-Resnet经过ImageNet数据集预训练后对玉米病害图像的平均识别准确率可达到97.25％,较VGG-16、Inception-V3和ResNet50等网络分类效果更好,相较于Resnet50训练速度明显提升.可见本文方法训练速度快,识别精度高,可为玉米病害检测提供借鉴.     

基于残差注意力网络的马铃薯叶部病害识别

马铃薯叶部病害严重制约着马铃薯的产量,为此提出了一种基于注意力和残差思想的深度卷积神经网络模型RANet.依据注意力机制,在RANet中构建并行池化的注意力模块,以增强网络的特征提取能力,并借助残差思想避免注意力模块造成的特征值衰减.以早疫病初期、早疫病晚期、晚疫病初期、晚疫病晚期和健康叶片的叶部图像为研究对象,RAN...     

基于注意力机制的卷积循环网络语音降噪

不同噪声在频谱上具有不同的特性,为了解决卷积神经网络对含有不同噪声的语音降噪的局限性,通过引入通道注意力机制作为卷积循环网络的中间层,将卷积层中不同功能的卷积核赋予不同的权重,使模型在训练时能够对输入数据更有针对性地去除噪声部分,从而达到更好的降噪效果。针对含有15种噪声的含噪语音分别应用循环神经网络、编解码卷积网络和卷积循环神经网络等三种模型进行降噪处理,结果表明引入注意力机制的模型相比于其他两种模型,在感知语音质量评价(perceptual evaluation of speech quality, PESQ)和短时客观可懂度(short time objective intelligibility, STOI)评分上都有所提高,且引入注意力机制的模型能够更好地保留语音的谐波信息。     

基于注意力机制的卷积神经网络机械钻速预测方法

传统机器学习方法在进行机械钻速预测时,受复杂特征提取和人为认知局限性的影响,难以满足现场预测精度要求。基于此,提出一种特征提取和回归预测相结合的机械钻速预测方法。首先,采用箱型图和独热编码对钻井实测数据进行预处理,清除异常数据并将离散特征连续化。其次,应用卷积神经网络(convolutional neural network, CNN)挖掘数据特征,并在网络中引入通道注意力机制(squeeze-and-excitation network, SENet),实现对CNN特征通道重要性程度的合理分配,建立SE-CNN机械钻速预测模型。最后,将SE-CNN模型与CNN模型进行对比分析,结果表明：SE-CNN模型的拟合优度提高了2.1%,平均绝对误差和均方根误差分别降低了1.1%和1.5%。SE-CNN模型具有较高的预测精度,可以用于现场机械钻速预测,为钻井提速提供科学参考。     

基于SENet注意力机制和深度残差网络的腹部动脉分割

在医学诊断中,血管疾病的研究与治疗仍是影响人类健康的主要因素。由于人体腹部血管复杂且构造因人而异,这就对图像分割的研究以及临床应用带来了极大困难。所以,通过图像处理和深度学习等方法准确清晰地获取病人腹部动脉及其分支血管,在临床和术前诊断中发挥了重要作用。本文主要对腹部血管的大小灰度、构造等基础医学知识进行学习,并深入研究了现有关于血管分割算法的优缺点。为解决深度卷积神经网络性能退化的问题,增强对目标信息的关注度并对不必要的特征信息进行抑制,提出一种基于Squeeze-and-Excitation Networks（简称SENet）注意力机制和深度残差网络的血管分割算法。使用12例腹部CT数据的评估结果显示,血管分割准确率可达90.48%,灵敏度、Dice、VOE、精确率分别为0.8995、0.8783、-0.1998、0.9104。因此,相比于传统方法,本实验所提方法具有更好的分割性能。     

基于回环残差注意力机制U-net的胰腺分割

器官自动分割是医学图像分析中的一个重要而具有挑战性的问题.胰腺是一种位于腹部内部的软组织器官,其欠缺有形器官有固定形状的特点.由于胰腺周围的重要结构组织的关系紧密且多变,且有边缘界限不易确定等特点,采用传统的分割方法存在受噪声影响大、过分割和欠分割等问题,难以达到很高的准确率.虽然基于深度卷积神经网络的U-net很好地...     

基于注意力机制的图像分类降维方法

卷积算子是卷积神经网络的核心构造块,它根据一定的感受视野,融合卷积神经网络各层与不同通道之间的信息,提取出原始图像特征.然而图像中的相邻像素往往具有相似的值,导致卷积层的输出包含大量冗余信息.为了减少冗余信息,加快模型推理速度,神经网络中会加入池化层进行信息降维.对比传统降维方法,池化本身具有平移和旋转不变性,对图像特...     

基于残差注意力机制的图像超分辨率算法研究

针对传统单幅图像超分辨率重建算法未能充分利用浅层特征信息,忽略视觉目标中的空间结构信息,难以捕捉特征通道与高频特征信息之间的依赖关系,重建图像出现伪影、边缘模糊的问题,提出一种基于残差网络和注意力机制的图像超分辨率重建算法。该模型特征提取部分结合WDSR-B(Wider Activation Super-Resolution B)残差网络增强特征信息在网络中的流通,通过坐标注意力机制对特征参数加权,引导网络更好地重建高频特征,恢复图像细节。实验结果表明,4倍图像重建下,在Set5和Set14测试集上的峰值信噪比(PSNR:Peak Signal to Noise Ratio)为31.00 dB、28.96 dB,结构相似性(SSIM:Structural Similarity)为0.893、0.854,重建后的图像在细节、轮廓方面均表现更好,优于其他主流超分辨率重建算法。     

融合上下文的残差门卷积实体抽取

基于传统卷积框架的实体抽取方法,由于受到卷积感受野大小的控制,当前词与上下文的关联程度有限,对实体词在整个句子中的语义欠考虑,识别效果不佳.针对这一问题,提出一种基于残差门卷积的实体识别方法,利用膨胀卷积和带残差的门控线性单元,从多个时序维度同步考虑词间的语义关联,借助门控单元调整流向下一层神经元的信息量,缓解跨层传播...     

融合深度残差网络和注意力机制的3D目标检测

针对Frustum-PointNets的实例分割网络结构单一且卷积深度较深、易出现特征丢失和过拟合,检测准确率较低的问题,提出了一种改进的Frustum-PointNets网络。该网络首先构建深度残差网络并融入实例分割网络,提高特征提取能力,解决深层网络的退化问题;引入双重注意力网络以增强特征,提高分割效果;运用Log-Cosh Dice Loss解决样本不均衡,加快网络训练;使用Mish激活函数保留特征信息;最后基于Kitti和SUN RGB-D两个数据集进行实验验证本文算法的有效性。实验结果表明,本文算法相对于Frustum-PointNets,在Kitti数据集中,3D框检测精度提高了0.2%～13.0%;鸟瞰图的3D框检测精度提高了0.2%～11.3%。在SUN RGB-D数据集中,本文算法的3D框检测精度提高了0.6%～16.2%,平均检测精度（m AP）提高了4.4%。实验验证,本文算法在室外和室内场景中获得较好的目标检测及分割效果。     

基于残差卷积自注意力神经网络的铝电解过热度识别方法

过热度是反映铝电解槽当前生产效率的重要指标,由于过热度难以在线实时测量,本文提出一种基于残差卷积自注意力神经网络的过热度识别方法.针对铝电解生产过程数据为时间序列数据且具有多源异构特性,设计异构数据的同构表示方法.在此基础上建立残差卷积自注意力神经网络模型以提取同构时间序列数据的全局与局部特征.针对过热度数据标签少且类别分布不均匀问题,采用基于自动编码器的无监督预训练方法与加权交叉熵损失函数以提高过热度识别任务的性能.在基准数据集上进行仿真对比实验以验证本文所提方法的有效性,然后在只包含少量不平衡标签的铝电解过热度数据集上进行实验验证,结果表明本文构建的过热度识别模型相较与其他现有模型不仅提高了过热度识别准确率,而且在训练样本较少时保证了模型的泛化能力.     

基于BiGRU和残差图注意力网络的股票价格预测模型

高效、准确的股票价格预测能帮助投资者合理规划交易方式,提高投资收益。针对现有股票价格预测模型的准确率不高、投资收益率低等问题,提出一种结合双向门控循环单元(BiGRU)和残差图注意力网络(ResGAT)的股票价格预测模型(BiGRU-ResGAT)。首先,通过结合注意力机制的时间滑动窗口方法(TSWMCAM)动态计算不同股票之间的关联系数,构建表征股票之间关联关系的股票图结构;然后,使用BiGRU捕获股票在时序上的长距离依赖信息;最后,利用ResGAT对股票的时序特征与股票间的关联特征进行深度挖掘和融合,并对股票价格进行预测。在上海证券交易所主板市场498支股票上的价格预测结果显示,与支持向量机(SVM)、门控循环单元(GRU)、复合模型(CNN-LSTM)和关系股票排序模型(RSR)相比,BiGRU-ResGAT在股票测试集上平均绝对误差(MAE)分别降低79.53%、63.20%、48.17%、33.19%,均方根误差(RMSE)分别降低80.23%、66.22%、53.99%、29.99%,决定系数(R-Squared)分别提升23.34%、15.22%、9.54%、4.84%;...     

基于图注意力网络和时间卷积网络的空气污染物浓度预测方法

提出了一种融合图注意网络（GAT）和带注意力机制的时间卷积网络（ATCN）的创新模型——GAT-ATCN,旨在提高空气污染物浓度预测的精度和效率. 在通过GAT捕捉监测站点间的复杂空间依赖关系,利用注意力机制,自适应地加强重要节点之间的连接,从而提取空间特征. ATCN被用来处理时间序列数据,通过学习时间维度上的长期依赖关系,捕获污染物浓度随时间变化的动态特性. 选取中国江浙沪地区7个城市2018—2020年的实际空气质量监测和气象数据,构建数据集并进行实验,验证了GAT-ATCN模型的有效性. 实验结果显示：GAT-ATCN模型在多个评价指标上均表现优异,能够更准确地预测空气污染物浓度.     

基于迁移学习的轴承剩余使用寿命预测方法

针对目前大多数基于人工智能的轴承剩余使用寿命(remaining useful life,RUL)预测方法不能很好地预测不同工况下轴承剩余寿命的问题,提出了一种基于迁移学习的寿命预测方法,对不同工况下的轴承进行剩余寿命预测.对采集的轴承原始振动信号进行傅里叶变换得到频域信号,以卷积神经网络和长短时记忆网络作为特征提取器...     

基于注意力与LSTM的航空发动机剩余寿命预测

预测性维护的核心技术之一是设备剩余寿命(remaining useful life, RUL)预测。为了提高航空发动机的剩余寿命预测精度,提出了一种基于注意力与长短期记忆(directional long short-term memory, LSTM)网络的航空发动机剩余寿命预测模型Attention-LSTM,通过引入注意力机制增强各时间点数据的特征权重,有效提升了模型预测精度。使用NASA C-MAPSS涡扇发动机仿真数据集进行实验,与未加注意力机制的长短期记忆网络等多种模型进行对比实验。实验结果表明,提到的Attention-LSTM模型的均方根误差相比较于未引入注意力机制的长短期记忆网络降低了17.8%,拟合度提升了3.2%,各项评估指标均也优于其他对比模型。     

基于深度宽卷积残差收缩网络的球磨机负荷状态诊断

针对磨矿复杂工况下球磨机负荷状态准确诊断的难题,提出一种基于深度宽卷积残差收缩网络（Deep Wide Residual Shrinkage Networks, DWRSNs）的球磨机负荷状态诊断方法.首先采用宽卷积神经网络提取振动信号短时特征,建立三层深度残差收缩网络,利用软阈值函数进行非线性变换,再基于注意力机制模块自主学习阈值提取面向负荷状态的高级特征,通过全连接层、softmax层实现球磨机负荷状态的准确分类与判别.实测结果证明,本文提出的DWRSNs方法的拟合度、收敛速度及学习能力均优于现有DCNNs、ResNets和DRSNs诊断方法,且提取的振动信号特征具有高代表性,经TSNE可视化后簇内紧密度高、簇间分界明显.本文方法诊断测试集的准确率超过99%,交叉熵损失为0.077 2,相较于现有负荷状态诊断方法具有更高的准确率且诊断耗时更短,可实现球磨机负荷状态的准确判别,为选冶磨矿过程优化控制、提高磨矿效率提供有效、可靠的判据.     

基于多残差注意力深度收缩网络的超微光图像增强方法

超微光成像可在极度黑暗的环境中给观察者提供近乎白昼的视觉体验,在许多民用和军事应用中起着至关重要的作用。超微光环境下拍摄的图像和视频通常存在亮度与对比度极低、噪声水平高、场景细节和色彩严重缺失等固有缺陷,近年来,深度学习为超微光成像的研究带来了新的机遇。文中采集并提供了一组实用性更强的超微光训练数据集,提出了一种多残差注意力深度收缩网络(Multi Residual Attention Shrinkage Network),以此实现了一种新的超微光成像方法。通过成功研制的小型化样机证实了该方法的工业量产前景。实现了基于通道注意力和空间注意力的残差内注意力机制,以及基于深度软阈值收缩的外注意力机制,不仅可以有效提取并还原极低照度环境下的图像细节信息,恢复场景真实色彩,而且可以有效去除此类环境下由成像设备感光不足带来的巨量噪声。实测效果显示该方法可对极低照度环境进行有效的增强且实时性高。通过与多种业界最新方法比较,文中方法在主观视觉体验以及客观参数两方面均表现更好。