结合注意力机制和卷积神经网络的X射线焊缝缺陷检测

焊接是一种重要的连接技术,但是焊缝缺陷会直接影响焊接结构的性能和使用寿命。焊缝缺陷的种类和特征的多样性增加了缺陷检测的复杂性。首先,提出一种新颖的并行残差注意力模块,在通道和空间维度上充分利用全局平均池化和全局最大池化来捕获全局特征,并与输入特征相乘,自适应的选择缺陷特征,显著提升了网络模型的特征表达能力。其次,针对焊缝缺陷长宽比悬殊的问题,利用注意力机制指导锚框自学习图像特征,预测锚框的位置和形状,围绕缺陷区域自适应生成非均匀分布的任意形状的感兴趣区域。最后,设计了端到端的由注意力引导感知的深度学习网络模型。为验证所提模型的有效性,在包含3 403张图像(其中1 001张有缺陷)的X射线焊缝数据集上,通过定性的分析和定量的对比。实验结果表明：检测指标平均精度均值(mean average precision, mAP)达到了66.74%,与原算法相比提升了5.78%,平均交并比(mean intersection over union, mIoU)提升了7.21%,基本满足对焊缝缺陷的高精度检测。     

基于可变形卷积融合双注意力机制的缺陷检测方法

在工业生产制造过程中,由于生产失误致使产品表面缺陷不仅影响产品质量,同时也会损害企业形象.针对现有方法使用卷积神经网络只具备局部感受野的问题,将Vision Transformer(ViT)作为特征提取器,ViT可以通过位置编码与图像块间的互相运算充分利用图像中各部分间的关联特征.此外,针对现实场景下的缺陷区域是不规则、不连续的,现有的模型也未充分利用图像中通道与空间信息问题,提出了一种基于可变形卷积融合空间通道双注意力机制的方法(deformable convolutional and dual attention flow,简称DCA-Flow).对于不规则的缺陷区域,使用形变建模能力更强的可变形卷积进行特征提取,并利用通道与空间维度的注意力机制对可变形卷积提取的特征进行权重再调节.实验结果表明,所提出的方法能够有效检测各种类别物体中的表面缺陷,在多种物体中的平均AUROC值可达96.4%,相较基线方法最大值提高了1.4%,且具备更好的泛化性.     

基于注意力机制的图像分类降维方法

卷积算子是卷积神经网络的核心构造块,它根据一定的感受视野,融合卷积神经网络各层与不同通道之间的信息,提取出原始图像特征.然而图像中的相邻像素往往具有相似的值,导致卷积层的输出包含大量冗余信息.为了减少冗余信息,加快模型推理速度,神经网络中会加入池化层进行信息降维.对比传统降维方法,池化本身具有平移和旋转不变性,对图像特...     

基于注意力机制及卷积神经网络的肺部图像分类

新冠肺炎在全球范围内的突然爆发,使医疗工作者进入了紧张的工作状态.面临此次突发的危机争件,病毒检测速度较慢,检测手段单一等问题也迅速暁露出来,为此,提出了一种基于注意力机制的轻量级卷积神经网络方法,以进行高效肺部图像分类,从而缓解医疗工作压力.提出模型采用MobileNet为基本网络,并融合注意力机制.实验表明,提出网...     

一种基于改进RefineDet的管道数字射线成像缺陷图像检测方法

为提高管道缺陷图像检测的准确率,提出一种基于改进RefineDet的管道数字射线成像(digital radiography,DR)缺陷图像检测模型。该模型针对管道DR缺陷图像数据少、目标少等特点,从以下三个方面进行改进。首先,在骨干网络设计方面,使用Swin transformer代替VGG16作为主干网络,在提高特征提取能力的同时减少主干网络参数量。其次,针对管道DR缺陷图像目标数量较少而易受背景干扰问题,通过在主干网络与特征融合阶段之间加入全局注意力模块来强化模型对重要特征的关注,从而提高检测性能。最后,在后处理阶段,针对传统的非最大值抑制算法直接去除非最好预测框问题,使用软非最大值抑制算法以更合理的方式去除非最优预测框。结果表明：该方法能够有效实现管道DR缺陷图像的检测,并且相比于其他4种常用的目标检测模型,提出的模型可以有效提升管道DR缺陷图像检测的准确率,研究成果可为DR缺陷图像检测提供技术支撑。     

基于视觉注意力融合的表面微小缺陷检测

在生产过程中手机等智能设备的屏幕表面可能出现的微小缺陷与灰尘等脏污很相似,传统检测方法易将脏污误检为缺陷。为了提高产品表面微小缺陷的识别准确率,本文提出一种基于视觉注意力融合的检测方法。首先利用金字塔下采样初步识别出潜在目标,以减少图像数据量及提高计算效率,然后将角点检测、伽马变换和Otsu阈值分割等传统检测方法与3种显著性提取方法(布尔图显著性模型BMS、谱残差模型SR和频率调谐模型FT)相结合,建立了融合检测模型。实验结果表明,所提出的融合模型能够较为准确地区分出缺陷与脏污,F₁值可达到0.73,与其他几种显著性检测方法相比,本文方法在对脏污的识别上具有明显优势。     

CNS-Net:一种循环多注意力特征聚合架构

基于卷积神经网络(convolutional neural network, CNN)方法在高分辨率遥感图像分类时，提取全局特征信息和局部特征信息方面有一定优势，但不能有效区别关键信息和干扰信息。由此，提出一种端到端的CNS-Net网络来提取图像显著性特征。首先，设计了一个全局增强性模块(global enhancement module, GEM)通过显示建模通道之间的相互依赖关系，使网络选择性提取关键区域；其次，提出了一个多级循环注意模块(multi-stage cyclic attention module, MCAM)来捕捉特征信息的长期依赖关系和上下文感知信息；最后，在4个公共数据集上进行实验，结果表明所提方法达到了最优的分类性能。     

基于位置注意力机制的字词双维度CNN违法违规行为语义分类模型

针对核辐射安全监管部门检查建议所含违法违规行为自动识别并分类难的问题,建立语义分类自动研判模型,辅助有关部门丰富智能化管理体系,依靠数据进行科学决策,实现监管效率及质量的有效提高。将词和字符两个不同嵌入级别的特征向量输入到双路卷积神经网路（Convolutional Neural Networks, CNN）中,并引入语义位置注意力机制,建立基于字词双维度语义分析的违法违规研判模型。该方法不仅能够有效防止信息丢失,还能提取出更丰富的文本特征,强化领域关键词汇对分类准确率的帮助。实验结果表明本文建立的模型优于传统语义分类模型,能够有效提高分类准确度。     

一种基于深度学习的卫星遥感图像分割方法

近年来,基于深度学习的语义分割方法得到了广泛应用.本文针对实际遥感图像中的语义分割问题,为了减少网络参数和计算量,以及提高网络性能,提出了一个使用通道注意力机制的卷积神经网络(channel attention network,CA-Net).首先,对高分二号(GF-2)遥感图像进行预处理和数据标注,得到一个7分类数据...     

融合注意力机制的改进型YOLOv5绝缘子缺陷故障检测方法

在电力系统巡检过程中,人工巡检方式难度较高,且存在安全隐患,搭载智能算法的无人机平台代替人工进行绝缘子检测的方法前景较好。针对绝缘子缺陷目标检测过程中存在的速度较慢、准确度较低等不足,提出了融合注意力机制的改进型YOLOv5绝缘子缺陷故障检测方法,该方法在YOLOv5s网络中融入SE注意力模块和CBAM注意力模块,并且将SE注意力模块与网络结构当中的C3模块结合,强化了网络的特征提取能力。通过相关的图像处理方法完成了自建绝缘子数据集的构建,采用了k-means++聚类算法构建自建数据集的先验框,并引入了Mosaic-9数据增强策略,有效解决了训练数据不足难以保证训练效果的问题。实验验证表明,改进后的检测方法,在不影响检测时间的前提下,绝缘子检测的准确度提升9.7%,对电力系统巡检方法具有一定参考意义。     

基于注意力机制和多尺度特征融合的绝缘子缺陷检测方法

随着深度学习的快速发展,利用目标检测算法对航拍绝缘子图像进行缺陷检测成为绝缘子巡检的主要方式.针对传统目标检测算法对小目标的检测精度较低、特征图的表征能力较弱和提取的关键信息较少的问题,提出以YOLOv5l为基础网络的改进的基于注意力机制和多尺度特征融合的绝缘子缺陷检测方法 AMF-YOLOv5l(Attention Mechanism and Multi-Scale Feature Fusion Based on YOLOv5l).首先,通过增加一个小目标检测头,提高模型对小目标的检测性能;然后,构造DSPP(Dilated Spatial Pyramid Pooling)模块,充分融合多尺度特征,增强特征图的表征能力;最后,引入CA(Coordinate Attention)注意力机制,使网络更加专注于关键信息.在航拍绝缘子数据集APID(Aerial Photographic Insulator Dataset)以及两个公共数据集PASCAL VOC和MS COCO上分别验证该方法的可行性.实验结果表明,在APID数据集中该方法的AP(Average Precision)比YOL...     

基于注意力卷积神经网络的中文虚假评论检测

针对现有的虚假评论检测方法未充分利用虚假评论文本特征这一问题,本文提出一种基于多层注意力机制的卷积神经网络模型。首先,使用多种预训练词向量初始化词嵌入层,并进行复值位置编码;然后,将经过多种卷积核卷积得到的多种特征映射依次通过嵌入用户特征的通道级和卷积核级的注意力层,根据特征重要程度分配不同权重;最后,将拟合的评论文本特征表示进行Softmax分类。实验结果表明,与诸多主流优秀神经网络模型相比,本文模型准确率和F₁值分别提高4.74和3.86个百分点。     

基于多通道自注意力网络的遥感图像场景分类

高分辨率遥感图像场景分类广泛应用于土地监测、环境保护及城市规划等诸多领域.现有场景分类方法不能很好地结合局部纹理信息和全局语义信息,同时各通道特征之间的关系没有得到有效挖掘.因此,本文提出了一种基于多通道自注意力网络的遥感图像场景分类模型.通过卷积网络提取遥感图像的多尺度特征;随后采用特征融合单元建立多尺度特征间的局部-全局关系,基于多头自注意力机制的Inter-Channel Transformer在通道维度对融合后的特征建模,并推导特征在通道间的关系,进一步扩大全局感受野,以捕捉其语义结构信息,有效提高了网络的分类精度.在数据集AISC和SIRI-WHU上,本文所提算法的整体分类准确率(OA)分别为95.70%和94.00%,超过了当前最新的研究算法,证明了所提模型在高分辨率遥感图像场景分类任务中的有效性.     

基于3D注意力的MobileNet图像分类算法改进

针对MobileNetV2网络在图像分类任务中特征表达不足的问题,提出一种结合注意力机制对MobileNet网络的改进策略。利用一种新颖的高效且无参的注意力模块,同时结合I-block模块来替换MobileNet网络中的倒残差模块,采用RReLU激活函数替代原ReLU激活函数保留更多特征,结合inception结构进行多尺度特征提取与融合,使其可以提供更强的多尺度特征表达并服务于图像分类任务,使用数据扩增技术,生成更多样本。与6种方法进行对比,实验结果表明,采用3D注意力机制的网络在数据集CIFAR-10、CIFAR-100上以最少的网络参数分别取得94.09%和75.35%的最高精度,表明该改进方法可以有效地进行快速图像分类。     

FSDN:基于嵌套U-Net结构的人脸阴影检测模型

人脸阴影检测通常作为人脸图像相关任务的预处理步骤,避免阴影带来干扰。提出基于深度学习的人脸阴影检测方案,在解决方案中,首先根据光照和人脸结构信息,对耶鲁人脸数据库中1 600张光照不均匀人脸图像的阴影区域进行标注,构建人脸阴影检测数据集;之后设计基于嵌套U-Net结构和注意力模块的人脸阴影检测网络,嵌套U-Net结构被用于提取图像的高分辨率信息和全局特征,注意力模块被用于融合各个嵌套U-Net的输出,同时抑制低阶子层带来的噪声信息;最后在标注的人脸检测数据集上对网络进行了评估,实验结果表明,所提方法的平均检测错误率比对照组中最优方案降低了14.2%,可以有效地检测图像中的小面积阴影,并提供更精确的阴影边缘定位。     

基于卷积神经网络和混合注意力机制的书标检测算法

为实现图书馆中机器人智能排架,提出一种基于卷积神经网络和混合注意力机制的书标检测模型。将DenseNet121引入YOLOv4以提高特征和梯度之间的传递效率,利用SPDC模块实现局部和全局特征融合,进而通过通道和空间混合注意力提高模型的特征表征能力。实验结果表明,模型的平均准确率、整体性能、参数量和模型大小均优于对比方法,且易于部署到嵌入式设备中实现在线检测,从而提高图书乱架治理的智能化水平。     

基于通道注意力和特征增强的交通标志检测

道路上的交通标志包含大量的交通规则语义信息,快速、准确地获取这些信息有助于实现更高级别的辅助驾驶功能,从而提高车辆的安全性能。针对交通标志易受外界因素影响、类别间相似度高和尺寸微小的难点,本研究基于YOLOv5s模型,在数据预处理、特征提取、特征增强方面分别进行了针对性的改进。在数据预处理部分,利用颜色空间变换、几何变换矩阵来模拟实际场景中交通标志可能发生的颜色变化和形状变化,通过Mosaic算法、Copy-paste算法来提高训练集中微小交通标志的数量和背景的丰富性。在特征提取部分,构建了基于通道注意力标定的C3-TCA模块来提高模型对相似特征的辨别能力。在特征增强部分,通过双路径增强结构融合浅层特征和深层特征,并优化了预测分支的数量和下采样倍率,从而增加了对微小交通标志的检测精度。此外,还利用K-means++算法聚类先验框模板,基于CIoU度量构建边界框回归损失函数,从而降低边界框的回归难度。在TT100K和CCTSDB数据集上进行测试,模型的mAP@0.5指标分别为88.8%和83.5%,模型的检测速度分别为120.5f/s和114.7f/s。相较于现有交通标志检测模型,所构建...     

基于注意力机制结合CNN-BiLSTM模型的电子病历文本分类

为了解决中文电子病历文本分类的高维稀疏性、算法模型收敛速度较慢、分类效果不佳等问题,提出了一种基于注意力机制结合CNN-BiLSTM模型的病历文本分类模型。该模型首先使用word2vec工具进行词向量表示,利用多层卷积神经网络(convolutional neural networks, CNN)结构提取病历文本的局部特征,通过拼接操作丰富局部特征表示,再利用双向长短期记忆网络(bi-directional long short-term memory, BiLSTM)提取上下文的语义关联信息,获取句子级别的高层特征表达。最后通过Attention机制进行特征加权,降低噪声特征的影响,并输入softmax层进行分类。在多组对比实验的实验结果表明,该模型取得了97.85%的F₁,有效地提升了文本分类的效果。