从全局到局部：双注意力融合去雾网络

为了处理现有的基于卷积神经网络去雾方法只使用单一的注意力、很难生成细节生动的清晰图像,且容易导致色彩失真的问题,提出了一个全局与局部注意力融合的图像去雾方法,以获得正常清晰度和无色彩失真的去雾图像。首先利用通道注意力将输入的有雾图像在通道维度切分为两部分,一部分送入通道像素注意力通道抽取局部特征,另一部分送入Transformer通道学习全局特征,然后利用像素注意力对两个通道学习的特征进行融合,将上述模块作为基本单元组合为一个多级U型去雾网络,增加残差连接缓解上下采样导致的细节信息丢失,最后在网络底层加入一个Transformer模块学习全局信息。在多个公开可用的去雾图像数据集RESIDE SOTS Indoor、RESIDE SOTS Outdoor上测试所提方法的有效性,结果表明：对比经典的去雾方法,所提网络生成的图像细节更丰富并且色彩失真最少;在RESIDE SOTS Outdoor数据集上,相比经典的FFA-Net,峰值信噪比提高1.16 dB,相比GridDehazeNet,峰值信噪比提高3.68 dB。提出的全局与局部注意力融合方法能有效地去除雾霾,提升图像的对比度与清晰度...     

基于小波变换及注意力机制的T型图像去雾网络

受大气中雾霾等悬浮颗粒的影响，室外拍摄的图像常伴有低对比度和低能见度问题，现存去雾方法未能充分利用图像的局部特征信息，存在去雾不彻底及图像细节丢失等问题. 为此，提出一种基于小波变换及注意力机制的T型图像去雾网络. 所提网络通过对图像进行多次离散小波分解及重构来获取有雾图像的边缘细节特征，并提出了一种兼顾图像全局特征及局部信息提取的特征注意力模块，加强了网络在图像视觉感知和细节纹理方面的学习. 在进行特征提取的过程中，提出T型连接方式来获得多尺度的图像特征，扩展了网络的表示能力. 对重构后的无雾图像进行色彩平衡，得到最终复原图像.在合成数据集和真实数据集中的大量实验结果表明，本文所提网络相较于现有其他网络模型具有更优越的性能.     

基于残差密集块与注意力机制的图像去雾网络

基于卷积神经网络的单幅图像去雾算法虽然取得了一定进展,但仍然存在去雾不完全和伪影等问题.基于这一现状,提出了一种以编码器-解码器结构为基本框架,融合注意力机制与残差密集块的单幅图像去雾网络.首先,利用网络中的编码器、特征恢复模块和解码器三个部分直接对去雾后的图像进行预测;然后,在网络中引入本文所设计的带有注意力机制的残差密集块,提升网络的特征提取能力;最后,基于注意力机制提出自适应跳跃连接模块,增强网络对去雾图像细节的恢复能力.实验结果表明,与现有去雾方法相比,提出的去雾网络在合成有雾图像数据集和真实有雾图像上均取得了较为理想的去雾效果.     

基于注意力特征融合稠密网络的图像去雾算法

目前主流图像去雾算法输出的结果图像存在颜色失真、边缘模糊的问题.为改善上述问题,提出一种基于深度学习的图像去雾算法,所提算法由两个模块构成:注意力特征融合模块和雾霾模型参数估计模块.注意力特征融合模块用于充分提取雾霾图像的颜色、边缘特征;基于稠密连接空洞卷积自编码器的雾霾模型参数估计模块用于估计雾霾模型的参数,改善网络退化的问题.在浓雾图像、薄雾图像数据集上的实验表明,本文提出的算法有效地实现了图像去雾,与主流的图像去雾算法相比具有更高的结构相似性(SSIM),更低的均方误差(mean-square error,MSE)和边缘误差e_○edge.     

一种CNN-Transformer网络在皮肤镜图像分割上的应用

【目的】针对皮肤病变图像存在皮损形状不规则、边界模糊以及毛发伪影等问题，提出了一种将CNN和Transformer相结合的图像分割算法。【方法】首先对皮肤病变图像进行去毛发预处理，减少毛发噪声对结果的影响，然后构建CNN和Transformer结合的分割模型，采用Resnet作为特征提取主干网络，将提取到的特征图序列作为Transformer的输入，在Transformer中加入了新的结构边界注意门以提取足够的局部细节来处理模糊边界，最后采用DenseASPP模块增强特征表示和处理多尺度信息，并且提出一种改进了的损失函数，以便在计算损失函数的同时使得模型能关注边界区域部分。【结果】提出的算法在ISIC2017数据集上的Dice指数值以及Jaccard指数值分别为0.854 534和0.767 901，在ISIC2018数据集上的Dice指数值以及Jaccard指数值分别为0.908 548和0.843 689，与其他算法相比提出的算法对图像的分割效果相对较好。【结论】实验结果证明了所提算法在皮肤病变图像上进行的图像分割是有效的。     

基于多模态融合的深度神经网络图像复原方法

针对水下图像成像环境复杂常受偏色等因素干扰而影响后续图像分析的问题,提出一种基于多尺度特征与三重注意力多模态融合的深度卷积神经网络图像复原方法.首先,深度卷积神经网络在抽取图像空间特征的基础上,引入图像多尺度变换特征;其次,通过通道注意力、监督注意力和非局部注意力,挖掘图像特征的尺度间相关性、特征间相关性;最后,通过设计多模态特征融合机制,将上述两类特征有效融合.在公开的水下图像测试集上进行测试并与当前主流方法进行对比的实验结果表明,该方法在峰值信噪比、结构相似性等定量对比以及颜色、细节等定性对比上都优于对比方法.     

基于Retinex的多尺度单幅图像去雾网络

针对现有去雾算法应用于真实场景时容易产生颜色失真、雾霾残留严重等问题,提出一种多尺度单幅图像去雾网络。首先基于Retinex理论的去雾模型,设计了多尺度残差光照图估计模块用于生成初步去雾后的图像,其次设计了精细化去雾模块来优化粗糙的去雾图像,从而获得去雾更加彻底、细节更加丰富的清晰图像。多尺度残差光照图估计模块利用不同尺寸的感受野捕获全局背景特征和局部细节特征,精细化去雾模块采用U-net结构,通过多个跳跃连接融合不同阶段的特征。实验结果表明,本文网络在定量和定性方面均有所提升,对于真实场景下的雾霾图像有较好的去雾能力。     

宽型自注意力融合密集型残差网络的图像去雾

当前去雾算法无法很好解决不均匀雾霾图像去雾的问题，为此提出了一种宽型自注意力融合的条件生成对抗网络图像去雾算法.在算法中加入了宽型自注意力机制，使得算法可以为不同雾度区域特征自动分配不同权重；算法特征提取部分采用DenseNet融合自注意力网络架构，DenseNet网络在保证网络中层与层之间最大程度的信息传输的前提下，直接将所有层连接起来，获取更多的上下文信息，更有效利用提取的特征；融合自注意力可以从编码器部分提取的特征中学习复杂的非线性，提高网络准确估计不同雾度的能力.算法采用Patch判别器，增强去雾图像的局部和全局一致性.实验结果证明，算法网络在NTIRE 2020、NTIRE 2021和O-Haze数据集上的定性比较，相比于其他先进算法得到更好的视觉效果；定量比较中，相较于所选择先进算法的最好成绩，峰值信噪比和结构相似性指数分别提高了0.4和0.02.     

基于Transformer增强卷积的膝关节磁共振影像年龄预测

年龄预测是临床医学中的一个重要课题和非常活跃的研究领域.最近，由于传统影像学检查中电离辐射的缺点，越来越多的研究使用磁共振影像进行年龄预测.本文基于膝关节MRI数据集，提出了一种新的端到端网络，结合卷积神经网络和Masked-Transformer网络互补地来提取局部特征和全局依赖，并使用一个特征聚合模块来聚合不同局部膝关节MRI切片的特征.通过整合卷积神经网络的特征图和视觉Transformer分支的特征编码，特征提取模块可以互补地提取局部和全局信息，更好地提取与年龄相关的特征.同时，该网络使用由图注意力网络组成的特征聚合模块，用于在特征级别集成不同MRI切片的局部特征，实现多切片局部特征之间的交互.大量实验表明，该方法可以在膝关节MRI年龄估计任务中达到最先进的性能.具体而言，本文方法在MRI数据集上进行了测试，该测试集包括44个年龄在12.0～25.9岁之间的膝关节MRI样本，其中五折交叉验证的最佳结果是年龄平均绝对误差为1.57±1.34岁.     

基于图像自适应增强的轻量级雾天车牌检测和识别算法

针对雾天图像降质带来的车牌识别难题,提出一种采用图像自适应增强的轻量级车牌检测和识别算法。以目标检测网络YOLOv5s和车牌识别网络LPRNet为基础,设计一个改进的图像自适应增强模块级联于YOLOv5s之前,并引入混合注意力(SA)机制改进LPRNet。图像自适应增强模块由带参数的图像去雾和纹理增强模块以及自适应参数预测模块组成。自适应参数预测模块是轻量级卷积神经网络,与YOLOv5s联合训练,为不同程度的带雾图像自动提供合适的去雾和纹理增强参数以获得更准确的车牌检测结果。利用车牌位置的真实标签和实际检测结果,采用混合注意力机制和迁移学习策略得到最终的SA-LPRNet模型,缓解识别模型对检测结果的敏感性以获得更高的车牌识别准确率。在合成的雾天车牌数据集上的实验结果表明：本文算法对雾天车牌检测的mAP@0.5-0.95指标达到70.6%,车牌识别准确率达到93.5%,优于对比算法,且识别速度满足实时性要求。     

基于对比自监督的遥感图像场景分类

基于视觉Transformer的自监督模型掩码自编码器因其优秀的全局特征捕捉能力，被广泛应用于遥感图像分类领域。但该模型存在图像重建训练时局部上下文语义信息易丢失从而限制其分类精度的进一步提升。针对以上问题，本文提出了融合掩码重建和对比学习的三阶段自监督遥感图像分类新模型——对比掩码自编码器。第一阶段进行掩码重建预训练，以提取遥感图像全局特征；第二阶段则通过对比学习中的正负样本补充第一阶段掩码建模过程中丢失的局部上下文信息；最后通过训练线性分类器完成特征分类。在公开遥感图像数据集AID和NWPU-RESISC45上将本文方法与主流自监督分类方法、监督分类方法进行对比实验。实验结果表明，该模型在两个数据集上分类精度分别达到95.37%和95.14%,性能优于DINO、MoCo、SSGANs等主流自监督模型，接近GLANet、CANet、MG-CAP (Sqrt-E)等主流监督模型，具有良好的应用价值。     

基于注意力机制的循环一致性生成对抗网络

针对循环一致性生成对抗网络（Cycle-GAN）在图像风格转换任务上出现的纹理细节处理得不好、背景颜色保留较差等问题，并且缩小在配对图像数据集和非配对图像数据集上训练结果的差异，提出一种基于注意力机制的循环一致性生成对抗网络，在生成器网络中融入通道注意力机制（SE-Net），利用网络自主学习的方法得到每一个特征通道的重要程度，再分别赋予每个特征通道不一样的权重系数，以此来强调有重要特征的部分、抑制非重要特征的部分，使得不同特征和不同区域能够被生成器网络非均匀的处理。同时引入对比学习（CL），使网络能够学习到图像的更高层次的通用特征。实验结果表明，所提方法在horse2zebra数据集上取得了较好的结果。     

基于3D注意力的MobileNet图像分类算法改进

针对MobileNetV2网络在图像分类任务中特征表达不足的问题，提出一种结合注意力机制对MobileNet网络的改进策略。利用一种新颖的高效且无参的注意力模块，同时结合I-block模块来替换MobileNet网络中的倒残差模块，采用RReLU激活函数替代原ReLU激活函数保留更多特征，结合inception结构进行多尺度特征提取与融合，使其可以提供更强的多尺度特征表达并服务于图像分类任务，使用数据扩增技术，生成更多样本。与6种方法进行对比，实验结果表明，采用3D注意力机制的网络在数据集CIFAR-10、CIFAR-100上以最少的网络参数分别取得94.09%和75.35%的最高精度，表明该改进方法可以有效地进行快速图像分类。     

基于注意力机制的细粒度图像分类算法

针对目前细粒度图像分类算法存在的局部区域特征捕捉不全面的问题,在B-CNN算法基础上提出了一种基于注意力机制的细粒度图像分类算法。首先利用数据增强的6种方式对训练数据集进行扩充,然后在B-CNN算法的特征提取中引入注意力机制,使用卷积注意力模块CBAM精准获取图像局部区域特征,最后融合特征进行分类。改进后的算法分别在CUB-200-2011和Stanford Cars两个数据集上进行实验,与当前先进算法比较,所提算法提高了细粒度图像的分类效果。     

基于双层视觉及多尺度注意力融合的图像去雾

针对现有去雾算法缺乏对雾霾图像不同区域噪音浓度的关注以及远近景特征的区分问题,本文提出了一种新的生成对抗网络模型.模型中通过两个UNet3+网络实现全尺度的跳跃连接和深度监督,使用多尺度融合的方法结合不同尺度特征图中的高低级语义;而深度监督的加入可以更好地学习图像中的远近层次表示.同时在生成器结构中加入融合改进自注意力机制的多尺度金字塔特征融合模块,以便更好地保留特征图的多尺度结构信息,并且提高了对不同雾霾浓度区域的关注度.实验结果显示,在NTIRE 2020、NTIRE 2021、O-Haze数据集和Dense-Haze数据集上, 本文所提出的算法网络相比BPPNET等其他先进算法可以得到更好的视觉效果,在Dense-Haze数据集上,峰值信噪比和结构相似性指数分别达到24.82和0.769.     

UConvTrans:全局和局部信息交互的双分支心脏图像分割

心脏核磁共振成像(MRI)具有噪声多、背景和目标区域相似度高、右心室形状不固定、呈月牙形或扁圆形等特点，虽然基于卷积神经网络的U型结构在医学图像分割中表现出色，但由于卷积本身的局部运算特性，提取全局信息特征能力有限，所以很难提升在心脏MRI上的分割精度.针对上述问题，提出一种全局和局部信息交互的双分支网络模型(UConvTrans).首先，利用卷积分支和Transformer分支提取局部特征和建模全局上下文信息，能够保留细节信息并抑制心脏MRI中噪声和背景区域的干扰.其次，设计了融合卷积网络和Transformer结构的模块，该模块将二者提取的特征交互融合，增强了模型表达能力，改善了右心室的分割精度，而且避免了Transformer结构在大规模数据集上预训练，可以灵活调节网络结构.此外，UConvTrans能有效地平衡精度和效率，在MICCAI 2017 ACDC数据集上进行验证，该模型在模型参数量、计算量仅为U-Net的10%、8%的情况下，平均Dice系数比U-Net提高了1.13%.最终，在其官方测试集上实现了右心室92.42%、心肌91.64%、左心室95.06%的Dice系数...     

基于粗糙注意力融合机制与Group Transformer的视网膜血管分割网络

视网膜血管的形态学变化对早期眼科疾病的诊断具有重要意义,除眼科疾病外,糖尿病、心血管疾病等同样可以通过视网膜血管的形态判别疾病进展。然而,视网膜血管本身具有复杂的组织结构,且易受到光线等因素的影响,对其准确分割并不容易。针对上述问题,提出了一种视网膜血管分割网络。该网络中首先设计了粗糙注意力融合模块(rough attention fusion module,RAFM),该模块基于粗糙集上下近似理论,利用全局最大池化与全局平均池化对注意力系数进行上下限描述,并串行融合通道注意力机制与空间注意力机制;然后,将粗糙注意力融合模块融入Group Transformer U network (GT U-Net),构建一种基于粗糙注意力融合机制与Group Transformer的视网膜血管分割网络;最后,基于公开DRIVE彩色眼底图像数据集进行对比实验,该网络结构在测试集上的准确率、F₁分数、AUC值分别达到了0.963 1、0.848 8和0.981 2,与GT U-Net模型相比,F₁分数、AUC值分别提升了0.35%、0.21%;与其他当前主流...     

基于Transformer和CNN的低剂量CT图像去噪网络

低剂量计算机断层扫描（Low-dose Computed Tomography, LDCT）在临床中有着广泛的 应用,可以有效减轻对病人的辐射剂量。但是成像后的低剂量CT图像中含有明显的噪声和条形 伪影,影响医师的诊断。提出了一种基于Transformer和CNN的去噪网络,该网络是一种改进的编 解码网络架构,其编码端的每一层由卷积模块与Transformer模块融合而成,用来提取每一层的局 部特征和全局特征,同时引入融合模块用来有效地融合提取的局部特征和全局特征。并把融合后 的特征通过跳跃连接融入解码端对应的层,解码端的每一层通过卷积模块提取有效特征进而重建 去噪后的图像。在真实数据集Mayo上的实验结果说明所提出的网络不仅可以有效去除噪声,还能 够保持图像的边缘。     

注意力残差密集网络的单幅图像去雾算法

针对现有去雾方法色彩失真、去雾不彻底、细节丢失等问题,提出一种模块化的端到端的单幅图像深度去雾网络.首先,利用多尺度卷积核对输入有雾图像提取充分的关键特征;其次,构建由残差密集块及上、下采样单元形成的行和列的网格网络结构,行列之间通过一种新颖的注意力机制进行特征融合与提取;最后,由残差密集块和卷积层构成的后处理模块进一步减少去雾图像的残余伪影.定量和定性实验结果表明,所提方法去雾性能优越.     

基于多视图和注意力推荐网络的三维物体识别方法

传统物体识别方法是从单一图像中通过人工提取图像特征,存在成本高、质量低等问题。针对上述问题,提出一种基于多视图和注意力推荐网络的三维物体识别方法,多视图很好地保留了物体在局部和全局上的特征;注意力模块可以有效地对视图上关键的特征聚焦,忽略无关或干扰特征。该方法利用一组多视图作为输入数据,通过卷积神经网络端到端提取物体特征,在卷积层加入注意力模块,实现视图关键区域的定位和剪裁,将处理后的视图送入另外一个卷积层,两个相同卷积操作提取的特征在池化层聚合,利用稀疏表示分类器对特征描述子进行分类识别。通过两个公开数据集的实验表明,所提算法对物体图像的识别准确度优于传统算法。