基于窗口自注意力网络的单图像去雨算法

单图像去雨研究旨在利用退化的雨图恢复出无雨图像,而现有的基于深度学习的去雨算法未能有效地利用雨图的全局性信息,导致去雨后的图像损失部分细节和结构信息.针对此问题,提出一种基于窗口自注意力网络(Swin Transformer)的单图像去雨算法.该算法网络主要包括浅层特征提取模块和深度特征提取网络两部分.前者利用上下文信息聚合输入来适应雨痕分布的多样性,进而提取雨图的浅层特征.后者利用Swin Transformer捕获全局性信息和像素点间的长距离依赖关系,并结合残差卷积和密集连接强化特征学习,最后通过全局残差卷积输出去雨图像.此外,提出一种同时约束图像边缘和区域相似性的综合损失函数来进一步提高去雨图像的质量.实验表明,与目前单图像去雨表现优秀的算法MSPFN、 MPRNet相比,该算法使去雨图像的峰值信噪比提高0.19 dB和2.17 dB,结构相似性提高3.433%和1.412%,同时网络模型参数量下降84.59%和34.53%,前向传播平均耗时减少21.25%和26.67%.     

基于Retinex的多尺度单幅图像去雾网络

针对现有去雾算法应用于真实场景时容易产生颜色失真、雾霾残留严重等问题,提出一种多尺度单幅图像去雾网络。首先基于Retinex理论的去雾模型,设计了多尺度残差光照图估计模块用于生成初步去雾后的图像,其次设计了精细化去雾模块来优化粗糙的去雾图像,从而获得去雾更加彻底、细节更加丰富的清晰图像。多尺度残差光照图估计模块利用不同尺寸的感受野捕获全局背景特征和局部细节特征,精细化去雾模块采用U-net结构,通过多个跳跃连接融合不同阶段的特征。实验结果表明,本文网络在定量和定性方面均有所提升,对于真实场景下的雾霾图像有较好的去雾能力。     

注意力残差密集网络的单幅图像去雾算法

针对现有去雾方法色彩失真、去雾不彻底、细节丢失等问题,提出一种模块化的端到端的单幅图像深度去雾网络.首先,利用多尺度卷积核对输入有雾图像提取充分的关键特征;其次,构建由残差密集块及上、下采样单元形成的行和列的网格网络结构,行列之间通过一种新颖的注意力机制进行特征融合与提取;最后,由残差密集块和卷积层构成的后处理模块进一步减少去雾图像的残余伪影.定量和定性实验结果表明,所提方法去雾性能优越.     

基于自适应感知金字塔网络的图像去雨

基于深度学习的单幅图像去雨已经取得了较大进展,但现有方法去雨后的图像仍然存在细节丢失、密集雨纹去除不彻底等问题.为此,本文提出一种基于自适应感知金字塔网络的单幅图像去雨方法,能够在有效去除密集雨纹的同时对细节进行修正,显著改善去雨图像的视觉质量.首先,基于小波变换构建多尺度金字塔网络,在各尺度子网络之间进行递进式连接,实现雨纹迭代提取和去除;各尺度子网络内部以自适应雨纹感知模块为核心,设计对称跳跃连接将提取到的浅层特征反馈至深层,实现浅层特征的有效复用.其中,所设计的自适应雨纹感知模块通过非局部感知运算和共享扩张卷积扩大感受野,可有效感知雨纹特征,并融入注意力机制实现雨纹的自适应去除.为了更好地约束网络训练和去除不同尺度的雨纹,设计了一种多尺度损失函数,由粗及细逐步完成雨纹去除,可有效防止伪影现象.在合成和真实数据集上的大量实验表明,本文方法优于现有的主流方法,能够在去雨的同时较好地保持图像细节,视觉效果理想.     

注意力引导特征增强的单图像去雾

CNN网络深度的增加,导致计算成本急剧提升,且深层网络不能充分利用浅层特征.针对这个问题,提出了注意力机制引导下的特征增强网络(AGFENet),主要包括扩展卷积块(DVB)、特征增强块(FEB)和注意块(AB).DVB采用扩张卷积来扩大卷积核的感受野,有效降低网络深度,权衡性能和效率.FEB使浅层特征信息更多地流向深...     

基于三区域划分的单幅图像去雾算法

雾致退化给图像在监测监控、遥感航拍等领域的应用带来困难。针对现有去雾算法在天空区及交界处存在的问题,提出对图像进行天空、非天空及过渡三分区,并根据各区特点分别采用大尺度Retinex算法、暗通道先验去雾及两种算法结果加权融合的去雾算法框架。实验结果表明,算法较好地解决了天空区颜色紊乱、光斑等问题,去雾后的天空清晰平滑;过渡区在保持图像细节的情况下,克服了区域交界处的虚假边缘问题。与几种常见算法的对比实验结果显示,算法兼顾了不同区域的特点,去雾效果在整体上优于对比算法。     

基于多尺度宽激活残差注意力网络的图像去块效应

为了节约传输带宽和存储资源,成像设备和系统一般对图像和视频进行了有损压缩. 由于分块量化编码,JPEG图像往往存在明显的块效应. 去除图像的块效应不仅能够改善使用者的视觉体验,还有利于其他计算机视觉任务的开展. 为此,本文提出了一种基于多尺度宽激活残差注意力网络（MWRAN）的图像去块效应方法. MWRAN主要由多尺度宽激活残差注意力模块（MWRAB）构建而成. 提出的MWRAB不仅能够激活更多的非线性特征以促进信息在网络中的流动,还能够捕获丰富的图像多尺度特征. 此外,通过提出的轻量的差异感知通道注意力（LCCA）,MWRAB能够对学习到的特征进行自适应地调整以关注更重要的信息. 消融实验验证了MWRAB的有效性. 在常用的基准数据集上,MWRAN取得了比几种先进的图像去块效应方法更高的客观评价指标和更接近原图的主观视觉效果.     

基于双层视觉及多尺度注意力融合的图像去雾

针对现有去雾算法缺乏对雾霾图像不同区域噪音浓度的关注以及远近景特征的区分问题,本文提出了一种新的生成对抗网络模型.模型中通过两个UNet3+网络实现全尺度的跳跃连接和深度监督,使用多尺度融合的方法结合不同尺度特征图中的高低级语义;而深度监督的加入可以更好地学习图像中的远近层次表示.同时在生成器结构中加入融合改进自注意力机制的多尺度金字塔特征融合模块,以便更好地保留特征图的多尺度结构信息,并且提高了对不同雾霾浓度区域的关注度.实验结果显示,在NTIRE 2020、NTIRE 2021、O-Haze数据集和Dense-Haze数据集上, 本文所提出的算法网络相比BPPNET等其他先进算法可以得到更好的视觉效果,在Dense-Haze数据集上,峰值信噪比和结构相似性指数分别达到24.82和0.769.     

基于方向引导的残差去雨网络

基于深度学习的单幅图像去雨已经取得了较大进展,但现有的图像去雨方法大多没有考虑真实场景中雨纹方向的多样性,导致各方向雨纹去除不均匀,复原图像仍存在雨纹残留及颜色失真问题．基于此,以雨纹方向信息为导向,提出了一种基于雨纹方向引导的残差去雨网络．该网络由带有残差校正模块的编解码主干网络、基于方向引导的特征提取子网络以及颜色修正模块组成．在主干网络中,融入残差校正模块可学习低质量特征表示到最优特征表示的映射,校正后的网络可恢复更多高频细节;特征提取子网络包含方向引导模块和自适应循环递归模块,通过动态卷积核自适应选择与注意力机制引导,可实现不同方向、不同感受野的雨纹特征提取和融合;进一步,为了改善去雨后图像的视觉质量,设计了颜色修正模块,可以对复原图像的色彩信息进行补偿．在合成和真实数据集上的实验表明,所提方法可在彻底去除雨纹的同时保持细节丰富、颜色自然．     

结合多尺度和分数阶微分的单幅图像去雾算法

提出一种非下采样轮廓波变换(non-subsampled contourlet transform, NSCT)和分数阶微分相结合的图像去雾算法.该算法首先通过对低质有雾图像进行NSCT分解,得到一个低频子带与多尺度多方向的多个高频子带;然后采用分数阶微分算子对图像的低频子带进行增强,同时通过对各子带的高频系数进行非线性处理,实现高频子带的增强;最后进行NSCT重构,得到增强后的图像.对不同低质有雾图像进行实验比较,结果表明：本算法增强了主观视觉效果,使图像变清晰的同时,具有较高的对比度增益、清晰度增益、信息熵和平均梯度.     

利用中通道补偿的单幅图像去雾

针对雾天图像对比度低和细节模糊等问题,将图像分解为纹理层和结构层,对含有大部分雾气的结构层进行去雾,对纹理层进行增强.为了避免大气光估计易受白色物体影响,提出一种RGB空间立体判决图,并设计基于自适应阈值约束的大气光估计方法,可有效区分天空和非天空区域;针对暗通道先验处理大面积天空、浓雾区域失效问题,提出一种基于中通道...     

采用对比学习的多阶段Transformer图像去雾方法

为了解决现有图像去雾方法在图像局部去雾以及纹理细节恢复等方面始终不理想以及处理非均匀雾质始终不彻底的问题,提出了一种采用对比学习的多阶段自注意力模块(Transformer)的图像去雾MSTCNet方法。首先,利用信道级Transformer模块作为基本的特征提取模块,充分地捕获特征信道之间的长距离依赖关系;其次,通过提出的多监督对比学习方法最大限度地挖掘正负样本信息,使去雾图像在投影后的隐空间中更靠近清晰图像,同时远离有雾图像;最后,利用多阶段渐进式网络结构和可变形自注意力机制有效地整合图像局部细粒度特征和全局粗粒度信息。本文在2个合成数据集和3个真实数据集上对所提出的方法进行了大量的实验,结果表明：所提出的MSTCNet方法在5个数据集上的峰值信噪比(PSNR)分别提高了1.49、1.45、0.11、1.45和0.22 dB,在通用数据集与非数据集的测试中均超越已有的方法,在浓雾质、非均匀雾质以及均匀雾质的测试中均表现出最佳的去雾视觉效果,并达到最高的客观评价指标值。     

基于双支特征联合映射的端到端图像去雾算法

针对卷积神经网络去雾算法中模型复杂度高、特征提取性能差等问题,本文提出了一种基于双支特征联合映射的端到端图像去雾算法.首先对大气散射模型进行变形转换,分离出模型中的双支特征;然后根据双支特点设计了两个特征提取网络MPFEM和SPFEM,分别使用两种注意力机制对其输出特征进行加权;最后将提取到的双支特征输入复原模块恢复清晰图像,并对其进行色彩增强得到最终复原效果.在模型训练过程中为避免使用单一损失函数导致纹理细节丢失等问题,采用多尺度结构相似度和平均绝对误差加权作为损失函数.实验表明,本文所提算法网络结构简单,去雾效果明显,复原图像色彩亮度保真,边缘保持性强.     

基于多尺度特征提取的图像语义分割

指出了基于深度学习的图像语义分割中,如何充分利用图像上下文信息以达到更好的分割效果,是当前图像语义分割研究的关键问题.为解决这一问题,提出了一种基于多尺度特征提取的图像语义分割方法,通过构建深层卷积神经网络,并利用不同尺度图像作为网络的输入来提取不同尺度图像的特征,最后经过特征融合得到了分割图.在公开数据集Stanford background dataset 8类数据集上进行训练和验证,实验结果达到了84.33%的准确率.实验表明:通过提取和融合多尺度特征,可以达到更好的图像语义分割效果.     

基于多尺度注意力的皮肤镜图像自动分割算法

针对现有的皮肤镜图像分割算法存在边缘分割时效果较差和对中小目标的识别能力较弱等问题。本文提出了一种基于多尺度注意力融合的分割网络MAU-Net(Multi-scale attention U-Net)。MAU-Net网络是以U-Net网络为基础的分割模型,通过本文设计的多尺度注意力模块(MA),在特征提取时融合不同层次的特征,并将重要的目标特征给与一定的权重,从而使网络能更快和更精准的分割出目标区域。实验结果显示,在ISIC2017数据集上平均交并比(MIOU)、精确度(PRE)和kappa值分别为83.61%、93.58%和81.70%,性能比U-Net分别提高了5.27%、2.01%和6.83%;并在ISIC2017挑战赛数据集上进行了消融实验,实验结果验证了MA模型有助于网络性能的提升。本文提出的MAU-Net网络在皮肤病变分割任务中表现优异,同时具有良好的泛化性能。     

基于多尺度融合增强的服装图像解析方法

基于卷积神经网络中的各个层次特征,提出了一种基于多尺度融合增强的服装图像解析方法。通过融合增强模块,在考虑全局信息的基础上对包含的语义信息和不同尺度特征进行有效融合。结果表明：在Fashion Clothing测试集上的平均F1分数达到60.57%,在LIP（Look Into Person）验证集上的平均交并比（mean intersection over union,MIoU）达到54.93%。该方法可以有效地提升服装图像解析精度。     

宽型自注意力融合密集型残差网络的图像去雾

当前去雾算法无法很好解决不均匀雾霾图像去雾的问题,为此提出了一种宽型自注意力融合的条件生成对抗网络图像去雾算法.在算法中加入了宽型自注意力机制,使得算法可以为不同雾度区域特征自动分配不同权重;算法特征提取部分采用DenseNet融合自注意力网络架构,DenseNet网络在保证网络中层与层之间最大程度的信息传输的前提下,直接将所有层连接起来,获取更多的上下文信息,更有效利用提取的特征;融合自注意力可以从编码器部分提取的特征中学习复杂的非线性,提高网络准确估计不同雾度的能力.算法采用Patch判别器,增强去雾图像的局部和全局一致性.实验结果证明,算法网络在NTIRE 2020、NTIRE 2021和O-Haze数据集上的定性比较,相比于其他先进算法得到更好的视觉效果;定量比较中,相较于所选择先进算法的最好成绩,峰值信噪比和结构相似性指数分别提高了0.4和0.02.     

面向大规模图像检索的深度多尺度注意力哈希网络

针对现有哈希方法所存在的特征提取能力有限、量化约束机制低效等问题,提出一个深度多尺度注意力哈希网络进行大规模图像检索。整个网络由主分支和对象分支两个子网络组成。其中,在主分支网络中加入多尺度注意力定位和显著性区域提取两个模块,以有效定位和提取图像中的显著性区域,并将执行结果送入对象分支网络学习更为丰富的细节特征;同时,将两个子网络学习到的多粒度特征进行融合并执行二进制哈希编码;此外,引入三元组量化约束以减少量化误差,同时保持成对样本的相似度关系。为验证方法的有效性,文中在两个基准数据集上进行了广泛实验。实验结果表明,所提方法优于大部分现有的哈希检索方法。