细粒度全局感知多聚焦图像融合网络

多聚焦图像融合是图像融合的一个重要分支，在显微成像等方面具有广泛的应用.针对多聚焦融合中存在的纹理细节不清晰、聚焦区域误判等问题，本文从空间及通道信息全局关注的角度出发，结合Swin Transformer中的移动窗口自注意力机制和深度可分离卷积设计了一个全局信息编码-解码网络，采用综合损失函数进行图像重构任务的无监督学习；从特征邻域信息重要性的角度出发，引入了改进的拉普拉斯能量和函数在特征域进行图像聚焦属性的判别，增强图像聚焦区域判别的细粒度效果.与7种经典图像融合算法比较，本文算法在定性和定量分析中均取得了先进的融合性能表现，对原始图像的聚焦区域信息具有更高的保真效果.     

用于图像超分辨率重建的双通道残差网络

针对现有基于深度学习的自然图像超分辨率算法在图像高频细节重建方面的不足,提出了一种更注重图像高频细节重建的双通道残差网络。使用带有通道注意力机制的残差结构作为网络的主通道;为了在重建过程中更好地保留原始图像的几何结构和边缘信息,使用自适应结构化卷积设计了网络的辅助通道,以此构建的双通道残差网络在学习过程中会有更强的高频信息捕获能力;为了使重建图像效果更加符合人眼的主观视觉感受,结合使用L₁损失函数和多尺度结构相似度损失函数来训练网络,使网络在训练过程中能够较好地保留图像的视觉效果。实验结果表明:在主通道外并构基于结构化卷积的辅助通道可以使重建图像的峰值信噪比提高2 dB;结合使用L₁损失函数和多尺度结构相似度损失函数可以使重建图像的峰值信噪比提高3 dB、结构相似性提高0.5;与同类网络客观定量相比,所提网络在两个公开数据集上取得的效果更优。     

基于残差注意力机制的图像超分辨率算法研究

针对传统单幅图像超分辨率重建算法未能充分利用浅层特征信息,忽略视觉目标中的空间结构信息,难以捕捉特征通道与高频特征信息之间的依赖关系,重建图像出现伪影、边缘模糊的问题,提出一种基于残差网络和注意力机制的图像超分辨率重建算法。该模型特征提取部分结合WDSR-B(Wider Activation Super-Resolution B)残差网络增强特征信息在网络中的流通,通过坐标注意力机制对特征参数加权,引导网络更好地重建高频特征,恢复图像细节。实验结果表明,4倍图像重建下,在Set5和Set14测试集上的峰值信噪比(PSNR:Peak Signal to Noise Ratio)为31.00 dB、28.96 dB,结构相似性(SSIM:Structural Similarity)为0.893、0.854,重建后的图像在细节、轮廓方面均表现更好,优于其他主流超分辨率重建算法。     

基于多层次特征融合的Transformer人脸识别方法

卷积神经网络中的卷积操作只能捕获局部信息,而Transformer能保留更多的空间信息且能建立图像的长距离连接.在视觉领域的应用中,Transformer缺乏灵活的图像尺寸及特征尺度适应能力,通过利用层级式网络增强不同尺度建模的灵活性,且引入多尺度特征融合模块丰富特征信息.本文提出了一种基于改进的Swin Transformer人脸模型——Swin Face模型.Swin Face以Swin Transformer为骨干网络,引入多层次特征融合模块,增强了模型对人脸的特征表达能力,并使用联合损失函数优化策略设计人脸识别分类器,实现人脸识别.实验结果表明,与多种人脸识别方法相比,Swin Face模型通过使用分级特征融合网络,在LFW、CALFW、AgeDB-30、CFP数据集上均取得最优的效果,验证了此模型具有良好的泛化性和鲁棒性.     

基于方向引导的残差去雨网络

基于深度学习的单幅图像去雨已经取得了较大进展，但现有的图像去雨方法大多没有考虑真实场景中雨纹方向的多样性，导致各方向雨纹去除不均匀，复原图像仍存在雨纹残留及颜色失真问题．基于此，以雨纹方向信息为导向，提出了一种基于雨纹方向引导的残差去雨网络．该网络由带有残差校正模块的编解码主干网络、基于方向引导的特征提取子网络以及颜色修正模块组成．在主干网络中，融入残差校正模块可学习低质量特征表示到最优特征表示的映射，校正后的网络可恢复更多高频细节；特征提取子网络包含方向引导模块和自适应循环递归模块，通过动态卷积核自适应选择与注意力机制引导，可实现不同方向、不同感受野的雨纹特征提取和融合；进一步，为了改善去雨后图像的视觉质量，设计了颜色修正模块，可以对复原图像的色彩信息进行补偿．在合成和真实数据集上的实验表明，所提方法可在彻底去除雨纹的同时保持细节丰富、颜色自然．     

基于Transformer改进的两分支行人重识别算法

针对基于卷积神经网络的行人重识别算法全局信息建模不足的问题，分析了卷积操作的局限性，提出一种基于Transformer改进的全局-局部两分支行人重识别算法.首先利用相对位置编码改进多头自注意力机制，并将其嵌入到Resnet50骨干网络中.之后在全局分支中对图像进行空间几何划分并利用Transformer的全局感受野增强抽象特征的提取能力；在局部分支中对Layer＿3输出进行降维监督，利用多尺度池化获得更丰富的局部特征.实验结果表明，该算法在公开数据集Market-1501和DukeMTMC-reID上的mAP/Rank-1分别达到了93.45%/95.61%和88.79%/90.35%,相对于单纯基于卷积神经网络的算法，本文算法达到更高的精度.     

基于生成对抗网络的单图像超分辨率重建

针对当前卷积神经网络未能充分利用浅层特征信息, 并难以捕获各特征通道间的依赖关系、 丢失高频信息的问题, 提出一种新的生成对抗网络用于图像超分辨率重建. 首先, 在生成器中引入WDSR-B残差块充分提取浅层特征信息; 其次, 将GCNet模块和像素注意力机制相结合加入到生成器和鉴别器中, 学习各特征通道的重要程度和高频信息; 最后, 采用谱归一化代替不利于图像超分辨率的批规范化, 减少计算开销, 稳定训练. 实验结果表明, 该算法与其他经典算法相比能有效提高浅层特征信息的利用率, 较好地重建出图像的细节信息和几何特征, 提高超分辨率图像的质量.     

注意力机制下的多层次特征融合图像去雾算法

提出一种基于注意力机制的多层次特征融合的图像去雾算法.该算法通过残差密集网络和自校准卷积网络来提取不同尺度的特征,再利用双重注意单元和像素注意力将特征融合重建.同时采用一种由均方误差损失、边缘损失和鲁棒性损失函数相结合的损失函数,可以更好地保留细节特征.实验表明,该算法与其他去雾算法相比在峰值信噪比和结构相似度指标上得到一定的提高,去雾图像在主观视觉上取得了较好表现.     

基于Swin Transformer的深度有监督哈希图像检索方法

在深度有监督哈希图像检索的特征提取过程中,一直由卷积神经网络架构主导,但是随着Transformer在视觉领域中的应用,Transformer替代卷积神经网络架构成为可能.为了解决现存基于Transformer的哈希方法中不能生成层次表示和计算复杂度高等问题,提出了一种基于Swin Transformer的深度有监督哈希图像检索方法.该方法以Swin Transformer网络模型为基础,在网络最后添加一个哈希层,为图像进行哈希编码.该模型中引入了局部思想和层级结构,能够有效解决上述问题.与现有的13种先进方法相比,所提方法的哈希检索性能得到大幅提升.在两个常用检索数据集CIFAR-10和NUS-WIDE上进行实验,实验结果表明：在CIFAR-10数据集上所提方法mAP最高达到98.4%,与TransHash方法相比平均提高7.1%,与VTS16-CSQ方法相比平均提高0.57%;在NUS-WIDE数据集上所提方法mAP最高达到93.6%,与TransHash方法相比平均提高18.61%,与VTS16-CSQ方法相比检索精度平均提高8.6%.     

宽型自注意力融合密集型残差网络的图像去雾

当前去雾算法无法很好解决不均匀雾霾图像去雾的问题，为此提出了一种宽型自注意力融合的条件生成对抗网络图像去雾算法.在算法中加入了宽型自注意力机制，使得算法可以为不同雾度区域特征自动分配不同权重；算法特征提取部分采用DenseNet融合自注意力网络架构，DenseNet网络在保证网络中层与层之间最大程度的信息传输的前提下，直接将所有层连接起来，获取更多的上下文信息，更有效利用提取的特征；融合自注意力可以从编码器部分提取的特征中学习复杂的非线性，提高网络准确估计不同雾度的能力.算法采用Patch判别器，增强去雾图像的局部和全局一致性.实验结果证明，算法网络在NTIRE 2020、NTIRE 2021和O-Haze数据集上的定性比较，相比于其他先进算法得到更好的视觉效果；定量比较中，相较于所选择先进算法的最好成绩，峰值信噪比和结构相似性指数分别提高了0.4和0.02.     

基于特征稀疏化的粉尘图像深度预测

【目的】针对粉尘环境中单幅图像深度预测精度低的问题，提出了一种基于输入特征稀疏化的粉尘图像深度预测网络。【方法】使用粉尘图像的直接传输率与深度的关系设计预估计深度网络，利用图像颜色衰减先验原理进一步获取粉尘图像的稀疏深度特征。将该稀疏深度特征与粉尘图像一起作为深度预测网络的输入。深度预测网络以“编码器-解码器”为模型框架，编码器中使用残差网络(ResNet)对粉尘图像进行编码，设计融合通道注意力机制的稀疏卷积网络对稀疏深度特征进行编码。解码器中采用反卷积以及多尺度上采样的方法，以更好的重建稠密的深度信息。使用最小绝对值损失和结构相似性损失作为边缘保持损失函数。【结论】在NYU-Depth-v2数据集上的实验结果表明该方法能够从粉尘图像中有效预测深度信息，平均相对误差降低到0.054,均方根误差降低到0.610,在δ<1.25时准确率达到0.967.     

基于密集残差网络的图像隐藏方案

针对基于编-解码器网络的图像隐写方案生成的含密图像和消息图像质量不高的问题,提出了一种新的基于密集残差连接的编码器-解码器隐写方案,与现有的端到端图像隐写网络不同,本文采用密集残差连接,将浅层网络的特征输送到深层网络结构的每一层,有效的保留了特征图的细节信息,并使用通道和空间注意力模块对特征进行筛选,提高了编-解码器对图像复杂纹理区域的关注度。在LFW、PASCAL-VOC12和ImageNet数据集的实验结果表明,在保证算法安全性的前提下,所提方法能够有效提高图像质量,含密图像和载体图像的峰值信噪比(PSNR)和结构相似性(SSIM)的平均值最高达到了36.2dB和0.98。     

多尺度编码-解码结构的单幅图像去雨网络

针对图像去雨问题提出多尺度编码-解码结构的单幅图像去雨网络(MSEDNet).首先在编码阶段对雨图像进行二次下采样;然后每个下采样层分别通过特征细化模块提取特征信息;最后将特征图逐步上采样,并且与上一个阶段的特征图聚合得到最终的去雨图像.采用不同分辨率的特征提取网络,能更好地提取雨纹的特征.特征细化网络首先经过多尺度扩张卷积聚合雨纹特征,然后通道注意力给聚合模块通道分配不同的权重以细化自身,最后使用ResNet和DenseNet的双路特征提取器实现雨纹信息提取.仿真和真实雨数据集结果表明:所提网络能够有效地去除雨纹,得到高质量的无雨图像.     

从全局到局部：双注意力融合去雾网络

为了处理现有的基于卷积神经网络去雾方法只使用单一的注意力、很难生成细节生动的清晰图像,且容易导致色彩失真的问题,提出了一个全局与局部注意力融合的图像去雾方法,以获得正常清晰度和无色彩失真的去雾图像。首先利用通道注意力将输入的有雾图像在通道维度切分为两部分,一部分送入通道像素注意力通道抽取局部特征,另一部分送入Transformer通道学习全局特征,然后利用像素注意力对两个通道学习的特征进行融合,将上述模块作为基本单元组合为一个多级U型去雾网络,增加残差连接缓解上下采样导致的细节信息丢失,最后在网络底层加入一个Transformer模块学习全局信息。在多个公开可用的去雾图像数据集RESIDE SOTS Indoor、RESIDE SOTS Outdoor上测试所提方法的有效性,结果表明：对比经典的去雾方法,所提网络生成的图像细节更丰富并且色彩失真最少;在RESIDE SOTS Outdoor数据集上,相比经典的FFA-Net,峰值信噪比提高1.16 dB,相比GridDehazeNet,峰值信噪比提高3.68 dB。提出的全局与局部注意力融合方法能有效地去除雾霾,提升图像的对比度与清晰度...     

多尺度残差注意网络的真实图像复原方法

为了提高基于深度学习网络方法在真实图像上的复原效果,提出了一种基于多尺度残差注意网络的复原方法。将退化图像输入到该模型中,利用浅层特征网络提取原始低质量图像的浅层特征;利用残差注意网络模块提取深层特征信息和通道相关性,使用局部连接和短跳跃连接进行残差学习;将浅层特征、通道相关性以及上下文深层特征信息输入到重构网络,利用具有不同感受野的特征进行图像复原。实验结果表明,相较于其他对比方法,该方法在图像去噪、图像增强和超分辨率等多个任务中获得最优的结果,能够在不引入伪影的情况下生成纹理细节丰富的清晰图像。     

采用对比学习的多阶段Transformer图像去雾方法

为了解决现有图像去雾方法在图像局部去雾以及纹理细节恢复等方面始终不理想以及处理非均匀雾质始终不彻底的问题，提出了一种采用对比学习的多阶段自注意力模块(Transformer)的图像去雾MSTCNet方法。首先，利用信道级Transformer模块作为基本的特征提取模块，充分地捕获特征信道之间的长距离依赖关系；其次，通过提出的多监督对比学习方法最大限度地挖掘正负样本信息，使去雾图像在投影后的隐空间中更靠近清晰图像，同时远离有雾图像；最后，利用多阶段渐进式网络结构和可变形自注意力机制有效地整合图像局部细粒度特征和全局粗粒度信息。本文在2个合成数据集和3个真实数据集上对所提出的方法进行了大量的实验，结果表明：所提出的MSTCNet方法在5个数据集上的峰值信噪比(PSNR)分别提高了1.49、1.45、0.11、1.45和0.22 dB,在通用数据集与非数据集的测试中均超越已有的方法，在浓雾质、非均匀雾质以及均匀雾质的测试中均表现出最佳的去雾视觉效果，并达到最高的客观评价指标值。     

基于注意力机制和感知损失的遥感图像去噪

遥感图像去噪对于遥感图像在后续的分类、检测等任务中有着非常重要的作用.为了让去噪后的图像更好地保留边缘细节信息,同时增强深度网络对噪声污染区域的辨识能力,本文结合注意力机制以及感知损失来处理遥感图像,提出了一种新的基于残差自编码器的遥感图像去噪网络ARED-VGG.考虑到遥感图像中不同地物大小不同,该网络首先同时使用图像的空间和光谱信息来提取多尺度特征;然后使用残差自编码器网络结构来进行图像空间-光谱多尺度图像重建.为了增加网络的辨识能力,更多地关注网络中提取的高频特征,网络引入了注意力机制.同时为了让去噪后的结果更符合视觉感观,使用了感知损失混合均方误差作为损失函数.从实验结果知,本文所提出的方法在噪声去除和纹理细节保留方面与NLM3D、BM4D、LRMR、HSID-CNN和3DADCNN相比表现更优.在Washington DC mall遥感图像数据集上进行了仿真实验,平均峰值信噪比以及平均结构相似性指标都有较好的结果;在AVIRIS Indian Pines数据集上进行了真实数据实验,以去噪后的结果地物分类指标作为验证,整体分类精度以及Kappa系数分别为96.90%和0.9647;对网络结构进行了消融实验,在两个数据集下,本文所提出的网络结构都能获得更优的结果.本文提出基于注意力机制和感知损失的深度神经网络进行遥感图像去噪,提高了网络的辨识能力,实现了良好的去噪性能,并且有效保持了图像的细节信息和光谱信息.     

基于深度网络分级特征图的图像超分辨率重建

从低分辨率图像中提取特征图恢复高分辨率图像中的高频信息是超分辨率重建的一个关键问题,针对该问题提出一个新的基于卷积神经网络的超分辨率重建算法.网络结构由卷积层与子像素卷积组成,特征提取网络中卷积层提取低分辨率图像的特征,重建网络中子像素卷积神经网络作为上采样算子.针对不能充分利用多级特征图的问题,采用跳跃连接和特征图联结在特征提取网络末端跨通道融合特征图,同时降低特征图的维度.并在此基础上再次提取特征图应用于重建.实验结果表明,算法在PSNR、SSIM和人类视觉效果上与其他基于深度学习的算法相比有着显著的提高.     

注意力残差密集网络的单幅图像去雾算法

针对现有去雾方法色彩失真、去雾不彻底、细节丢失等问题,提出一种模块化的端到端的单幅图像深度去雾网络.首先,利用多尺度卷积核对输入有雾图像提取充分的关键特征;其次,构建由残差密集块及上、下采样单元形成的行和列的网格网络结构,行列之间通过一种新颖的注意力机制进行特征融合与提取;最后,由残差密集块和卷积层构成的后处理模块进一步减少去雾图像的残余伪影.定量和定性实验结果表明,所提方法去雾性能优越.     

基于自适应感知金字塔网络的图像去雨

基于深度学习的单幅图像去雨已经取得了较大进展，但现有方法去雨后的图像仍然存在细节丢失、密集雨纹去除不彻底等问题.为此，本文提出一种基于自适应感知金字塔网络的单幅图像去雨方法，能够在有效去除密集雨纹的同时对细节进行修正，显著改善去雨图像的视觉质量.首先，基于小波变换构建多尺度金字塔网络，在各尺度子网络之间进行递进式连接，实现雨纹迭代提取和去除;各尺度子网络内部以自适应雨纹感知模块为核心，设计对称跳跃连接将提取到的浅层特征反馈至深层，实现浅层特征的有效复用.其中，所设计的自适应雨纹感知模块通过非局部感知运算和共享扩张卷积扩大感受野，可有效感知雨纹特征，并融入注意力机制实现雨纹的自适应去除.为了更好地约束网络训练和去除不同尺度的雨纹，设计了一种多尺度损失函数，由粗及细逐步完成雨纹去除，可有效防止伪影现象.在合成和真实数据集上的大量实验表明，本文方法优于现有的主流方法，能够在去雨的同时较好地保持图像细节，视觉效果理想.