基于残差密集块与注意力机制的图像去雾网络

基于卷积神经网络的单幅图像去雾算法虽然取得了一定进展,但仍然存在去雾不完全和伪影等问题.基于这一现状,提出了一种以编码器-解码器结构为基本框架,融合注意力机制与残差密集块的单幅图像去雾网络.首先,利用网络中的编码器、特征恢复模块和解码器三个部分直接对去雾后的图像进行预测;然后,在网络中引入本文所设计的带有注意力机制的残差密集块,提升网络的特征提取能力;最后,基于注意力机制提出自适应跳跃连接模块,增强网络对去雾图像细节的恢复能力.实验结果表明,与现有去雾方法相比,提出的去雾网络在合成有雾图像数据集和真实有雾图像上均取得了较为理想的去雾效果.     

宽型自注意力融合密集型残差网络的图像去雾

当前去雾算法无法很好解决不均匀雾霾图像去雾的问题，为此提出了一种宽型自注意力融合的条件生成对抗网络图像去雾算法.在算法中加入了宽型自注意力机制，使得算法可以为不同雾度区域特征自动分配不同权重；算法特征提取部分采用DenseNet融合自注意力网络架构，DenseNet网络在保证网络中层与层之间最大程度的信息传输的前提下，直接将所有层连接起来，获取更多的上下文信息，更有效利用提取的特征；融合自注意力可以从编码器部分提取的特征中学习复杂的非线性，提高网络准确估计不同雾度的能力.算法采用Patch判别器，增强去雾图像的局部和全局一致性.实验结果证明，算法网络在NTIRE 2020、NTIRE 2021和O-Haze数据集上的定性比较，相比于其他先进算法得到更好的视觉效果；定量比较中，相较于所选择先进算法的最好成绩，峰值信噪比和结构相似性指数分别提高了0.4和0.02.     

基于注意力特征融合稠密网络的图像去雾算法

目前主流图像去雾算法输出的结果图像存在颜色失真、边缘模糊的问题.为改善上述问题,提出一种基于深度学习的图像去雾算法,所提算法由两个模块构成:注意力特征融合模块和雾霾模型参数估计模块.注意力特征融合模块用于充分提取雾霾图像的颜色、边缘特征;基于稠密连接空洞卷积自编码器的雾霾模型参数估计模块用于估计雾霾模型的参数,改善网络退化的问题.在浓雾图像、薄雾图像数据集上的实验表明,本文提出的算法有效地实现了图像去雾,与主流的图像去雾算法相比具有更高的结构相似性(SSIM),更低的均方误差(mean-square error,MSE)和边缘误差e_○edge.     

基于注意力和反馈机制的HDR视频重建

对基于深度学习的高动态范围(high dynamic range,HDR)重建进行研究,提出一种基于注意力和反馈机制的HDR重建方法.首先,将时间上连续、循环曝光的3张图像作为网络的输入,通过引入注意力模块生成注意力图像,对获取的特征进行自适应的加权,以优化网络的特征提取和减少鬼影现象的出现;然后,将反馈机制引入到网络中,进一步提高特征信息的利用率,优化网络在特征融合和重建方面的性能;最后,在L1损失函数的基础上,考虑色彩相似度损失函数和VGG (Visual Geometry Group)损失函数以增强重建后HDR图像的色彩表现及高频细节.实验结果表明,本方法不仅可获得更好的主观和客观重建质量,而且优于目前存在的主流算法.     

面向智能船舶的水面小目标检测算法

针对智能船舶中基于视觉传感器的水面小目标识别具有识别区域分辨率低、图像模糊、信噪比低等问题,提出了一种新的基于卷积神经网络的水面小目标检测算法——自注意力特征融合检测算法.首先,为了提高视觉信息处理的效率与准确性,在网络模型中引入了自注意力模块,更多关注小目标的细节信息.其次,在网络模型中采用了结构化的特征融合算法,通过多尺度语义信息融合提升对小目标的检测性能.最后,为了解决目标检测的定位问题,在smooth L1损失函数的基础上设计了一种大梯度定位损失函数.通过与传统的Faster R-CNN目标检测算法在船舶数据库上进行仿真对比,验证了所提算法在解决水面小目标检测问题上的有效性.     

注意力残差密集网络的单幅图像去雾算法

针对现有去雾方法色彩失真、去雾不彻底、细节丢失等问题,提出一种模块化的端到端的单幅图像深度去雾网络.首先,利用多尺度卷积核对输入有雾图像提取充分的关键特征;其次,构建由残差密集块及上、下采样单元形成的行和列的网格网络结构,行列之间通过一种新颖的注意力机制进行特征融合与提取;最后,由残差密集块和卷积层构成的后处理模块进一步减少去雾图像的残余伪影.定量和定性实验结果表明,所提方法去雾性能优越.     

从全局到局部：双注意力融合去雾网络

为了处理现有的基于卷积神经网络去雾方法只使用单一的注意力、很难生成细节生动的清晰图像,且容易导致色彩失真的问题,提出了一个全局与局部注意力融合的图像去雾方法,以获得正常清晰度和无色彩失真的去雾图像。首先利用通道注意力将输入的有雾图像在通道维度切分为两部分,一部分送入通道像素注意力通道抽取局部特征,另一部分送入Transformer通道学习全局特征,然后利用像素注意力对两个通道学习的特征进行融合,将上述模块作为基本单元组合为一个多级U型去雾网络,增加残差连接缓解上下采样导致的细节信息丢失,最后在网络底层加入一个Transformer模块学习全局信息。在多个公开可用的去雾图像数据集RESIDE SOTS Indoor、RESIDE SOTS Outdoor上测试所提方法的有效性,结果表明：对比经典的去雾方法,所提网络生成的图像细节更丰富并且色彩失真最少;在RESIDE SOTS Outdoor数据集上,相比经典的FFA-Net,峰值信噪比提高1.16 dB,相比GridDehazeNet,峰值信噪比提高3.68 dB。提出的全局与局部注意力融合方法能有效地去除雾霾,提升图像的对比度与清晰度...     

基于对比学习的单幅图像去雾算法

现有的图像去雾算法,只采用了清晰图像来指导去雾网络的训练,而没有利用模糊图像,从而造成去雾不彻底,细节信息不完整的问题。为此提出了一种对比正则化的方法,利用模糊图像和清晰图像共同指导去雾网络的训练。对比正则化保证恢复后的图像信息向清晰图像方向靠近,远离模糊图像的方向。此外提出一种新的金字塔通道的特征自适应融合网络。该网络包含3个部分：三尺度特征提取网络、特征自适应混合模块(PCFM)和图像重建模块。三尺度特征提取模块同时捕捉不同尺度特征。金字塔结构和特征自适应融合操作,有效地提取相互依赖地特征,并以金字塔的方式有选择性地聚集更重要的特征。图像重建模块用于重建特征,恢复清晰的图像。实验结果表明,与现有的经典去雾算法相比,客观评价指标：峰值信噪比(PSNR)和结构相似性(SSIM)都得到了提升,并改善了去雾不彻底和颜色失真的现象。     

基于注意力机制的细粒度图像分类

针对细粒度图像分类中数据分布具有小型、非均匀和不易察觉类间差异的特征,提出一种基于注意力机制的细粒度图像分类模型.首先通过引入双路通道注意力与残差网络融合对图像进行初步特征提取,然后应用多头自注意力机制,达到提取深度特征数据之间细粒度关系的目的,再结合交叉熵损失和中心损失设计损失函数度量模型的训练.实验结果表明,该模型在两个标准数据集102 Category Flower和CUB200-2011上的测试准确率分别达94.42%和89.43%,与其他主流分类模型相比分类效果更好.     

基于小波变换及注意力机制的T型图像去雾网络

受大气中雾霾等悬浮颗粒的影响，室外拍摄的图像常伴有低对比度和低能见度问题，现存去雾方法未能充分利用图像的局部特征信息，存在去雾不彻底及图像细节丢失等问题. 为此，提出一种基于小波变换及注意力机制的T型图像去雾网络. 所提网络通过对图像进行多次离散小波分解及重构来获取有雾图像的边缘细节特征，并提出了一种兼顾图像全局特征及局部信息提取的特征注意力模块，加强了网络在图像视觉感知和细节纹理方面的学习. 在进行特征提取的过程中，提出T型连接方式来获得多尺度的图像特征，扩展了网络的表示能力. 对重构后的无雾图像进行色彩平衡，得到最终复原图像.在合成数据集和真实数据集中的大量实验结果表明，本文所提网络相较于现有其他网络模型具有更优越的性能.     

基于窗口自注意力网络的单图像去雨算法

单图像去雨研究旨在利用退化的雨图恢复出无雨图像，而现有的基于深度学习的去雨算法未能有效地利用雨图的全局性信息，导致去雨后的图像损失部分细节和结构信息.针对此问题，提出一种基于窗口自注意力网络(Swin Transformer)的单图像去雨算法.该算法网络主要包括浅层特征提取模块和深度特征提取网络两部分.前者利用上下文信息聚合输入来适应雨痕分布的多样性，进而提取雨图的浅层特征.后者利用Swin Transformer捕获全局性信息和像素点间的长距离依赖关系，并结合残差卷积和密集连接强化特征学习，最后通过全局残差卷积输出去雨图像.此外，提出一种同时约束图像边缘和区域相似性的综合损失函数来进一步提高去雨图像的质量.实验表明，与目前单图像去雨表现优秀的算法MSPFN、 MPRNet相比，该算法使去雨图像的峰值信噪比提高0.19 dB和2.17 dB,结构相似性提高3.433%和1.412%,同时网络模型参数量下降84.59%和34.53%,前向传播平均耗时减少21.25%和26.67%.     

融合多尺度注意力和双向LSTM的行人重识别

将深度学习应用于行人重识别领域,嵌入多尺度注意力融合模块至神经网络中进行多尺度特征提取和表示,可有效提升注意力机制对深度学习网络的识别性能。提出了一种基于SE block的多尺度通道注意力融合模块,并结合ResNet50卷积神经网络提取特征;然后通过双向LSTM网络进一步提取特征序列上下文信息,在提高模型对图像重要特征的提取能力的同时,降低对图像冗余特征的关注度;最后使用级联难采样三元组损失函数和交叉熵损失函数共同训练网络模型,使样本能够在高维特征空间中实现聚类,进一步提升模型识别准确性。所提出算法在Market1501数据集和CUHK03数据集分别进行实验,并在同等条件下和其他注意力模块算法进行比较。为进一步验证各模块作用,对算法进行消融实验,以验证各模块的有效性,实验结果表明,所提出方法可有效应用于行人重识别     

基于双层视觉及多尺度注意力融合的图像去雾

针对现有去雾算法缺乏对雾霾图像不同区域噪音浓度的关注以及远近景特征的区分问题,本文提出了一种新的生成对抗网络模型.模型中通过两个UNet3+网络实现全尺度的跳跃连接和深度监督,使用多尺度融合的方法结合不同尺度特征图中的高低级语义;而深度监督的加入可以更好地学习图像中的远近层次表示.同时在生成器结构中加入融合改进自注意力机制的多尺度金字塔特征融合模块,以便更好地保留特征图的多尺度结构信息,并且提高了对不同雾霾浓度区域的关注度.实验结果显示,在NTIRE 2020、NTIRE 2021、O-Haze数据集和Dense-Haze数据集上, 本文所提出的算法网络相比BPPNET等其他先进算法可以得到更好的视觉效果,在Dense-Haze数据集上,峰值信噪比和结构相似性指数分别达到24.82和0.769.     

注意力融合双流特征的局部GAN生成人脸检测算法

为解决现有局部生成式对抗网络(GAN)生成人脸检测算法在检测经过后处理的图像时性能严重下降的问题，提出一种注意力融合双流特征的局部GAN生成人脸检测算法.该算法利用双流网络分别从RGB颜色空间和YCbCr颜色空间中提取鲁棒特征，并引入注意力特征融合模块在不同网络层上融合双流特征以获得更鲁棒的特征.同时采用多层次特征融合决策提高网络对局部生成区域特征的提取和辨别能力.实验结果表明，所提算法的鲁棒性优于现有算法，尤其是针对JPEG压缩和双边滤波后处理.在FFHQ+规则子集上与次优算法相比，该算法在3种强度的JPEG压缩和双边滤波上的平均准确率分别提高了1.88%和2.64%;在FFHQ+不规则子集上与次优算法相比，该算法在3种强度的JPEG压缩和双边滤波上的平均准确率分别提高了2.85%和1.60%.     

基于图像分割和融合的图像去雾算法研究

为了解决传统的暗通道先验去雾方法产生的细节丢失和亮度偏低等问题,本研究提出了一种基于图像分割和融合的去雾算法。首先对输入图像使用亮度反转的MSRCR预处理来进行色彩保真;其次用阈值分割法提取图像的特征信息并获得掩膜,根据特征信息设计自适应的Gamma校正方法,提升对比度和亮度,并使用暗通道先验方法保持去雾后的细节;最后将处理后的图像进行掩膜融合。在真实世界的数据集上仿真结果表明,本研究所提算法在去雾后能保留更多的细节且提高亮度。与几种经典的算法相比,本研究所提算法在去雾后的图像有较好的色彩保真度,保留了更多的细节,去雾效果好且亮度更自然。     

面向盲去模糊的选择性内核卷积混合连接编解码网络

针对运动模糊在空间上非均匀且模糊核未知的特点,提出一种选择性内核卷积混合连接编解码网络.为避免估计模糊核产生误差,该网络采用对称编解码的结构,以端到端的方式实现盲去模糊;为消除非均匀模糊,设计一种选择性内核卷积混合连接块,使用两个感受野不同的分支增强网络提高非均匀模糊特征的适应能力;同时,该模块融合了通道注意力机制,对多分支特征图进行校准,增强有效特征信息;此外,使用均方误差与感知损失作为联合损失函数引导网络模型的训练.实验结果表明,该网络能够有效去除图像模糊,恢复出图像的边缘结构和纹理细节.     

一种循环多尺度的图像盲去模糊网络

针对当前单图像盲去模糊算法处理的图像存在纹理模糊、 图像质量欠佳的问题, 提出一种嵌入注意力机制的图像盲去模糊网络. 该网络首先采用多尺度循环架构, 通过不同分辨率的图像在网络内部循环处理实现多尺度, 由粗到精复原图像; 然后在网络内部嵌入残差通道选择模块和跨层长连接对特征进行强化提取, 并设计多尺度结构损失函数进行训练优化; 最后在两个使用广泛的数据集GoPro和Kohler上与经典去模糊网络进行对比, 并在数据集Lai上进行视觉直观对比. 实验结果表明, 该网络在视觉上取得了较好的图像盲去模糊效果, 与其他算法相比在峰值信噪比和结构相似性上有提升, 可改善去模糊图像质量欠佳的问题.     

基于深度中心匹配哈希网络的足迹压力图像检索

以赤足足迹压力图像为研究对象,采集了40人的5 230幅赤足足迹压力图像,在具有较低存储消耗的哈希算法基础上,结合深度学习方法设计了一种深度中心匹配哈希(DCMH)网络实现足迹的检索．该网络首先根据足迹压力图像的特点构建深度特征融合模块,提取反映足迹形态结构的全局特征和压力分布的局部特征,并将两种特征进行融合;然后在哈希编码模块通过全连接层将融合后的特征映射为1 024维特征向量,并通过哈希层生成哈希码;在网络优化过程中通过构建深度中心匹配损失函数从而减小哈希码与对应哈希中心之间的距离．深度中心匹配损失函数通过伯努利分布生成哈希中心,设计对数中心损失函数减小同类足迹压力图像数据哈希码与哈希中心的距离,并设计相似性损失函数作为正则化项约束每个批次数据间的相似性关系．通过在40人的赤足足迹压力图像数据上进行图像检索实验,本文算法检索结果的mAP可以达到0.99,优于传统的哈希算法及常用的深度哈希算法,为足迹的进一步的现场应用提供技术支撑．     

一种基于循环生成式对抗网络的去雾算法

针对现有基于学习的去雾算法在处理过程中需要成对的数据来训练网络参数的问题,提出了一种基于循环生成式对抗网络的去雾算法.该算法通过使用编码器-解码器(Encoder-Decoder, ED)体系结构来构建生成器网络,然后采用一种不成对的图像训练方法来训练网络参数,估计出传输图,最后根据估计的传输图和大气光值,利用光学模型恢复出无雾清晰图像.实验结果表明:对于室内、外有雾图像,本文提出的方法可以在不发生任何颜色失真的情况下恢复无雾场景,而且相对于其他方法,该方法在多个评价指标上都有明显的性能优势.     

细粒度全局感知多聚焦图像融合网络

多聚焦图像融合是图像融合的一个重要分支，在显微成像等方面具有广泛的应用.针对多聚焦融合中存在的纹理细节不清晰、聚焦区域误判等问题，本文从空间及通道信息全局关注的角度出发，结合Swin Transformer中的移动窗口自注意力机制和深度可分离卷积设计了一个全局信息编码-解码网络，采用综合损失函数进行图像重构任务的无监督学习；从特征邻域信息重要性的角度出发，引入了改进的拉普拉斯能量和函数在特征域进行图像聚焦属性的判别，增强图像聚焦区域判别的细粒度效果.与7种经典图像融合算法比较，本文算法在定性和定量分析中均取得了先进的融合性能表现，对原始图像的聚焦区域信息具有更高的保真效果.