注意力机制下的多层次特征融合图像去雾算法

提出一种基于注意力机制的多层次特征融合的图像去雾算法.该算法通过残差密集网络和自校准卷积网络来提取不同尺度的特征,再利用双重注意单元和像素注意力将特征融合重建.同时采用一种由均方误差损失、边缘损失和鲁棒性损失函数相结合的损失函数,可以更好地保留细节特征.实验表明,该算法与其他去雾算法相比在峰值信噪比和结构相似度指标上得到一定的提高,去雾图像在主观视觉上取得了较好表现.     

基于特征稀疏化的粉尘图像深度预测

【目的】针对粉尘环境中单幅图像深度预测精度低的问题，提出了一种基于输入特征稀疏化的粉尘图像深度预测网络。【方法】使用粉尘图像的直接传输率与深度的关系设计预估计深度网络，利用图像颜色衰减先验原理进一步获取粉尘图像的稀疏深度特征。将该稀疏深度特征与粉尘图像一起作为深度预测网络的输入。深度预测网络以“编码器-解码器”为模型框架，编码器中使用残差网络(ResNet)对粉尘图像进行编码，设计融合通道注意力机制的稀疏卷积网络对稀疏深度特征进行编码。解码器中采用反卷积以及多尺度上采样的方法，以更好的重建稠密的深度信息。使用最小绝对值损失和结构相似性损失作为边缘保持损失函数。【结论】在NYU-Depth-v2数据集上的实验结果表明该方法能够从粉尘图像中有效预测深度信息，平均相对误差降低到0.054,均方根误差降低到0.610,在δ<1.25时准确率达到0.967.     

自适应分区的色调映射算法

针对HDR图像色调再生提出了一种自适应分区映射算法.首先将HDR图像的色度和亮度信息分离,根据直方图特征对亮度进行自适应分区,并构造分段线性色调调整函数,将显示亮度范围分别分配给不同的亮度分区,以增加再现图像的感知对比度;然后通过双边滤波技术提取图像细节进行补偿,保证了再现图像细节可见;最后将彩色和非彩色信息合成,并对亮度压缩带来的彩度损失进行色彩校正.实验表明:新算法在动态范围压缩、细节保持和颜色表现上均优于传统算法.     

结合注意力机制的生成对抗网络图像超分辨重建

为改善图像超分辨率重建的主观视觉效果,提出一种结合注意力机制的图像超分辨生成对抗网络(generative adversarial network, GAN)模型.该模型在生成器网络中引入通道和空间双重注意力机制,选取更合适的重要特征信息进行传递;判别器网络采用WGAN进行构建,通过Wasserstein距离定义对抗损失,解决了GAN模型的训练不稳定问题.该重建模型在Set5、Set14、BSD100和Urban100共4个标准数据集上进行了实验,结果表明,和主流的超分辨重建算法相比,该模型的主客观评价指标均有所提高,图像细节信息恢复更加清晰,重建质量更好.     

自注意力SRGAN在岩石CT图像超分辨中的应用研究

针对图像采集设备和地质环境等因素导致的岩石显微图像普遍存在分辨率低,图像细节不清晰等问题,本文基于SRGAN和自注意力机制,对生成网络和判别网络进行调整,并在损失函数中结合岩石显微图像的孔隙度特征,提出一种岩石显微图像超分辨率重建算法.在4倍放大因子下,通过实验对岩石显微图像数据集DRSRD1_2D进行了测试.结果表明...     

基于注意力机制和感知损失的遥感图像去噪

遥感图像去噪对于遥感图像在后续的分类、检测等任务中有着非常重要的作用.为了让去噪后的图像更好地保留边缘细节信息,同时增强深度网络对噪声污染区域的辨识能力,本文结合注意力机制以及感知损失来处理遥感图像,提出了一种新的基于残差自编码器的遥感图像去噪网络ARED-VGG.考虑到遥感图像中不同地物大小不同,该网络首先同时使用图像的空间和光谱信息来提取多尺度特征;然后使用残差自编码器网络结构来进行图像空间-光谱多尺度图像重建.为了增加网络的辨识能力,更多地关注网络中提取的高频特征,网络引入了注意力机制.同时为了让去噪后的结果更符合视觉感观,使用了感知损失混合均方误差作为损失函数.从实验结果知,本文所提出的方法在噪声去除和纹理细节保留方面与NLM3D、BM4D、LRMR、HSID-CNN和3DADCNN相比表现更优.在Washington DC mall遥感图像数据集上进行了仿真实验,平均峰值信噪比以及平均结构相似性指标都有较好的结果;在AVIRIS Indian Pines数据集上进行了真实数据实验,以去噪后的结果地物分类指标作为验证,整体分类精度以及Kappa系数分别为96.90%和0.9647;对网络结构进行了消融实验,在两个数据集下,本文所提出的网络结构都能获得更优的结果.本文提出基于注意力机制和感知损失的深度神经网络进行遥感图像去噪,提高了网络的辨识能力,实现了良好的去噪性能,并且有效保持了图像的细节信息和光谱信息.     

基于注意力双分支网络的跨模态足迹检索

为了提高跨模态足迹检索精度,提出一种基于注意力双分支深度卷积神经网络的检索方法.该方法以赤足足迹的光学和压力2个模态图像为研究对象,采集并构建了一个包含138人5520幅足迹图像的跨模态检索数据集;在网络的特征提取模块采用ResNet50作为基础网络搭建双分支结构,并引入空间注意力机制,以提取各模态具有辨别性的特征;在网络的特征嵌入模块,通过部分参数共享学习跨模态共享空间;在双约束损失模块采用交叉熵损失(ID loss)和异质中心损失(HC loss)以增大跨模态足迹特征的类间差异,减小类内差异.实验结果表明:互检索模式下的平均精度均值(mAP)均值和Rank1均值分别为70.83％和87.50％,优于其他一些跨模态检索方法.采用注意力双分支网络模型能够有效进行跨模态足迹检索,可以为现场足迹对比鉴定等应用提供理论基础.     

边缘场景下基于多维损失优化超分辨率网络的天气图像检测算法

在边缘场景下，气象图像采集模型大多部署在算力较低的移动端或边缘设备上，造成观测图像分辨率较低，给天气现象检测带来困难，且传统FSRNet生成的图像存在伪影、模糊等问题，因此需要优化天气图像超分辨率网络，提高图像的分辨率.基于无锚检测器，提出以观测要素为点的检测方案，不需要手动设置锚框，使检测模型轻量且高效.通过引入热图损失、目标注意力损失和对抗性损失等多维损失函数，对粗糙SR网络进行优化，使低分辨率图像完成递进式训练.优化骨干网络ShuffleNetV2，使检测模型更加轻量化，提高超分辨率天气图像检测的性能.实验结果证明，此天气图像超分辨率重建模型可以生成质量更高、细节更加清晰的目标观测图像，更加轻量的检测模型适用于非约束场景，在FDDB上的平均精度值（AverP）达到97.7%，优于其他先进模型.     

基于注意力机制的细粒度图像分类

针对细粒度图像分类中数据分布具有小型、非均匀和不易察觉类间差异的特征,提出一种基于注意力机制的细粒度图像分类模型.首先通过引入双路通道注意力与残差网络融合对图像进行初步特征提取,然后应用多头自注意力机制,达到提取深度特征数据之间细粒度关系的目的,再结合交叉熵损失和中心损失设计损失函数度量模型的训练.实验结果表明,该模型在两个标准数据集102 Category Flower和CUB200-2011上的测试准确率分别达94.42%和89.43%,与其他主流分类模型相比分类效果更好.     

基于Dirac残差模块的单幅图像超分辨率重建

针对单幅图像超分辨率重建问题(SISR),提出了一种新的基于Dirac残差的超分辨率重建算法.算法使用全局跳跃重建层来直接利用输入LR图像的低频特征,通过多个dirac残差块来自适应学习输入LR图像的高频特征,通过亚像素卷积进行图像重建.算法通过权重参数化来改进残差层,同时使用输入图像的卷积特征与残差网络学习特征结合进行重建.实验采用Adam优化器进行网络训练.使用L1范数作为损失函数.在PSNR、SSIM和视觉效果与其他先进算法进行对比,实验结果表明,在常用测试集上与其他深度学习算法相比有较大提高.     

融合多尺度注意力和双向LSTM的行人重识别

将深度学习应用于行人重识别领域,嵌入多尺度注意力融合模块至神经网络中进行多尺度特征提取和表示,可有效提升注意力机制对深度学习网络的识别性能。提出了一种基于SE block的多尺度通道注意力融合模块,并结合ResNet50卷积神经网络提取特征;然后通过双向LSTM网络进一步提取特征序列上下文信息,在提高模型对图像重要特征的提取能力的同时,降低对图像冗余特征的关注度;最后使用级联难采样三元组损失函数和交叉熵损失函数共同训练网络模型,使样本能够在高维特征空间中实现聚类,进一步提升模型识别准确性。所提出算法在Market1501数据集和CUHK03数据集分别进行实验,并在同等条件下和其他注意力模块算法进行比较。为进一步验证各模块作用,对算法进行消融实验,以验证各模块的有效性,实验结果表明,所提出方法可有效应用于行人重识别     

用于图像超分辨率重建的双通道残差网络

针对现有基于深度学习的自然图像超分辨率算法在图像高频细节重建方面的不足,提出了一种更注重图像高频细节重建的双通道残差网络。使用带有通道注意力机制的残差结构作为网络的主通道;为了在重建过程中更好地保留原始图像的几何结构和边缘信息,使用自适应结构化卷积设计了网络的辅助通道,以此构建的双通道残差网络在学习过程中会有更强的高频信息捕获能力;为了使重建图像效果更加符合人眼的主观视觉感受,结合使用L₁损失函数和多尺度结构相似度损失函数来训练网络,使网络在训练过程中能够较好地保留图像的视觉效果。实验结果表明:在主通道外并构基于结构化卷积的辅助通道可以使重建图像的峰值信噪比提高2 dB;结合使用L₁损失函数和多尺度结构相似度损失函数可以使重建图像的峰值信噪比提高3 dB、结构相似性提高0.5;与同类网络客观定量相比,所提网络在两个公开数据集上取得的效果更优。     

基于YOLO v5的工人玩手机行为检测方法研究

为规范工人生产行为、减少安全事故发生,提出一种监控工人使用手机行为检测算法.该算法以YOLO v5模型为基础,对其网络结构和损失函数进行改进.首先,优化主干网络,将ConvNeXt Block和SPP结构引入浅层网络增加浅层特征的提取;然后,在主干网络与特征聚合网络之间构建CBAM注意力机制层,过滤冗余信息;最后,选取EIoU损失函数代替GIoU损失函数,提高模型收敛速度与检测结果的定位精度.通过自建工人使用手机行为数据集,分别对YOLO v5原模型、改进模型以及主流模型进行对比.试验结果表明,在人体和手机目标检测中,改进模型有更好的检测精度和检测速度.     

用于全色锐化的相对平均生成对抗网络

为解决全色锐化过程中对原图像特征提取不足导致融合结果细节信息易丢失，以及图像融合过程中因忽略不同区域的空间特征差异而导致信息冗余等问题，采用深度学习算法，提出一种用于全色锐化的相对平均生成对抗网络(Pan-RaGAN)。在生成器中利用改进的密集块结构对原图像进行特征提取，充分利用原图像各级特征，获取包含了更多细节信息的融合结果；提出基于空间注意力机制的特征细化模块，用于特征选择，可在保留有效高频信息的同时剔除冗余信息；利用图像重建模块将细化后的特征与上采样的低分辨率多光谱图像进行融合，以保持光谱信息；利用相对平均鉴别器改进网络的损失函数，进一步优化融合效果。在高分2号卫星和快鸟卫星图像数据集上的实验结果表明，与已有用于遥感图像全色锐化的生成对抗网络相比，Pan-RaGAN网络的光谱角映射指标平均降低了0.075,验证了Pan-RaGAN网络的有效性。     

基于风格特征分布匹配的图像风格迁移

本研究针对现有方法在实现风格迁移任务时只能提取图像特征的低阶统计量这一问题,考虑将风格迁移过程建模为一个特征分布匹配过程,提出了一个基于Wasserstein距离的判别器网络并以此定义了一个风格损失函数,Wasserstein判别器能够更好地拟合特征分布之间的Wasserstein距离,定义的风格损失也能够更好地区分图像特征的高阶统计信息之间的差异。同时,为了达到实时生成的效果,引入一个基于编码器-解码器结构和一个基于注意力机制的风格迁移转换模块作为生成网络,该生成网络能够有效融合原始图像特征并生成。具体而言,通过在计算损失模块的卷积层(CNN)后面添加Wasserstein判别器来计算风格损失,然后将风格损失与传统方法中计算为均方误差的内容损失一起监督生成网络的训练,在网络训练结束后,可以输入任意图像进行风格迁移测试。最后,在基准MSCOCO和WikiArt数据集上训练网络并测试结果,定性实验和定量实验结果表明,与现有方法相比,所提出的方法可以实现实时风格迁移,并且生成高质量风格化效果。     

基于密连接生成对抗网络的图像超分辨率重建

为了使超分辨率图像展现更好的视觉效果,在基于生成对抗网络的超分辨率算法基础上,改进生成器网络,加入密连接块,使网络在更少参数、更低计算成本、更短训练时间的情况下,实现更优的性能.为了促进图像的空间平滑性,在优化问题中,使用内容损失函数和Total Variation Loss一起约束噪声.输出图像选取VGG19的19、16、13、10、7层输出对比结果,加强了不同尺度图像的特征融合.主观视觉效果显示,该方法重建后的图像质量有所提升,重建后的图像细节信息有所增加;同时,用于评价图像重建质量的峰值信噪比(PSNR)提升了1.30dB,结构相似性(SSIM)提升了0.03.     

基于生成对抗网络的HDR图像风格迁移技术

针对高动态范围(high dynamic range,HDR)图像较为复杂耗时的合成流程,提出一种基于生成对抗网络的HDR图像风格迁移技术.首先,构建两个生成对抗网络的训练集:普通图片与低曝光HDR图片,普通图片与高曝光HDR图片;然后,通过生成对抗网络训练,得到普通图片到低曝光HDR图片和普通图片到高曝光HDR图片两个生成模型;最后,将模型输出的高低曝光图像和原图合成HDR文件,再通过色调映射形成最终HDR风格迁移后的图像.实验结果表明,这种方法不仅有效解决了HDR图像风格迁移问题,也充分表明了生成对抗网络在图像编辑中的优越性.     

一种非对称的轻量级图像盲去模糊网络

针对现有图像去模糊算法存在细节模糊不清、计算资源占用较大且图像处理速度较慢等问题,提出一种轻量级的图像盲去模糊网络.首先,网络主体使用多尺度架构,将不同分辨率的图像输入网络,通过循环处理逐步优化细节;其次,设计非对称结构以加强编码器的特征提取能力和解码器的特征融合能力.在编码器中,提出混合多尺度卷积层和残差金字塔模块,以强化特征提取并减少网络的参数量;在解码器阶段,使用跳跃连接引入深层语义,并提出多尺度联合结构损失函数进行优化.最后,在两个广泛使用的数据集GoPro和Kohler上使用两种评价指标,将该方法与其他经典方法进行性能对比.实验结果表明,该网络的去模糊效果优于传统方法以及其他经典深度学习方法,不仅在峰值信噪比(PSNR)和结构相似性(SSIM)上均有一定提升,且处理时间更短.     

一种基于注意力嵌入对抗网络的全色锐化方法

全色锐化旨在将低空间分辨率的多光谱图像和高空间分辨率的全色图像进行融合，生成一幅高空间分辨率的多光谱图像．伴随卷积神经网络的发展，涌现出很多基于CNN的全色锐化方法．这些用于全色锐化的CNN模型大都未考虑不同通道特征和不同空间位置特征对最终锐化结果的影响．并且仅使用基于像素的1-范数或2-范数作为损失函数对锐化结果与参考图像进行评估，易导致锐化结果过于平滑，空间细节缺失．为了解决上述问题，本文提出一种嵌入注意力机制，并辅以空间结构信息对抗损失的生成对抗网络模型．该网络模型由2个部分组成：一个生成器网络模型和一个判别器网络模型．嵌入通道注意力机制和空间注意力机制的生成器将低分辨多光谱图像和全色图像融合为高质量的高分辨多光谱图像．判别器以patch-wise判别的方式对锐化结果与参考图像的梯度进行一致性检验，以确保锐化结果的空间细节信息．最后，在3种典型数据集上的对比实验验证了所提出方法的有效性．     

基于生成对抗网络的面部修复

如何更好地对受损的面部图像实施相应的修复,根据此问题指出了一类基于生成对抗网络改良以后的面部修复算法.首先,在生成模型中把编码器和解码器的中间层的全连接换成逐信道全连接,在编码和解码阶段使用卷积操作代替池化操作,针对损失函数采用的激活函数进行改进,增加tanh函数,提高图像补全效果.然后,在保证功能上不受损并且输入、输出尺寸保持原状的条件下对判别器的模型进行了相应的改良,最后,对损失函数引进TV损失、重建损失这二者来实现对生成网络的优化处理,由此提升细节图像方面的修复实力.通过实验表明,使用该方法修复后的面部图像,比先前的方法更清晰更连贯.