基于改进的注意力机制与纹理结构分层的生成对抗网络图像修复方法

构建一个以U-Net为基础的模型,通过引入注意力机制与纹理结构分层相融合的图像修复方法,在生成对抗网络模型基础上,引入通道注意力并结合多尺度卷积模块,将图像下采样提取特征分为纹理特征与结构特征,采用改进的Res2Net残差块并重构损失函数.实验结果表明,修复后图像的纹理和结构更统一,修复图像与原始图像在高级语义上更加接近.     

基于递归特征估计的图像修复算法

针对现有图像修复方法纹理不清晰和结构错乱等问题,提出基于递归特征估计的图像修复模型,此模型基于部分卷积和注意力机制且不需要额外的标签。整体框架分为两个部分,粗修复模块和精修复模块,前者初步修复前景,后者利用递归特征估计递进式地修复缺失区域的边界,不断缩小空洞的面积,这种方式不断加强对缺失区域中央的约束,使得修复结果更加精细。实验表明,与其他经典的方法相比,此结构提高了图像修复的性能,其定性和定量分析均表现最优。     

基于改进知识一致性注意力的图像修复算法

为有效解决修复大面积不规则洞孔出现的纹理模糊、结构失真等问题,提出了基于改进知识一致性注意力机制图像修复算法．首先使用部分卷积对待修复图像进行处理,随后将处理的特征图送入包含混合空洞卷积(HDC)与改进知识一致性注意力机制(KCA)的特征推理模块．推理完成后将输出特征图输入至部分卷积与特征推理模块进行循环推理,逐步提升网络的修复能力,循环完成后对输出图像进行特征合并．最后将合并特征图进行去残差瓶颈层以增强修复图像的结构完整性．提出模型使用组归一化方式(GN)加快损失函数收敛速度．在公开数据集上验证提出算法的性能,主客观实验结果表明：提出算法能有效修复大面积连续不规则区域,能够较好地避免修复失真,其峰值信噪比和结构相似度及运算速度优于对比算法．     

结合多尺度特征和多维注意力的人脸风格转换

针对StarGANv2模型生成的人脸图像存在风格重建效果不佳、人脸纹理不够自然等现象,该文提出结合多尺度特征和多维注意力的人脸风格转换模型.1)将多尺度特征融合模块PSConv嵌入StarGANv2生成器内,提高了模型对图像特征的提取能力;2)提出了多维注意力模块MDConv,并将该模块嵌入StarGANv2判别器内,从而提高了模型对真假人脸图像的判别能力.与StarGANv2方法在CelebA-HQ数据集上进行对比实验的结果表明：该方法生成的人脸图像风格更美观,纹理细节更自然,学习感知图像相似度(LPIPS)的值也得到了提升.     

基于变换域注意力机制的压缩伪影去除的方法

图像有损压缩过程往往会导致图像质量退化,使图像出现压缩伪影。针对现有基于深度学习的方法缺乏对联合图像专家组(Joint Photographic Experts Group,JPEG)压缩算法先验信息的利用,提出一种基于变换域注意力机制的去伪影方法。该方法利用卷积神经网络在像素域和离散余弦变换(discrete cosine transform,DCT)域分别提取特征,再将双域学习的特征信息进行融合。利用量化表设计了DCT注意力机制,该模块根据DCT系数的损失程度给予各频率系数不同的权值,使网络自适应补偿量化引起的误差。于此基础上,在像素域引入通道注意力机制,从而更好地利用量化表的先验信息。在主要数据集上,提出的去伪影方法以固定的模型参数对多种质量因子的压缩图像进行伪影去除实验。实验结果表明,所提出的方法在各评价指标和主观视觉上取得较好的效果。     

基于残差网络的红外与可见光图像融合方法

图像融合利用了红外与可见光图像在时空上的相关性及信息上的互补性，让图像更有利于人眼的识别和机器的自动探测。现有的方法许多都存在伪影或目标信息模糊的情况，针对这些问题本文提出了一种带有残差块的编码器融合框架以提取红外与可见光图像中的深层特征；为了更好地融合红外光图像的目标信息和可见光图像所包含的细节信息，在特征融合阶段加入注意力机制得到注意力图对深层特征进行融合；最后通过跳跃连接将第一二层得到的特征图，即浅层特征传递到相应的反卷积层进行处理，得到融合图像。实验结果表明，本文方法的融合结果在主观感觉上更清楚，且在平均梯度、空间频率、结构相似性和峰值信噪比等客观指标上取得了比现有方法更好的结果。     

联合特征推理和语义增强的渐进式壁画修复

针对现有深度学习算法修复壁画图像时，未充分考虑破损区域与完好区域信息的一致性，导致修复结果易出现边界效应和纹理模糊等问题，提出了一种联合特征推理和语义增强的渐进式壁画修复算法.首先，设计区域渐进结构，实现了待修复区域的渐进式收缩修复.然后，利用特征推理模块，对缺失像素的特征值进行迭代推理填充，减小壁画修复重构误差，增强壁画破损区域与完好区域之间的相关性.最后，将各层特征图自适应融合，并采用语义增强模块进行纹理细节迁移，提升壁画补全区域和整体的一致性.敦煌壁画数字化修复实验表明：所提方法修复结果具有更好的纹理细节一致性，在主客观评价指标上均优于比较算法.     

基于双重自注意力机制的人脸图像修复

人脸图像修复旨在修复输入人脸图像中的缺失区域,生成令人满意的高质量修复结果.然而当存在大面积缺失时,直接修复缺失人脸图像十分困难,此时修复网络的全局上下文信息感知能力是影响修复结果的关键.鉴于此,本文提出了软硬注意力相结合的双重自注意力模块.该模块通过全局相似度计算来获得软硬两种注意力特征,之后对两种注意力特征进行自适应融合,进而提高修复网络对全局上下文信息的感知能力.此外,本文进一步提出了多尺度生成对抗网络以加强对修复结果的监督,促使修复网络生成更高质量的修复结果.实验结果表明,本文方法在定量和定性评测上均优于五种先进的对比方法.     

基于视觉显著特征的人脸图像分割与跟踪方法的研究

将人脑视觉注意机制应用于人脸图像分割与跟踪中,提出了一种基于视觉显著特征的人脸目标分割与跟踪算法.该方法由三步完成：首先通过模拟人脑视觉注意机制迅速而准确地利用颜色、结构、梯度和位置等信息建立人脸显著特征图.其次,基于建立的视觉显著特征图,对人脸图像视觉显著特征进行学习和聚类,最终能够快速而准确地确认和分割出图像中的人脸区域.该方法突破了传统的逐点搜索的限制,通过一个几何模型和眼图模型对图像中的人脸区域进行搜索,大大提高了人脸候选区域搜索标记的效率,减少了后续处理工作.最后,通过分割出的人脸区域得到一个有效的边界特征图,并融合人脸显著特征图对人脸进行跟踪.实验结果表明本论文所提出的基于视觉显著特征的人脸图像分割与跟踪方法能够较有效地分割出人脸.     

基于特征自干扰与像素注意力机制的道路分割网络

主流网络在提取图片特征过程中易受其他目标干扰导致特征鲁棒性降低,而现有的基于噪声抗干扰机制有着伪特征与真实特征相似度不高这一劣势;注意力机制的运用可以提升道路场景特征的空间上下文关系从而增强特征的抗干扰能力,但现有的注意力机制缺乏像素级的特征筛选。针对上述问题提出了基于图像特征自干扰与像素注意力机制的道路分割网络,该网络分为主干分割网络和特征自干扰网络两部分,主干的分割网络包含像素注意力模块,可实现真实特征的提取和像素级的增强;自干扰网络输入原始图像随机裁剪和插值放大后得到的局部图生成伪特征,此外提出了融合模块用于实现伪特征与真实特征的融合并对主分割网络中间特征进行干扰。在KITTI和Cityscapes道路数据库上的实验表明：基于图像特征自干扰与像素注意力机制的分割方法与DeepLab V3分割方法相比,在KITTI数据集上的分割精度由88.02%提升至90.55%,在Cityscapes数据集上的分割精度由87.15%提升至90.16%。     

多尺度残差注意网络的真实图像复原方法

为了提高基于深度学习网络方法在真实图像上的复原效果,提出了一种基于多尺度残差注意网络的复原方法。将退化图像输入到该模型中,利用浅层特征网络提取原始低质量图像的浅层特征;利用残差注意网络模块提取深层特征信息和通道相关性,使用局部连接和短跳跃连接进行残差学习;将浅层特征、通道相关性以及上下文深层特征信息输入到重构网络,利用具有不同感受野的特征进行图像复原。实验结果表明,相较于其他对比方法,该方法在图像去噪、图像增强和超分辨率等多个任务中获得最优的结果,能够在不引入伪影的情况下生成纹理细节丰富的清晰图像。     

基于 Swin Transformer 和 Style-based Generator 的盲人脸修复

盲人脸修复任务是从低质量的图像（例如模糊、噪声和压缩图像）中恢复高质量的图像.由于事先不知道低质量图像的退化类型和退化参数,因此盲人脸修复是一个高度病态的问题,在修复过程中严重依赖各种先验指导.然而,由于面部成分和面部标志等面部先验通常是从低质量图像中提取或估计的,可能存在不准确的情况,这直接影响最终的修复性能,因此难以有效利用这些先验知识.此外,目前的主流方法基本都是依赖ConvNets进行特征提取,没有很好地考虑长距离特征,导致最终结果缺乏连续一致性.本文提出了一种改进的StyleGAN模型,命名为SwinStyleGAN,应用在高级视觉任务上表现出色的Swin Transformer来提取长距离特征,并通过改进后的类StyleGAN合成网络逐步生成图像.本文设计了一个空间注意力转换模块SAT来重新分配每个阶段特征的像素权重,以进一步约束生成器.大量实验表明,本文提出的方法具有更好的盲人脸修复性能.     

基于密集残差网络的图像隐藏方案

针对基于编-解码器网络的图像隐写方案生成的含密图像和消息图像质量不高的问题,提出了一种新的基于密集残差连接的编码器-解码器隐写方案,与现有的端到端图像隐写网络不同,本文采用密集残差连接,将浅层网络的特征输送到深层网络结构的每一层,有效的保留了特征图的细节信息,并使用通道和空间注意力模块对特征进行筛选,提高了编-解码器对图像复杂纹理区域的关注度。在LFW、PASCAL-VOC12和ImageNet数据集的实验结果表明,在保证算法安全性的前提下,所提方法能够有效提高图像质量,含密图像和载体图像的峰值信噪比(PSNR)和结构相似性(SSIM)的平均值最高达到了36.2dB和0.98。     

基于生成对抗网络的单图像超分辨率重建

针对当前卷积神经网络未能充分利用浅层特征信息, 并难以捕获各特征通道间的依赖关系、 丢失高频信息的问题, 提出一种新的生成对抗网络用于图像超分辨率重建. 首先, 在生成器中引入WDSR-B残差块充分提取浅层特征信息; 其次, 将GCNet模块和像素注意力机制相结合加入到生成器和鉴别器中, 学习各特征通道的重要程度和高频信息; 最后, 采用谱归一化代替不利于图像超分辨率的批规范化, 减少计算开销, 稳定训练. 实验结果表明, 该算法与其他经典算法相比能有效提高浅层特征信息的利用率, 较好地重建出图像的细节信息和几何特征, 提高超分辨率图像的质量.     

基于风格特征分布匹配的图像风格迁移

本研究针对现有方法在实现风格迁移任务时只能提取图像特征的低阶统计量这一问题,考虑将风格迁移过程建模为一个特征分布匹配过程,提出了一个基于Wasserstein距离的判别器网络并以此定义了一个风格损失函数,Wasserstein判别器能够更好地拟合特征分布之间的Wasserstein距离,定义的风格损失也能够更好地区分图像特征的高阶统计信息之间的差异。同时,为了达到实时生成的效果,引入一个基于编码器-解码器结构和一个基于注意力机制的风格迁移转换模块作为生成网络,该生成网络能够有效融合原始图像特征并生成。具体而言,通过在计算损失模块的卷积层(CNN)后面添加Wasserstein判别器来计算风格损失,然后将风格损失与传统方法中计算为均方误差的内容损失一起监督生成网络的训练,在网络训练结束后,可以输入任意图像进行风格迁移测试。最后,在基准MSCOCO和WikiArt数据集上训练网络并测试结果,定性实验和定量实验结果表明,与现有方法相比,所提出的方法可以实现实时风格迁移,并且生成高质量风格化效果。     

基于ASAM注意力机制的光场图像压缩方法

为了研究光场图像的空间信息和相似角度信息之间的差异性,提高光场图像的传输效率,提出了一种基于端到端网络的角度空间注意力模型（ASAM）注意力机制的光场图像压缩方法 .以卷积块注意力模型（CBAM）的注意力机制为基础,增强了相对角度特征,提高了压缩编码效率.稀疏图像采用H.266/VVC视频编解码器进行压缩,通过子孔径图像（SAI）网络恢复编码后的图像.结果表明,与现有的光场图像压缩方法相比,所提出的光场图像压缩方法具有较高的图像压缩性能,Bj?ntegaard-Delta比特率（BD-BR）降低了52.30%,Bj?ntegaard-Delta峰值信噪比（BD-PSNR）提高了3.33 dB.     

基于改进U-Net神经网络的图像去噪算法

针对目前常见的U-Net网络结构以及现有的图像去噪算法在去除图像噪声时,处理后得到的图像较为模糊且图像的边缘纹理过于光滑缺乏真实性的问题,提出了一种改进的U-Net网络结构去噪算法。它由去噪模块以及边缘信息提取模块组成,首先,利用U-Net++中的跳跃连接应用到原始的U型去噪子网中,密集连接的U型去噪网络可以减少编码器与解码器特征映射之间的语义差距,还原出更清晰的图像。其次,基于VGG-16网络结构的边缘信息提取模块对去噪网络处理后的图像进行特征提取,同时反向优化U型去噪模块,还原出更真实的图像。实验表明,在常见的Set5、Set12、Kodak24和CBSD68数据集测试所提出的算法,在图像的客观评价指标上均优于目前具有代表性的去噪算法,同时图像的边缘细节和纹理特征更清晰真实,视觉效果上更好。     

融合注意力机制的PSPnet多目标语义分割

采用加强特征提取网络为MobileNetV2的融合多特征金字塔场景解析网络（PSPnet）来实现复杂场景下的图像语义分割.相对于深度残差网络ResNet50和MobileNetV1,引入了线性瓶颈结构和反向残差结构,利用金字塔池化模块（PPM）来处理不同层级的图像特征信息,并将其进行特征拼接,有效避免了不同分割尺寸下,子区域之间关键特征信息的缺失.在此基础上,引入注意力机制模块,结合通道注意力机制（CAM）和空间注意力机制（SAM）,进一步提高分割精度.实验结果表明：该方法可以提高图像识别的准确率,并节省训练时间.