一种基于注意力嵌入对抗网络的全色锐化方法

全色锐化旨在将低空间分辨率的多光谱图像和高空间分辨率的全色图像进行融合，生成一幅高空间分辨率的多光谱图像．伴随卷积神经网络的发展，涌现出很多基于CNN的全色锐化方法．这些用于全色锐化的CNN模型大都未考虑不同通道特征和不同空间位置特征对最终锐化结果的影响．并且仅使用基于像素的1-范数或2-范数作为损失函数对锐化结果与参考图像进行评估，易导致锐化结果过于平滑，空间细节缺失．为了解决上述问题，本文提出一种嵌入注意力机制，并辅以空间结构信息对抗损失的生成对抗网络模型．该网络模型由2个部分组成：一个生成器网络模型和一个判别器网络模型．嵌入通道注意力机制和空间注意力机制的生成器将低分辨多光谱图像和全色图像融合为高质量的高分辨多光谱图像．判别器以patch-wise判别的方式对锐化结果与参考图像的梯度进行一致性检验，以确保锐化结果的空间细节信息．最后，在3种典型数据集上的对比实验验证了所提出方法的有效性．     

基于级联注意力与密集特征融合的图像修复算法

针对图像修复算法存在的语义不连贯、纹理不清晰等问题，提出一种基于生成对抗网络的新型级联密集生成网络CDGAN(Cascade Densely Generative Adversarial Network),采用encoder-decoder作为生成器主干，利用下采样提取图像特征；为使网络关注修复图像的高频纹理和颜色保真度等有效信息，引入级联的注意力模块，并加入密集特征融合模块扩大网络的整体感受野，充分学习图像特征，提高编码器提取特征的利用率，最后将处理后的图像特征进行上采样重建。在Celeb A和Places2数据集的测试结果表明，CDGAN在语义连贯性、纹理清晰度等方面都有所提升。     

基于改进循环生成对抗网络的低照度图像增强

为了解决在低照度图像增强过程中配对数据集获取困难,且经过增强后的图像质量不佳的问题,通过改进循环生成对抗网络的方法研究了非配对低照度图像增强的实现。主要方法为改进生成器和判别器的结构提高增强后图像的质量。生成器部分采用融合了Vision Transformer结构的U-NET模型替代原始的生成器模型,来提高图像变换的周期一致性和内容保持性,并有效的处理图像研究中普遍存在的长距离空间相关性的问题。判别器部分针对图像研究的特点选择PatchGAN代替传统的判别器,提高对图像细节的判别能力,提高图像质量。结果表明,相比较于传统方法,本文改进的模型有着更好的主观视觉效果,同时在客观评价指标也有着相应的提高。可见本文改进模型的有效性。     

结合注意力机制的生成对抗网络图像超分辨重建

为改善图像超分辨率重建的主观视觉效果,提出一种结合注意力机制的图像超分辨生成对抗网络(generative adversarial network, GAN)模型.该模型在生成器网络中引入通道和空间双重注意力机制,选取更合适的重要特征信息进行传递;判别器网络采用WGAN进行构建,通过Wasserstein距离定义对抗损失,解决了GAN模型的训练不稳定问题.该重建模型在Set5、Set14、BSD100和Urban100共4个标准数据集上进行了实验,结果表明,和主流的超分辨重建算法相比,该模型的主客观评价指标均有所提高,图像细节信息恢复更加清晰,重建质量更好.     

基于多任务判别器的图像阴影去除算法

针对现实生活中存在的阴影对于计算机视觉任务产生不利影响,现有图像阴影去除算法有效性与准确性低的问题,提出了一种基于生成对抗网络的阴影去除方法.该方法主要包括两个部分,采用了U-Net网络结构作为生成器部分的网络,用来提取图像中的有效信息,同时在生成器网络中引入自注意力机制,提高网络对阴影区域特征的关注度;采用多任务网络结构的判别器,通过对生成器生成图像的整体区域、局部区域以及与约束条件的匹配程度,进行多方面的鉴别,用来提升判别器鉴别能力,进而督促生成器,生成更加符合真实情况的无阴影图像.该方法在公开数据集ISTD上进行实验,实验结果表明所提方法在图像的结构相似性上以及峰值信噪比方面均有所提升.     

基于循环生成对抗网络的壁画色彩修复算法

针对敦煌唐代壁画修复所面临的褪、变色以及修复后的壁画图像色彩存在假色和伪影的问题,提出基于循环生成对抗网络和多尺度融合协调注意力机制的壁画色彩修复算法。首先在循环一致性损失中添加同一映射损失,然后改进协调注意力机制,提出多尺度融合的协调注意力机制,最后在生成器中引入多尺度融合的协调注意力机制,对图像进行卷积核大小为1×1、3×3、5×5、7×7的多尺度卷积运算,提高生成图像的协调性。实验结果表明,与CycleGAN、WGAN等经典算法相比,本文算法在构造的壁画数据集上精度更高,可以在不依赖专家知识的情况下修复褪色壁画图像的颜色。     

基于生成对抗网络的乳腺MRI图像生成

乳腺癌磁共振成像(nuclear magnetic resonance imaging, MRI)数据由于不同医院采集方式不同、设备不同或病人等自身原因，会存在同一病人不同序列缺失的问题。目前主流的图像生成对抗网络Pix2Pix和Cycle-consistency是医学图像生成的两种主要模式，这类方法要求不同MRI序列数据配对出现，难以处理存在缺失的数据，此外，该类方法往往关注整幅图像的生成质量，缺少对疾病诊断更有价值的病灶区域的生成质量的监控。针对以上问题，该文受配准网络(RegGAN)自适应对准图像空间分布的启发，设计了一种新的基于特征增强的双注意力配准生成对抗网络DA-RegGAN。该网络在生成器中引入卷积注意力模块，使网络更注重病灶的学习；在判别器中添加梯度正则化约束，主要解决网络训练不稳定容易出现模式崩溃的现象，使网络生成包含更清晰的病灶细节全局图。该文在1 697幅乳腺数据上开展消融实验、不同图像生成算法间的对比实验、肿瘤分类实验，进一步验证了方法的有效性。与原始RegGAN比，全局图像生成质量和局部病灶图像生成质量均得到提升，局部图像质量较原始PSNR提升了0.518,S...     

基于多尺度条件生成对抗网络（MSR-cGAN）的高分辨率遥感图像目标区域检测

针对目前深度卷积神经网络（Convolutional Neural Network,CNN）在遥感图像建筑物提取上存在小目标漏分、被遮挡目标无法提取、细节缺失等问题,在生成对抗网络（Generative Adversarial Network,GAN）的基础上提出一种基于多尺度条件生成对抗网络（Multi-Scale Conditional Generative Adversarial Network,MSR-cGAN）的城市建筑物提取方法.该方法包括生成网络和对抗网络两个部分,在生成网络中加入循环残差卷积模块和注意力门限跳跃连接机制,增强模型的特征提取能力;在对抗网络中引入通道注意力的特征融合,使网络提取丰富的上下文信息,应对目标尺度变化,改善小目标分割效果.在实验过程中,对Inria Aerial Image Labeling建筑物提取数据集进行实验并与多种方法进行比较,结果表明,所提出的方法具有更高的目标分割准确率,对小目标与被遮挡目标取得了较好的分割效果.在训练数据有限、背景复杂多样、尺度变化较大的建筑物提取中分割准确率分别达到96.18%,表明提出的方法可应用于复杂的高分辨率...     

基于循环卷积生成对抗网络的风机齿轮箱故障诊断

风机齿轮箱是风力涡轮传动系统中的关键部分,其故障发生随机、故障样本数量不足,严重影响故障诊断的准确性。针对此问题,提出一种基于循环卷积生成对抗网络的风机齿轮箱故障诊断方法。首先,构建基于循环卷积生成对抗网络的样本生成模型,利用卷积网络和循环网络作为生成器增强样本间的时间相关性;借助Wasserstein距离与梯度惩罚项改进目标函数,并通过博弈对抗机制优化生成器和判别器,提高模型的泛化能力。然后,结合真实样本和生成样本,设计基于堆叠去噪自编码器的故障诊断方法,实现齿轮箱的故障诊断。最后,利用风力涡轮传动系统数据集验证所提出的风机齿轮箱故障诊断方法的性能。结果显示,所提方法能够有效平衡故障样本数据集,进一步提高风机齿轮箱故障诊断的准确率。     

基于生成对抗网络的单图像超分辨率重建

针对当前卷积神经网络未能充分利用浅层特征信息, 并难以捕获各特征通道间的依赖关系、 丢失高频信息的问题, 提出一种新的生成对抗网络用于图像超分辨率重建. 首先, 在生成器中引入WDSR-B残差块充分提取浅层特征信息; 其次, 将GCNet模块和像素注意力机制相结合加入到生成器和鉴别器中, 学习各特征通道的重要程度和高频信息; 最后, 采用谱归一化代替不利于图像超分辨率的批规范化, 减少计算开销, 稳定训练. 实验结果表明, 该算法与其他经典算法相比能有效提高浅层特征信息的利用率, 较好地重建出图像的细节信息和几何特征, 提高超分辨率图像的质量.     

一种基于自注意力机制的文本图像生成对抗网络

图像自动生成一直以来都是计算机视觉领域的一项重要挑战,其中的文本到图像的生成更是图像生成领域的重要分支。随着深度学习技术迅猛发展,生成对抗网络的出现使得图像生成领域焕发生机,借助生成对抗网络能够生成较为生动且多样的图像。本文将自注意力机制引入生成对抗网络,提出GAN-SelfAtt以提升生成图像的质量。同时,使用WGAN、WGAN-GP 2种生成对抗网络框架对GAN-SelfAtt进行实现。实验结果表明,自注意力机制的引入能够提高生成图像的清晰度,这归功于自注意力机制弥补了卷积运算中只能计算局部像素区域内的相关性的缺陷。除此之外,GAN-SelfAtt在训练时有着更好的稳定性,避免了原始生成对抗网络中的模式坍塌问题。     

基于生成对抗网络的人脸图像彩色化方法

提出了一种新的基于生成对抗网络的人脸图像彩色化方法.所提出的网络结构包含两组生成对抗子网络,每个子网络由一个生成器和判别器组成.其中,一个对抗子网络A（包含生成器A和判别器A）实现从灰度图像到彩色图像的翻译过程,另一个子网络B（包含生成器B和判别器B）反转该过程,即生成器B对称地使用生成器A的最终输出图像作为输入,用来重建原始的人脸灰度图像.其中,网络中的循环损失进行图像重建,而生成损失和对抗损失用来保证生成的图像更加接近真实图像.实验结果表明,这种结构设计不仅能实现自然逼真的人脸图像彩色化,还能同时保证人脸的身份属性不变.      

HLMGAN:分层学习的多奖励文本生成对抗网络

文本生成是自然语言处理的一项重要任务. 针对生成的文本大多缺乏多样性，且当生成文本过长时，文本生成的质量会有明显下降的问题，提出了一种采用Sentences and Words（SW）奖励机制的传递向量文本生成对抗网络. 首先，为生成器提出了层次结构设计，包括传递特征向量训练模块和生成向量训练模块，同时传递判别模型中真实文本特征向量给生成器的传递特征向量训练模块，由此来提高长文本生成的准确率，生成向量训练模块接收其生成词序列；然后，在训练过程中，使用关系存储核心代替传统的长短期记忆循环神经网络模型作为生成器，提高了模型的表达能力和捕获信息的能力；最后，采用SW奖励机制提高文本生成的多样性. 实验结果表明，分层学习的多奖励文本生成对抗网络（Generation Adversarial Network Based on Hierarchical Learning with Multi-reward Text，HLMGAN）模型在合成数据负对数似然度和双语互译质量评估辅助工具指标中均有所提升.     

基于注意力机制CGAN的对抗样本去噪方法

卷积神经网络已被广泛应用于各种计算机视觉任务中,然而研究发现卷积神经网络极易受到精心设计的对抗样本攻击。为了抵御对抗攻击,提出一种基于注意力机制的条件生成对抗网络防御方法(attention conditional generative adversarial net, Attention-CGAN)。本算法利用对抗样本作为Attention-CGAN的训练样本,同时将生成器的生成样本输入分类器,得到注意力损失和分类损失;通过这两种损失函数训练Attention-CGAN,从而保证去噪样本的注意力区域与原始干净样本一致。在CIFAR10(Canadia Institute for Advanced Research)和ILSVRC2012(ImageNet Large Scale Visual Recognition Challenge)2个数据集上进行大量试验,结果表明去噪之后的样本分类准确率保持在70%以上。基于注意力机制CGAN的对抗样本去噪方法能提高卷积神经网络的鲁棒性,可为深度学习模型防御对抗攻击提供参考。     

基于注意力和最小可觉差的GAN生成图像质量评价

现有的客观图像质量评价方法用于GAN生成图像质量评价时，往往出现与人的主观评价不一致的情况.针对这个问题，提出了一种更符合人类视觉感知的GAN生成图像质量客观评价方法AJ-GIQA(attention and just noticeable difference based generated image quality assessment).首先，模拟人类视觉系统的失真敏感度特性，对GAN生成图像进行预处理，得到其最小可觉差图；然后，将注意力模块引入特征提取网络，模拟人类视觉系统的注意力机制，获取图像的显著性特征；最后，将图像特征输入结合语义信息的质量预测网络，基于图像内容综合评价GAN生成图像的质量.在GAN生成图像数据集上的实验结果表明，AJ-GIQA的评价结果与主观平均意见得分有更高的一致性；在图像质量排序一致性上的实验结果表明，AJ-GIQA的准确率在LGIQA-LSUN-cat数据集上达到了最优，和SFA方法相比性能提高了0.267;在泛化性能上的实验结果表明，与最先进的HyperIQA方法相比，AJ-GIQA在数据集PIPAL的Pearson线性相关系数提高了0.027...     

改进CycleGAN的钢材表面缺陷图像生成方法

针对工业钢材表面缺陷检测过程中存在的样本采集困难、成本较高，以及缺陷种类较多难以覆盖全部导致的小样本问题，提出一种改进循环生成对抗网络(cycle-consistent generative adversarial networks, CycleGAN)的钢材表面缺陷图像生成方法。首先，将通道注意力(class activation map, CAM)和空间注意力(spatial attention map, SAM)机制嵌入到CycleGAN模型中，增强模型的特征提取能力；其次，引入权重解调(weight demodulation, WD)机制修复特征伪影和白斑，进一步提高生成图像的质量；再次，引入形状一致性损失对生成器训练过程进行监督，解决图像几何变换过程中内在模糊性问题；最后，将改进前后的模型在NEU-DET数据集上进行试验。结果表明，改进后的模型在缺陷图像生成的效果上更具多样性和准确性，PSNR，SSIM分别提高了13.0％和7.8％，FID值降低了33.1％。该方法能够稳定地生成高质量的各类钢材表面缺陷图像，可以达到增加训练数据的目的，对于其他缺陷数据集的扩增具有参考价值。     

一种气温降尺度的半循环对抗生成网络

提出了一种半循环对抗生成降尺度模型，应用于ERA5再分析全球气候地表温度数据在中国及其周边地区的降尺度，该模型引入了重建生成器网络和退化生成器网络，采用对抗损失和半循环损失来优化降尺度结果。通过消融实验验证了该模型的有效性。结果表明，与传统的插值方法以及其他深度学习模型相比，该模型在客观评价指标上有所提高，所生成的地表温度数据细节更加丰富。     

基于生成对抗网络结合Transformer的半监督图像增强方法

针对成对数据集获取成本较高、光照分布不均衡图像增强效果欠佳以及增强结果易产生十字形伪影的问题,提出了一种基于生成对抗网络结合Transformer的半监督图像增强方法。首先,采用Transformer网络架构作为生成对抗网络中生成器的主干网络,提取不同像素块间的依赖关系以获取全局特征,并通过非成对数据集进行半监督学习;其次,使用灰度图作为生成器网络的光照注意力图,以平衡增强结果在不同区域的曝光水平;最后,在生成器和鉴别器网络中交叉使用均等裁剪策略和滑动窗口裁剪策略,增强网络提取特征的能力并解决十字形伪影问题,并引入重建损失来提高生成器对图像细节的感知能力。结果表明：提出方法取得了更好的光照和色彩平衡效果,自然图像质量评估指标平均提升了2.37%;在图像修饰任务中,图像峰值信噪比、相似结构度和感知损失同时达到了最优;在低光照增强任务中,图像峰值信噪比提升了13.46%;充分验证了提出方法在图像增强2个子任务上的有效性。     

用于全色锐化的相对平均生成对抗网络

为解决全色锐化过程中对原图像特征提取不足导致融合结果细节信息易丢失，以及图像融合过程中因忽略不同区域的空间特征差异而导致信息冗余等问题，采用深度学习算法，提出一种用于全色锐化的相对平均生成对抗网络(Pan-RaGAN)。在生成器中利用改进的密集块结构对原图像进行特征提取，充分利用原图像各级特征，获取包含了更多细节信息的融合结果；提出基于空间注意力机制的特征细化模块，用于特征选择，可在保留有效高频信息的同时剔除冗余信息；利用图像重建模块将细化后的特征与上采样的低分辨率多光谱图像进行融合，以保持光谱信息；利用相对平均鉴别器改进网络的损失函数，进一步优化融合效果。在高分2号卫星和快鸟卫星图像数据集上的实验结果表明，与已有用于遥感图像全色锐化的生成对抗网络相比，Pan-RaGAN网络的光谱角映射指标平均降低了0.075,验证了Pan-RaGAN网络的有效性。     

基于生成对抗网络的气缸套表面缺陷图像生成

针对气缸套缺陷检测中缺陷样本不足限制气缸套缺陷检测性能提升问题,采用基于生成对抗网络的气缸套表面缺陷检测算法.首先,为了保持缺陷图像中原有缺陷位置与特征不变,通过循环生成对抗网络模型学习有缺陷气缸套图像与正常图像的关系;其次,利用学习得到的模型对有缺陷气缸套图像进行风格迁移,即把有缺陷气缸套图像背景替换成无缺陷气缸套图像背景,实现对气缸套缺陷数据集的扩充与增强;最后,通过基于数据增强的RetinaNet网络模型对生成图像的有效性进行验证.试验结果表明,通过生成对抗网络生成的气缸套数据集可以提升缺陷检测性能,进一步证明了生成对抗网络在工业应用的可行性.