基于生成对抗网络的人脸图像彩色化方法

提出了一种新的基于生成对抗网络的人脸图像彩色化方法.所提出的网络结构包含两组生成对抗子网络,每个子网络由一个生成器和判别器组成.其中,一个对抗子网络A（包含生成器A和判别器A）实现从灰度图像到彩色图像的翻译过程,另一个子网络B（包含生成器B和判别器B）反转该过程,即生成器B对称地使用生成器A的最终输出图像作为输入,用来重建原始的人脸灰度图像.其中,网络中的循环损失进行图像重建,而生成损失和对抗损失用来保证生成的图像更加接近真实图像.实验结果表明,这种结构设计不仅能实现自然逼真的人脸图像彩色化,还能同时保证人脸的身份属性不变.      

基于跳跃连接的生成对抗网络人脸修复算法

针对生成对抗网络(GAN)在人脸修复任务中存在的修复效果不佳、细节体现不足、修复边缘生硬等问题,提出一种跳跃连接式生成对抗网络.首先,在双判别器模型基础上,通过在生成器中引入跳跃连接来获取更多层间特征来提升图像修复效果;其次,采用步长卷积进行采样来减少采样造成的信息损失;最后,在CelebA数据集上进行实验,并用峰值信...     

基于生成对抗网络去除车辆图像运动模糊模型

提出一种基于生成对抗网络的去除车辆图像运动模糊的网络模型.该模型引入多尺度递归网络作为生成对抗网络的生成器,生成器包含3层网络,每层网络中叠加多层残差块,对模糊图像进行由粗糙到精细的处理,并经由判别器进行判别.利用公开数据集PKU-VD进行实验,实验结果表明,由该模型去除运动模糊后的图像比较清晰,可以分辨细节内容,且峰值信噪比达到29.52,优于常用模型.     

基于改进循环生成对抗网络的低照度图像增强

为了解决在低照度图像增强过程中配对数据集获取困难,且经过增强后的图像质量不佳的问题,通过改进循环生成对抗网络的方法研究了非配对低照度图像增强的实现。主要方法为改进生成器和判别器的结构提高增强后图像的质量。生成器部分采用融合了Vision Transformer结构的U-NET模型替代原始的生成器模型,来提高图像变换的周期一致性和内容保持性,并有效的处理图像研究中普遍存在的长距离空间相关性的问题。判别器部分针对图像研究的特点选择PatchGAN代替传统的判别器,提高对图像细节的判别能力,提高图像质量。结果表明,相比较于传统方法,本文改进的模型有着更好的主观视觉效果,同时在客观评价指标也有着相应的提高。可见本文改进模型的有效性。     

基于生成对抗网络的图像真实噪声去除算法

深度卷积神经网络已被成功应用于图像高斯白噪声的去除。针对去除真实图像噪声的需要,本文提出了一种基于生成对抗网络的去噪算法。生成网络采用U-net结构,并通过嵌入残差密集块以更好地提取图像特征与减少细节丢失。同时,判别网络采用全卷积网络架构来实现图像的像素级分类,以提升判别器性能。此外,设计了一种增强网络结构,以进一步提高去噪图像质量。仿真实验结果表明,该算法视觉效果以及去噪性能指标PSNR、SSIM均优于其他同类算法,能够更有效地恢复图像细节。     

改进条件生成对抗网络的文本生成图像方法

该文提出了一种改进条件生成对抗网络的文本生成图像模型(TxtGAN),使用一对生成器和判别器的单阶段生成方式生成高分辨率图像,避免因训练多个GAN消耗大量计算资源.生成器网络由一系列生成模块(RUPBlock)组成,每个模块中应用条件批量归一化方法,在实现图像生成的同时充分融合了文本信息与图像特征,较好地保留了文本信息...     

基于M-DCGAN的缺陷检测数据集增广方法

针对智能制造中表面缺陷检测数据集不足问题，提出基于M-DCGAN的数据集增广方法。首先，向判别器添加上采样模块，搭建类U-Net结构并提升判别器与生成器的网络深度；设计基于Canny边缘检测的缺陷位置二值化掩膜提取方法；定义图像掩膜依赖的损失函数，建立缺陷目标位置关注引导机制；插入谱归一化层和Dropout层以提高训练稳定性，保持生成图像数据多样性。带钢缺陷数据集实验结果表明，该模型生成图片质量高于DCGAN、WGAN-GP和InfoGAN。采用本文M-DCGAN算法增广训练数据，能够显著提升并超过传统增广算法在YOLOv5、SSD、Faster R-CNN、YOLOv3等八种经典方法中的缺陷检测精度，验证了本文算法的有效性。     

利用生成对抗网络实现水下图像增强

提出一种基于生成对抗模型的水下图像修正与增强算法.该算法将多尺度内核应用于改进的残差模块中,以此构建生成器,实现多感受野特征信息的提取与融合;判别器设计考虑了全局信息与局部细节的关系,建立了全局-区域双判别结构,能够保证整体风格与边缘纹理的一致性;最后,根据人类视觉感官系统设计了无监督损失函数,此部分无需参考图像进行约...     

多生成器生成对抗网络

生成对抗网络(Generative adversarial networks,GAN)广泛应用于各种领域,尤其在图像生成方面.该模型由生成网络与判别网络2部分组成,在无监督的训练方式下,2个网络相互竞争相互提高.然而,GAN在训练时经常出现模式崩溃问题,进而导致模型收敛较慢,生成样本多样性较差.为解决这一问题,在深度卷积神经网络的基础上提出了一种多生成器生成对抗网络模型.该模型包含多个生成网络,每个生成网络均使用残差网络进行搭建,同时在生成网络间引入协作机制,以加快模型获取信息并减少参数量,最后将各生成网络的特征图进行融合得到最终图像输入到判别网络中.GAN在训练过程中还会出现梯度消失、训练不稳定问题.为避免出现这些问题,将Wasserstein距离和梯度惩罚引入模型的损失函数.通过在多个数据集上与多种相关方法进行实验比较,结果表明提出的模型在缓解模式崩溃问题、加快模型收敛速度以及减少参数量上均明显优于其他几种方法.     

宽型自注意力融合密集型残差网络的图像去雾

当前去雾算法无法很好解决不均匀雾霾图像去雾的问题，为此提出了一种宽型自注意力融合的条件生成对抗网络图像去雾算法.在算法中加入了宽型自注意力机制，使得算法可以为不同雾度区域特征自动分配不同权重；算法特征提取部分采用DenseNet融合自注意力网络架构，DenseNet网络在保证网络中层与层之间最大程度的信息传输的前提下，直接将所有层连接起来，获取更多的上下文信息，更有效利用提取的特征；融合自注意力可以从编码器部分提取的特征中学习复杂的非线性，提高网络准确估计不同雾度的能力.算法采用Patch判别器，增强去雾图像的局部和全局一致性.实验结果证明，算法网络在NTIRE 2020、NTIRE 2021和O-Haze数据集上的定性比较，相比于其他先进算法得到更好的视觉效果；定量比较中，相较于所选择先进算法的最好成绩，峰值信噪比和结构相似性指数分别提高了0.4和0.02.     

基于生成对抗网络的医学诊断模型知识蒸馏对抗攻击方法

为了提高医学诊断模型防御攻击的能力,提出了一种基于生成对抗网络的医学诊断模型知识蒸馏对抗攻击方法。首先创建医学对抗攻击端到端训练网络,并以残差网络作为对抗网络架构;其次在生成器特征块中融合扩张卷积块和通道注意力机制,采用马尔可夫判别器改进判别器网络结构;最后利用生成器和判别器组建生成对抗网络,使用对抗样本进行知识蒸馏对抗攻击,以训练医学诊断模型提高识别精度。采用对抗样本对所提对抗方法进行攻击验证,结果表明：本文方法对抗攻击的成功率为92.6%,与所对比的主流方法相比,该方法的成功率提高了20%,生成对抗样本的最大平均差异降低了3.68%,峰值信噪比、结构相似性分别提升了5.07%、20.29%。本文方法解决了医学诊断模型在对抗攻击中难以获取网络结构和参数信息的问题,生成的对抗样本更接近真实样本,网络效果更佳,为辅助医疗模型诊断及模型安全性提供了参考方案。     

一种基于注意力嵌入对抗网络的全色锐化方法

全色锐化旨在将低空间分辨率的多光谱图像和高空间分辨率的全色图像进行融合，生成一幅高空间分辨率的多光谱图像．伴随卷积神经网络的发展，涌现出很多基于CNN的全色锐化方法．这些用于全色锐化的CNN模型大都未考虑不同通道特征和不同空间位置特征对最终锐化结果的影响．并且仅使用基于像素的1-范数或2-范数作为损失函数对锐化结果与参考图像进行评估，易导致锐化结果过于平滑，空间细节缺失．为了解决上述问题，本文提出一种嵌入注意力机制，并辅以空间结构信息对抗损失的生成对抗网络模型．该网络模型由2个部分组成：一个生成器网络模型和一个判别器网络模型．嵌入通道注意力机制和空间注意力机制的生成器将低分辨多光谱图像和全色图像融合为高质量的高分辨多光谱图像．判别器以patch-wise判别的方式对锐化结果与参考图像的梯度进行一致性检验，以确保锐化结果的空间细节信息．最后，在3种典型数据集上的对比实验验证了所提出方法的有效性．     

基于CT-GAN的半监督学习窃电检测方法研究

针对电网公司获取有标签数据成本高、难度大,而获取的无标签数据难以训练有效窃电检测模型的问题,提出了在少量有窃电标签数据场景下基于联合训练生成对抗网络（Co-training Generative Adversarial Networks, CT-GAN）的半监督窃电检测方法.首先,探究了生成对抗网络及半监督生成对抗网络的原理与结构.其次,提出了采用Wasserstein距离取代JS（Jensen-Shannon）散度和KL（Kullback-Leibler）散度距离以解决生成对抗网络因梯度消失和模式崩溃原因导致的模型训练不稳定和生成数据质量低的问题,并构建了多判别器联合训练模型,避免了单个判别器分布误差高的问题,同时增强了GAN生成标签样本数据的能力,通过扩充标签样本数据集,提升了模型检测准确度和泛化能力.最后,采用爱尔兰电网数据集验证了该方法的准确性和有效性.     

结合注意力机制的生成对抗网络图像超分辨重建

为改善图像超分辨率重建的主观视觉效果,提出一种结合注意力机制的图像超分辨生成对抗网络(generative adversarial network, GAN)模型.该模型在生成器网络中引入通道和空间双重注意力机制,选取更合适的重要特征信息进行传递;判别器网络采用WGAN进行构建,通过Wasserstein距离定义对抗损失,解决了GAN模型的训练不稳定问题.该重建模型在Set5、Set14、BSD100和Urban100共4个标准数据集上进行了实验,结果表明,和主流的超分辨重建算法相比,该模型的主客观评价指标均有所提高,图像细节信息恢复更加清晰,重建质量更好.     

基于生成对抗网络的乳腺MRI图像生成

乳腺癌磁共振成像(nuclear magnetic resonance imaging, MRI)数据由于不同医院采集方式不同、设备不同或病人等自身原因，会存在同一病人不同序列缺失的问题。目前主流的图像生成对抗网络Pix2Pix和Cycle-consistency是医学图像生成的两种主要模式，这类方法要求不同MRI序列数据配对出现，难以处理存在缺失的数据，此外，该类方法往往关注整幅图像的生成质量，缺少对疾病诊断更有价值的病灶区域的生成质量的监控。针对以上问题，该文受配准网络(RegGAN)自适应对准图像空间分布的启发，设计了一种新的基于特征增强的双注意力配准生成对抗网络DA-RegGAN。该网络在生成器中引入卷积注意力模块，使网络更注重病灶的学习；在判别器中添加梯度正则化约束，主要解决网络训练不稳定容易出现模式崩溃的现象，使网络生成包含更清晰的病灶细节全局图。该文在1 697幅乳腺数据上开展消融实验、不同图像生成算法间的对比实验、肿瘤分类实验，进一步验证了方法的有效性。与原始RegGAN比，全局图像生成质量和局部病灶图像生成质量均得到提升，局部图像质量较原始PSNR提升了0.518,S...     

基于时序卷积生成对抗网络的单通道音域分离

由于音域信号的语音和音乐常常以混叠的形式出现,因此在许多应用中,希望能有效分离音域信号中的语音和音乐. 普通的分离方法一般采用基于频域信号的处理方式,而频域信号还原时需借助相位信息,导致还原的信息有偏差. 针对时域单通道音域信号分离效果差的问题,提出在对抗生成网络中引入联合训练与时序卷积的方法. 首先,对时域语音进行预处理;然后,将预处理过的数据送入时序卷积生成对抗网络生成器中进行分离;最后,将分离的干扰语音和纯净的干扰语音送到生成对抗网络判别器判别,并把判别结果反馈给生成器. 实验采用MIR-1K和data_thchs30数据集进行算法性能测试,结果表明,提出的单通道音域分离模型的PESQ和STOI指标平均提高了0.31和0.07,证明所提算法有效提升了音域信号中语音和音乐的分离效果.     

一种编解码结构的车牌图像超分辨率网络

针对复杂实际场景中模糊、污损、扭曲、倾斜等车牌图像关键信息缺失以及新能源车牌背景与字符对比度低难以识别的问题,提出了一种编解码结构的车牌图像超分辨率网络。首先,构建一种基于编解码结构的车牌重构生成器网络,利用编码器对车牌图像的纹理、字符等特征进行提取,解码器对车牌特征进行重构;然后,设计一种基于语义监督的判别器网络,在网络损失中引入了对抗损失与CTC(connectionist temporal classification)损失,增强生成器网络对车牌图像语义特征的表征能力;最后,基于VGG16网络提取车牌顶角点特征,利用坐标变换方法对车牌图像进行矫正,进一步提高重构清晰度与识别准确率。采用所提网络在自建XAUAT-Parking数据集和公开CCPD数据集上进行超分辨率重构与识别实验,结果表明：所提网络在CCPD数据集上的平均峰值信噪比可达25.5 dB,结构相似性(SSIM)可达0.989;在XAUAT-Parking数据集上峰值信噪比可达26.6 dB,结构相似性可达0.997。研究结果表明,该网络有较好的车牌图像超分辨率重建效果,而且对车牌关键信息缺失问题具有较强的鲁棒性。     

基于SMbGAN的足迹图像反演算法

为解决在足迹识别领域赤足数据匮乏的问题,提出一种基于足底压力图像的反演算法.该算法能够将鞋底压力图像反演成赤足足底压力图像.首先,对原始数据进行去噪、中心化以及旋转等预处理操作;其次,提出一种对称的多分支生成对抗网络(SMbGAN),该结构将足迹图像分成上、下2部分进行独立反演,并且使用全局与局部判别器进行图像判定,提...     

基于改进生成对抗网络的多聚焦图像融合

针对多聚焦图像融合中权重分配和融合规则设计困难的问题,本文提出了一种基于改进生成对抗网络的多聚焦图像融合算法。首先,对生成器网络和判别器网络进行设计,为了避免图像在网络模型传递过程中造成的信息丢失,裁撤网络结构中的池化层,通过卷积层叠提取图像特征。其次,构建生成对抗网络的损失函数,优化网络参数,得到最佳的网络模型。最后,将实验结果与现有的几种融合算法相比较,通过5种客观评价指标来评价融合图像的效果。结果表明,本文提出的算法不仅在主观上有着良好的视觉效果,也在客观评价指标上有显著优势。     

基于CBAM-DDcGAN的锌渣红外与可见光图像融合

对热镀锌生产线锌池中的锌渣分布进行准确识别是捞渣作业智能化的前提。红外图像易损失锌渣的纹理特征,可见光图像又容易受到光照等因素的影响,红外与可见光图像的融合是提高锌渣识别精度的有效手段。本文提出一种结合卷积注意力机制模块(CBAM)和双判别器生成对抗网络(DDcGAN)的红外与可见光图像融合算法。首先,生成器内部采用编解码网络,编码器采用密集连接方式,与CBAM相结合,在最大程度地保留图像特征的同时还能突出关键特征,抑制无用信息,提升融合效果。其次,利用两个判别器与生成器分别进行对抗训练,可同时保留两种源图像的信息。采用锌渣图像数据集进行对比实验,结果表明,本文算法所得融合图像在主观视觉效果和客观定量指标上均有不同程度的改善。