利用图像掩膜优化基于生成对抗网络的图像超分辨率模型

深度学习在一定程度上解决了从低分辨率图像中恢复出高分辨率图像这一图像超分辨率问题。目前基于生成对抗网络（generative adversarial network,GAN）的方法可以从超分辨率数据集中学习低/高分辨率图像映射关系,从而生成具有真实纹理细节的超分辨率图像。然而,基于GAN的图像超分辨率模型训练通常不稳定,其结果往往带有纹理扭曲和噪声等问题,提出了采用掩膜（mask）模块以辅助对抗网络训练。在网络训练过程中,掩膜模块根据生成网络输出的超分辨率结果和原始高分辨率图像,计算得到相应观感质量信息,并进一步辅助对抗网络训练。在实验中对3个最近提出的基于GAN的图像超分辨率模型进行修改,引入掩膜模块,修改后的模型在超分辨率图像输出的观感和真实感量化指标上均有明显地提升。掩膜模块的优点是可以进一步提升基于GAN的图像超分辨率网络输出的超分辨率图像观感质量,并仅需对生成对抗网络训练框架进行修改,因此适用于多数基于GAN的图像超分辨率模型的进一步优化。     

基于图像条件的二元合成生成算法

生成对抗网络(GAN)是一种无监督学习方法,该算法巧妙地利用博弈的思想来学习生成式模型,但由于GAN通常从单个潜在源采样,因此常常丢失场景中的多个实体交互信息。为了捕获不同对象之间的复杂交互,包括它们的相对缩放,空间布局,遮挡,提出了一种基于图像条件的生成对抗网络,利用"分解—合成"的流程,模型可以根据输入对象的纹理和形状从它们的关节分布生成逼真的合成图像。通过使用Shapenet数据集,在2D和3D图像中分别对55个常见对象类别约51 300个图像模型进行试验,比起传统的SLP和cGAN,算法的图片质量有4%以上的提高。     

多生成器生成对抗网络

生成对抗网络(Generative adversarial networks,GAN)广泛应用于各种领域,尤其在图像生成方面.该模型由生成网络与判别网络2部分组成,在无监督的训练方式下,2个网络相互竞争相互提高.然而,GAN在训练时经常出现模式崩溃问题,进而导致模型收敛较慢,生成样本多样性较差.为解决这一问题,在深度卷积神经网络的基础上提出了一种多生成器生成对抗网络模型.该模型包含多个生成网络,每个生成网络均使用残差网络进行搭建,同时在生成网络间引入协作机制,以加快模型获取信息并减少参数量,最后将各生成网络的特征图进行融合得到最终图像输入到判别网络中.GAN在训练过程中还会出现梯度消失、训练不稳定问题.为避免出现这些问题,将Wasserstein距离和梯度惩罚引入模型的损失函数.通过在多个数据集上与多种相关方法进行实验比较,结果表明提出的模型在缓解模式崩溃问题、加快模型收敛速度以及减少参数量上均明显优于其他几种方法.     

改进条件生成对抗网络的文本生成图像方法

该文提出了一种改进条件生成对抗网络的文本生成图像模型(TxtGAN),使用一对生成器和判别器的单阶段生成方式生成高分辨率图像,避免因训练多个GAN消耗大量计算资源.生成器网络由一系列生成模块(RUPBlock)组成,每个模块中应用条件批量归一化方法,在实现图像生成的同时充分融合了文本信息与图像特征,较好地保留了文本信息...     

基于SinGAN的图像生成模型

生成对抗网络(GAN)是目前图像生成领域中一种新的、有效的训练生成模型方法,单一生成对抗网络(SinGAN)是建立在一张图片上的无条件GAN.该文在生成对抗网络原理的基础上阐述了单一生成对抗网络(SinGAN)的原理及基本结构.以SinGAN作为研究对象,通过实例在训练过程中生成了与原图像语义相近的图像,并对SinGAN的训练和应用进行了研究.研究表明:SinGAN在同一张图片上进行的训练或测试,通过建立一个模型,可以对图片进行纹理转移,提高清晰度等操作.     

基于改进GAN算法的电机轴承故障诊断方法

提出一种基于改进GAN(生成对抗网络)的滚动轴承故障诊断方法,以振动信号作为主要依据,结合连续小波变换处理非平稳信号的能力和半监督生成对抗网络(semi-supervised generation adversarial networks,SSGAN)处理和识别图像的功能,在半监督生成对抗网络的基础上引入条件模型并对损失函数进行优化,指导生成器和判别器的训练.首次将改进GAN算法应用于故障诊断领域并利用其生成模型和半监督学习能力分别解决了样本数据不足和样本标记问题.实验表明,连续小波变换与改进GAN 结合的故障诊断方法与其他主流诊断方法相比能达到较高准确率.     

基于生成对抗网络的低分化宫颈癌病理图像分类

使用生成对抗网络(GAN)扩充宫颈癌病理图像的数据集以提高计算机辅助诊断的准确率.首先,使用GAN进行细胞质部分图像生成;其次,使用两次k-means聚类对生成图像进行筛选;最后,使用Inception-V3模型对数据集进行分类训练.结果表明,在测试集相同的情况下,该方法可以将总体分类准确率提升约2.5%,尤其对低分化宫颈癌病理图像有显著效果.通过GAN解决了组织病理学图像无方向性、内容复杂、前景目标规则性差等问题,证明了该方法的有效性及发展潜力.     

结合注意力机制的生成对抗网络图像超分辨重建

为改善图像超分辨率重建的主观视觉效果,提出一种结合注意力机制的图像超分辨生成对抗网络(generative adversarial network, GAN)模型.该模型在生成器网络中引入通道和空间双重注意力机制,选取更合适的重要特征信息进行传递;判别器网络采用WGAN进行构建,通过Wasserstein距离定义对抗损失,解决了GAN模型的训练不稳定问题.该重建模型在Set5、Set14、BSD100和Urban100共4个标准数据集上进行了实验,结果表明,和主流的超分辨重建算法相比,该模型的主客观评价指标均有所提高,图像细节信息恢复更加清晰,重建质量更好.     

基于生成式对抗网络的字体风格迁移方法

针对风格多样的中文字体设计和复杂操作的问题,提出一种生成式对抗网络的汉字风格迁移和字库设计方法。将宋体与黑体作为测试数据集,将瑞虎宋体作为目标数据集,通过生成式对抗网络对抗训练方法,使宋体与黑体字风格转换为瑞虎宋体风格。通过实验生成的字体图像轮廓更加平滑和美观,表明本文提出的方法能够显著提高对字形设计的工作效率。     

基于生成对抗网络的恶意网络流生成及验证

针对基于深度学习的分类器面对对抗样本时缺乏稳定性的问题,基于生成对抗网络(GAN)提出了一种新的模型,用于生成对抗样本。该模型首次实现了直接以恶意网络流为原始样本的对抗样本生成,并首次提出了弱相关位的概念,用于保证恶意网络流对抗样本的可执行性和攻击性。利用该模型生成的对抗样本能够有效地欺骗基于深度学习的网络安全检测器,且通过实验验证了该对抗样本具有实际攻击效果。     

基于信道特征生成对抗网络的信道建模方法

基于生成对抗网络(generative adversarial networks, GAN)的数据生成特性,提出一种用于信道特征生成的GAN改进模型,即信道特征生成对抗网络(channel feature generative adversarial networks, CFGAN)。采用完全无监督学习信道特征方式,利用线性编码向量与生成信道之间的互信息关系和变分互信息最大化原理,实现编码向量与信道特征对应;采用实测室内电力线信道数据集训练CFGAN模型,训练完成的CFGAN能够学习到不同信道特征分布。仿真表明,在-80～-10 dB大动态衰减范围内,CFGAN可根据学习到的信道特征生成具有明显区别的4类信道模型,并且生成信道和实测信道的信道特征差异小于2%。     

一种基于自注意力机制的文本图像生成对抗网络

图像自动生成一直以来都是计算机视觉领域的一项重要挑战,其中的文本到图像的生成更是图像生成领域的重要分支。随着深度学习技术迅猛发展,生成对抗网络的出现使得图像生成领域焕发生机,借助生成对抗网络能够生成较为生动且多样的图像。本文将自注意力机制引入生成对抗网络,提出GAN-SelfAtt以提升生成图像的质量。同时,使用WGAN、WGAN-GP 2种生成对抗网络框架对GAN-SelfAtt进行实现。实验结果表明,自注意力机制的引入能够提高生成图像的清晰度,这归功于自注意力机制弥补了卷积运算中只能计算局部像素区域内的相关性的缺陷。除此之外,GAN-SelfAtt在训练时有着更好的稳定性,避免了原始生成对抗网络中的模式坍塌问题。     

基于GAN的医学图像仿真数据集生成算法

基于生成对抗网络(generative adversarial networks,GAN),提出了面向肝脏肿瘤CT图像仿真数据集生成深度学习算法.首先,将CT图像数据文件进行格式解析,单独保存为PNG格式的图像文件;然后,将肝脏病变区域统一标注为白色,并结合肝脏CT原图组成配对图片;最后,用生成对抗网络的pix2pix架构仿真生成病变肝脏图像.为将生成图像与目标图像进行定量分析、比较,本文采用了峰值信噪比和结构相似性作为模型的评价指标.实验结果表明,本文算法所生成的肝脏肿瘤CT仿真数据集的平均峰值信噪比为64.72dB,平均结构相似性为0.9973,证明了所生成的仿真图像数据有着非常高的真实度.     

基于GAN的低照度图像增强算法研究

针对低照度图像增强问题,提出一种基于GAN的循环式图像增强网络,引入无监督学习方式,通过降低循环一致性损失和对抗性损失,估计低照度图像的原始光照图,并利用建立的图像增强模型公式,对光照不足环境下采集到的图像进行亮度等方面的增强．在人工合成低照度图像数据集和真实自然低照度图像数据集上,均进行了质化评价和量化评价,实验表明,与现有的一些图像增强方法相比,本文所提出的方法具有更好的图像增强效果,能够由低照度图像复原出生动、清晰、直观、自然的高质量图像．     

利用对抗性边缘学习模型生成超分辨率图像

大部分基于卷积神经网络的图像超分辨率方法都是采用端到端的模式,这类图像超分辨率方法往往存在重构图像纹理边缘模糊、高频信息缺失的问题.为了改善该问题,在SRGAN(super-resolution generation adversarial networks)的基础上提出了一种基于对抗性图像边缘学习的深层网络模型,将图像边缘信息得到充分利用,来引导超分网络生成更加真实的高分辨率图像.该网络模型由两个生成对抗网络所组成,首先利用一个生成对抗网络来生成低分辨率图像所对应的高分辨率边缘特征图,然后再用高分辨率边缘特征图来约束和引导第二个生成对抗网络,使之重构出来的高分辨率图像纹理边缘更加清晰,更好地恢复图像边缘的高频细节.在Set5、Set14、BSD100、Urban100和Manga109基准测试集上的实验结果表明该算法重构出的高分辨率图像更加接近真实的图像,在峰值信噪比、结构相似度和感知指标上都有不错的表现.     

基于多尺度密集特征融合的生成式对抗除雾网络

在真实雾天场景下,针对除雾网络无法去除远处雾气、天空区域容易出现噪声的问题,提出了一种基于多尺度密集特征融合的生成式对抗除雾网络,并采用制作的合成雾天数据集进行对抗训练.首先,对除雾网络进行设计,构建了网络模型;其次,从合成晴朗天气图像中利用深度标签生成逼真的雾天数据集,以适用于真实雾天除雾领域;最后,在真实雾天数据集上测试,选取近几年具有代表性的6种基于深度学习的除雾网络进行主观视觉效果,并借助除雾领域常用的无参考图像质量评价指标进行客观分析.研究结果表明:提出的除雾网络在真实场景下的除雾效果较其他网络有显著提升,主观视觉效果明显优于对比的除雾网络,在无参评价指标上综合表现优于其他除雾网络.     

一种利用年龄编辑改进年龄估计的方法

人脸年龄估计(face age estimation)作为一种新兴的生物特征识别技术, 是计算机视觉中一个经典的学习问题. 基于生成对抗网络(generative adversarial network, GAN) 强大的数据生成能力, 提出了一种利用年龄编辑改进年龄估计的方法, 并 通过分阶段联合训练年龄编辑网络 StarGAN 和年龄估计软阶段回归网络 (soft stagewise regression network, SSR-Net), 扩增适用于年龄估计的训练数据. 实验证明, 在非受限条件下, 该方法取得了年龄估计较好的结果.     

基于生成对抗网络的海马子区图像分割

海马子区体积很小且结构复杂,传统分割方法无法达到理想分割效果,为此引入生成对抗网络模型用于海马子区图像分割.该方法构建一个生成对抗网络模型,通过构建生成网络和对抗网络并对其进行交替对抗训练实现对脑部海马子区图像的像素级精确分割.实验选取美国旧金山CIND中心的32位实验者的脑部MRI图像进行海马子区分割测试,在定性和定量方面分别对比了所提方法基于稀疏表示与字典学习方法和传统CNN的分割结果.实验结果表明,该方法优于基于稀疏表示与字典学习和CNN方法,海马子区分割准确率有较大提升.该方法提升了海马子区的分割准确率,可用于大脑核磁图像中海马子区的分割,为诸多神经退行性疾病的临床诊断与治疗提供依据.