利用图像掩膜优化基于生成对抗网络的图像超分辨率模型

深度学习在一定程度上解决了从低分辨率图像中恢复出高分辨率图像这一图像超分辨率问题。目前基于生成对抗网络（generative adversarial network,GAN）的方法可以从超分辨率数据集中学习低/高分辨率图像映射关系,从而生成具有真实纹理细节的超分辨率图像。然而,基于GAN的图像超分辨率模型训练通常不稳定,其结果往往带有纹理扭曲和噪声等问题,提出了采用掩膜（mask）模块以辅助对抗网络训练。在网络训练过程中,掩膜模块根据生成网络输出的超分辨率结果和原始高分辨率图像,计算得到相应观感质量信息,并进一步辅助对抗网络训练。在实验中对3个最近提出的基于GAN的图像超分辨率模型进行修改,引入掩膜模块,修改后的模型在超分辨率图像输出的观感和真实感量化指标上均有明显地提升。掩膜模块的优点是可以进一步提升基于GAN的图像超分辨率网络输出的超分辨率图像观感质量,并仅需对生成对抗网络训练框架进行修改,因此适用于多数基于GAN的图像超分辨率模型的进一步优化。     

基于Dropout改进的SRGAN网络DrSRGAN

超分辨率作为一种经典的视觉任务,在多个领域有着广泛的应用。随着深度学习中无监督学习的发展,以及生成对抗网络(generative adversarial network, GAN)的提出,超分辨率技术又得到了进一步的提高,但是相关网络仍旧存在过拟合、泛化性弱等诸多问题。以超分辨率生成对抗网络(super-resolution generative adversarial network, SRGAN)为基础,受研究Dropout在经典超分辨率网络中影响的相关论文启发,在SRGAN中加入Dropout层并研究其对生成图像质量的影响,采用峰值信噪比(peak signal to noise ratio, PSNR)和结构相似性(structural similarity, SSIM)评估图像质量。实验结果表明在合适的Dropout参数下,网络重建图像具有更好的视觉效果,PSNR能够达到0.4左右的提升同时SSIM也有提高,从训练过程中不同迭代次数生成图像的比较发现改进后网络缓解了训练不稳定问题。将Dropout层加入超分辨率网络不同于以往的方法,为改进此类网络提供了一个新的思路。     

利用对抗性边缘学习模型生成超分辨率图像

大部分基于卷积神经网络的图像超分辨率方法都是采用端到端的模式,这类图像超分辨率方法往往存在重构图像纹理边缘模糊、高频信息缺失的问题.为了改善该问题,在SRGAN(super-resolution generation adversarial networks)的基础上提出了一种基于对抗性图像边缘学习的深层网络模型,将图像边缘信息得到充分利用,来引导超分网络生成更加真实的高分辨率图像.该网络模型由两个生成对抗网络所组成,首先利用一个生成对抗网络来生成低分辨率图像所对应的高分辨率边缘特征图,然后再用高分辨率边缘特征图来约束和引导第二个生成对抗网络,使之重构出来的高分辨率图像纹理边缘更加清晰,更好地恢复图像边缘的高频细节.在Set5、Set14、BSD100、Urban100和Manga109基准测试集上的实验结果表明该算法重构出的高分辨率图像更加接近真实的图像,在峰值信噪比、结构相似度和感知指标上都有不错的表现.     

面向磁共振影像超分辨的WGAN方法研究

针对磁共振成像（magnetic resonance imaging,MRI）超分辨率重构任务,提出了Wasserstein 生成式对抗网络（Wasserstein generative adversarial network,WGAN）,构建了合适的网络模型与损失函数;基于残差U-net WGAN 后端上采样超分模型,设计了感知、纹理和对抗损失,用于恢复低分辨率MRI影像中的细节信息．此网络在2D-MRI的3 000张脑影像上获得的峰值信噪比（peak signal to noise ratio,PSNR）是33.09 dB,结构相似度（structural similarity index measure,SSIM）的平均值为0.95;PSNR与SSIM的值与经典超分法相比较,分别增加了4.09 dB和0.06．这表明:网络能更好地学习MRI从低分辨率到高分辨率影像之间的映射关系;该方法有效稳定,可以广泛应用于相似系统．      

基于边界平衡生成对抗网络的生成式隐写

针对基于深度生成模型的载体合成隐写中生成含密图像质量不高的问题,提出了一种基于边界平衡生成对抗网络(boundary equilibrium generative adversarial network,BEGAN)的生成式隐写方法。该方法首先将秘密信息分段并转化为噪声,而后将噪声输入到BEGAN生成器中得到高质量的含密图像;在消息提取阶段,从含密图像输入噪声提取器中恢复出噪声,最后将噪声转化为秘密信息并完成消息提取。首次提出了针对含密图像的质量评价问题。实验结果和分析表明,与基于深卷积生成对抗网络(deep convolution generative adversarial networks,DCGAN)的隐写方法相比,采用基于编码-解码结构的BEGAN模型能够提高含密图像质量,增大输入噪声的长度能够提高隐写容量。     

基于改进SRResNet深度学习网络的低照度图像超分辨率重建方法

为解决低照度条件下低分辨率图像的超分辨率重建问题,提出一种基于改进超分辨率残差网络(super-resolution residual networks, SRResNet)深度学习网络的低照度图像超分辨率重建方法。通过将读取的图像下采样、亮度降低等处理生成低照度低分辨率图像,并将该图像与高分辨率图像作为数据对输入学习模型,以便改进SRResNet的训练数据对的生成方式,优化训练过程,从而构建面向单帧低照度彩色图像的基于改进SRResNet训练的超分辨率重建方法。实验结果表明：与现有流行的图像超分辨率重建方法相比,该方法的峰值信噪比(peak signal to noise ratio, PSNR)、结构相似性(structural similarity, SSIM)指标整体为最优,低照度环境下的超分辨率重建图像更为清晰明亮、细节更丰富,该方法训练出的深度学习网络的重建效果更好。     

结合注意力机制的生成对抗网络图像超分辨重建

为改善图像超分辨率重建的主观视觉效果,提出一种结合注意力机制的图像超分辨生成对抗网络(generative adversarial network, GAN)模型.该模型在生成器网络中引入通道和空间双重注意力机制,选取更合适的重要特征信息进行传递;判别器网络采用WGAN进行构建,通过Wasserstein距离定义对抗损失,解决了GAN模型的训练不稳定问题.该重建模型在Set5、Set14、BSD100和Urban100共4个标准数据集上进行了实验,结果表明,和主流的超分辨重建算法相比,该模型的主客观评价指标均有所提高,图像细节信息恢复更加清晰,重建质量更好.     

基于GAN的医学图像仿真数据集生成算法

基于生成对抗网络(generative adversarial networks,GAN),提出了面向肝脏肿瘤CT图像仿真数据集生成深度学习算法.首先,将CT图像数据文件进行格式解析,单独保存为PNG格式的图像文件;然后,将肝脏病变区域统一标注为白色,并结合肝脏CT原图组成配对图片;最后,用生成对抗网络的pix2pix架构仿真生成病变肝脏图像.为将生成图像与目标图像进行定量分析、比较,本文采用了峰值信噪比和结构相似性作为模型的评价指标.实验结果表明,本文算法所生成的肝脏肿瘤CT仿真数据集的平均峰值信噪比为64.72dB,平均结构相似性为0.9973,证明了所生成的仿真图像数据有着非常高的真实度.     

基于边缘增强生成对抗网络的人脸超分辨率重建

针对对抗生成神经网络在人脸轮廓细节恢复上不够完善的问题,利用人脸图像的结构先验信息提出了一种边缘增强的生成对抗网络人脸超分辨率的重建算法.首先,利用人脸图像及其边缘图像的一致性关系设计一种并行网络提取面部和边缘细节特征;然后,通过特征融合网络获得高分辨率的生成图像;最后,利用判别网络判别生成图像的真伪.在人脸图像数据库上进行的人脸超分辨率重建实验结果表明:提出的边缘增强生成对抗网络能够提升面部细节重建能力,主观和客观评价指标均优于现有的人脸超分辨率算法.     

基于生成对抗网络的轻量级图像盲超分辨率网络

针对图像盲超分辨率网络计算参数多、模型庞大的问题,对快速且节省内存的轻量级图像非盲超分辨率网络（fast and memory-efficient image super resulotion network, FMEN）进行改进,提出了一种轻量级的快速且节省内存的图像盲超分辨率网络（fast and memory-efficient image blind super resulotion network, FMEBN)。首先,通过图像退化模块模拟部分真实世界退化空间,使用退化预测模块预测低分辨率(low resolution, LR)图像的退化参数;然后,为能有效利用退化先验信息指导并约束网络进行重建,使用动态卷积对原网络特征提取、重建模块、高频注意力块（high frequency attention block, HFAB）结构进行改进;最后,使用生成对抗网络（generative adversarial network, GAN)对FMEN训练策略与损失函数进行优化,减小真实数据与生成数据的差异,生成更加真实、清晰的纹理、轮廓。实验结果表明,在合成图像数据集和真实图像数据集R...     

基于深度学习的三维模型重构研究

由单个图像建立其三维模型是计算机视觉领域的一个热门且具有挑战性的问题.现有的传统单视图三维重构算法在处理低分辨率图像时效果不好,在训练中由于三维图形的高维性,使网络也变得高度不稳定,导致模型重构效果差.针对传统三维重构算法存在的缺点,提出一种基于深度学习网络的改进模型,在模型中加入超分辨率、投影、对抗生成网络(gene...     

多尺度残差生成对抗网络的图像超分辨率重建

针对目前基于深度学习的超分辨率重建图像存在的纹理等高频信息丢失问题,提出了多尺度残差生成对抗网络的图像超分辨率重建算法。首先,使用Dense-Res2Net模块替代SRGAN生成网络中原本的残差模块,并且组合特征压缩与激发网络（SENet）从多个尺度自适应地提取浅层特征信息。其次,引入全变分正则化损失（TV loss）指导生成器训练。最后,使用Wasserstein距离优化对抗损失,提高网络训练稳定性。实验结果表明,该算法重建出的图像在视觉效果上保留了更加丰富的高频细节,与当前主流超分算法相比,该方法不仅有更高的峰值信噪比（PNSR）与结构相似性（SSIM）,且学习感知图像块相似度（LPIPS）的分数上均优其他算法。     

基于生成对抗网络的细胞形变动态分类

提出了一种基于生成对抗网络的细胞形变动态分类方法,以活细胞视频中的细胞形变动态为对象,引入分类器辅助的生成对抗网络结构同步训练生成对抗网络和分类网络,通过生成对抗网络产生的数据提高了原本分类网络分辨细胞形变动态的性能.首先,细胞动态图像被用于将活细胞视频中的时间维度进行压缩,使其从视频域映射到图像域以方便生成对抗网络的构建.其次,基于分类器辅助的生成对抗网络结构,将分类网络的分类信息作为辅助信息来改善生成对抗网络对多类样本的生成,同时生成网络生成的多类样本可以反过来优化分类网络对于细胞动态形变的分类性能.在构建的活细胞视频数据库上,可以验证提出方法能有效地捕获细胞视频中的空时细胞形变动态,并且其分类的性能优于其它主流方法.     

基于深层卷积网络的单幅图像超分辨率重建模型

【目的】针对Mean squared error(MSE)作为损失函数在人眼感知方面存在局限性,以及基于卷积神经网络的图像超分辨率(Super-resolution,SR)算法生成的图像存在参数较多、计算量较大、训练时间较长、纹理模糊等问题,设计基于深层卷积神经网络的单幅图像超分辨率重建模型。【方法】使用ImageNet预先训练的大型卷积神经网络Visual geometry group(VGG)模型提取图像特征,利用该特征设计视觉感知损失函数进行训练学习,引入亚像素卷积层(Sub-pixel convolution)替换上采样层,缓解生成图像的棋盘效应。【结果】设计的模型对放大两倍的图像进行超分辨率修复,与其他4种超分辨率重建模型的Peak signal to noise ratio(PSNR)值接近,且生成图像的视觉效果更加清晰逼真,细节更加细腻。【结论】该模型可以实现输入不同大小的低分辨率图像而不必多次训练学习不同比例的放大模型,可以实现对不同放大倍数图像的训练和预测,在保持一定PSNR正确率的前提下,放大后的超分辨率图像能够恢复更多纹理细节和更佳视觉效果。     

基于GAN的图像超分辨率重建算法研究

SRGAN是一种基于生成对抗网络的超分辨重建方法,其生成的高分辨率图像质量较传统方法有着明显提升,然而SRGAN存在着训练过程不稳定,图像浅层特征未充分使用等问题,很大程度上影响到了生成图像的质量。本文提出了一种特征增强改进的SRGAN模型,该模型使用信息蒸馏块进行特征纹理信息的增强,并消除图像特征中的冗余信息。此外,使用相对平均鉴别器替代原始SRGAN中的二分类鉴别器,保证了GAN网络训练的稳定性。本文基于4倍放大因子的超分辨重建任务,在BSD100数据集上进行实验结果的质化评价和量化评价。实验表明,本文方法较之SRGAN在训练过程中具有更好的稳定性,生成的图像具有更清晰的细节纹理,取得了更佳的图像超分辨率重建效果。     

一种基于自注意力机制的文本图像生成对抗网络

图像自动生成一直以来都是计算机视觉领域的一项重要挑战,其中的文本到图像的生成更是图像生成领域的重要分支。随着深度学习技术迅猛发展,生成对抗网络的出现使得图像生成领域焕发生机,借助生成对抗网络能够生成较为生动且多样的图像。本文将自注意力机制引入生成对抗网络,提出GAN-SelfAtt以提升生成图像的质量。同时,使用WGAN、WGAN-GP 2种生成对抗网络框架对GAN-SelfAtt进行实现。实验结果表明,自注意力机制的引入能够提高生成图像的清晰度,这归功于自注意力机制弥补了卷积运算中只能计算局部像素区域内的相关性的缺陷。除此之外,GAN-SelfAtt在训练时有着更好的稳定性,避免了原始生成对抗网络中的模式坍塌问题。     

建筑物指数与对抗网络结合的检测样本增广

在基于深度学习的遥感图像大范围目标检测中,部分地物获取难度较大,训练结果不佳。因此,本文利用形态学建筑物指数与生成式对抗网络进行样本增广,减少因检测样本不足导致的模型过拟合问题。通过提取纹理结构信息相关的形态学建筑物指数,将其与原始样本进行叠加,对建筑物的纹理与空间特征进行强化。同时利用已有样本训练生成式对抗网络以增广部分目标类别,并将其与形态学建筑物指数增强后的样本进行合成,以扩充原始样本集。相比于翻转,裁剪,色调变化的增广策略,使用该方法的检测精度在Yolov5,EfficientDet等模型上的检测精度均有2%-5%的提升。通过实验证明,利用建筑物指数与生成式对抗网络相结合的样本增广方法对于诸如发电站等特殊感兴趣类别的小样本遥感图像目标检测精度具有明显提升效果。     

一种基于条件生成对抗网络的高感知图像压缩方法

针对如何获得符合人类视觉感知的压缩图像问题,提出了基于条件生成对抗网络的图像压缩模型(HPIC).在HPIC中,首先利用一个超先验概率模型对原始图像进行编码量化,将条件附加标签和残差模块相结合的生成器用于压缩图像的重建,基于深度卷积神经网络搭建的判别器则用于区分压缩后的图像和真实图像间的差异.损失函数是基于比特率-失真-感知优化理论来设计的,一方面选用基于预训练Inception网络特征值的感知失真指标来实现具有高感知质量的图像压缩重建,另一方面利用生成对抗网络损失来消除压缩伪影,提高压缩精度.实验结果表明,HPIC在比特率-失真-感知三重权衡中取得了较好的平衡,即使目前的常见算法使用两倍于本文算法的比特率,本文算法在所有的感知指标得分上均优于前者,HPIC仍能够实现具有高感知质量的压缩.