生成式对抗网络的应用综述

生成式对抗网络(GAN)是一种优秀的生成式模型,能够不依赖任何先验假设,学习到高维复杂的数据分布。这一强大的性能使得它成为近年来研究的热点,并在诸多应用领域取得了显著的研究成果。首先介绍了生成式对抗网络的基本原理,各种目标函数以及常用的模型结构。然后,详细分析了生成式对抗网络在条件限制下生成图片的各种演进方法。此外,介绍了生成式对抗网络在不同领域的应用,包括高分辨率图像生成、小目标检测、非图像数据生成、医学图像分割等方面的最新研究进展。最后,总结了生成式对抗网络训练过程中的优化技巧。旨在通俗地阐明GAN的基础理论以及发展历程,并从应用角度对未来工作进行了展望。     

多尺度生成对抗网络的图像超分辨率算法

基于神经网络的图像超分辨率方法往往存在重建图像纹理结构模糊、缺失高频信息的问题。为了解决该问题,在SRGAN的基础上提出一种多尺度并联学习的生成对抗网络结构,其中生成模型由两个不同尺度的残差网络块组成,首先对提取的低分辨率图像通过两个子网络的多尺度特征学习,然后使用融合网络进行残差融合,融合不同尺度高频信息,最终生成高分辨图像。在Set5、Set14、BSD100基准数据集以及SpaceNet卫星图像数据集上的实验结果证明了该算法在恢复低分辨率图像的细节纹理信息具有良好效果。     

基于改进生成对抗网络的多聚焦图像融合

针对多聚焦图像融合中权重分配和融合规则设计困难的问题,本文提出了一种基于改进生成对抗网络的多聚焦图像融合算法。首先,对生成器网络和判别器网络进行设计,为了避免图像在网络模型传递过程中造成的信息丢失,裁撤网络结构中的池化层,通过卷积层叠提取图像特征。其次,构建生成对抗网络的损失函数,优化网络参数,得到最佳的网络模型。最后,将实验结果与现有的几种融合算法相比较,通过5种客观评价指标来评价融合图像的效果。结果表明,本文提出的算法不仅在主观上有着良好的视觉效果,也在客观评价指标上有显著优势。     

多时间尺度下变体生成式对抗网络的股价预测

股价预测能为公司经营、投资决策和市场监管提供重要依据。【目的】为了避免特征提取不足与预测不准等问题,我们构建了多时间尺度下变体生成式对抗网络对股价涨跌方向进行预测。【方法】首先以双向长短期记忆网络构造生成器,以卷积神经网络构造判别器;然后分别对生成器与判别器在多时间尺度数据上进行博弈训练,提取长期与短期特征后将结果拼接;最后获得预测模型。【结果】选取沪深300指数、建设银行与陕西煤业股价为样本进行实证分析,试验发现沪深300指数涨跌预测准确率达到59.63%,个股数据验证表明本文模型具有一定的稳定性与优越性。【结论】本模型能提高预测股价涨跌的准确率,丰富了金融数据分析方法。     

一种基于循环生成式对抗网络的去雾算法

针对现有基于学习的去雾算法在处理过程中需要成对的数据来训练网络参数的问题,提出了一种基于循环生成式对抗网络的去雾算法.该算法通过使用编码器-解码器(Encoder-Decoder, ED)体系结构来构建生成器网络,然后采用一种不成对的图像训练方法来训练网络参数,估计出传输图,最后根据估计的传输图和大气光值,利用光学模型恢复出无雾清晰图像.实验结果表明:对于室内、外有雾图像,本文提出的方法可以在不发生任何颜色失真的情况下恢复无雾场景,而且相对于其他方法,该方法在多个评价指标上都有明显的性能优势.     

基于生成式对抗网络的字体风格迁移方法

针对风格多样的中文字体设计和复杂操作的问题,提出一种生成式对抗网络的汉字风格迁移和字库设计方法。将宋体与黑体作为测试数据集,将瑞虎宋体作为目标数据集,通过生成式对抗网络对抗训练方法,使宋体与黑体字风格转换为瑞虎宋体风格。通过实验生成的字体图像轮廓更加平滑和美观,表明本文提出的方法能够显著提高对字形设计的工作效率。     

基于双层视觉及多尺度注意力融合的图像去雾

针对现有去雾算法缺乏对雾霾图像不同区域噪音浓度的关注以及远近景特征的区分问题,本文提出了一种新的生成对抗网络模型.模型中通过两个UNet3+网络实现全尺度的跳跃连接和深度监督,使用多尺度融合的方法结合不同尺度特征图中的高低级语义;而深度监督的加入可以更好地学习图像中的远近层次表示.同时在生成器结构中加入融合改进自注意力机制的多尺度金字塔特征融合模块,以便更好地保留特征图的多尺度结构信息,并且提高了对不同雾霾浓度区域的关注度.实验结果显示,在NTIRE 2020、NTIRE 2021、O-Haze数据集和Dense-Haze数据集上, 本文所提出的算法网络相比BPPNET等其他先进算法可以得到更好的视觉效果,在Dense-Haze数据集上,峰值信噪比和结构相似性指数分别达到24.82和0.769.     

多尺度特征的深度学习及在多聚焦图像融合上的应用

【目的】多聚焦图像融合指的是从同一场景下不同的图像中提取各自的聚焦区域,得到一幅全聚焦的图像,是近些年来图像处理领域一个热门的研究方向。传统的图像融合技术存在融合区域不清晰、失真、存在伪影等情况。针对这一现象,提出了一种基于深度学习的图像融合方法。【方法】所提算法整体使用了孪生网络来对图像中的聚焦区域进行分类,同时还引入了GoogLeNet中的Inception模块来提高网络的特征提取能力,取得了良好的性能。为了充分利用源图像中的特征信息,提出的算法中使用了不同大小的子块来提取源图像中不同尺度的特征信息,获得源图像多个尺度的特征。此外,提出的方法获得的二值图能够精确反映出源图像的聚焦区域和非聚焦区域,因此不需要应用后处理步骤来对二值图进行优化,降低了网络的复杂度。【结果】在Lytro多聚焦图像集和其他常用的多聚焦灰度图像集上的实验结果表明：相比于其他经典算法,提出算法的融合结果从主观和客观两个维度上都拥有显著的优势。【结论】提出的算法很好地融合了源图像中的细节特征,融合边缘自然平滑、无伪影产生,取得了较传统算法更好的融合效果。     

一种基于多尺度分解的多传感器图像融合方法

给出了一种基于多尺度分解(易操纵金字塔分解)的多传感器图像融合算法．该算法把来自不同传感器的图像分解成不同尺度、不同方向(不止3个)的子带系列；使用基于相似性量测的规则融合各相应子带图像；再进行反变换，获得融合后的图像．实验结果表明该方法有较好的融合效果．     

基于特征融合的快速图像去雾方法

针对图像去雾问题, 提出一种基于特征融合的快速单幅图像去雾方法, 解决了暗通道方法存在的块效应问题. 该方法先采用基于K均值聚类的暗通道先验求得粗尺度下的透射率, 再通过分析雾对成像的影响, 提取有雾图像自身能反映景深变化的饱和度作为细尺度的透射率, 最后通过图像融合技术得到精确的透射率. 通过对
各种真实有雾场景进行测试的实验结果表明, 该方法简单且有效, 能得到理想的去雾效果.     

基于注意力特征融合稠密网络的图像去雾算法

目前主流图像去雾算法输出的结果图像存在颜色失真、边缘模糊的问题.为改善上述问题,提出一种基于深度学习的图像去雾算法,所提算法由两个模块构成:注意力特征融合模块和雾霾模型参数估计模块.注意力特征融合模块用于充分提取雾霾图像的颜色、边缘特征;基于稠密连接空洞卷积自编码器的雾霾模型参数估计模块用于估计雾霾模型的参数,改善网络退化的问题.在浓雾图像、薄雾图像数据集上的实验表明,本文提出的算法有效地实现了图像去雾,与主流的图像去雾算法相比具有更高的结构相似性(SSIM),更低的均方误差(mean-square error,MSE)和边缘误差e_○edge.     

基于生成对抗网络的单图像超分辨率重建

针对当前卷积神经网络未能充分利用浅层特征信息, 并难以捕获各特征通道间的依赖关系、 丢失高频信息的问题, 提出一种新的生成对抗网络用于图像超分辨率重建. 首先, 在生成器中引入WDSR-B残差块充分提取浅层特征信息; 其次, 将GCNet模块和像素注意力机制相结合加入到生成器和鉴别器中, 学习各特征通道的重要程度和高频信息; 最后, 采用谱归一化代替不利于图像超分辨率的批规范化, 减少计算开销, 稳定训练. 实验结果表明, 该算法与其他经典算法相比能有效提高浅层特征信息的利用率, 较好地重建出图像的细节信息和几何特征, 提高超分辨率图像的质量.     

基于生成对抗网络的人脸图像彩色化方法

提出了一种新的基于生成对抗网络的人脸图像彩色化方法.所提出的网络结构包含两组生成对抗子网络,每个子网络由一个生成器和判别器组成.其中,一个对抗子网络A（包含生成器A和判别器A）实现从灰度图像到彩色图像的翻译过程,另一个子网络B（包含生成器B和判别器B）反转该过程,即生成器B对称地使用生成器A的最终输出图像作为输入,用来重建原始的人脸灰度图像.其中,网络中的循环损失进行图像重建,而生成损失和对抗损失用来保证生成的图像更加接近真实图像.实验结果表明,这种结构设计不仅能实现自然逼真的人脸图像彩色化,还能同时保证人脸的身份属性不变.      

基于深度学习的图像去雾算法

针对有雾天气会使图像质量降低,影响对图像信息的提取,导致图像的应用价值减少的问题,提出一种基于深度学习的图像去雾算法。首先,对原有雾图像进行单尺度和多尺度的卷积来特征提取,其次再用多尺度卷积核实现图像细节的重建得到粗略的透射率传播图,同时利用原有雾图像中像素点的位置和亮度值得到大气光值,利用导向滤波得到精细透射率传播图和之前得到的大气光值进而反演出无雾图像,最终对无雾图像进行直方图颜色校正。实验结果表明,相比传统去雾算法,该算法对图像细节的处理更加自然并具有很好的视觉效果。     

基于多尺度融合增强的服装图像解析方法

基于卷积神经网络中的各个层次特征,提出了一种基于多尺度融合增强的服装图像解析方法。通过融合增强模块,在考虑全局信息的基础上对包含的语义信息和不同尺度特征进行有效融合。结果表明：在Fashion Clothing测试集上的平均F1分数达到60.57%,在LIP（Look Into Person）验证集上的平均交并比（mean intersection over union,MIoU）达到54.93%。该方法可以有效地提升服装图像解析精度。     

多尺度残差生成对抗网络的图像超分辨率重建

针对目前基于深度学习的超分辨率重建图像存在的纹理等高频信息丢失问题,提出了多尺度残差生成对抗网络的图像超分辨率重建算法。首先,使用Dense-Res2Net模块替代SRGAN生成网络中原本的残差模块,并且组合特征压缩与激发网络（SENet）从多个尺度自适应地提取浅层特征信息。其次,引入全变分正则化损失（TV loss）指导生成器训练。最后,使用Wasserstein距离优化对抗损失,提高网络训练稳定性。实验结果表明,该算法重建出的图像在视觉效果上保留了更加丰富的高频细节,与当前主流超分算法相比,该方法不仅有更高的峰值信噪比（PNSR）与结构相似性（SSIM）,且学习感知图像块相似度（LPIPS）的分数上均优其他算法。     

基于生成对抗单分类网络的异常声音检测

针对正常和异常声音可能具有较大的相似性, 有时无法利用自编码器重构误差大小区分的问题, 提出一种生成对抗单分类网络方法进行异常声音检测, 通过多次训练, 该方法学习正常样本的分布特征. 在测试过程中, 测试正常样本能以极小的误差进行重构, 而异常样本重构效果较差, 在某些频率段会发生畸变, 从而给出判别分类结果. 实验采用UrbanSound8K公开数据集和实测电机声音数据集进行了测试, 获得该方法的准确率分别为86.3%和98.1%, 比卷积自动编码器等主要深度学习方法分别提高了5.0%和3.0%.     

基于分数阶微分的多尺度多聚焦图像融合

针对多聚焦图像融合问题,借鉴多尺度融合方法对各个尺度的互补信息进行针对性融合.首先,运用L0梯度最小化的平滑方法将源图像分解为背景层和细节层,然后在背景层的融合中运用分数阶边缘检测掩模保持边缘信息,在细节层中引入分数阶梯度能量算子进行权值分配.实验结果表明,与整数阶梯度能量清晰度算子相比,本文所提出的分数阶梯度能量算子...