“弄假成真”：基于对抗学习的数据增广方法

 近年来,深度学习在计算机视觉领域取得了巨大的突破,其背后是利用大量标签数据对深度网络进行监督训练,而标注大规模数据集非常昂贵且十分耗时。针对大规模数据集标注问题,苹果公司的Shrivastava团队希望借助现有的计算机仿真技术以及对抗训练的方法,实现仿真图像的无监督学习,从而避免昂贵的图像标注过程。该团队在对抗网络的基础上提出3个创新点：（1）自正则项;（2）局部对抗损失;（3）使用历史生成图片更新判别器,使得生成真实化图片的同时保留输入图像特征。实验结果展示该方法可以生成高度真实化的图片。研究者通过训练凝视估计模型、手部姿态估计模型定量分析生成图片的效果,分析结果表明,使用生成图片训练的模型,在MPⅡGaze数据集上测试效果有很大的提升,达到了当时最好的效果。不过,研究者并未在包含多个物体的复杂场景下进行实验,文中提出的方法在复杂场景下的应用还存在局限性。     

结合注意力机制的生成对抗网络图像超分辨重建

为改善图像超分辨率重建的主观视觉效果,提出一种结合注意力机制的图像超分辨生成对抗网络(generative adversarial network, GAN)模型.该模型在生成器网络中引入通道和空间双重注意力机制,选取更合适的重要特征信息进行传递;判别器网络采用WGAN进行构建,通过Wasserstein距离定义对抗损失,解决了GAN模型的训练不稳定问题.该重建模型在Set5、Set14、BSD100和Urban100共4个标准数据集上进行了实验,结果表明,和主流的超分辨重建算法相比,该模型的主客观评价指标均有所提高,图像细节信息恢复更加清晰,重建质量更好.     

基于改进生成对抗网络的多聚焦图像融合

针对多聚焦图像融合中权重分配和融合规则设计困难的问题,本文提出了一种基于改进生成对抗网络的多聚焦图像融合算法。首先,对生成器网络和判别器网络进行设计,为了避免图像在网络模型传递过程中造成的信息丢失,裁撤网络结构中的池化层,通过卷积层叠提取图像特征。其次,构建生成对抗网络的损失函数,优化网络参数,得到最佳的网络模型。最后,将实验结果与现有的几种融合算法相比较,通过5种客观评价指标来评价融合图像的效果。结果表明,本文提出的算法不仅在主观上有着良好的视觉效果,也在客观评价指标上有显著优势。     

基于语义分割的桥梁锈蚀病害识别对比分析

针对桥梁锈蚀数据难获取、锈蚀病害数据集小的问题，基于生成对抗网络(GAN)对桥梁锈蚀数据集进行扩增，并采用IS和K均值聚类算法验证其有效性.采用扩增后的数据集，按4∶1的比例划分为训练集和验证集，分别对U-Net网络和DeepLab-V3+网络进行训练，对比分析2种网络对于锈蚀分割的精度、召回率及F₁分数.结果表明，采用深度卷积生成对抗网络(DCGAN)生成虚拟数据集的IS值达到2.41,分类肘形图类别数为5,与原数据集吻合，可作为扩增数据集以提升模型泛化性；DeepLab-V3+网络模型在验证集上的精度为0.935,召回率为0.952,F₁分数为0.943,均显著高于U-Net网络模型.DeepLab-V3+网络在点状锈蚀区域连通与分割方面优于U-Net网络，并实现了片状锈蚀区域分割，为桥梁锈蚀精准识别与分割提供了技术支撑.     

基于GAN的医学图像仿真数据集生成算法

基于生成对抗网络(generative adversarial networks,GAN),提出了面向肝脏肿瘤CT图像仿真数据集生成深度学习算法.首先,将CT图像数据文件进行格式解析,单独保存为PNG格式的图像文件;然后,将肝脏病变区域统一标注为白色,并结合肝脏CT原图组成配对图片;最后,用生成对抗网络的pix2pix架构仿真生成病变肝脏图像.为将生成图像与目标图像进行定量分析、比较,本文采用了峰值信噪比和结构相似性作为模型的评价指标.实验结果表明,本文算法所生成的肝脏肿瘤CT仿真数据集的平均峰值信噪比为64.72dB,平均结构相似性为0.9973,证明了所生成的仿真图像数据有着非常高的真实度.     

基于多尺度编解码网络的道路交通模糊图像盲复原

提出一种多尺度编解码深度卷积神经网络结构,使用生成对抗的思想对模糊图像直接进行盲复原.首先,设计一种优化多尺度残差块应用在编解码器内部,在减少参数量的同时提高了网络非线性表达能力;其次,分别计算多尺度网络每层对应的L2损失,确保逐级去模糊后的图像更加接近真实图像;最后,在GoPro数据集和真实道路交通模糊图像上进行仿真...     

多生成器生成对抗网络

生成对抗网络(Generative adversarial networks,GAN)广泛应用于各种领域,尤其在图像生成方面.该模型由生成网络与判别网络2部分组成,在无监督的训练方式下,2个网络相互竞争相互提高.然而,GAN在训练时经常出现模式崩溃问题,进而导致模型收敛较慢,生成样本多样性较差.为解决这一问题,在深度卷积神经网络的基础上提出了一种多生成器生成对抗网络模型.该模型包含多个生成网络,每个生成网络均使用残差网络进行搭建,同时在生成网络间引入协作机制,以加快模型获取信息并减少参数量,最后将各生成网络的特征图进行融合得到最终图像输入到判别网络中.GAN在训练过程中还会出现梯度消失、训练不稳定问题.为避免出现这些问题,将Wasserstein距离和梯度惩罚引入模型的损失函数.通过在多个数据集上与多种相关方法进行实验比较,结果表明提出的模型在缓解模式崩溃问题、加快模型收敛速度以及减少参数量上均明显优于其他几种方法.     

基于生成式对抗网络的供水管道漏水信号检测方法

针对供水管道漏水声音信号数据集匮乏、漏水情况多样需反复采集确定漏水、检测准确率低等问题，提出一种基于条件生成对抗网络的增强漏水信号数据集的方法。将深度对抗网络与条件生成对抗网络相结合对漏水信号数据集进行数据增强，用扩充后的数据集对一维卷积神经网络进行训练并对不同实地采集的样本进行漏水信号识别。验证表明：一种管质的某种程度漏水信息经对抗网络进行数据增强后，具有该管质未采集的漏水信号特征，能用于更加细微的漏水信号检测。该方法也适用于其它管质各种情况的漏水检测，具有良好的实用性。     

基于深度学习的Wi-Fi信号编码参数盲识别

通信链路层特征盲识别是智能通信和通信对抗领域关键技术。为提高基于IEEE 802.11协议的无线（局域）网/无线保真（wireless fidelity,Wi-Fi）信号的编码参数盲识别精度,提出了一种基于深度学习的低密度奇偶校验码（low density parity check code,LDPC）编码参数盲识别算法,可准确盲识别信道编码算法的信息位码长和码率。算法以解调后的比特流为训练数据集,搭建多层深度神经网络模型,经过多次调参和迁移训练,最终得到了能够准确预测编码参数的网络模型。实验结果表明,该网络模型能够在高达10%误码条件下得到优于91%的编码参数盲预测率,在无误码的条件下,编码参数盲预测准确度高达95.32%,为智能通信和通信对抗的研究提供了一定参考价值。     

基于标签深度分析的音乐自动标注算法

尽管深度神经网络算法在标签自动标注领域已取得一定的成果,但对于包含大量噪声标签的真实音乐数据集仍存在自动标注效果差的问题.为此,文中通过对音乐标签进行表示学习,挖掘音乐标签与音频特征之间的潜在关系,提出了基于标签深度分析的音乐自动标注算法.该算法先通过多层级卷积网络提取音频特征,再通过音乐标签向量的表示学习来降低噪声数据对音乐自动标注网络的不良影响.在真实音乐标注数据集上的实验结果表明,该算法能取得更高的平均受试者特征曲线下面积,标注效果优于其他自动标注算法.     

基于GAN的低照度图像增强算法研究

针对低照度图像增强问题,提出一种基于GAN的循环式图像增强网络,引入无监督学习方式,通过降低循环一致性损失和对抗性损失,估计低照度图像的原始光照图,并利用建立的图像增强模型公式,对光照不足环境下采集到的图像进行亮度等方面的增强．在人工合成低照度图像数据集和真实自然低照度图像数据集上,均进行了质化评价和量化评价,实验表明,与现有的一些图像增强方法相比,本文所提出的方法具有更好的图像增强效果,能够由低照度图像复原出生动、清晰、直观、自然的高质量图像．     

利用对抗性边缘学习模型生成超分辨率图像

大部分基于卷积神经网络的图像超分辨率方法都是采用端到端的模式,这类图像超分辨率方法往往存在重构图像纹理边缘模糊、高频信息缺失的问题.为了改善该问题,在SRGAN(super-resolution generation adversarial networks)的基础上提出了一种基于对抗性图像边缘学习的深层网络模型,将图像边缘信息得到充分利用,来引导超分网络生成更加真实的高分辨率图像.该网络模型由两个生成对抗网络所组成,首先利用一个生成对抗网络来生成低分辨率图像所对应的高分辨率边缘特征图,然后再用高分辨率边缘特征图来约束和引导第二个生成对抗网络,使之重构出来的高分辨率图像纹理边缘更加清晰,更好地恢复图像边缘的高频细节.在Set5、Set14、BSD100、Urban100和Manga109基准测试集上的实验结果表明该算法重构出的高分辨率图像更加接近真实的图像,在峰值信噪比、结构相似度和感知指标上都有不错的表现.     

面向各向异性3D-MRI图像超分辨率 重建的ESRGAN网络

高分辨率磁共振图像(MRI, magnetic resonance images)能够提高疾病诊断精度,但高分辨率MRI图像的获取十分困难。基于深度学习的图像超分辨率(SR, super resolution)技术可有效地提高图像分辨率。近年来,生成对抗网络(GANs, generative adversarial networks)为3D-MRI图像SR重建提供了新思路。相较于传统的基于深度卷积神经网络(DCNN, deep convolutional neural network)的SR算法,GANs网络以人类视觉机制为目标,且引入判别函数,使重建3D-MRI图像更接近真实图像。研究采用增强超分辨率生成对抗网络(ESRGAN, enhanced super-resolution generative adversarial networks)对3D-MRI图像进行SR重建;并利用3D-MRI图像的跨层面自相似性,将重建任务降维到2D,在保证重建效果的基础上,减少了网络训练时间和内存需求。通过与其他传统算法和基于DCNN算法对比实验表明,提出的算法能够进一步提高3D-MRI图像的视觉...     

基于滤波的单幅图像去雾方法

基于Tarel方法提出一种新的基于滤波的单幅图像去雾方法. 先利用双边滤波求出初始的大气散射光, 较好地保持了边缘平滑纹理; 再利用自适应中值滤波器进一步求得边缘清晰、 纹理平滑、 景深信息真实的大气散射光; 然后基于分层搜索的四叉树分解方法求得大气光; 最后, 依据雾天退化模型得到复原的图像. 与经典去雾算法对比结果表明, 使用该方法复原的图像更接近真实图像, 特别对于纹理较丰富的区域和远景区域去雾效果更明显.     

一种雾天彩色图像复原快速方法研究

暗通道优先法则在处理自然雾天图像方面取得了非常好的效果,但是该方法需要消耗大量的存储和计算时间。提出了一种改进的雾天彩色图像增强快速方法。首先,根据雾天图像模型和先验知识,计算雾天图像的暗通道先验值;并估算初始透射率图像和大气光。然后利用数学形态学方法对初始透射率图像进行处理得到优化的透射率图;并根据这个优化透射率图、大气光和原始雾天图像计算去雾图像。最后利用gama校正获得最终的彩色增强图像。仿真实验结果表明本文提出的方法能较好地对雾天彩色图像进行去雾处理,且计算速度较快。相比于基于暗原色先验的单一图像去雾方法,图像尺寸越大,该方法的计算效率越高,计算时间优势越明显。     

深度学习在图像识别中的应用

深度学习通过建立深层神经网络来模拟人脑进行分析、学习和解释数据,被广泛用于图像识别领域.首先,简述了深度学习在图像识别中的研究现状;其次,介绍了卷积神经网络、深度置信网络、循环神经网络和生成对抗网络等几种常用于图像识别领域的深度学习网络模型;然后,从人脸识别、动作识别、跌倒检测等方面,论述了深度学习在图像识别领域的典型应用;最后,探讨了该领域的研究难点及发展前景.深度学习可以从不同的图像中自动提取相似的特征并进行分类,识别率高,鲁棒性强,推动了人工智能背景下图像识别的发展.无监督学习、对抗网络等将成为深度学习领域的热点.     

基于集成学习与生成对抗网络的皮肤镜图像分类方法

皮肤镜是辅助皮肤科医生诊断的有效途径,但是人工分类高度依赖医生的临床经验,并且皮肤镜图像本身的复杂性给分类提出了巨大的挑战.为了解决皮肤镜图像分类问题,基于集成学习提出了一种集成投票块的皮肤镜图像分类方法.首先,针对ISIC 2019提供的皮肤镜图像进行预处理,为了缓解数据集较少且分布不均的问题,使用生成对抗网络和旋转图像进行数据增强.然后基于迁移学习的思想训练多个卷积神经网络,从中挑选出分类效果较好的多个卷积神经网络组成投票块,进而集成投票块,最终实现皮肤镜图像的分类.实验结果表明,该方法的准确率、敏感度、特异度可分别达到0.925、0.563、0.927,相比单一的卷积神经网络模型,各个评价指标均有所提高,为皮肤镜图像分类提供了一种有效方案.     

基于深度学习的三维模型重构研究

由单个图像建立其三维模型是计算机视觉领域的一个热门且具有挑战性的问题.现有的传统单视图三维重构算法在处理低分辨率图像时效果不好,在训练中由于三维图形的高维性,使网络也变得高度不稳定,导致模型重构效果差.针对传统三维重构算法存在的缺点,提出一种基于深度学习网络的改进模型,在模型中加入超分辨率、投影、对抗生成网络(generative adversarial network,GAN)等模块,采用模块化设计强制生成的三维形状与深度图像对齐,使得映射更加规则.在损失函数上运用Wasserstein GAN思想,引入惩罚项,使网络训练难度降低,减小网络模型对训练数据集的依赖,克服了传统算法存在的问题.实验证明,提出的模型较传统方法重构的三维模型更加逼真,符合客观事实.     

生成式对抗网络的应用综述

生成式对抗网络(GAN)是一种优秀的生成式模型,能够不依赖任何先验假设,学习到高维复杂的数据分布。这一强大的性能使得它成为近年来研究的热点,并在诸多应用领域取得了显著的研究成果。首先介绍了生成式对抗网络的基本原理,各种目标函数以及常用的模型结构。然后,详细分析了生成式对抗网络在条件限制下生成图片的各种演进方法。此外,介绍了生成式对抗网络在不同领域的应用,包括高分辨率图像生成、小目标检测、非图像数据生成、医学图像分割等方面的最新研究进展。最后,总结了生成式对抗网络训练过程中的优化技巧。旨在通俗地阐明GAN的基础理论以及发展历程,并从应用角度对未来工作进行了展望。