生成式对抗网络的应用综述

生成式对抗网络(GAN)是一种优秀的生成式模型,能够不依赖任何先验假设,学习到高维复杂的数据分布。这一强大的性能使得它成为近年来研究的热点,并在诸多应用领域取得了显著的研究成果。首先介绍了生成式对抗网络的基本原理,各种目标函数以及常用的模型结构。然后,详细分析了生成式对抗网络在条件限制下生成图片的各种演进方法。此外,介绍了生成式对抗网络在不同领域的应用,包括高分辨率图像生成、小目标检测、非图像数据生成、医学图像分割等方面的最新研究进展。最后,总结了生成式对抗网络训练过程中的优化技巧。旨在通俗地阐明GAN的基础理论以及发展历程,并从应用角度对未来工作进行了展望。     

基于改进GAN算法的电机轴承故障诊断方法

提出一种基于改进GAN(生成对抗网络)的滚动轴承故障诊断方法,以振动信号作为主要依据,结合连续小波变换处理非平稳信号的能力和半监督生成对抗网络(semi-supervised generation adversarial networks,SSGAN)处理和识别图像的功能,在半监督生成对抗网络的基础上引入条件模型并对损失函数进行优化,指导生成器和判别器的训练.首次将改进GAN算法应用于故障诊断领域并利用其生成模型和半监督学习能力分别解决了样本数据不足和样本标记问题.实验表明,连续小波变换与改进GAN 结合的故障诊断方法与其他主流诊断方法相比能达到较高准确率.     

利用图像掩膜优化基于生成对抗网络的图像超分辨率模型

深度学习在一定程度上解决了从低分辨率图像中恢复出高分辨率图像这一图像超分辨率问题。目前基于生成对抗网络（generative adversarial network,GAN）的方法可以从超分辨率数据集中学习低/高分辨率图像映射关系,从而生成具有真实纹理细节的超分辨率图像。然而,基于GAN的图像超分辨率模型训练通常不稳定,其结果往往带有纹理扭曲和噪声等问题,提出了采用掩膜（mask）模块以辅助对抗网络训练。在网络训练过程中,掩膜模块根据生成网络输出的超分辨率结果和原始高分辨率图像,计算得到相应观感质量信息,并进一步辅助对抗网络训练。在实验中对3个最近提出的基于GAN的图像超分辨率模型进行修改,引入掩膜模块,修改后的模型在超分辨率图像输出的观感和真实感量化指标上均有明显地提升。掩膜模块的优点是可以进一步提升基于GAN的图像超分辨率网络输出的超分辨率图像观感质量,并仅需对生成对抗网络训练框架进行修改,因此适用于多数基于GAN的图像超分辨率模型的进一步优化。     

结合注意力机制的生成对抗网络图像超分辨重建

为改善图像超分辨率重建的主观视觉效果,提出一种结合注意力机制的图像超分辨生成对抗网络(generative adversarial network, GAN)模型.该模型在生成器网络中引入通道和空间双重注意力机制,选取更合适的重要特征信息进行传递;判别器网络采用WGAN进行构建,通过Wasserstein距离定义对抗损失,解决了GAN模型的训练不稳定问题.该重建模型在Set5、Set14、BSD100和Urban100共4个标准数据集上进行了实验,结果表明,和主流的超分辨重建算法相比,该模型的主客观评价指标均有所提高,图像细节信息恢复更加清晰,重建质量更好.     

基于深度学习的三维模型重构研究

由单个图像建立其三维模型是计算机视觉领域的一个热门且具有挑战性的问题.现有的传统单视图三维重构算法在处理低分辨率图像时效果不好,在训练中由于三维图形的高维性,使网络也变得高度不稳定,导致模型重构效果差.针对传统三维重构算法存在的缺点,提出一种基于深度学习网络的改进模型,在模型中加入超分辨率、投影、对抗生成网络(generative adversarial network,GAN)等模块,采用模块化设计强制生成的三维形状与深度图像对齐,使得映射更加规则.在损失函数上运用Wasserstein GAN思想,引入惩罚项,使网络训练难度降低,减小网络模型对训练数据集的依赖,克服了传统算法存在的问题.实验证明,提出的模型较传统方法重构的三维模型更加逼真,符合客观事实.     

基于SinGAN的图像生成模型

生成对抗网络(GAN)是目前图像生成领域中一种新的、有效的训练生成模型方法,单一生成对抗网络(SinGAN)是建立在一张图片上的无条件GAN.该文在生成对抗网络原理的基础上阐述了单一生成对抗网络(SinGAN)的原理及基本结构.以SinGAN作为研究对象,通过实例在训练过程中生成了与原图像语义相近的图像,并对SinGAN的训练和应用进行了研究.研究表明:SinGAN在同一张图片上进行的训练或测试,通过建立一个模型,可以对图片进行纹理转移,提高清晰度等操作.     

改进条件生成对抗网络的文本生成图像方法

该文提出了一种改进条件生成对抗网络的文本生成图像模型(TxtGAN),使用一对生成器和判别器的单阶段生成方式生成高分辨率图像,避免因训练多个GAN消耗大量计算资源.生成器网络由一系列生成模块(RUPBlock)组成,每个模块中应用条件批量归一化方法,在实现图像生成的同时充分融合了文本信息与图像特征,较好地保留了文本信息...     

基于生成对抗网络的V形焊缝图像修复算法

V形焊缝在激光视觉焊缝跟踪系统中,由于焊接过程中焊接工件附近的恶劣拍摄环境导致跟踪定位失效,为了减少图像修复网络训练过程中的模型偏移问题,提出了一种基于生成对抗网络(GAN)的图像修复算法.将神经网络与空间变换网络(STN)模块相结合,在图像合成修复过程中提高了原有焊接图像中特征信息的不变性,解决了模型在训练过程中的偏...     

基于GAN的医学图像仿真数据集生成算法

基于生成对抗网络(generative adversarial networks,GAN),提出了面向肝脏肿瘤CT图像仿真数据集生成深度学习算法.首先,将CT图像数据文件进行格式解析,单独保存为PNG格式的图像文件;然后,将肝脏病变区域统一标注为白色,并结合肝脏CT原图组成配对图片;最后,用生成对抗网络的pix2pix架构仿真生成病变肝脏图像.为将生成图像与目标图像进行定量分析、比较,本文采用了峰值信噪比和结构相似性作为模型的评价指标.实验结果表明,本文算法所生成的肝脏肿瘤CT仿真数据集的平均峰值信噪比为64.72dB,平均结构相似性为0.9973,证明了所生成的仿真图像数据有着非常高的真实度.     

基于生成对抗网络的宫颈细胞图像数据增强

为了在数据集过小时更好的训练卷积神经网络,本文提出一种方法通过训练GAN(生成对抗网络)生成新的样本进行图像数据增强。扩充后的数据集应用于训练图像分类模型,得到了不错的效果。针对Herlev宫颈细胞数据集的二分类问题,本文首先使用原始训练集训练GAN,生成了大量高质量的高分辨率细胞图像,将每类训练集扩充到24 000例。然后使用扩充后的训练集进行分类网络训练,在Resnet迁移学习的验证集准确率高达97%,高于仿射变换扩充的数据集的训练结果93%,可见本文方法可以有效地实现图像的数据增强。本文方法也可用于其他领域的图像数据增强。     

基于照明感知和密集网络的红外与可见光图像融合

针对现有方法忽略照明不平衡、存在对比度低、纹理细节丢失等问题,本研究提出一种基于照明感知和密集网络的红外与可见光图像融合方法。首先,从可见光图像中获取照明概率并计算照明感知权重以指导训练网络,通过特征提取与信息度量模块来计算源图像的自适应信息保留度,用于保持融合结果与源图像间的自适应相似性。同时,照明感知损失与相似性约束损失函数使模型在结构、对比度、亮度上能够全天候地生成包含显著目标和丰富纹理细节信息的融合图像。本研究在TNO与MSRS 2个公共数据集上进行主、客观评估。实验结果表明,本研究弥补了照明不平衡的缺陷,在保留更多红外目标的同时,也有效地保留了更多可见光图像的纹理细节信息。     

基于距离场的非线性图像插值分割方法

对于医学序列切片,需要图像分割技术将图像中感兴趣区域ROI(region of interest)提取并进行三维重建.提出一种基于距离场的非线性图像插值分割方法,该方法克服了软组织因灰度值分布不均匀难分割的问题,可以快速提取ROI区域.实验表明用该方法进行医学序列切片的分割,可以得到良好的分割结果,并已成功地应用于医学数据的三维重建系统中.     

一种用于图象配准的或图最佳搜索算法

本文在分析研究图象配准中的SSDA法的基础上,提出一种用于图象配准的或图最佳搜索算法,该法将窗口图及基准图的子图划分为n块,形成完整的有序或图,使图象配准问题变为用或图最佳优先搜索策略求最短路径问题,实现图象配准。实验结果表明,该算法控制简单,易于实现,比传统的直接算法计算量少,试验效果好。     

基于图像分割的SAR图像匹配方法

针对单一背景的海岛合成孔径雷达（SAR）图像，提出一种基于图像分割的图像匹配方法．该方法采用静态小波对原实时图分解滤波，抑制噪声；利用最大类间方差阈值法分割图像，分割出特定目标；选择结构元素进行形态腐蚀和膨胀，去掉细小背景杂波干扰；对二值化的图像进行面积统计，搜索出面积最大的目标．在原实时图中，以最大面积目标的外切矩形裁剪图像作为新的实时图．实践证明，利用裁剪的新实时图进行匹配，可以有效去除背景对匹配的不利影响，弥补了传统方法匹配精度低、实时性差的缺点．     

一维子空间的三维重建方法

为了从图像序列中恢复三维物体,假设相机为正投影模型,提出了一种基于一维子空间的三维重建方法.利用所有图像序列构成的行向量生成的子空间之和与三维空间点构成的行向量生成的子空间是同一线性子空间、同时由所有图像点构成的2个行向量外加一个行向量就可以组成该子空间的一个基底的特性,线性地求取子空间中的行向量,最后完成三维重建.模拟和真实实验结果表明,该重建方法具有鲁棒性好、重投影误差小等优点,而且能够将图像平等地对待.     

基于遥感影像的重要地物的变化检测和标注

破坏性灾害会造成巨大危害和损失,灾后一定时间内由于信息匮乏,使得对了解灾情和救灾都极为不利。为了及时获取灾区建筑物、道路、桥梁、水库等重要地物的倒塌和毁坏信息,给出了一种可自动识别和标注灾害前后遥感图像差异区域的方法。首先对时序遥感影像通过三维块匹配(block matching 3D,BM3D)方法去除高斯噪声,然后利用尺度不变特征变换(scale-invariant feature transform, SIFT)方法进行图像配准,通过对差分图像采用Wv＿Canny边缘检测方法获得差异区域重要地物的边缘信息,最后识别并标注出发生变化的重要地物,真实遥感图像实验结果按建筑物变化面积比较,正确率78%～79%,误检率21%～22%,无漏检率。仿真试验和实际遥感影像处理表明：所研究方法可有效识别和标注建筑物等重要地物的差异区,有利于灾后破坏性地物的及时了解和救助工作。     

一种运动图像的检测与识别技术

提出了一套检测和识别视频序列图像中运动物体的算法．该方法在连续3帧视频图像中,分别在第1和第2帧之间、第2和第3帧之间作差分运算,根据未交化区域与运动交化区域服从不同的统计规律设计检测门限,对差分图像作运动变化检测和连通域的识别．将检测到的运动变化图像作去噪和空域分割后,再对得到的两幅差分图像作相与运算以确定运动图像的位置,最后再基于运动物体自身的灰度信患,恢复出完整的运动图像．该算法适于应用在实时视频监控场合,实验结果令人满意．     

小波域分形编码数字水印的研究

提出了一种新颖的基于小波域分形编码的数字水印技术.分形图像编码方法利用图像的局部自相似性构造分块迭代函数系统,通过保存放射变换参数实现对图像的编码.利用分形变换的编码解码过程中的某些不变参数,可以实现数字水印信息的嵌入和提取.但是空间域的分形编码会使得恢复图像产生明显的块效应现象,嵌入水印后的图像质量损失大.因此一种新的基于小波域细节子图的分形编码方法被提出和研究.利用小波域细节子图的自相似性构建迭代函数系统,实现对细节子图系数的编码.而后基于小波域分形编码,构造了一种新颖的水印嵌入提取算法.算法选取适当的小波细节子图,分块构造匹配池,根据嵌入的水印信号选择最佳匹配块实现水印信息的嵌入和提取.最后通过实验对水印算法受图像处理攻击时的鲁棒性作了分析和比较,嵌入水印的图像在遭受一般图像处理攻击,如滤波、有损压缩、噪声及几何攻击时水印均可读出.构造的基于小波域分形编码的数字水印技术得到了较满意的实验结果.     

基于自动多种子区域生长的遥感影像面向对象分割方法

在遥感影像分割分类中,种子区域生长算法是一种常见的分割算法.传统的种子区域生长算法只能提取单一连续的、纹理简单的目标地物,而对具有复杂纹理和多光谱特征的遥感影像,分割时存在分割效果差、不能同时有效地提取多个地物的问题.针对以上问题,本文提出了一种改进的面向对象的自动多种子区域生长算法.该方法适用于同时提取多个目标地物,且分割效果好.该方法首先使用一种改进的中值滤波对影像进行平滑处理,使目标内部一致性更高,同时保留纹理信息.然后通过一定的准则进行自动种子选取并进行生长,最后对生长后的区域进行碎斑合并处理,最终得到多种对象的分割结果.本文采用三组不同大小的1m空间分辨率的航空影像进行实验,通过与分水岭以及传统单种子区域生长算法的多组实验对比,发现该方法可以面向全局对象,自动选取覆盖各种地物类型的种子,同时对多种地物目标进行分割处理,可为后续面向对象影像分析和应用提供可靠的数据基础.     

An Approach to Extracting Fractal in Remote Sensing Image

In order to apply the spatial structure information to remote sensing interpretation through fractal theory, an algorithm is introduced to compute the single pixd fraetal dimension in remote sensing images. After a computer program was written according to the algorithm, the ETM＋ images were calculated to obtain their fractal data through the program. The algorithm has following characteristics： The obtained fractal values indicate the complexity of image, and have positive correlation with the complexity of images and ground objects. Moreover, the algorithm is simple and reliable, and easy to be implemented.