面向各向异性3D-MRI图像超分辨率 重建的ESRGAN网络

高分辨率磁共振图像(MRI, magnetic resonance images)能够提高疾病诊断精度,但高分辨率MRI图像的获取十分困难。基于深度学习的图像超分辨率(SR, super resolution)技术可有效地提高图像分辨率。近年来,生成对抗网络(GANs, generative adversarial networks)为3D-MRI图像SR重建提供了新思路。相较于传统的基于深度卷积神经网络(DCNN, deep convolutional neural network)的SR算法,GANs网络以人类视觉机制为目标,且引入判别函数,使重建3D-MRI图像更接近真实图像。研究采用增强超分辨率生成对抗网络(ESRGAN, enhanced super-resolution generative adversarial networks)对3D-MRI图像进行SR重建;并利用3D-MRI图像的跨层面自相似性,将重建任务降维到2D,在保证重建效果的基础上,减少了网络训练时间和内存需求。通过与其他传统算法和基于DCNN算法对比实验表明,提出的算法能够进一步提高3D-MRI图像的视觉...     

基于改进SRResNet深度学习网络的低照度图像超分辨率重建方法

为解决低照度条件下低分辨率图像的超分辨率重建问题,提出一种基于改进SRResNet（super-resolution residual networks,超分辨率残差网络）深度学习网络的低照度图像超分辨率重建方法。通过将读取的图像下采样、亮度降低等处理生成低照度低分辨率图像,并将该图像与高分辨率图像作为数据对输入学习模型,以便改进SRResNet的训练数据对的生成方式,优化训练过程,从而构建面向单帧低照度彩色图像的基于改进SRResNet训练的超分辨率重建方法。实验结果表明：与现有流行的图像超分辨率重建方法相比,该方法的峰值信噪比（peak signal to noise ratio,PSNR)、结构相似性（structural similarity,SSIM）指标整体为最优,低照度环境下的超分辨率重建图像更为清晰明亮、细节更丰富,该方法训练出的深度学习网络的重建效果更好。     

利用图像掩膜优化基于生成对抗网络的图像超分辨率模型

深度学习在一定程度上解决了从低分辨率图像中恢复出高分辨率图像这一图像超分辨率问题。目前基于生成对抗网络（generative adversarial network,GAN）的方法可以从超分辨率数据集中学习低/高分辨率图像映射关系,从而生成具有真实纹理细节的超分辨率图像。然而,基于GAN的图像超分辨率模型训练通常不稳定,其结果往往带有纹理扭曲和噪声等问题,提出了采用掩膜（mask）模块以辅助对抗网络训练。在网络训练过程中,掩膜模块根据生成网络输出的超分辨率结果和原始高分辨率图像,计算得到相应观感质量信息,并进一步辅助对抗网络训练。在实验中对3个最近提出的基于GAN的图像超分辨率模型进行修改,引入掩膜模块,修改后的模型在超分辨率图像输出的观感和真实感量化指标上均有明显地提升。掩膜模块的优点是可以进一步提升基于GAN的图像超分辨率网络输出的超分辨率图像观感质量,并仅需对生成对抗网络训练框架进行修改,因此适用于多数基于GAN的图像超分辨率模型的进一步优化。     

基于生成对抗网络与噪声分布的图像超分辨率重建方法

现有的图像超分辨率重建方法都较少考虑真实低分辨率图像中包含的噪声信息,因此会影响图像的重建质量.受真实图像去噪算法的启发,本文引入一个噪声分布收集网络来收集低分辨率图像的噪声分布信息,并采用生成对抗网络的模型设计,提高含噪声图像的重建质量.噪声分布信息会分别输入到超分辨率重建网络和判别网络,在重建过程中去除噪声的同时保证有用高频信息的恢复,另外由于判别网络的能力对整个模型的性能有着重要影响,选择使用 U-Net 网络来获得更好的梯度信息反馈.与经典图像超分辨率重建算法的对比以及消融实验表明,使用噪声收集网络和 U-Net 判别网络后,本文模型在噪声低分辨率图像重建任务中获得了更好的性能.     

多尺度残差生成对抗网络的图像超分辨率重建

针对目前基于深度学习的超分辨率重建图像存在的纹理等高频信息丢失问题,提出了多尺度残差生成对抗网络的图像超分辨率重建算法。首先,使用Dense-Res2Net模块替代SRGAN生成网络中原本的残差模块,并且组合特征压缩与激发网络（SENet）从多个尺度自适应地提取浅层特征信息。其次,引入全变分正则化损失（TV loss）指导生成器训练。最后,使用Wasserstein距离优化对抗损失,提高网络训练稳定性。实验结果表明,该算法重建出的图像在视觉效果上保留了更加丰富的高频细节,与当前主流超分算法相比,该方法不仅有更高的峰值信噪比（PNSR）与结构相似性（SSIM）,且学习感知图像块相似度（LPIPS）的分数上均优其他算法。     

结合注意力机制的生成对抗网络图像超分辨重建

为改善图像超分辨率重建的主观视觉效果,提出一种结合注意力机制的图像超分辨生成对抗网络(generative adversarial network, GAN)模型.该模型在生成器网络中引入通道和空间双重注意力机制,选取更合适的重要特征信息进行传递;判别器网络采用WGAN进行构建,通过Wasserstein距离定义对抗损失,解决了GAN模型的训练不稳定问题.该重建模型在Set5、Set14、BSD100和Urban100共4个标准数据集上进行了实验,结果表明,和主流的超分辨重建算法相比,该模型的主客观评价指标均有所提高,图像细节信息恢复更加清晰,重建质量更好.     

梯度指导的快速轻型超分辨率重建密集残差网络

近来,深度卷积神经网络在单图像超分辨率重建中取得了显著进展,但是,随着网络深度和宽度的增加,计算复杂度和内存消耗也随之增加.此外,超分辨率重建图像的边缘模糊以及伪影等问题也是目前方法不能很好解决的难点之一.针对上述问题,提出一种快速轻型超分辨率重建模型.该模型由一个3层的浅通道和一个29层的深通道构成,在结构的末端使用...     

基于双向循环网络的变色龙视觉超分辨率图像重建

针对使用均方误差（Mean Square Error,MSE）作为目标损失函数，导致重建的超分辨率图像在失真与感知质量上难以兼得的问题，提出基于双向循环网络的变色龙视觉重建模型（Super-resolution Bidirectional Recurrent Neural Network,SRBRNN）以改善重建效果.首先，鉴于变色龙可以同时注视两个不同方向的非凡视觉功能，SRBRNN模型借助双向循环神经网络结合序列演进前向与反向给输出提供不同方向时间信息的思想，实现重建过程中失真与感知质量的兼顾；其次，SRBRNN模型定义了特征演进和退化序列，并设计了低分辨率图像到高分辨率图像演进和高分辨率图像到低分辨率图像退化网络，将演进网络和退化网络对应应用为原双向循环网络的前向循环和反向循环网络；最后，利用双向循环机制重建超分辨率特征.用SRBRNN算法在Set5、Set14、BSD100基准测试集上进行实验，实验结果表明在峰值信噪比(Peak Signal to Noise Ratio,PSNR)和结构相似性(Structural Similarity, SSIM)评估指标及主观质量评分上，...     

高效单图像超分辨率重建：深监督对称蒸馏网络

过去几十年，卷积神经网络(Convolutional Neural Networks, CNNs)在单图像超分辨率(Single Image Super-Resolution,SISR)方面取得了明显的进展.现在大部分基于CNNs的方法都致力于构造新的架构去提升重建性能，这通常依赖大量计算和存储成本，难以应用于移动设备.提出了一种新颖的基于深监督对称蒸馏网络的高效单图像超分辨率重建方法(Deeply-Supervised Symmetry Distillation Network, DSSD),通过构造高频特征递归模块(High-frequency Feature Recursive Module, HFRM)和对称退化模块(Symmetry Degradation Module, SDM)缓解教师网络中提取高分辨率(High-Resolution, HR)高频信息不够准确这一问题.为了约束教师网络中提取的高频特征，采用深监督方法使教师网络蒸馏的知识与学生网络互补.在DIV2K数据集上的实验表明，DSSD有效增强了单图像超分辨率(SISR)的性能，HFRM和SDM的引入能够有效帮助DS...     

一种编解码结构的车牌图像超分辨率网络

针对复杂实际场景中模糊、污损、扭曲、倾斜等车牌图像关键信息缺失以及新能源车牌背景与字符对比度低难以识别的问题,提出了一种编解码结构的车牌图像超分辨率网络。首先,构建一种基于编解码结构的车牌重构生成器网络,利用编码器对车牌图像的纹理、字符等特征进行提取,解码器对车牌特征进行重构;然后,设计一种基于语义监督的判别器网络,在网络损失中引入了对抗损失与CTC(connectionist temporal classification)损失,增强生成器网络对车牌图像语义特征的表征能力;最后,基于VGG16网络提取车牌顶角点特征,利用坐标变换方法对车牌图像进行矫正,进一步提高重构清晰度与识别准确率。采用所提网络在自建XAUAT-Parking数据集和公开CCPD数据集上进行超分辨率重构与识别实验,结果表明：所提网络在CCPD数据集上的平均峰值信噪比可达25.5 dB,结构相似性(SSIM)可达0.989;在XAUAT-Parking数据集上峰值信噪比可达26.6 dB,结构相似性可达0.997。研究结果表明,该网络有较好的车牌图像超分辨率重建效果,而且对车牌关键信息缺失问题具有较强的鲁棒性。     

多尺度生成对抗网络的图像超分辨率算法

基于神经网络的图像超分辨率方法往往存在重建图像纹理结构模糊、缺失高频信息的问题。为了解决该问题,在SRGAN的基础上提出一种多尺度并联学习的生成对抗网络结构,其中生成模型由两个不同尺度的残差网络块组成,首先对提取的低分辨率图像通过两个子网络的多尺度特征学习,然后使用融合网络进行残差融合,融合不同尺度高频信息,最终生成高分辨图像。在Set5、Set14、BSD100基准数据集以及SpaceNet卫星图像数据集上的实验结果证明了该算法在恢复低分辨率图像的细节纹理信息具有良好效果。     

基于生成对抗网络的单图像超分辨率重建

针对当前卷积神经网络未能充分利用浅层特征信息, 并难以捕获各特征通道间的依赖关系、 丢失高频信息的问题, 提出一种新的生成对抗网络用于图像超分辨率重建. 首先, 在生成器中引入WDSR-B残差块充分提取浅层特征信息; 其次, 将GCNet模块和像素注意力机制相结合加入到生成器和鉴别器中, 学习各特征通道的重要程度和高频信息; 最后, 采用谱归一化代替不利于图像超分辨率的批规范化, 减少计算开销, 稳定训练. 实验结果表明, 该算法与其他经典算法相比能有效提高浅层特征信息的利用率, 较好地重建出图像的细节信息和几何特征, 提高超分辨率图像的质量.     

基于边缘增强生成对抗网络的人脸超分辨率重建

针对对抗生成神经网络在人脸轮廓细节恢复上不够完善的问题,利用人脸图像的结构先验信息提出了一种边缘增强的生成对抗网络人脸超分辨率的重建算法.首先,利用人脸图像及其边缘图像的一致性关系设计一种并行网络提取面部和边缘细节特征;然后,通过特征融合网络获得高分辨率的生成图像;最后,利用判别网络判别生成图像的真伪.在人脸图像数据库上进行的人脸超分辨率重建实验结果表明:提出的边缘增强生成对抗网络能够提升面部细节重建能力,主观和客观评价指标均优于现有的人脸超分辨率算法.     

连分式插值结合卷积神经网络的超分辨率重建

基于卷积神经网络的图像超分辨率重建算法是数字图像处理领域近年来的研究热点。针对低分辨率图像在预处理时使用双三次插值导致图像丢失一些重要的高频纹理细节以及网络模型优化问题,文章提出了连分式插值结合卷积神经网络的超分辨率重建方法。在原有的轻量级基于卷积神经网络的超分辨率重建算法(super-resolution convolutional neural net work, SRCNN)网络模型基础上,首先采用Newton-Thiele型连分式插值函数将低分辨率图像插值到目标尺寸;然后利用3个卷积层进行图像特征提取、非线性映射、重建与优化;该文在网络收敛时利用Radam优化算法自适应地调整梯度,并且采用余弦衰减法逐渐降低学习率。实验结果表明,该网络模型能够在轻量级的卷积神经网络下获得更丰富的纹理细节和更清晰的图像边缘。     

基于并联式卷积神经网络的遥感影像超分辨率重建

遥感影像超分辨率重建有助于丰富地物细节,从而更全面地反映地物目标信息。为了解决目前基于深度学习的超分辨率重建方法难以同时兼顾影像高、低频信息的问题,本文提出了一种并联式遥感影像超分辨率重建方法。该方法并联了密集深层反投影网络和浅层多尺度网络,利用密集深层反投影网络精确预测遥感影像的高频内容;同时利用浅层多尺度网络来增加目标可分辨能力,并保留影像的低频部分来提升影像的质量。这个方法在在GF-1和GF-2数据集上进行了实验,并在Landsat 8和ASTER异源遥感影像数据集上进行了泛化验证,研究结果表明,相较于增强深度残差网络（enhanced deep residual networks for single image super-resolution,EDSR）、深层和浅层端到端卷积网络（end-to-end image super resolution via deep and shallow convolutional network,EEDS）和密集深层反投影网络（deep back-projection networks for super-resolution,DBPN）,峰值信噪比（peak signal to noise ratio,PSNR）指标分别提升了2.30 dB、2.23 dB、0.25 dB,结构相似度（structural similarity,SSIM）性能指标分别提升了 0.1 316、0.1 085、0.0 096。本文方法有助于从数据端改善遥感影像目标识别、地物分类等应用的精度,进一步提高遥感数据在资源调查、环境监测、灾害预报等领域的应用效能。     

基于Dropout改进的SRGAN网络DrSRGAN

超分辨率作为一种经典的视觉任务,在多个领域有着广泛的应用。随着深度学习中无监督学习的发展,以及生成对抗网络(generative adversarial network, GAN)的提出,超分辨率技术又得到了进一步的提高,但是相关网络仍旧存在过拟合、泛化性弱等诸多问题。以超分辨率生成对抗网络(super-resolution generative adversarial network, SRGAN)为基础,受研究Dropout在经典超分辨率网络中影响的相关论文启发,在SRGAN中加入Dropout层并研究其对生成图像质量的影响,采用峰值信噪比(peak signal to noise ratio, PSNR)和结构相似性(structural similarity, SSIM)评估图像质量。实验结果表明在合适的Dropout参数下,网络重建图像具有更好的视觉效果,PSNR能够达到0.4左右的提升同时SSIM也有提高,从训练过程中不同迭代次数生成图像的比较发现改进后网络缓解了训练不稳定问题。将Dropout层加入超分辨率网络不同于以往的方法,为改进此类网络提供了一个新的思路。     

自注意力SRGAN在岩石CT图像超分辨中的应用研究

针对图像采集设备和地质环境等因素导致的岩石显微图像普遍存在分辨率低,图像细节不清晰等问题,本文基于SRGAN和自注意力机制,对生成网络和判别网络进行调整,并在损失函数中结合岩石显微图像的孔隙度特征,提出一种岩石显微图像超分辨率重建算法.在4倍放大因子下,通过实验对岩石显微图像数据集DRSRD1_2D进行了测试.结果表明...     

基于生成对抗网络的人脸图像彩色化方法

提出了一种新的基于生成对抗网络的人脸图像彩色化方法.所提出的网络结构包含两组生成对抗子网络,每个子网络由一个生成器和判别器组成.其中,一个对抗子网络A（包含生成器A和判别器A）实现从灰度图像到彩色图像的翻译过程,另一个子网络B（包含生成器B和判别器B）反转该过程,即生成器B对称地使用生成器A的最终输出图像作为输入,用来重建原始的人脸灰度图像.其中,网络中的循环损失进行图像重建,而生成损失和对抗损失用来保证生成的图像更加接近真实图像.实验结果表明,这种结构设计不仅能实现自然逼真的人脸图像彩色化,还能同时保证人脸的身份属性不变.      

一种循环多尺度的图像盲去模糊网络

针对当前单图像盲去模糊算法处理的图像存在纹理模糊、 图像质量欠佳的问题, 提出一种嵌入注意力机制的图像盲去模糊网络. 该网络首先采用多尺度循环架构, 通过不同分辨率的图像在网络内部循环处理实现多尺度, 由粗到精复原图像; 然后在网络内部嵌入残差通道选择模块和跨层长连接对特征进行强化提取, 并设计多尺度结构损失函数进行训练优化; 最后在两个使用广泛的数据集GoPro和Kohler上与经典去模糊网络进行对比, 并在数据集Lai上进行视觉直观对比. 实验结果表明, 该网络在视觉上取得了较好的图像盲去模糊效果, 与其他算法相比在峰值信噪比和结构相似性上有提升, 可改善去模糊图像质量欠佳的问题.     

改进生成对抗网络的图像超分辨率重建算法

超分辨率生成对抗网络(SRGAN)的高分辨率图像质量较传统方法有明显提升,然而其存在训练过程不稳定、图像浅层特征未充分使用等问题,很大程度上影响生成图像的质量.为此,提出一种特征增强改进的SRGAN模型,使用信息蒸馏块.通过对长短途特征在图像通道上的拼接增强特征纹理信息,利用压缩单元消除图像特征中的冗余信息.此外,使用相对平均鉴别器替代原始SRGAN中的二分类鉴别器,保证生成对抗网络训练的稳定性.本研究基于4倍放大因子进行超分辨重建任务,并在BSD100和SET14数据集上进行实验结果的质化和量化评价.实验表明,该方法较之SRGAN在训练过程中具有更好的稳定性,生成的图像具有更清晰的细节纹理,取得了更佳的图像超分辨率重建效果.