基于深度学习的图像超分辨率重建方法综述

图像超分辨率重建(super-resolution, SR)是指从观测到的低分辨率图像重建出相应的高分辨率图像,在目标检测、医学成像和卫星遥感等领域都有着重要的应用价值.近年来,随着深度学习的迅速发展,基于深度学习的图像超分辨率重建方法取得了显著的进步.为了把握目前基于深度学习的图像超分辨率重建方法的发展情况和研究热点,对一些最新的基于深度学习的图像超分辨率重建方法进行了梳理,将它们分为两大类(有监督的和无监督的)分别进行阐述.然后,在公开的数据集上,将主流方法的性能进行了对比分析.最后,对基于深度学习的图像超分辨率重建方法进行了总结,并对其未来的研究趋势进行了展望.     

一种基于深度学习的图像超分辨率重构方法

近年来,基于卷积神经网络(CNN)的单幅图像超分辨率重构得到了广泛应用﹒然而,随着网络不断加深,也同时出现了参数过多、计算代价过大和难以训练等问题﹒为解决上述问题,提出一种新的深度残差密集网络(DRDN)框架并应用于单幅图像超分辨率重建﹒首先,网络通过密集连接充分利用了低分辨率图像从浅层到深层的各层特征,为超分辨率重构提供更多的低分辨率图像信息;其次,为了充分融合全局特征信息,通过残差学习的方式进行融合重构,同时为了缓解深层网络带来的训练困难等问题,网络采用多路跳步连接,使误差更加快速地传到各层网络;最后,将该方法与深度递归残差网络(DRRN)方法在公共数据集上进行了实验比较,结果表明DRDN在网络稳定性、时间效率、收敛速度和重建效果等方面都优于DRRN﹒     

利用图像掩膜优化基于生成对抗网络的图像超分辨率模型

深度学习在一定程度上解决了从低分辨率图像中恢复出高分辨率图像这一图像超分辨率问题。目前基于生成对抗网络（generative adversarial network,GAN）的方法可以从超分辨率数据集中学习低/高分辨率图像映射关系,从而生成具有真实纹理细节的超分辨率图像。然而,基于GAN的图像超分辨率模型训练通常不稳定,其结果往往带有纹理扭曲和噪声等问题,提出了采用掩膜（mask）模块以辅助对抗网络训练。在网络训练过程中,掩膜模块根据生成网络输出的超分辨率结果和原始高分辨率图像,计算得到相应观感质量信息,并进一步辅助对抗网络训练。在实验中对3个最近提出的基于GAN的图像超分辨率模型进行修改,引入掩膜模块,修改后的模型在超分辨率图像输出的观感和真实感量化指标上均有明显地提升。掩膜模块的优点是可以进一步提升基于GAN的图像超分辨率网络输出的超分辨率图像观感质量,并仅需对生成对抗网络训练框架进行修改,因此适用于多数基于GAN的图像超分辨率模型的进一步优化。     

基于超分辨率重建的外源雷达实测信道估计

针对基于DRM(数字调幅广播)的外辐射源雷达实测参考信道估计面临的精度不足问题,研究了有限实测样本下的超分辨率重建网络估计方法．该方法在深度网络设计上通过将LS(最小二乘)信道估计方法获得的频域信道响应视为低分辨率的图像,经VDSR(非常深的超分辨重建网络)重建为高精度信道响应,最终实现对参考信号的准确估计;在训练数据集构建上,由于DRM外辐射源雷达实测信道估计中难以获取大量对应不同信道特征的实测数据,首先基于实测数据通过LS估计出时域信道响应,粗略确定信道中多径的大致时延和增益,然后在此基础上基于DRM波形特征仿真得到足够的信道数据,训练所提超分辨率重建网络,最后使用预训练模型预测实测数据．实测结果表明：本文方法可以达到比传统信道估计方法更高的精度．     

基于GAN的浮选泡沫图像压缩与超分辨率重建

为了解决浮选过程中由于浮选泡沫图像像素高导致的工业现场无法大量保存离线泡沫图像数据的问题，提出了先进行有损压缩图像储存，再对其进行超分辨率重建的方法。该方法采集浮选槽泡沫的无损图像，通过下采样降低图像的分辨率，使用JPEG压缩算法对图像进行压缩。重建时，先使用低分辨率图像和高分辨率图像对生成对抗网络(GAN)进行训练，然后使用GAN对有损图像进行超分辨率重建，恢复图像细节特征，在得到能够满足工业生产所需要的图像质量的同时，大幅减少图像储存所需的存储空间。     

基于深层卷积网络的单幅图像超分辨率重建模型

【目的】针对Mean squared error(MSE)作为损失函数在人眼感知方面存在局限性,以及基于卷积神经网络的图像超分辨率(Super-resolution,SR)算法生成的图像存在参数较多、计算量较大、训练时间较长、纹理模糊等问题,设计基于深层卷积神经网络的单幅图像超分辨率重建模型。【方法】使用ImageNet预先训练的大型卷积神经网络Visual geometry group(VGG)模型提取图像特征,利用该特征设计视觉感知损失函数进行训练学习,引入亚像素卷积层(Sub-pixel convolution)替换上采样层,缓解生成图像的棋盘效应。【结果】设计的模型对放大两倍的图像进行超分辨率修复,与其他4种超分辨率重建模型的Peak signal to noise ratio(PSNR)值接近,且生成图像的视觉效果更加清晰逼真,细节更加细腻。【结论】该模型可以实现输入不同大小的低分辨率图像而不必多次训练学习不同比例的放大模型,可以实现对不同放大倍数图像的训练和预测,在保持一定PSNR正确率的前提下,放大后的超分辨率图像能够恢复更多纹理细节和更佳视觉效果。     

连分式插值结合卷积神经网络的超分辨率重建

基于卷积神经网络的图像超分辨率重建算法是数字图像处理领域近年来的研究热点。针对低分辨率图像在预处理时使用双三次插值导致图像丢失一些重要的高频纹理细节以及网络模型优化问题,文章提出了连分式插值结合卷积神经网络的超分辨率重建方法。在原有的轻量级基于卷积神经网络的超分辨率重建算法(super-resolution convolutional neural net work, SRCNN)网络模型基础上,首先采用Newton-Thiele型连分式插值函数将低分辨率图像插值到目标尺寸;然后利用3个卷积层进行图像特征提取、非线性映射、重建与优化;该文在网络收敛时利用Radam优化算法自适应地调整梯度,并且采用余弦衰减法逐渐降低学习率。实验结果表明,该网络模型能够在轻量级的卷积神经网络下获得更丰富的纹理细节和更清晰的图像边缘。     

基于生成对抗网络的轻量级图像盲超分辨率网络

针对图像盲超分辨率网络计算参数多、模型庞大的问题,对快速且节省内存的轻量级图像非盲超分辨率网络（fast and memory-efficient image super resulotion network, FMEN）进行改进,提出了一种轻量级的快速且节省内存的图像盲超分辨率网络（fast and memory-efficient image blind super resulotion network, FMEBN)。首先,通过图像退化模块模拟部分真实世界退化空间,使用退化预测模块预测低分辨率(low resolution, LR)图像的退化参数;然后,为能有效利用退化先验信息指导并约束网络进行重建,使用动态卷积对原网络特征提取、重建模块、高频注意力块（high frequency attention block, HFAB）结构进行改进;最后,使用生成对抗网络（generative adversarial network, GAN)对FMEN训练策略与损失函数进行优化,减小真实数据与生成数据的差异,生成更加真实、清晰的纹理、轮廓。实验结果表明,在合成图像数据集和真实图像数据集R...     

多尺度生成对抗网络的图像超分辨率算法

基于神经网络的图像超分辨率方法往往存在重建图像纹理结构模糊、缺失高频信息的问题。为了解决该问题,在SRGAN的基础上提出一种多尺度并联学习的生成对抗网络结构,其中生成模型由两个不同尺度的残差网络块组成,首先对提取的低分辨率图像通过两个子网络的多尺度特征学习,然后使用融合网络进行残差融合,融合不同尺度高频信息,最终生成高分辨图像。在Set5、Set14、BSD100基准数据集以及SpaceNet卫星图像数据集上的实验结果证明了该算法在恢复低分辨率图像的细节纹理信息具有良好效果。     

面向各向异性3D-MRI图像超分辨率 重建的ESRGAN网络

高分辨率磁共振图像(MRI, magnetic resonance images)能够提高疾病诊断精度,但高分辨率MRI图像的获取十分困难。基于深度学习的图像超分辨率(SR, super resolution)技术可有效地提高图像分辨率。近年来,生成对抗网络(GANs, generative adversarial networks)为3D-MRI图像SR重建提供了新思路。相较于传统的基于深度卷积神经网络(DCNN, deep convolutional neural network)的SR算法,GANs网络以人类视觉机制为目标,且引入判别函数,使重建3D-MRI图像更接近真实图像。研究采用增强超分辨率生成对抗网络(ESRGAN, enhanced super-resolution generative adversarial networks)对3D-MRI图像进行SR重建;并利用3D-MRI图像的跨层面自相似性,将重建任务降维到2D,在保证重建效果的基础上,减少了网络训练时间和内存需求。通过与其他传统算法和基于DCNN算法对比实验表明,提出的算法能够进一步提高3D-MRI图像的视觉...     

基于学习的人脸图像超分辨率重构算法

提出了一种新的基于学习的人脸图像超分辨率重构算法,利用高分辨率图像和低分辨率图像的拓扑结构相似性,将现有的低分辨率人脸图像在低分辨率人脸图像字典中展开,在保持系数不变的同时将字典换为高分辨率人脸图像字典,最终得到待重构的高分辨率人脸图像.在系数估计时,使用主成分分析的方法,同时加入了最小全变分作为约束,算法充分利用了不同人脸图像之间的相似性和人脸图像本身的内部相关性.实验结果表明,结果既保持了对原有图像的忠实性,又比较适合人眼观察.     

基于特定深度内部学习网络提高"不理想"图像分辨率

现有基于深度学习的图像分辨率提升方法中需耗费大量时间训练,且受限于特定的训练数据等问题。本文引入“零射击”超分辨率概念,可以重复利用已有照片、噪声图像、生物数据以及获取过程未知或非理想的其他图像的相关内部信息,以提高其分辨率。在测试阶段训练一个小的图像特定卷积神经网络,仅需对从输入图像本身提取的示例进行训练；然后通过单个图像内部信息再现,进一步利用图像内部相关信息,以增强图像分辨率。实验结果表明,本文算法可以加快训练速度且不需要标准训练集,图像分辨率优于现有基于卷积神经网络的超分辨率方法,以及已有的无监督超分辨率方法。     

超分辨率数字图像特征提取及重构方法研究

当前超分辨率数字图像特征提取及重构方法容易受到外界环境的干扰,导致重构结果不可靠,重构图像质量较低。为此,提出一种新的超分辨率数字图像特征提取方法,通过BRISK描述子对超分辨率数字图像特征进行提取,以提高重构图像质量。详细分析了重构约束的构建过程;在此基础上,通过低分辨率数字图像与平滑性求解获取高分辨率数字图像,从而实现超分辨率数字图像的重构。实验结果表明,采用所提的新的超分辨率数字图像特征提取及重构方法对图像进行重构,不仅匹配性能高,而且重构图像质量优、效果佳。     

急性运动中超分辨率图像重构方法研究

采用当前急性运动中超分辨率图像重构方法得到的重构图像存在全局误差,导致重构图像质量低下,重构效果不佳。为此,提出一种新的急性运动中超分辨率图像重构方法,设计急性运动中超分辨率图像重构模型,将小波稀疏字典作为急性运动中超分辨率图像重构的理论依据。将低分辨率急性运动图像分割成低分辨率图像块,对无噪高分辨率急性运动图像块相应的无噪低分辨率图像块进行分析。通过OMP方法对稀疏系数进行求解,依据得到的稀疏系数估计出高分辨率急性运动图像块的高频小波系数,将高分辨率小波系数急性运动图像块返回高分辨率小波系数急性运动图像,通过逆小波变换得到最终的高分辨率图像,对全局误差进行修正。实验结果表明,采用所提方法得到的重构图像质量高,重构效果好。     

一种改进的多帧图像超分辨率重建算法

文中构建了超分辨率重建图像的一般框架.在对图像模糊的不确定性和复杂性作一定限制条件下,讨论采用最小二乘方规整化方法重建除运动外其它因素引起降质的低分辨率图像;并进一步提出了采用改进的递归最速下降迭代算法实现多帧图像的超分辨率重建.计算机模拟结果表明,该方法具有较好的重建图像质量.     

基于GAN的图像超分辨率重建算法研究

SRGAN是一种基于生成对抗网络的超分辨重建方法,其生成的高分辨率图像质量较传统方法有着明显提升,然而SRGAN存在着训练过程不稳定,图像浅层特征未充分使用等问题,很大程度上影响到了生成图像的质量。本文提出了一种特征增强改进的SRGAN模型,该模型使用信息蒸馏块进行特征纹理信息的增强,并消除图像特征中的冗余信息。此外,使用相对平均鉴别器替代原始SRGAN中的二分类鉴别器,保证了GAN网络训练的稳定性。本文基于4倍放大因子的超分辨重建任务,在BSD100数据集上进行实验结果的质化评价和量化评价。实验表明,本文方法较之SRGAN在训练过程中具有更好的稳定性,生成的图像具有更清晰的细节纹理,取得了更佳的图像超分辨率重建效果。     

基于流形学习和梯度约束的图像超分辨率重建

将改进的基于流形学习的超分辨率重建与基于梯度约束的正则化重建结合起来,提出一种新的单帧图像超分辨率重建算法.该算法首先针对基于流形学习的超分辨率重建,提出新的特征提取方法,联合归一化亮度与平稳小波变换细节子带系数两个特征矢量,提高重建性能;然后将学习得到的高分辨率图像作为初始估计,将其梯度作为目标梯度域,进行基于梯度约束的正则化重建,得到最终的高分辨率图像.与现有的一些算法相比,文中算法无论在视觉效果还是客观评价上都具有较好的重建性能.     

基于残差神经网络的高强度运动超分辨率图像重构

针对实际拍摄的亚像素信息较少的低分辨率运动图像,重构图像通常较为模糊,甚至不能分辨。为此,提出一种新的基于残差神经网络的高强度运动超分辨率图像重构方法。令沿运动方向的亮度保持恒定,通过光流场匹配实现高强度运动图像的运动估计;根据运动估计结果和超分辨率重构的基本思想,将BP神经网络看作残差神经网络的基础建立残差神经网络,对残差神经网络进行训练,参照训练样本将经插值法放大若干倍的待重构高强度运动图像作为输入,将高分辨率图像和输入图像间的残差作为输出,把输入和输出累加获取超分辨率图像,实现若干放大倍数高强度运动超分辨率图像的重构。实验结果表明,所提方法运动估计准确,重构图像清晰、质量佳。