基于深度网络分级特征图的图像超分辨率重建

从低分辨率图像中提取特征图恢复高分辨率图像中的高频信息是超分辨率重建的一个关键问题,针对该问题提出一个新的基于卷积神经网络的超分辨率重建算法.网络结构由卷积层与子像素卷积组成,特征提取网络中卷积层提取低分辨率图像的特征,重建网络中子像素卷积神经网络作为上采样算子.针对不能充分利用多级特征图的问题,采用跳跃连接和特征图联结在特征提取网络末端跨通道融合特征图,同时降低特征图的维度.并在此基础上再次提取特征图应用于重建.实验结果表明,算法在PSNR、SSIM和人类视觉效果上与其他基于深度学习的算法相比有着显著的提高.     

双通道多感知卷积神经网络图像超分辨率重建

基于深度卷积神经网络的单幅图像超分辨率重建取得了显著研究成果.但随着深度卷积神经网络规模的不断扩大,如何降低网络构建难度和计算成本成为一个难点.为此,提出了一种双通道多感知卷积神经网络(DMCN)模型.该模型在两条具有不同卷积核的通道上建立了稠密连接,并构建了带有动态调节能力的层间融合结构.这种结构的设计使得小规模卷积神经网络便能获得图片特征信息的全面感知能力.实验结果表明,DMCN重建效果优于目前多数具有代表性的重建算法.     

基于深度学习的图像超分辨率重建方法综述

图像超分辨率重建(super-resolution, SR)是指从观测到的低分辨率图像重建出相应的高分辨率图像,在目标检测、医学成像和卫星遥感等领域都有着重要的应用价值.近年来,随着深度学习的迅速发展,基于深度学习的图像超分辨率重建方法取得了显著的进步.为了把握目前基于深度学习的图像超分辨率重建方法的发展情况和研究热点,对一些最新的基于深度学习的图像超分辨率重建方法进行了梳理,将它们分为两大类(有监督的和无监督的)分别进行阐述.然后,在公开的数据集上,将主流方法的性能进行了对比分析.最后,对基于深度学习的图像超分辨率重建方法进行了总结,并对其未来的研究趋势进行了展望.     

基于改进SRResNet深度学习网络的低照度图像超分辨率重建方法

为解决低照度条件下低分辨率图像的超分辨率重建问题,提出一种基于改进超分辨率残差网络(super-resolution residual networks, SRResNet)深度学习网络的低照度图像超分辨率重建方法。通过将读取的图像下采样、亮度降低等处理生成低照度低分辨率图像,并将该图像与高分辨率图像作为数据对输入学习模型,以便改进SRResNet的训练数据对的生成方式,优化训练过程,从而构建面向单帧低照度彩色图像的基于改进SRResNet训练的超分辨率重建方法。实验结果表明：与现有流行的图像超分辨率重建方法相比,该方法的峰值信噪比(peak signal to noise ratio, PSNR)、结构相似性(structural similarity, SSIM)指标整体为最优,低照度环境下的超分辨率重建图像更为清晰明亮、细节更丰富,该方法训练出的深度学习网络的重建效果更好。     

基于生成对抗网络的单图像超分辨率重建

针对当前卷积神经网络未能充分利用浅层特征信息, 并难以捕获各特征通道间的依赖关系、 丢失高频信息的问题, 提出一种新的生成对抗网络用于图像超分辨率重建. 首先, 在生成器中引入WDSR-B残差块充分提取浅层特征信息; 其次, 将GCNet模块和像素注意力机制相结合加入到生成器和鉴别器中, 学习各特征通道的重要程度和高频信息; 最后, 采用谱归一化代替不利于图像超分辨率的批规范化, 减少计算开销, 稳定训练. 实验结果表明, 该算法与其他经典算法相比能有效提高浅层特征信息的利用率, 较好地重建出图像的细节信息和几何特征, 提高超分辨率图像的质量.     

基于生成对抗网络与噪声分布的图像超分辨率重建方法

现有的图像超分辨率重建方法都较少考虑真实低分辨率图像中包含的噪声信息,因此会影响图像的重建质量.受真实图像去噪算法的启发,本文引入一个噪声分布收集网络来收集低分辨率图像的噪声分布信息,并采用生成对抗网络的模型设计,提高含噪声图像的重建质量.噪声分布信息会分别输入到超分辨率重建网络和判别网络,在重建过程中去除噪声的同时保证有用高频信息的恢复,另外由于判别网络的能力对整个模型的性能有着重要影响,选择使用 U-Net 网络来获得更好的梯度信息反馈.与经典图像超分辨率重建算法的对比以及消融实验表明,使用噪声收集网络和 U-Net 判别网络后,本文模型在噪声低分辨率图像重建任务中获得了更好的性能.     

深度学习下的高效单幅图像超分辨率重建方法

提出一种基于深度学习的高效单幅图像超分辨率重建方法,增加一个亚像素卷积层和一个替换的级联卷积,即设计一个具有合适深度的卷积神经网络,以保证图像的重建质量,并采用级联小卷积核提高运行速度.在标准的公共数据集上进行实验测试,结果表明:与亚像素卷积神经网络(ESPCN)算法相比,所提算法重建的高分辨率图像的质量和速度皆显著提高;将其应用于实际项目中,可端到端地重建低分辨率服装风格图像,获得高分辨率图像.     

结合注意力机制的生成对抗网络图像超分辨重建

为改善图像超分辨率重建的主观视觉效果,提出一种结合注意力机制的图像超分辨生成对抗网络(generative adversarial network, GAN)模型.该模型在生成器网络中引入通道和空间双重注意力机制,选取更合适的重要特征信息进行传递;判别器网络采用WGAN进行构建,通过Wasserstein距离定义对抗损失,解决了GAN模型的训练不稳定问题.该重建模型在Set5、Set14、BSD100和Urban100共4个标准数据集上进行了实验,结果表明,和主流的超分辨重建算法相比,该模型的主客观评价指标均有所提高,图像细节信息恢复更加清晰,重建质量更好.     

基于非局部稀疏表示的立体图像的超分辨率重建

针对在立体图像的超分辨率重建过程中,需要分别对低分辨率的彩图和同场景的深度图进行超分辨率重建的问题,提出了一种基于联合稀疏表示的立体图像的超分辨率重建方法.该方法在非局部中心稀疏表示重建方法的基础上,利用彩色图像与同场景深度图像的耦合相关性,通过构造联合特征图像块来学习彩色和深度图像的联合字典;然后构造彩色和深度图像块的联合编码增量作为正则项,利用迭代优化算法求解模型,进而同时重建高分辨率的彩色和深度图像.为验证算法的有效性,在Middlebury数据集上对重建结果进行了主、客观评估,并与不同算法进行了比较.实验结果表明,在客观指标和主观视觉效果上,本文提出的算法可以同时获得令人满意的彩图和高质量的深度图.     

基于信息蒸馏级联伸缩网络的图像超分辨率重建

针对图像超分辨率重建算法在图像高频信息恢复过程中特征提取不充分、利用效率不高、重建高频细节能力不足等问题，本文提出了一种基于信息蒸馏级联伸缩网络的图像超分辨率重建算法.首先，构建特征可伸缩的信息蒸馏块，通过扩大信息蒸馏中输入信息的特征感受野，以及采用通道注意力提取感兴趣信息，解决了信息蒸馏的图像超分辨率重建非线性映射过程中特征提取不充分的问题；然后，设计级联残差叠加映射块，该块将多个残差块组合在一起，通过将残差结构中的残差部分引出并采用级联叠加的方式，增加了信息蒸馏块间信息的传递，使提取的特征信息包含更多细节.实验结果表明，本文算法重建图像相比其他对比算法更为清晰，峰值信噪比（PSNR）和结构相似度（SSIM）均有较大的提升.     

非局部多尺度融合的单帧图像超分辨率重建

现有的深度超分辨率重建模型,用堆叠多个相同模块的方式获取具有更高精度的重建结果,但未能充分考虑各层特征间的上下文关联信息.提出一种基于非局部多尺度融合的图像超分辨率重建模型.该模型采用3种模块:非局部模块、多尺度融合模块和宽激活残差模块.其中,非局部模块用于获取图像的全局特征,关注目标的核心区域;多尺度融合模块用于融合...     

基于双通道CNN的单幅图像超分辨率重建

卷积神经网络在单幅图像超分辨率重建方面取得了很大的进展,目前的很多方法都选择使用浅层或者深层的卷积神经网络实现图像超分辨率重建。浅层网络结构简单,但容易丢失图像的高频信息,而深层网络可以学习图像的高频纹理特征。本文提出了双通道卷积神经网络。浅层网络负责重建图像的整体轮廓,保留图像的原始信息;深层网络学习图像的高频纹理特征。在深层网络中,使用密集连接的卷积网络,能更有效地恢复图像的高频信息。同时,在两个网络的末端,通过添加额外的卷积层表示融合层,将网络进行融合,重建超分辨率图片。实验结果表明,在大多数情况下,本文模型的重构效果在主观和客观评估中均优于当前代表性的超分辨率重构方法。     

一种基于深度学习的图像超分辨率重构方法

近年来,基于卷积神经网络(CNN)的单幅图像超分辨率重构得到了广泛应用﹒然而,随着网络不断加深,也同时出现了参数过多、计算代价过大和难以训练等问题﹒为解决上述问题,提出一种新的深度残差密集网络(DRDN)框架并应用于单幅图像超分辨率重建﹒首先,网络通过密集连接充分利用了低分辨率图像从浅层到深层的各层特征,为超分辨率重构提供更多的低分辨率图像信息;其次,为了充分融合全局特征信息,通过残差学习的方式进行融合重构,同时为了缓解深层网络带来的训练困难等问题,网络采用多路跳步连接,使误差更加快速地传到各层网络;最后,将该方法与深度递归残差网络(DRRN)方法在公共数据集上进行了实验比较,结果表明DRDN在网络稳定性、时间效率、收敛速度和重建效果等方面都优于DRRN﹒     

基于残差注意力机制的图像超分辨率算法研究

针对传统单幅图像超分辨率重建算法未能充分利用浅层特征信息,忽略视觉目标中的空间结构信息,难以捕捉特征通道与高频特征信息之间的依赖关系,重建图像出现伪影、边缘模糊的问题,提出一种基于残差网络和注意力机制的图像超分辨率重建算法。该模型特征提取部分结合WDSR-B(Wider Activation Super-Resolution B)残差网络增强特征信息在网络中的流通,通过坐标注意力机制对特征参数加权,引导网络更好地重建高频特征,恢复图像细节。实验结果表明,4倍图像重建下,在Set5和Set14测试集上的峰值信噪比(PSNR:Peak Signal to Noise Ratio)为31.00 dB、28.96 dB,结构相似性(SSIM:Structural Similarity)为0.893、0.854,重建后的图像在细节、轮廓方面均表现更好,优于其他主流超分辨率重建算法。     

基于四元稀疏正则的彩色图像超分辨率重建

为了更好地保持重建彩色图像各通道信息的相关性,有效提高彩色重建图像边缘、色彩等细节信息的恢复质量,提出一种基于四元稀疏正则模型的彩色图像超分辨率重建算法.该算法利用四元数表示彩色图像的三个通道信息,并且采用L1/2正则项代替L1正则项构建基于四元稀疏正则约束的彩色图像超分辨率字典学习及模型重建.同时在训练重建字典对中,为了更好地表征图像特征信息,采用去均值方法构造高低分辨率训练样本集;为了得到与低分辨率重建字典更匹配的高分辨率重建字典,采用字典分离训练方法分别生成高低分辨率重建字典.实验结果表明:与现有的算法相比较,本文算法在重建图像的主观和客观评价指标方面均有改善.     

基于深度学习的红外图像超分辨率重建

为提升红外图像分辨率,本文构建了用于红外图像超分辨率重建的IEDSR(enhanced deep residual networks for infrared image super-resolution)网络。该网络在EDSR网络模型的基础上加入了池化层,避免了EDSR(enhanced deep residual networks for single image super-sesolution)网络移除批正则化层(batch normalization, BN)可能会带来训练困难的问题。同时考虑到红外图像对比度低、纹理不明显的特性,在残差块内加入新的卷积层和激活层,通过增加网络深度扩大局部残差模块的感受野,有利于恢复图像的局部细节信息。最后利用增强预测算法对重建图像进行优化,提升重建精度。实验结果表明:本文算法重建的红外图像在主观视觉效果与客观指标上较传统红外图像重建方法均有所改善,具有较高的实用价值。     

基于Dirac残差模块的单幅图像超分辨率重建

针对单幅图像超分辨率重建问题(SISR),提出了一种新的基于Dirac残差的超分辨率重建算法.算法使用全局跳跃重建层来直接利用输入LR图像的低频特征,通过多个dirac残差块来自适应学习输入LR图像的高频特征,通过亚像素卷积进行图像重建.算法通过权重参数化来改进残差层,同时使用输入图像的卷积特征与残差网络学习特征结合进行重建.实验采用Adam优化器进行网络训练.使用L1范数作为损失函数.在PSNR、SSIM和视觉效果与其他先进算法进行对比,实验结果表明,在常用测试集上与其他深度学习算法相比有较大提高.     

基于卷积神经网络的图像超分辨率方法研究

结合认知构架ACT-R模型(Adaptive Control of Thought-Rational),基于邻域嵌入算法和深度学习的图像超分辨率重建方法,构建一个应用于超分辨率重建研究的ACT-R研究模型.在匹配阶段,根据低分辨率(Low Resolution,LR)测试图像的结构和内容特征,运用图像的多尺度相似性和非局部相似性,对图像进行特征提取;在选择阶段,把邻域嵌入算法分为两层,进行邻域图像块的寻找,同时构建一个端到端的深层门限卷积神经网络,把从匹配阶段得到的高分辨率无细节小图像块输入到卷积神经网络中并得到输出图像,将输出图像与高分辨率无细节小图像块相加得到该低分辨率小图像块对应的高分辨率小图像块,最后把高分辨率图像块组合成高分辨率(High Resolution,HR)图像.决策阶段,我们进行实验并与其他方法对比.结果表明,该模型对单帧图像具有良好的重建能力,在视觉效果上和客观评价标准上都取得了不错的效果,能够较好的重建低分辨率图像.     

引入格式塔理论的超分辨率图像重建技术

超分辨率图像重建是一个不适定问题,学术上富有挑战性,在影像处理、高分辨率对地观测等领域具有广泛的用途,其目标评价特性与格式塔理论关于视像认知的相以性、共性线、同趋性等高度吻合.本文引入格式塔理论,在国际图像与视频压缩标准JPEG2000、MPEG-4推荐的提升小波分解与重建框架下,开展重建级大于分解级的超分辨率图像重建模型与算法研究,有如下三方面的贡献:1)对高频信息进行高精度估计,重建获得超分辨率图像,最高频系数置零的小波变换去噪为超分辨率图像重建提供了一个逆向成功的范例;2)遵循格式塔理论,对边缘轮廓、纹理及高频细节信息进行重建;3)建立了带格式塔约束的超分辨率图像重建优化模型框架,体现了人类视觉评价指标.     

基于特征补偿的深度神经网络重建超分辨率图像

为有效恢复图像的高频信息,本文提出一种基于特征补偿的深度神经网络重建超分辨率图像方法.该方法结合密集型深度卷积神经网络和残差网络,并将原图像的高频信息单独提取上采样后与重建后的超分辨率图像融合形成高频特征补偿,使得图像质量提升.通过实验对比,本文算法相比于SRCNN算法重建出的超分辨率图像效果提升约1 db.