基于稀疏分解和预滤波处理的机载SAR图像超分辨率重建

提升图像分辨率一直是合成孔径雷达(Synthetic Aperture Radar, SAR)成像处理的一个重要方向。该文对低分辨率SAR图像受相干斑噪声影响导致超分辨率重建性能下降的问题进行了研究,提出了一种基于字典稀疏表示和预滤波的超分辨率重建流程。对低分辨率雷达图像的稀疏表示可以实现图像不同结构成分信息的分解,然后采用复数神经网络实现模糊核的校正以及预滤波,从而提升图像质量以及低分辨率SAR图像与超分辨率网络的匹配程度。通过上述处理流程可以避免更改网络训练设置的复杂操作,达到改善重建图像的性能,同时抑制了超分辨率网络对相干斑噪声的放大。实验验证表明,加入低分辨率SAR图像的预滤波处理步骤后,超分辨率网络的重构结果在视觉效果及客观指标上都获得了明显提升。     

基于VDRCNN的电力巡检图像超分辨率重建算法

针对无人机巡检图像模糊、分辨率低等问题,利用深度残差卷积神经网络(VDRCNN:Very Deep Residual Convolutional Neural Network)理论,提出了一种无人机巡检图像的超分辨率重构方法。该算法模型由超分辨率加深网络(VDSR:Very Deep Network for Super-Resolution)和残差结构组成,同时结合批量组归一化和Adam优化器以获得更好的重建效果。在此基础上,构建电力部件检测数据集,通过恰当设置网络参数,实现针对模糊电力部件图像的高分辨率重构。实验结果表明,基于VDRCNN的超分辨率方法重建出的图像纹理更丰富、视觉效果更逼真,在峰值信噪比和结构相似度上分别有2.95 dB和3.79%的提升,明显优于传统检测方法。所提出的基于VDRCNN的电力巡检图像超分辨率重构方法对解决电力巡检实际问题具有一定的应用价值。     

基于深度学习的红外图像超分辨率重建

为提升红外图像分辨率,本文构建了用于红外图像超分辨率重建的IEDSR(enhanced deep residual networks for infrared image super-resolution)网络。该网络在EDSR网络模型的基础上加入了池化层,避免了EDSR(enhanced deep residual networks for single image super-sesolution)网络移除批正则化层(batch normalization, BN)可能会带来训练困难的问题。同时考虑到红外图像对比度低、纹理不明显的特性,在残差块内加入新的卷积层和激活层,通过增加网络深度扩大局部残差模块的感受野,有利于恢复图像的局部细节信息。最后利用增强预测算法对重建图像进行优化,提升重建精度。实验结果表明:本文算法重建的红外图像在主观视觉效果与客观指标上较传统红外图像重建方法均有所改善,具有较高的实用价值。     

结合注意力机制的生成对抗网络图像超分辨重建

为改善图像超分辨率重建的主观视觉效果,提出一种结合注意力机制的图像超分辨生成对抗网络(generative adversarial network, GAN)模型.该模型在生成器网络中引入通道和空间双重注意力机制,选取更合适的重要特征信息进行传递;判别器网络采用WGAN进行构建,通过Wasserstein距离定义对抗损失,解决了GAN模型的训练不稳定问题.该重建模型在Set5、Set14、BSD100和Urban100共4个标准数据集上进行了实验,结果表明,和主流的超分辨重建算法相比,该模型的主客观评价指标均有所提高,图像细节信息恢复更加清晰,重建质量更好.     

基于分形残差网络的单幅图像超分辨率重建

近年来,各种基于卷积神经网络的单幅图像超分辨率方法取得了优异的性能提升.现有的超分辨率网络大多数都是使用单种尺度的卷积核来提取低分辨率图像的特征信息,这样很容易造成细节信息的遗漏,也无法很好地利用低分辨率图像的多尺度特征来提高图像的表达能力.为了解决超分辨率重建中存在的问题,提出了一种新的超分辨重建方法称为分型残差网络...     

高效单图像超分辨率重建：深监督对称蒸馏网络

过去几十年，卷积神经网络(Convolutional Neural Networks, CNNs)在单图像超分辨率(Single Image Super-Resolution,SISR)方面取得了明显的进展.现在大部分基于CNNs的方法都致力于构造新的架构去提升重建性能，这通常依赖大量计算和存储成本，难以应用于移动设备.提出了一种新颖的基于深监督对称蒸馏网络的高效单图像超分辨率重建方法(Deeply-Supervised Symmetry Distillation Network, DSSD),通过构造高频特征递归模块(High-frequency Feature Recursive Module, HFRM)和对称退化模块(Symmetry Degradation Module, SDM)缓解教师网络中提取高分辨率(High-Resolution, HR)高频信息不够准确这一问题.为了约束教师网络中提取的高频特征，采用深监督方法使教师网络蒸馏的知识与学生网络互补.在DIV2K数据集上的实验表明，DSSD有效增强了单图像超分辨率(SISR)的性能，HFRM和SDM的引入能够有效帮助DS...     

基于特征补偿的深度神经网络重建超分辨率图像

为有效恢复图像的高频信息,本文提出一种基于特征补偿的深度神经网络重建超分辨率图像方法.该方法结合密集型深度卷积神经网络和残差网络,并将原图像的高频信息单独提取上采样后与重建后的超分辨率图像融合形成高频特征补偿,使得图像质量提升.通过实验对比,本文算法相比于SRCNN算法重建出的超分辨率图像效果提升约1 db.     

用于图像超分辨率重建的双通道残差网络

针对现有基于深度学习的自然图像超分辨率算法在图像高频细节重建方面的不足,提出了一种更注重图像高频细节重建的双通道残差网络。使用带有通道注意力机制的残差结构作为网络的主通道;为了在重建过程中更好地保留原始图像的几何结构和边缘信息,使用自适应结构化卷积设计了网络的辅助通道,以此构建的双通道残差网络在学习过程中会有更强的高频信息捕获能力;为了使重建图像效果更加符合人眼的主观视觉感受,结合使用L₁损失函数和多尺度结构相似度损失函数来训练网络,使网络在训练过程中能够较好地保留图像的视觉效果。实验结果表明:在主通道外并构基于结构化卷积的辅助通道可以使重建图像的峰值信噪比提高2 dB;结合使用L₁损失函数和多尺度结构相似度损失函数可以使重建图像的峰值信噪比提高3 dB、结构相似性提高0.5;与同类网络客观定量相比,所提网络在两个公开数据集上取得的效果更优。     

基于Dirac残差模块的单幅图像超分辨率重建

针对单幅图像超分辨率重建问题(SISR),提出了一种新的基于Dirac残差的超分辨率重建算法.算法使用全局跳跃重建层来直接利用输入LR图像的低频特征,通过多个dirac残差块来自适应学习输入LR图像的高频特征,通过亚像素卷积进行图像重建.算法通过权重参数化来改进残差层,同时使用输入图像的卷积特征与残差网络学习特征结合进行重建.实验采用Adam优化器进行网络训练.使用L1范数作为损失函数.在PSNR、SSIM和视觉效果与其他先进算法进行对比,实验结果表明,在常用测试集上与其他深度学习算法相比有较大提高.     

基于Dropout改进的SRGAN网络DrSRGAN

超分辨率作为一种经典的视觉任务,在多个领域有着广泛的应用。随着深度学习中无监督学习的发展,以及生成对抗网络(generative adversarial network, GAN)的提出,超分辨率技术又得到了进一步的提高,但是相关网络仍旧存在过拟合、泛化性弱等诸多问题。以超分辨率生成对抗网络(super-resolution generative adversarial network, SRGAN)为基础,受研究Dropout在经典超分辨率网络中影响的相关论文启发,在SRGAN中加入Dropout层并研究其对生成图像质量的影响,采用峰值信噪比(peak signal to noise ratio, PSNR)和结构相似性(structural similarity, SSIM)评估图像质量。实验结果表明在合适的Dropout参数下,网络重建图像具有更好的视觉效果,PSNR能够达到0.4左右的提升同时SSIM也有提高,从训练过程中不同迭代次数生成图像的比较发现改进后网络缓解了训练不稳定问题。将Dropout层加入超分辨率网络不同于以往的方法,为改进此类网络提供了一个新的思路。     

基于卷积神经网络的图像超分辨率方法研究

结合认知构架ACT-R模型(Adaptive Control of Thought-Rational),基于邻域嵌入算法和深度学习的图像超分辨率重建方法,构建一个应用于超分辨率重建研究的ACT-R研究模型.在匹配阶段,根据低分辨率(Low Resolution,LR)测试图像的结构和内容特征,运用图像的多尺度相似性和非局部相似性,对图像进行特征提取;在选择阶段,把邻域嵌入算法分为两层,进行邻域图像块的寻找,同时构建一个端到端的深层门限卷积神经网络,把从匹配阶段得到的高分辨率无细节小图像块输入到卷积神经网络中并得到输出图像,将输出图像与高分辨率无细节小图像块相加得到该低分辨率小图像块对应的高分辨率小图像块,最后把高分辨率图像块组合成高分辨率(High Resolution,HR)图像.决策阶段,我们进行实验并与其他方法对比.结果表明,该模型对单帧图像具有良好的重建能力,在视觉效果上和客观评价标准上都取得了不错的效果,能够较好的重建低分辨率图像.     

一种改进的稀疏表示超分辨率重建算法

针对稀疏表示超分辨率重建算法中稀疏表示系数正则化效果不明显、字典完备性弱以及重建图像存在虚边缘等问题,提出了一种改进的稀疏表示超分辨率重建算法.首先对正则化正交匹配追踪(regularized orthogonal matching pursuit,ROMP)稀疏表示系数求解算法进行了改进,通过引入局部约束加权来提高稀疏表示系数的精度、增强图像的纹理特性;然后,将Huber影响函数用于提取图像的先验特征信息,以增强图像特征、提升高分辨率字典的表示能力;最后,提出了基于学习的迭代反投影方法,提高了图像后处理阶段预测误差的准确性,进一步改善了高分辨率重建图像效果.实验结果表明,该方法在峰值信噪比和视觉效果上都有所提高,重建图像的纹理特性和质量得到了有效增强.     

面向各向异性3D-MRI图像超分辨率 重建的ESRGAN网络

高分辨率磁共振图像(MRI, magnetic resonance images)能够提高疾病诊断精度,但高分辨率MRI图像的获取十分困难。基于深度学习的图像超分辨率(SR, super resolution)技术可有效地提高图像分辨率。近年来,生成对抗网络(GANs, generative adversarial networks)为3D-MRI图像SR重建提供了新思路。相较于传统的基于深度卷积神经网络(DCNN, deep convolutional neural network)的SR算法,GANs网络以人类视觉机制为目标,且引入判别函数,使重建3D-MRI图像更接近真实图像。研究采用增强超分辨率生成对抗网络(ESRGAN, enhanced super-resolution generative adversarial networks)对3D-MRI图像进行SR重建;并利用3D-MRI图像的跨层面自相似性,将重建任务降维到2D,在保证重建效果的基础上,减少了网络训练时间和内存需求。通过与其他传统算法和基于DCNN算法对比实验表明,提出的算法能够进一步提高3D-MRI图像的视觉...     

利用图像掩膜优化基于生成对抗网络的图像超分辨率模型

深度学习在一定程度上解决了从低分辨率图像中恢复出高分辨率图像这一图像超分辨率问题。目前基于生成对抗网络（generative adversarial network,GAN）的方法可以从超分辨率数据集中学习低/高分辨率图像映射关系,从而生成具有真实纹理细节的超分辨率图像。然而,基于GAN的图像超分辨率模型训练通常不稳定,其结果往往带有纹理扭曲和噪声等问题,提出了采用掩膜（mask）模块以辅助对抗网络训练。在网络训练过程中,掩膜模块根据生成网络输出的超分辨率结果和原始高分辨率图像,计算得到相应观感质量信息,并进一步辅助对抗网络训练。在实验中对3个最近提出的基于GAN的图像超分辨率模型进行修改,引入掩膜模块,修改后的模型在超分辨率图像输出的观感和真实感量化指标上均有明显地提升。掩膜模块的优点是可以进一步提升基于GAN的图像超分辨率网络输出的超分辨率图像观感质量,并仅需对生成对抗网络训练框架进行修改,因此适用于多数基于GAN的图像超分辨率模型的进一步优化。     

基于深度学习的图像超分辨率重建方法综述

图像超分辨率重建(super-resolution, SR)是指从观测到的低分辨率图像重建出相应的高分辨率图像,在目标检测、医学成像和卫星遥感等领域都有着重要的应用价值.近年来,随着深度学习的迅速发展,基于深度学习的图像超分辨率重建方法取得了显著的进步.为了把握目前基于深度学习的图像超分辨率重建方法的发展情况和研究热点,对一些最新的基于深度学习的图像超分辨率重建方法进行了梳理,将它们分为两大类(有监督的和无监督的)分别进行阐述.然后,在公开的数据集上,将主流方法的性能进行了对比分析.最后,对基于深度学习的图像超分辨率重建方法进行了总结,并对其未来的研究趋势进行了展望.     

采用稀疏表示和小波变换的超分辨率重建算法

为了提高超分辨率重建图像的质量,提出一种基于稀疏表示和小波变换的超分辨率重建算法.首先,将小波变换的多尺度性、多方向性与稀疏表示的灵活性相结合,构建一种双稀疏编码(DSC)模型,提高稀疏系数的精度.然后,在双稀疏编码模型中引入局部线性嵌入正则化项(LLER),以更好地保留图像的结构;在重建过程中,对输入的低分辨率图像进行小波分解,得到3幅不同方向的高频子图,并采用提出的模型对其进行重建.最后,利用逆小波得到最终的高分辨率图像.实验结果表明:与多种主流的超分辨率算法相比,文中算法无论在主观视觉效果还是在峰值信噪比和结构相似度两个客观评价指标上,都取得了更好的效果.     

基于小波域稀疏表示和自适应混合样本回归的图像超分辨率重建算法

针对局部特征不能较好地在空域表示的缺点,对训练集进行直接的小波变换,在训练阶段采用K-SVD字典学习算法对提取的小波域高低分辨率特征分别训练四个子带高低分辨率字典对,并把所得子带字典用于小波域高分辨率图像重建.为了进一步提升重建图像的质量,提出一个自适应混合样本脊回归模型(AMSRR)用于调制重建图像的高频成分.实验结果表明,本文提出的算法在视觉效果以及量化指标(PSNR,SSIM)上优于对比的空域方法.     

基于像素及梯度域双层深度卷积神经网络的页岩图像超分辨率重建

实际采集的页岩图像存在分辨率低等不足,有时难以满足实际应用的需求。针对此问题,构建了一种基于双层深度卷积神经网络的页岩图像超分辨率重建算法。算法以深度卷积神经网络为基础,引入残差训练及批规范化层来加速网络的收敛,并且在此神经网络的基础上提出图像像素域及梯度域结合的页岩图像超分辨率重建算法。算法大致过程为首先利用像素域的卷积神经网络对输入的低分辨率页岩图像进行上采样;然后对上采样图像提取梯度信息并利用梯度域的卷积神经网络对其进行转换;最后利用转换后的梯度信息作为正则项来约束高分辨率图像的重建,从而得到重建的高分辨率页岩图像。实验表明,与主流的超分辨率重建算法相比,重建得到的页岩图像具有更好的主观视觉效果与更高的客观评价参数,更利于后续的处理及分析。     

一种基于深度学习的图像超分辨率重构方法

近年来,基于卷积神经网络(CNN)的单幅图像超分辨率重构得到了广泛应用﹒然而,随着网络不断加深,也同时出现了参数过多、计算代价过大和难以训练等问题﹒为解决上述问题,提出一种新的深度残差密集网络(DRDN)框架并应用于单幅图像超分辨率重建﹒首先,网络通过密集连接充分利用了低分辨率图像从浅层到深层的各层特征,为超分辨率重构提供更多的低分辨率图像信息;其次,为了充分融合全局特征信息,通过残差学习的方式进行融合重构,同时为了缓解深层网络带来的训练困难等问题,网络采用多路跳步连接,使误差更加快速地传到各层网络;最后,将该方法与深度递归残差网络(DRRN)方法在公共数据集上进行了实验比较,结果表明DRDN在网络稳定性、时间效率、收敛速度和重建效果等方面都优于DRRN﹒     

连分式插值结合卷积神经网络的超分辨率重建

基于卷积神经网络的图像超分辨率重建算法是数字图像处理领域近年来的研究热点。针对低分辨率图像在预处理时使用双三次插值导致图像丢失一些重要的高频纹理细节以及网络模型优化问题,文章提出了连分式插值结合卷积神经网络的超分辨率重建方法。在原有的轻量级基于卷积神经网络的超分辨率重建算法(super-resolution convolutional neural net work, SRCNN)网络模型基础上,首先采用Newton-Thiele型连分式插值函数将低分辨率图像插值到目标尺寸;然后利用3个卷积层进行图像特征提取、非线性映射、重建与优化;该文在网络收敛时利用Radam优化算法自适应地调整梯度,并且采用余弦衰减法逐渐降低学习率。实验结果表明,该网络模型能够在轻量级的卷积神经网络下获得更丰富的纹理细节和更清晰的图像边缘。