基于多幅图像的超分辨率重建方法分析

图像超分辨率重建是指从一幅或多幅低分辨率、低质量图像中产生高分辨率、高质量图像的数字信号处理技术.本文分析了基于多幅的图像超分辨率重建方法,并讨论了目前基于多幅的图像超分辨率重建有待解决的问题.     

图像超分辨率重建算法比较研究

针对超分辨率重建技术的基本理论以及研究现状给予了综述性研究,对当前的主要算法进行了比较分析.     

基于深度学习的图像超分辨率重建方法综述

图像超分辨率重建(super-resolution, SR)是指从观测到的低分辨率图像重建出相应的高分辨率图像,在目标检测、医学成像和卫星遥感等领域都有着重要的应用价值.近年来,随着深度学习的迅速发展,基于深度学习的图像超分辨率重建方法取得了显著的进步.为了把握目前基于深度学习的图像超分辨率重建方法的发展情况和研究热点,对一些最新的基于深度学习的图像超分辨率重建方法进行了梳理,将它们分为两大类(有监督的和无监督的)分别进行阐述.然后,在公开的数据集上,将主流方法的性能进行了对比分析.最后,对基于深度学习的图像超分辨率重建方法进行了总结,并对其未来的研究趋势进行了展望.     

基于双向循环网络的变色龙视觉超分辨率图像重建

针对使用均方误差（Mean Square Error,MSE）作为目标损失函数,导致重建的超分辨率图像在失真与感知质量上难以兼得的问题,提出基于双向循环网络的变色龙视觉重建模型（Super-resolution Bidirectional Recurrent Neural Network,SRBRNN）以改善重建效果.首先,鉴于变色龙可以同时注视两个不同方向的非凡视觉功能,SRBRNN模型借助双向循环神经网络结合序列演进前向与反向给输出提供不同方向时间信息的思想,实现重建过程中失真与感知质量的兼顾;其次,SRBRNN模型定义了特征演进和退化序列,并设计了低分辨率图像到高分辨率图像演进和高分辨率图像到低分辨率图像退化网络,将演进网络和退化网络对应应用为原双向循环网络的前向循环和反向循环网络;最后,利用双向循环机制重建超分辨率特征.用SRBRNN算法在Set5、Set14、BSD100基准测试集上进行实验,实验结果表明在峰值信噪比(Peak Signal to Noise Ratio,PSNR)和结构相似性(Structural Similarity, SSIM)评估指标及主观质量评分上,...     

多尺度卷积神经网络的图像超分辨率重建算法

为利用多尺度信息重建超分辨率图像,提出多尺度卷积神经网络的图像超分辨率重建算法。算法利用不同尺度的卷积核提取图像特征,为图像重建提供不同大小的邻域信息;用瓶颈层融合多尺度特征图,增强网络非线性表示能力,降低中间层输出的维数,提高图像的超分辨率重建性能。多个测试集上的实验结果表明,多尺度卷积神经网络算法优于现有的单幅图像超分辨率方法。     

基于生成对抗网络的图像超分辨率重建

借助深度学习方法,通过组合低层特征形成更加抽象的高层特征表示属性类别或特征,发现数据的分布式特征表示。采用生成对抗网络作为神经网络框架,实现了图像超分辨率的重建。     

基于Dirac残差模块的单幅图像超分辨率重建

针对单幅图像超分辨率重建问题(SISR),提出了一种新的基于Dirac残差的超分辨率重建算法.算法使用全局跳跃重建层来直接利用输入LR图像的低频特征,通过多个dirac残差块来自适应学习输入LR图像的高频特征,通过亚像素卷积进行图像重建.算法通过权重参数化来改进残差层,同时使用输入图像的卷积特征与残差网络学习特征结合进行重建.实验采用Adam优化器进行网络训练.使用L1范数作为损失函数.在PSNR、SSIM和视觉效果与其他先进算法进行对比,实验结果表明,在常用测试集上与其他深度学习算法相比有较大提高.     

超分辨率重建算法综述

超分辨率重建是指由同一场景的低分辨率退化图像,运用相应的算法重建一幅清晰的高分辨率图像。然而,传统的基于插值、基于重建和基于学习的方法已很难获得进一步的突破。近年新兴的过完备稀疏表示是一种新的图像表示模型,它为解决超分辨率重建中的难点问题提供了新的思路。本文通过分析超分辨率技术的以往研究和最新进展,着重讨论了各算法在重构时的优缺点,并对未来超分辨率重建技术进行了展望。     

基于GAN的图像超分辨率重建算法研究

SRGAN是一种基于生成对抗网络的超分辨重建方法,其生成的高分辨率图像质量较传统方法有着明显提升,然而SRGAN存在着训练过程不稳定,图像浅层特征未充分使用等问题,很大程度上影响到了生成图像的质量。本文提出了一种特征增强改进的SRGAN模型,该模型使用信息蒸馏块进行特征纹理信息的增强,并消除图像特征中的冗余信息。此外,使用相对平均鉴别器替代原始SRGAN中的二分类鉴别器,保证了GAN网络训练的稳定性。本文基于4倍放大因子的超分辨重建任务,在BSD100数据集上进行实验结果的质化评价和量化评价。实验表明,本文方法较之SRGAN在训练过程中具有更好的稳定性,生成的图像具有更清晰的细节纹理,取得了更佳的图像超分辨率重建效果。     

基于信息蒸馏级联伸缩网络的图像超分辨率重建

针对图像超分辨率重建算法在图像高频信息恢复过程中特征提取不充分、利用效率不高、重建高频细节能力不足等问题,本文提出了一种基于信息蒸馏级联伸缩网络的图像超分辨率重建算法.首先,构建特征可伸缩的信息蒸馏块,通过扩大信息蒸馏中输入信息的特征感受野,以及采用通道注意力提取感兴趣信息,解决了信息蒸馏的图像超分辨率重建非线性映射过程中特征提取不充分的问题;然后,设计级联残差叠加映射块,该块将多个残差块组合在一起,通过将残差结构中的残差部分引出并采用级联叠加的方式,增加了信息蒸馏块间信息的传递,使提取的特征信息包含更多细节.实验结果表明,本文算法重建图像相比其他对比算法更为清晰,峰值信噪比（PSNR）和结构相似度（SSIM）均有较大的提升.     

基于深度网络分级特征图的图像超分辨率重建

从低分辨率图像中提取特征图恢复高分辨率图像中的高频信息是超分辨率重建的一个关键问题,针对该问题提出一个新的基于卷积神经网络的超分辨率重建算法.网络结构由卷积层与子像素卷积组成,特征提取网络中卷积层提取低分辨率图像的特征,重建网络中子像素卷积神经网络作为上采样算子.针对不能充分利用多级特征图的问题,采用跳跃连接和特征图联结在特征提取网络末端跨通道融合特征图,同时降低特征图的维度.并在此基础上再次提取特征图应用于重建.实验结果表明,算法在PSNR、SSIM和人类视觉效果上与其他基于深度学习的算法相比有着显著的提高.     

基于像素及梯度域双层深度卷积神经网络的页岩图像超分辨率重建

实际采集的页岩图像存在分辨率低等不足,有时难以满足实际应用的需求。针对此问题,构建了一种基于双层深度卷积神经网络的页岩图像超分辨率重建算法。算法以深度卷积神经网络为基础,引入残差训练及批规范化层来加速网络的收敛,并且在此神经网络的基础上提出图像像素域及梯度域结合的页岩图像超分辨率重建算法。算法大致过程为首先利用像素域的卷积神经网络对输入的低分辨率页岩图像进行上采样;然后对上采样图像提取梯度信息并利用梯度域的卷积神经网络对其进行转换;最后利用转换后的梯度信息作为正则项来约束高分辨率图像的重建,从而得到重建的高分辨率页岩图像。实验表明,与主流的超分辨率重建算法相比,重建得到的页岩图像具有更好的主观视觉效果与更高的客观评价参数,更利于后续的处理及分析。     

校园航拍图像超分辨率重建的粒计算方法

提出了校园航拍图像超分辨率重建的粒计算方法,包括:(1)提出了图像粒化方法,实现图像空间向粒度空间的转化;(2)设计粒之间合并运算和分解运算,构造粒之间的模糊包含关系μ和σ,实现不同粒度空间之间的转化,获取图像的先验知识,指导校园航拍图像超分辨率重建算法的设计;(3)根据自顶向下、自底向上两种模式和图像先验知识,设计校园航拍图像超分辨率重建粒计算算法,实现粒度空间向图像空间的转化.实验验证了提出方法的可行性.     

基于投影修正和POCS的图像超分辨率重建

针对超分辨重建技术中传统POCS图像重建算法存在的Gibbs效应问题,提出一种采用投影修正机制抑制Gibbs效应的图像超分辨率重建算法.首先针对初始图像采用方向差分方法获得图像的边缘约束算子;随后在每一次的迭代重建过程中,结合前后重建结果的差值和边缘约束算子设计投影修正算子,并对残差阈值和点扩散函数分别进行修正,从而获得修正后的数据一致性投影过程;最后利用修正的投影过程获得最终重建图像.试验结果表明:改进算法具有较好的峰值信噪比,并且有效抑制了Gibbs效应,具有较好的应用前景.     

一种基于并行遗传算法的超分辨率图像重建方法研究

笔者提出了一种基于并行遗传算法的图像(序列)超分辨率重建的新框架方法.文中给出了算法原理及步骤,并对算法特点和性质进行了详细的分析,与直接使用迭代正则化相比,通过实验的方法选取正则化参数的方法,其最大优势是可通过实验来调整正则化参数,使算法更易搜索到最佳图像估计.最后给出了实验结果以及详细的实验分析,并将其与其它正则化图像插值技术进行了比较,证明是一种新颖实用的方法.     

基于凸集投影和线过程模型的超分辨率图像重建

为了改善超分辨率重建图像的效果，提出了一种基于线过程模型的凸集投影方法。根据先验信息在图像重建中有重要作用的原理，该方法在数据一致性投影的基础上，将描述边缘信息的线过程模型作为图像的一个先验知识，用于重建过程中的平滑性约束投影，从而达到既保存图像的高频分量，又在一定程度上降低平滑区域噪声的效果。实验结果表明，该方法重建结果的视觉效果好于原方法，且信噪比有所提高，尤其是在高抽取率的情况下可以明显减少振铃效应。     

基于自适应加权压缩感知的图像超分辨率重建

压缩感知理论被广泛应用于从少量随机观测中精确地重构原始信号,基于压缩感知理论来实现图像的超分辨率重建,在利用图像的局部稀疏性先验的基础上,采取了以下两项措施：一是通过对图像降质模型的估计,采用K-奇异值分解(K-singular value decomposition, K-SVD)算法构建过完备字典对,依据同一图像高低分辨率观测在对应字典下稀疏表示系数相似的特点,将字典对所表示的高低分辨率图像间的映射关系带入目标函数中,避免了降采样和模糊算子难以抽象为矩阵形式对求解造成的影响;二是在待超分辨率图像稀疏编码时提出一种自适应加权的梯度投影稀疏重构(adaptive weighting gradient projection for sparse reconstruction, AWGPSR)算法,克服了传统正交匹配追踪(orthogonal matching pursuit, OMP)算法在这一步需要固定稀疏度的缺陷,可获得更加精确的稀疏表示系数。结合得到的稀疏表示系数与高分辨率字典可以重建出图像的高频分量,将重建的高频分量与低频部分融合可以得到最终的图像超分辨率重建结果。实验结果表明,...     

基于VDRCNN的电力巡检图像超分辨率重建算法

针对无人机巡检图像模糊、分辨率低等问题,利用深度残差卷积神经网络(VDRCNN:Very Deep Residual Convolutional Neural Network)理论,提出了一种无人机巡检图像的超分辨率重构方法。该算法模型由超分辨率加深网络(VDSR:Very Deep Network for Super-Resolution)和残差结构组成,同时结合批量组归一化和Adam优化器以获得更好的重建效果。在此基础上,构建电力部件检测数据集,通过恰当设置网络参数,实现针对模糊电力部件图像的高分辨率重构。实验结果表明,基于VDRCNN的超分辨率方法重建出的图像纹理更丰富、视觉效果更逼真,在峰值信噪比和结构相似度上分别有2.95 dB和3.79%的提升,明显优于传统检测方法。所提出的基于VDRCNN的电力巡检图像超分辨率重构方法对解决电力巡检实际问题具有一定的应用价值。     

连分式插值结合卷积神经网络的超分辨率重建

基于卷积神经网络的图像超分辨率重建算法是数字图像处理领域近年来的研究热点.针对低分辨率图像在预处理时使用双三次插值导致图像丢失一些重要的高频纹理细节以及网络模型优化问题,文章提出了连分式插值结合卷积神经网络的超分辨率重建方法.在原有的轻量级基于卷积神经网络的超分辨率重建算法(super-resolution convo...     

基于Keren配准和插值的快速超分辨率图像重建

为提高图像超分辨率重建技术实时应用的可能性,增强其对配准误差的容忍度,提出了一种基于Keren配准和插值的快速鲁棒超分辨率图像重建算法.该算法将配准后的低分辨率图像根据变换参数映射到高分辨率网格上,再利用模板卷积迭代地填充缺失像素值,从而重建一幅高分辨率图像.将文中算法与非均匀插值法、凸集映射法、鲁棒的迭代后向映射法和...