基于分形残差网络的单幅图像超分辨率重建

近年来,各种基于卷积神经网络的单幅图像超分辨率方法取得了优异的性能提升.现有的超分辨率网络大多数都是使用单种尺度的卷积核来提取低分辨率图像的特征信息,这样很容易造成细节信息的遗漏,也无法很好地利用低分辨率图像的多尺度特征来提高图像的表达能力.为了解决超分辨率重建中存在的问题,提出了一种新的超分辨重建方法称为分型残差网络...     

基于卷积神经网络的图像超分辨率方法研究

结合认知构架ACT-R模型(Adaptive Control of Thought-Rational),基于邻域嵌入算法和深度学习的图像超分辨率重建方法,构建一个应用于超分辨率重建研究的ACT-R研究模型.在匹配阶段,根据低分辨率(Low Resolution,LR)测试图像的结构和内容特征,运用图像的多尺度相似性和非局部相似性,对图像进行特征提取;在选择阶段,把邻域嵌入算法分为两层,进行邻域图像块的寻找,同时构建一个端到端的深层门限卷积神经网络,把从匹配阶段得到的高分辨率无细节小图像块输入到卷积神经网络中并得到输出图像,将输出图像与高分辨率无细节小图像块相加得到该低分辨率小图像块对应的高分辨率小图像块,最后把高分辨率图像块组合成高分辨率(High Resolution,HR)图像.决策阶段,我们进行实验并与其他方法对比.结果表明,该模型对单帧图像具有良好的重建能力,在视觉效果上和客观评价标准上都取得了不错的效果,能够较好的重建低分辨率图像.     

基于双重字典及联合特征的遥感图像超分辨率算法

为了解决低分辨率遥感图像超分辨重建的问题,本文提出了一种基于双重字典及联合特征的遥感图像超分辨率算法.超分辨率重建技术目的就是根据低分辨率图像重建出原始高分辨率图像的高频信息.本文将图像的高频信息分解成为主高频信息和残差高频信息两个部分,然后针对主高频信息和残差高频信息,分别训练主高频字典和残差高频字典,并结合稀疏表示方法对图像进行重构.同时,为了建立更能反映图像内部结构信息的字典,本文联合图像的不同的结构特征,建立统一的字典.本文算法对图像取得较好的复原效果,复原出的高分辨率图像更接近于真实图像,与其他方法相比具有更好的主观和客观质量.     

多尺度压缩感知框架下的遥感图像超分辨率重建

传统的基于压缩感知的超分辨率重建算法将图像看作单尺度,并没有考虑不同尺度的图像块可能包含不同的判别信息.为了有效利用遥感图像的尺度特性,提出了一种多尺度压缩感知框架下的遥感图像超分辨率重建算法.首先通过图像块聚类构建多尺度训练样本集,接着运用Fisher判别准则学习包含遥感图像类别信息的判别字典,然后根据压缩感知中测量矩阵的构造方式估计低分辨率图像的获取过程,最后结合判别字典依次重建多尺度模式下的各子区域图像.实验结果证明了将多尺度压缩感知引入图像超分辨率重建的有效性,提出的算法在视觉效果和评价指标上均优于现有的几种算法.     

基于深度学习的图像超分辨率重建方法综述

图像超分辨率重建(super-resolution, SR)是指从观测到的低分辨率图像重建出相应的高分辨率图像,在目标检测、医学成像和卫星遥感等领域都有着重要的应用价值.近年来,随着深度学习的迅速发展,基于深度学习的图像超分辨率重建方法取得了显著的进步.为了把握目前基于深度学习的图像超分辨率重建方法的发展情况和研究热点,对一些最新的基于深度学习的图像超分辨率重建方法进行了梳理,将它们分为两大类(有监督的和无监督的)分别进行阐述.然后,在公开的数据集上,将主流方法的性能进行了对比分析.最后,对基于深度学习的图像超分辨率重建方法进行了总结,并对其未来的研究趋势进行了展望.     

联合稀疏表示和总变分正则化的超分辨率重建方法

为提高基于稀疏表示的图像超分辨率重建的质量,该文提出了联合稀疏表示与总变分正则化的超分辨率重建算法。首先,在字典训练阶段,从具有相似统计特征的训练图片中获取图像块,作为训练字典的样本,并用K-SVD算法进行字典训练,得到高、低分辨率的字典。在稀疏编码阶段,根据局部稀疏编码模型求解出低分辨图像的稀疏表示系数,再利用稀疏表示系数和高分辨率字典对输入低分辨率图像进行重建,得到高分辨率图像。最后,将重建得到的高分辨率图像进行总变分正则化优化,进一步提高重建效果。仿真实验结果表明,该算法在客观评价指标和主观视觉效果上,图像质量都有明显提高。     

基于半耦合字典的快速图像超分辨率重建算法

为了提高图像超分辨率重建的效率与质量,考虑到高、低分辨率稀疏表示系数的不同,改进了锚定邻域回归算法,并结合半耦合字典学习算法提出了一种快速图像超分辨率重建算法.首先采用半耦合字典学习算法得到高分辨率字典、低分辨率字典及映射矩阵;再采用岭回归算法求解低分辨率稀疏表示系数,并根据高分辨率稀疏表示系数与低分辨率稀疏表示系数之间的映射关系,得到高分辨率稀疏表示系数;然后,根据输入图像块特征寻找字典中与其最相关的字典原子,计算该字典原子所对应的投影矩阵,进行超分辨率重建.仿真结果表明:提出的算法不仅在重建速度上表现更快,重建图像的质量也得到提高,在客观指标和主观效果上均取得更好的效果.     

基于深度网络分级特征图的图像超分辨率重建

从低分辨率图像中提取特征图恢复高分辨率图像中的高频信息是超分辨率重建的一个关键问题,针对该问题提出一个新的基于卷积神经网络的超分辨率重建算法.网络结构由卷积层与子像素卷积组成,特征提取网络中卷积层提取低分辨率图像的特征,重建网络中子像素卷积神经网络作为上采样算子.针对不能充分利用多级特征图的问题,采用跳跃连接和特征图联结在特征提取网络末端跨通道融合特征图,同时降低特征图的维度.并在此基础上再次提取特征图应用于重建.实验结果表明,算法在PSNR、SSIM和人类视觉效果上与其他基于深度学习的算法相比有着显著的提高.     

基于四元稀疏正则的彩色图像超分辨率重建

为了更好地保持重建彩色图像各通道信息的相关性,有效提高彩色重建图像边缘、色彩等细节信息的恢复质量,提出一种基于四元稀疏正则模型的彩色图像超分辨率重建算法.该算法利用四元数表示彩色图像的三个通道信息,并且采用L1/2正则项代替L1正则项构建基于四元稀疏正则约束的彩色图像超分辨率字典学习及模型重建.同时在训练重建字典对中,为了更好地表征图像特征信息,采用去均值方法构造高低分辨率训练样本集;为了得到与低分辨率重建字典更匹配的高分辨率重建字典,采用字典分离训练方法分别生成高低分辨率重建字典.实验结果表明:与现有的算法相比较,本文算法在重建图像的主观和客观评价指标方面均有改善.     

基于生成对抗网络与噪声分布的图像超分辨率重建方法

现有的图像超分辨率重建方法都较少考虑真实低分辨率图像中包含的噪声信息,因此会影响图像的重建质量.受真实图像去噪算法的启发,本文引入一个噪声分布收集网络来收集低分辨率图像的噪声分布信息,并采用生成对抗网络的模型设计,提高含噪声图像的重建质量.噪声分布信息会分别输入到超分辨率重建网络和判别网络,在重建过程中去除噪声的同时保证有用高频信息的恢复,另外由于判别网络的能力对整个模型的性能有着重要影响,选择使用 U-Net 网络来获得更好的梯度信息反馈.与经典图像超分辨率重建算法的对比以及消融实验表明,使用噪声收集网络和 U-Net 判别网络后,本文模型在噪声低分辨率图像重建任务中获得了更好的性能.     

基于多幅图像的超分辨率重建方法分析

图像超分辨率重建是指从一幅或多幅低分辨率、低质量图像中产生高分辨率、高质量图像的数字信号处理技术.本文分析了基于多幅的图像超分辨率重建方法,并讨论了目前基于多幅的图像超分辨率重建有待解决的问题.     

多尺度生成对抗网络的图像超分辨率算法

基于神经网络的图像超分辨率方法往往存在重建图像纹理结构模糊、缺失高频信息的问题。为了解决该问题,在SRGAN的基础上提出一种多尺度并联学习的生成对抗网络结构,其中生成模型由两个不同尺度的残差网络块组成,首先对提取的低分辨率图像通过两个子网络的多尺度特征学习,然后使用融合网络进行残差融合,融合不同尺度高频信息,最终生成高分辨图像。在Set5、Set14、BSD100基准数据集以及SpaceNet卫星图像数据集上的实验结果证明了该算法在恢复低分辨率图像的细节纹理信息具有良好效果。     

一种改进的高分卫星影像数字表面模型生成方法

针对高分辨率卫星立体影像生成数字表面模型(DSM)过程中由于影像几何和辐射差异造成匹配困难和误匹配等问题,综合运用尺度不变特征转换(SIFT)算子和归一化互相关(NCC)算子,并考虑核线和视差约束,提出了一种基于三角网视差约束的影像分层匹配方法,同时对匹配窗口进行自适应优化改进,实现特征点、格网点和特征线的匹配,从高分辨率卫星影像生成DSM.将提出的方法应用于上海崇明WorldView-1和浙江舟山资源三号卫星影像生成对应区域的DSM,与地面控制点和已有DSM对比分析,高程精度与像素分辨率相当,验证了所提出方法的有效性.     

基于稀疏分解和预滤波处理的机载SAR图像超分辨率重建

提升图像分辨率一直是合成孔径雷达(Synthetic Aperture Radar, SAR)成像处理的一个重要方向。该文对低分辨率SAR图像受相干斑噪声影响导致超分辨率重建性能下降的问题进行了研究,提出了一种基于字典稀疏表示和预滤波的超分辨率重建流程。对低分辨率雷达图像的稀疏表示可以实现图像不同结构成分信息的分解,然后采用复数神经网络实现模糊核的校正以及预滤波,从而提升图像质量以及低分辨率SAR图像与超分辨率网络的匹配程度。通过上述处理流程可以避免更改网络训练设置的复杂操作,达到改善重建图像的性能,同时抑制了超分辨率网络对相干斑噪声的放大。实验验证表明,加入低分辨率SAR图像的预滤波处理步骤后,超分辨率网络的重构结果在视觉效果及客观指标上都获得了明显提升。     

一种改进的高分辨率卫星影像数字表面模型生成方法

针对高分辨率卫星立体影像生成数字表面模型(DSM)过程中由于影像几何和辐射差异造成匹配困难和误匹配等问题,综合运用尺度不变特征转换(SIFT)算子和归一化互相关(NCC)算子,并考虑核线和视差约束,提出了一种基于三角网视差约束的影像分层匹配方法,同时对匹配窗口进行自适应优化改进,实现特征点、格网点和特征线的匹配,从高分辨率卫星影像生成DSM.将提出的方法应用于上海崇明WorldView-1和浙江舟山资源三号卫星影像生成对应区域的DSM,与地面控制点和已有DSM对比分析,高程精度与像素分辨率相当,验证了所提出方法的有效性.     

基于改进SRResNet深度学习网络的低照度图像超分辨率重建方法

为解决低照度条件下低分辨率图像的超分辨率重建问题,提出一种基于改进超分辨率残差网络(super-resolution residual networks, SRResNet)深度学习网络的低照度图像超分辨率重建方法。通过将读取的图像下采样、亮度降低等处理生成低照度低分辨率图像,并将该图像与高分辨率图像作为数据对输入学习模型,以便改进SRResNet的训练数据对的生成方式,优化训练过程,从而构建面向单帧低照度彩色图像的基于改进SRResNet训练的超分辨率重建方法。实验结果表明：与现有流行的图像超分辨率重建方法相比,该方法的峰值信噪比(peak signal to noise ratio, PSNR)、结构相似性(structural similarity, SSIM)指标整体为最优,低照度环境下的超分辨率重建图像更为清晰明亮、细节更丰富,该方法训练出的深度学习网络的重建效果更好。     

基于像素及梯度域双层深度卷积神经网络的页岩图像超分辨率重建

实际采集的页岩图像存在分辨率低等不足,有时难以满足实际应用的需求。针对此问题,构建了一种基于双层深度卷积神经网络的页岩图像超分辨率重建算法。算法以深度卷积神经网络为基础,引入残差训练及批规范化层来加速网络的收敛,并且在此神经网络的基础上提出图像像素域及梯度域结合的页岩图像超分辨率重建算法。算法大致过程为首先利用像素域的卷积神经网络对输入的低分辨率页岩图像进行上采样;然后对上采样图像提取梯度信息并利用梯度域的卷积神经网络对其进行转换;最后利用转换后的梯度信息作为正则项来约束高分辨率图像的重建,从而得到重建的高分辨率页岩图像。实验表明,与主流的超分辨率重建算法相比,重建得到的页岩图像具有更好的主观视觉效果与更高的客观评价参数,更利于后续的处理及分析。     

采用稀疏表示和小波变换的超分辨率重建算法

为了提高超分辨率重建图像的质量,提出一种基于稀疏表示和小波变换的超分辨率重建算法.首先,将小波变换的多尺度性、多方向性与稀疏表示的灵活性相结合,构建一种双稀疏编码(DSC)模型,提高稀疏系数的精度.然后,在双稀疏编码模型中引入局部线性嵌入正则化项(LLER),以更好地保留图像的结构;在重建过程中,对输入的低分辨率图像进行小波分解,得到3幅不同方向的高频子图,并采用提出的模型对其进行重建.最后,利用逆小波得到最终的高分辨率图像.实验结果表明:与多种主流的超分辨率算法相比,文中算法无论在主观视觉效果还是在峰值信噪比和结构相似度两个客观评价指标上,都取得了更好的效果.     

利用对抗性边缘学习模型生成超分辨率图像

大部分基于卷积神经网络的图像超分辨率方法都是采用端到端的模式,这类图像超分辨率方法往往存在重构图像纹理边缘模糊、高频信息缺失的问题.为了改善该问题,在SRGAN(super-resolution generation adversarial networks)的基础上提出了一种基于对抗性图像边缘学习的深层网络模型,将图像边缘信息得到充分利用,来引导超分网络生成更加真实的高分辨率图像.该网络模型由两个生成对抗网络所组成,首先利用一个生成对抗网络来生成低分辨率图像所对应的高分辨率边缘特征图,然后再用高分辨率边缘特征图来约束和引导第二个生成对抗网络,使之重构出来的高分辨率图像纹理边缘更加清晰,更好地恢复图像边缘的高频细节.在Set5、Set14、BSD100、Urban100和Manga109基准测试集上的实验结果表明该算法重构出的高分辨率图像更加接近真实的图像,在峰值信噪比、结构相似度和感知指标上都有不错的表现.     

基于非局部稀疏表示的立体图像的超分辨率重建

针对在立体图像的超分辨率重建过程中,需要分别对低分辨率的彩图和同场景的深度图进行超分辨率重建的问题,提出了一种基于联合稀疏表示的立体图像的超分辨率重建方法.该方法在非局部中心稀疏表示重建方法的基础上,利用彩色图像与同场景深度图像的耦合相关性,通过构造联合特征图像块来学习彩色和深度图像的联合字典;然后构造彩色和深度图像块的联合编码增量作为正则项,利用迭代优化算法求解模型,进而同时重建高分辨率的彩色和深度图像.为验证算法的有效性,在Middlebury数据集上对重建结果进行了主、客观评估,并与不同算法进行了比较.实验结果表明,在客观指标和主观视觉效果上,本文提出的算法可以同时获得令人满意的彩图和高质量的深度图.