利用图像掩膜优化基于生成对抗网络的图像超分辨率模型

深度学习在一定程度上解决了从低分辨率图像中恢复出高分辨率图像这一图像超分辨率问题。目前基于生成对抗网络（generative adversarial network,GAN）的方法可以从超分辨率数据集中学习低/高分辨率图像映射关系,从而生成具有真实纹理细节的超分辨率图像。然而,基于GAN的图像超分辨率模型训练通常不稳定,其结果往往带有纹理扭曲和噪声等问题,提出了采用掩膜（mask）模块以辅助对抗网络训练。在网络训练过程中,掩膜模块根据生成网络输出的超分辨率结果和原始高分辨率图像,计算得到相应观感质量信息,并进一步辅助对抗网络训练。在实验中对3个最近提出的基于GAN的图像超分辨率模型进行修改,引入掩膜模块,修改后的模型在超分辨率图像输出的观感和真实感量化指标上均有明显地提升。掩膜模块的优点是可以进一步提升基于GAN的图像超分辨率网络输出的超分辨率图像观感质量,并仅需对生成对抗网络训练框架进行修改,因此适用于多数基于GAN的图像超分辨率模型的进一步优化。     

基于生成对抗网络的轻量级图像盲超分辨率网络

针对图像盲超分辨率网络计算参数多、模型庞大的问题,对快速且节省内存的轻量级图像非盲超分辨率网络（fast and memory-efficient image super resulotion network, FMEN）进行改进,提出了一种轻量级的快速且节省内存的图像盲超分辨率网络（fast and memory-efficient image blind super resulotion network, FMEBN)。首先,通过图像退化模块模拟部分真实世界退化空间,使用退化预测模块预测低分辨率(low resolution, LR)图像的退化参数;然后,为能有效利用退化先验信息指导并约束网络进行重建,使用动态卷积对原网络特征提取、重建模块、高频注意力块（high frequency attention block, HFAB）结构进行改进;最后,使用生成对抗网络（generative adversarial network, GAN)对FMEN训练策略与损失函数进行优化,减小真实数据与生成数据的差异,生成更加真实、清晰的纹理、轮廓。实验结果表明,在合成图像数据集和真实图像数据集R...     

自适应图像插值在超分辨率图像重建中的应用

超分辨率技术的目的在于恢复高频信息,以使图像获得更多的细节信息,同时还要能消除各种噪声的影响,图像插值方法是一个基本的消除采样误差和虚假响应的手段,它是超分辨率重建的一个重要步骤。该文使用一种自适应的插值方法来进行超分辨率图像重建,并与传统插值方法的超分辨率图像重建结果相比较,重建结果要优于传统插值方法。     

结合注意力机制的生成对抗网络图像超分辨重建

为改善图像超分辨率重建的主观视觉效果,提出一种结合注意力机制的图像超分辨生成对抗网络(generative adversarial network, GAN)模型.该模型在生成器网络中引入通道和空间双重注意力机制,选取更合适的重要特征信息进行传递;判别器网络采用WGAN进行构建,通过Wasserstein距离定义对抗损失,解决了GAN模型的训练不稳定问题.该重建模型在Set5、Set14、BSD100和Urban100共4个标准数据集上进行了实验,结果表明,和主流的超分辨重建算法相比,该模型的主客观评价指标均有所提高,图像细节信息恢复更加清晰,重建质量更好.     

基于块对称对叠的多幅图像超分辨率重建算法研究

在进行图像超分辨率重建时,使用多幅图像比使用一副图像能够得到更好的效果,但是目前基于多幅图像的超分辨率重建算法普遍存在重建速度慢、重建质量不够理想的问题。为此,本文构造了一种基于块对称对叠（PsyCo）的多幅图像超分辨率重建算法,首先对低分辨率图像序列进行基于ORB的图像配准,再对配准后的图像进行PSyCo重建,最后对重建的图像进行像素灰度最大值融合。实验结果表明,本文提出的重建算法具有更好的重建效果,并且具有较快的重建速度。     

基于块对称对叠的多幅图像超分辨率重建算法

在进行图像超分辨率重建时,使用多幅图像比使用一幅图像能够得到更好的效果;但是目前基于多幅图像的超分辨率重建算法普遍存在重建速度慢、重建质量不够理想的问题。为此,构造了一种基于块对称对叠(PsyCo)的多幅图像超分辨率重建算法。首先对低分辨率图像序列进行基于ORB的图像配准,再对配准后的图像进行PSyCo重建,最后对重建的图像进行像素灰度最大值融合。实验结果表明,提出的重建算法具有更好的重建效果;并且具有较快的重建速度。     

基于GAN的图像超分辨率重建算法研究

SRGAN是一种基于生成对抗网络的超分辨重建方法,其生成的高分辨率图像质量较传统方法有着明显提升,然而SRGAN存在着训练过程不稳定,图像浅层特征未充分使用等问题,很大程度上影响到了生成图像的质量。本文提出了一种特征增强改进的SRGAN模型,该模型使用信息蒸馏块进行特征纹理信息的增强,并消除图像特征中的冗余信息。此外,使用相对平均鉴别器替代原始SRGAN中的二分类鉴别器,保证了GAN网络训练的稳定性。本文基于4倍放大因子的超分辨重建任务,在BSD100数据集上进行实验结果的质化评价和量化评价。实验表明,本文方法较之SRGAN在训练过程中具有更好的稳定性,生成的图像具有更清晰的细节纹理,取得了更佳的图像超分辨率重建效果。     

基于深度学习的图像超分辨率重建方法综述

图像超分辨率重建(super-resolution, SR)是指从观测到的低分辨率图像重建出相应的高分辨率图像,在目标检测、医学成像和卫星遥感等领域都有着重要的应用价值.近年来,随着深度学习的迅速发展,基于深度学习的图像超分辨率重建方法取得了显著的进步.为了把握目前基于深度学习的图像超分辨率重建方法的发展情况和研究热点,对一些最新的基于深度学习的图像超分辨率重建方法进行了梳理,将它们分为两大类(有监督的和无监督的)分别进行阐述.然后,在公开的数据集上,将主流方法的性能进行了对比分析.最后,对基于深度学习的图像超分辨率重建方法进行了总结,并对其未来的研究趋势进行了展望.     

基于双通道CNN的单幅图像超分辨率重建

卷积神经网络在单幅图像超分辨率重建方面取得了很大的进展,目前的很多方法都选择使用浅层或者深层的卷积神经网络实现图像超分辨率重建。浅层网络结构简单,但容易丢失图像的高频信息,而深层网络可以学习图像的高频纹理特征。本文提出了双通道卷积神经网络。浅层网络负责重建图像的整体轮廓,保留图像的原始信息;深层网络学习图像的高频纹理特征。在深层网络中,使用密集连接的卷积网络,能更有效地恢复图像的高频信息。同时,在两个网络的末端,通过添加额外的卷积层表示融合层,将网络进行融合,重建超分辨率图片。实验结果表明,在大多数情况下,本文模型的重构效果在主观和客观评估中均优于当前代表性的超分辨率重构方法。     

基于字典学习的超分辨率显微CT图像重建

为提高显微CT重建图像的空间分辨率,提出了一种基于字典学习的超分辨率图像重建算法.首先,将重建图像进行网格细化,并使用面积权值模型实现对投影过程的精确建模.然后,选择高质量的图像作为训练样本,采用K-SVD算法构建图像字典.基于该图像字典,利用正交匹配追踪算法实现对重建图像的稀疏表达,并以此作为稀疏项约束引入到重建算法的目标函数中.最后,使用梯度下降法求解目标函数.实验结果表明:与传统的基于插值的超分辨率重建算法相比,所提算法的超分辨率结果在图像对比度、边缘保持方面具有优势,并且保留了更多的图像高频信息,从而有效提高了重建图像的空间分辨率.     

一种MRF-MAP框架下的图像超分辨率重建方法

基于多帧观察样本的超分辨率图像重建是超分辨率图像重建研究中的重要方向.在马尔科夫随机场最大后验概率(MRF-MAP)框架下研究了多帧图像的超分辨率重建问题.根据给定的空间图像退化模型建立了超分辨率重建的二阶能量函数,并利用α-expansion图切算法对能量函数进行求解.考虑到α-expansion算法的规范性要求,将能量函数进行近似.针对二阶能量函数的图切算法,讨论了s-t图的构造,给出一种节点的分配方法以及t-link和n-link的赋值方式,以提高图切算法的计算效果.通过对两种类型的图像进行超分辨率重建的对比实验,表明该方法具有较好的去噪及重建效果.     

用于CMOS图像器件的超分辨率算法研究

提出一种基于CMOS图像器件的超分辨率图像合成算法,该方法将4幅沿水平、垂直及对角线方向错位获取的CMOS图像重新组合,得到一幅重建的新图像.对重建图像的像素灰度进行了理论分析和计算,求出了重建超分辨率图像的算法.结果表明,在不提高CMOS工艺水平的条件下,该算法能将重建的CMOS图像的分辨率提高到原图像的2×2倍.实现了CMOS图像器件的超分辨率图像合成算法.对该算法进行了计算机仿真,结果同理论分析计算的结果完全一致,证明了所提出的CMOS图像器件超分辨率算法是正确的.     

基于改进SRResNet深度学习网络的低照度图像超分辨率重建方法

为解决低照度条件下低分辨率图像的超分辨率重建问题,提出一种基于改进超分辨率残差网络(super-resolution residual networks, SRResNet)深度学习网络的低照度图像超分辨率重建方法。通过将读取的图像下采样、亮度降低等处理生成低照度低分辨率图像,并将该图像与高分辨率图像作为数据对输入学习模型,以便改进SRResNet的训练数据对的生成方式,优化训练过程,从而构建面向单帧低照度彩色图像的基于改进SRResNet训练的超分辨率重建方法。实验结果表明：与现有流行的图像超分辨率重建方法相比,该方法的峰值信噪比(peak signal to noise ratio, PSNR)、结构相似性(structural similarity, SSIM)指标整体为最优,低照度环境下的超分辨率重建图像更为清晰明亮、细节更丰富,该方法训练出的深度学习网络的重建效果更好。     

超分辨率重建算法综述

超分辨率重建是指由同一场景的低分辨率退化图像,运用相应的算法重建一幅清晰的高分辨率图像。然而,传统的基于插值、基于重建和基于学习的方法已很难获得进一步的突破。近年新兴的过完备稀疏表示是一种新的图像表示模型,它为解决超分辨率重建中的难点问题提供了新的思路。本文通过分析超分辨率技术的以往研究和最新进展,着重讨论了各算法在重构时的优缺点,并对未来超分辨率重建技术进行了展望。     

单帧学习与多帧重建结合的超分辨率盲重建方法

针对模糊退化PSF未知的图像超分辨率重建问题,提出了一种以学习重建结果为参考的模糊图像PSF辨识与重建方法.对学习重建算法获得的退化图像的恢复结果,采用不同尺度的方向滤波提取恢复效果良好的强边缘区域构建参考信息块,引导最大后验概率框架下的超分辨率重建算法按照正确的PSF重建高分辨率图像.以散焦模糊图像为例进行超分辨率实验.实验结果表明,该算法能够准确辨识PSF,提升了图像重建的质量.     

基于分形残差网络的单幅图像超分辨率重建

近年来,各种基于卷积神经网络的单幅图像超分辨率方法取得了优异的性能提升.现有的超分辨率网络大多数都是使用单种尺度的卷积核来提取低分辨率图像的特征信息,这样很容易造成细节信息的遗漏,也无法很好地利用低分辨率图像的多尺度特征来提高图像的表达能力.为了解决超分辨率重建中存在的问题,提出了一种新的超分辨重建方法称为分型残差网络...     

基于外存和凸集投影法的遥感图像超分辨率方法

利用超分辨率重建技术来提高遥感图像的空间分辨率,成本低并且可充分利用现有的数据。但必须要解决好三个问题:1)如何实现高精度的自动配准;2)如何仅用2～3张图像进行快速准确重建;3)如何快速鲁棒的处理大尺寸图像。针对上述问题,该文在以下两个方面对传统的图像超分辨率方法凸集投影法(POCS)作了改进:首先,采用SIFT特征进行图像配准,并利用层次结构kd-tree加速特征匹配;其次,提出了一种基于外存的策略,实现了大尺寸遥感图像的超分辨率重建。通过实验可以看出,使用该文方法,仅用2帧原始图像就可高效的重建出一幅具有更多细节特征的图像,图像质量比原始图像有了明显提高。     

基于生成对抗网络与噪声分布的图像超分辨率重建方法

现有的图像超分辨率重建方法都较少考虑真实低分辨率图像中包含的噪声信息,因此会影响图像的重建质量.受真实图像去噪算法的启发,本文引入一个噪声分布收集网络来收集低分辨率图像的噪声分布信息,并采用生成对抗网络的模型设计,提高含噪声图像的重建质量.噪声分布信息会分别输入到超分辨率重建网络和判别网络,在重建过程中去除噪声的同时保证有用高频信息的恢复,另外由于判别网络的能力对整个模型的性能有着重要影响,选择使用 U-Net 网络来获得更好的梯度信息反馈.与经典图像超分辨率重建算法的对比以及消融实验表明,使用噪声收集网络和 U-Net 判别网络后,本文模型在噪声低分辨率图像重建任务中获得了更好的性能.     

基于多幅图像的超分辨率重建方法分析

图像超分辨率重建是指从一幅或多幅低分辨率、低质量图像中产生高分辨率、高质量图像的数字信号处理技术.本文分析了基于多幅的图像超分辨率重建方法,并讨论了目前基于多幅的图像超分辨率重建有待解决的问题.     

基于二分K均值聚类和最近特征线的视频超分辨率重建方法

提出一种基于二分K均值聚类和最近特征线的视频超分辨率重建方法.该方法在生成图像块训练样本库阶段,为了解决传统K均值算法对图像块聚类时间复杂度较大的问题,设计一种基于二分K均值图像块聚类算法,用以实现快速构建初始训练样本库;在视频帧超分重建阶段,通过改进的最近特征线方法扩充样本库,并舍弃其中的不合适样本,提升样本库的表达能力.该视频超分辨率重建方法应用于基于关键帧的视频超分辨率重建,首先对时序上近邻的两个关键帧下采样并分块,然后使用图像块聚类算法构建初始训练样本库;对于这两个关键帧之间的低分辨率帧,使用改进的最近特征线方法扩充的训练样本库重建出对应的高分辨率帧.实验结果表明,提高了视频超分辨率重建的时间效率,同时也提升了每一帧重建图像的主客观质量,证明了算法的有效性.