基于深度网络分级特征图的图像超分辨率重建

从低分辨率图像中提取特征图恢复高分辨率图像中的高频信息是超分辨率重建的一个关键问题,针对该问题提出一个新的基于卷积神经网络的超分辨率重建算法.网络结构由卷积层与子像素卷积组成,特征提取网络中卷积层提取低分辨率图像的特征,重建网络中子像素卷积神经网络作为上采样算子.针对不能充分利用多级特征图的问题,采用跳跃连接和特征图联结在特征提取网络末端跨通道融合特征图,同时降低特征图的维度.并在此基础上再次提取特征图应用于重建.实验结果表明,算法在PSNR、SSIM和人类视觉效果上与其他基于深度学习的算法相比有着显著的提高.     

基于深度学习的图像超分辨率重建方法综述

图像超分辨率重建(super-resolution, SR)是指从观测到的低分辨率图像重建出相应的高分辨率图像,在目标检测、医学成像和卫星遥感等领域都有着重要的应用价值.近年来,随着深度学习的迅速发展,基于深度学习的图像超分辨率重建方法取得了显著的进步.为了把握目前基于深度学习的图像超分辨率重建方法的发展情况和研究热点,对一些最新的基于深度学习的图像超分辨率重建方法进行了梳理,将它们分为两大类(有监督的和无监督的)分别进行阐述.然后,在公开的数据集上,将主流方法的性能进行了对比分析.最后,对基于深度学习的图像超分辨率重建方法进行了总结,并对其未来的研究趋势进行了展望.     

基于Dirac残差模块的单幅图像超分辨率重建

针对单幅图像超分辨率重建问题(SISR),提出了一种新的基于Dirac残差的超分辨率重建算法.算法使用全局跳跃重建层来直接利用输入LR图像的低频特征,通过多个dirac残差块来自适应学习输入LR图像的高频特征,通过亚像素卷积进行图像重建.算法通过权重参数化来改进残差层,同时使用输入图像的卷积特征与残差网络学习特征结合进行重建.实验采用Adam优化器进行网络训练.使用L1范数作为损失函数.在PSNR、SSIM和视觉效果与其他先进算法进行对比,实验结果表明,在常用测试集上与其他深度学习算法相比有较大提高.     

基于深层卷积网络的单幅图像超分辨率重建模型

【目的】针对Mean squared error(MSE)作为损失函数在人眼感知方面存在局限性,以及基于卷积神经网络的图像超分辨率(Super-resolution,SR)算法生成的图像存在参数较多、计算量较大、训练时间较长、纹理模糊等问题,设计基于深层卷积神经网络的单幅图像超分辨率重建模型。【方法】使用ImageNet预先训练的大型卷积神经网络Visual geometry group(VGG)模型提取图像特征,利用该特征设计视觉感知损失函数进行训练学习,引入亚像素卷积层(Sub-pixel convolution)替换上采样层,缓解生成图像的棋盘效应。【结果】设计的模型对放大两倍的图像进行超分辨率修复,与其他4种超分辨率重建模型的Peak signal to noise ratio(PSNR)值接近,且生成图像的视觉效果更加清晰逼真,细节更加细腻。【结论】该模型可以实现输入不同大小的低分辨率图像而不必多次训练学习不同比例的放大模型,可以实现对不同放大倍数图像的训练和预测,在保持一定PSNR正确率的前提下,放大后的超分辨率图像能够恢复更多纹理细节和更佳视觉效果。     

基于分形残差网络的单幅图像超分辨率重建

近年来,各种基于卷积神经网络的单幅图像超分辨率方法取得了优异的性能提升.现有的超分辨率网络大多数都是使用单种尺度的卷积核来提取低分辨率图像的特征信息,这样很容易造成细节信息的遗漏,也无法很好地利用低分辨率图像的多尺度特征来提高图像的表达能力.为了解决超分辨率重建中存在的问题,提出了一种新的超分辨重建方法称为分型残差网络...     

基于双通道CNN的单幅图像超分辨率重建

卷积神经网络在单幅图像超分辨率重建方面取得了很大的进展,目前的很多方法都选择使用浅层或者深层的卷积神经网络实现图像超分辨率重建。浅层网络结构简单,但容易丢失图像的高频信息,而深层网络可以学习图像的高频纹理特征。本文提出了双通道卷积神经网络。浅层网络负责重建图像的整体轮廓,保留图像的原始信息;深层网络学习图像的高频纹理特征。在深层网络中,使用密集连接的卷积网络,能更有效地恢复图像的高频信息。同时,在两个网络的末端,通过添加额外的卷积层表示融合层,将网络进行融合,重建超分辨率图片。实验结果表明,在大多数情况下,本文模型的重构效果在主观和客观评估中均优于当前代表性的超分辨率重构方法。     

基于像素及梯度域双层深度卷积神经网络的页岩图像超分辨率重建

实际采集的页岩图像存在分辨率低等不足,有时难以满足实际应用的需求。针对此问题,构建了一种基于双层深度卷积神经网络的页岩图像超分辨率重建算法。算法以深度卷积神经网络为基础,引入残差训练及批规范化层来加速网络的收敛,并且在此神经网络的基础上提出图像像素域及梯度域结合的页岩图像超分辨率重建算法。算法大致过程为首先利用像素域的卷积神经网络对输入的低分辨率页岩图像进行上采样;然后对上采样图像提取梯度信息并利用梯度域的卷积神经网络对其进行转换;最后利用转换后的梯度信息作为正则项来约束高分辨率图像的重建,从而得到重建的高分辨率页岩图像。实验表明,与主流的超分辨率重建算法相比,重建得到的页岩图像具有更好的主观视觉效果与更高的客观评价参数,更利于后续的处理及分析。     

基于改进SRResNet深度学习网络的低照度图像超分辨率重建方法

为解决低照度条件下低分辨率图像的超分辨率重建问题,提出一种基于改进超分辨率残差网络(super-resolution residual networks, SRResNet)深度学习网络的低照度图像超分辨率重建方法。通过将读取的图像下采样、亮度降低等处理生成低照度低分辨率图像,并将该图像与高分辨率图像作为数据对输入学习模型,以便改进SRResNet的训练数据对的生成方式,优化训练过程,从而构建面向单帧低照度彩色图像的基于改进SRResNet训练的超分辨率重建方法。实验结果表明：与现有流行的图像超分辨率重建方法相比,该方法的峰值信噪比(peak signal to noise ratio, PSNR)、结构相似性(structural similarity, SSIM)指标整体为最优,低照度环境下的超分辨率重建图像更为清晰明亮、细节更丰富,该方法训练出的深度学习网络的重建效果更好。     

基于VDRCNN的电力巡检图像超分辨率重建算法

针对无人机巡检图像模糊、分辨率低等问题,利用深度残差卷积神经网络(VDRCNN:Very Deep Residual Convolutional Neural Network)理论,提出了一种无人机巡检图像的超分辨率重构方法。该算法模型由超分辨率加深网络(VDSR:Very Deep Network for Super-Resolution)和残差结构组成,同时结合批量组归一化和Adam优化器以获得更好的重建效果。在此基础上,构建电力部件检测数据集,通过恰当设置网络参数,实现针对模糊电力部件图像的高分辨率重构。实验结果表明,基于VDRCNN的超分辨率方法重建出的图像纹理更丰富、视觉效果更逼真,在峰值信噪比和结构相似度上分别有2.95 dB和3.79%的提升,明显优于传统检测方法。所提出的基于VDRCNN的电力巡检图像超分辨率重构方法对解决电力巡检实际问题具有一定的应用价值。     

用于图像超分辨率重建的双通道残差网络

针对现有基于深度学习的自然图像超分辨率算法在图像高频细节重建方面的不足,提出了一种更注重图像高频细节重建的双通道残差网络。使用带有通道注意力机制的残差结构作为网络的主通道;为了在重建过程中更好地保留原始图像的几何结构和边缘信息,使用自适应结构化卷积设计了网络的辅助通道,以此构建的双通道残差网络在学习过程中会有更强的高频信息捕获能力;为了使重建图像效果更加符合人眼的主观视觉感受,结合使用L₁损失函数和多尺度结构相似度损失函数来训练网络,使网络在训练过程中能够较好地保留图像的视觉效果。实验结果表明:在主通道外并构基于结构化卷积的辅助通道可以使重建图像的峰值信噪比提高2 dB;结合使用L₁损失函数和多尺度结构相似度损失函数可以使重建图像的峰值信噪比提高3 dB、结构相似性提高0.5;与同类网络客观定量相比,所提网络在两个公开数据集上取得的效果更优。     

双通道多感知卷积神经网络图像超分辨率重建

基于深度卷积神经网络的单幅图像超分辨率重建取得了显著研究成果.但随着深度卷积神经网络规模的不断扩大,如何降低网络构建难度和计算成本成为一个难点.为此,提出了一种双通道多感知卷积神经网络(DMCN)模型.该模型在两条具有不同卷积核的通道上建立了稠密连接,并构建了带有动态调节能力的层间融合结构.这种结构的设计使得小规模卷积神经网络便能获得图片特征信息的全面感知能力.实验结果表明,DMCN重建效果优于目前多数具有代表性的重建算法.     

一种基于深度学习的图像超分辨率重构方法

近年来,基于卷积神经网络(CNN)的单幅图像超分辨率重构得到了广泛应用﹒然而,随着网络不断加深,也同时出现了参数过多、计算代价过大和难以训练等问题﹒为解决上述问题,提出一种新的深度残差密集网络(DRDN)框架并应用于单幅图像超分辨率重建﹒首先,网络通过密集连接充分利用了低分辨率图像从浅层到深层的各层特征,为超分辨率重构提供更多的低分辨率图像信息;其次,为了充分融合全局特征信息,通过残差学习的方式进行融合重构,同时为了缓解深层网络带来的训练困难等问题,网络采用多路跳步连接,使误差更加快速地传到各层网络;最后,将该方法与深度递归残差网络(DRRN)方法在公共数据集上进行了实验比较,结果表明DRDN在网络稳定性、时间效率、收敛速度和重建效果等方面都优于DRRN﹒     

多尺度卷积神经网络的图像超分辨率重建算法

为利用多尺度信息重建超分辨率图像,提出多尺度卷积神经网络的图像超分辨率重建算法。算法利用不同尺度的卷积核提取图像特征,为图像重建提供不同大小的邻域信息;用瓶颈层融合多尺度特征图,增强网络非线性表示能力,降低中间层输出的维数,提高图像的超分辨率重建性能。多个测试集上的实验结果表明,多尺度卷积神经网络算法优于现有的单幅图像超分辨率方法。     

基于GAN的图像超分辨率重建算法研究

SRGAN是一种基于生成对抗网络的超分辨重建方法,其生成的高分辨率图像质量较传统方法有着明显提升,然而SRGAN存在着训练过程不稳定,图像浅层特征未充分使用等问题,很大程度上影响到了生成图像的质量。本文提出了一种特征增强改进的SRGAN模型,该模型使用信息蒸馏块进行特征纹理信息的增强,并消除图像特征中的冗余信息。此外,使用相对平均鉴别器替代原始SRGAN中的二分类鉴别器,保证了GAN网络训练的稳定性。本文基于4倍放大因子的超分辨重建任务,在BSD100数据集上进行实验结果的质化评价和量化评价。实验表明,本文方法较之SRGAN在训练过程中具有更好的稳定性,生成的图像具有更清晰的细节纹理,取得了更佳的图像超分辨率重建效果。     

改进生成对抗网络的图像超分辨率重建算法

超分辨率生成对抗网络(SRGAN)的高分辨率图像质量较传统方法有明显提升,然而其存在训练过程不稳定、图像浅层特征未充分使用等问题,很大程度上影响生成图像的质量.为此,提出一种特征增强改进的SRGAN模型,使用信息蒸馏块.通过对长短途特征在图像通道上的拼接增强特征纹理信息,利用压缩单元消除图像特征中的冗余信息.此外,使用相对平均鉴别器替代原始SRGAN中的二分类鉴别器,保证生成对抗网络训练的稳定性.本研究基于4倍放大因子进行超分辨重建任务,并在BSD100和SET14数据集上进行实验结果的质化和量化评价.实验表明,该方法较之SRGAN在训练过程中具有更好的稳定性,生成的图像具有更清晰的细节纹理,取得了更佳的图像超分辨率重建效果.     

基于生成对抗网络的图像超分辨率重建

借助深度学习方法,通过组合低层特征形成更加抽象的高层特征表示属性类别或特征,发现数据的分布式特征表示。采用生成对抗网络作为神经网络框架,实现了图像超分辨率的重建。     

基于细分模型的深度图像超分辨率重建方法

深度相机在最近几年越来越流行,然而受限于设备,通过深度相机获取的深度图像分辨率不高。文章提出了一种新的方法来提高这类图像的分辨率。首先通过细分模型构建目标分辨率图像的边界图,并通过"节点压缩算法"生成光滑的边界图;其次在该边界图的基础上,利用改进的联合双边滤波来重建高分辨率深度图像。该文提出的方法不仅降低了边界的锯齿现象,且具有良好的保形性。实验结果表明,该方法优于经典的方法。     

利用对抗性边缘学习模型生成超分辨率图像

大部分基于卷积神经网络的图像超分辨率方法都是采用端到端的模式,这类图像超分辨率方法往往存在重构图像纹理边缘模糊、高频信息缺失的问题.为了改善该问题,在SRGAN(super-resolution generation adversarial networks)的基础上提出了一种基于对抗性图像边缘学习的深层网络模型,将图...     

基于SinGAN的岩石薄片图像超分辨率重建

岩石薄片图像对研究石油地质特性以及油气勘探都有重要的意义.由于各种因素的限制,获取到的岩石薄片图像经常会出现分辨率较低的情况,一定程度上限制了研究者对其细节信息的掌握.而一般的神经网络超分辨率算法都需要大量的数据作为训练集,为了提升岩石薄片图像超分辨率重建算法纹理细节信息还原能力,本文利用单图像生成式对抗网络,不需输入...