基于改进SRResNet深度学习网络的低照度图像超分辨率重建方法

为解决低照度条件下低分辨率图像的超分辨率重建问题,提出一种基于改进SRResNet（super-resolution residual networks,超分辨率残差网络）深度学习网络的低照度图像超分辨率重建方法。通过将读取的图像下采样、亮度降低等处理生成低照度低分辨率图像,并将该图像与高分辨率图像作为数据对输入学习模型,以便改进SRResNet的训练数据对的生成方式,优化训练过程,从而构建面向单帧低照度彩色图像的基于改进SRResNet训练的超分辨率重建方法。实验结果表明：与现有流行的图像超分辨率重建方法相比,该方法的峰值信噪比（peak signal to noise ratio,PSNR)、结构相似性（structural similarity,SSIM）指标整体为最优,低照度环境下的超分辨率重建图像更为清晰明亮、细节更丰富,该方法训练出的深度学习网络的重建效果更好。     

深度学习单帧图像超分辨率重建研究综述

单帧图像超分辨率重建(single image super-resolution reconstruction,SISR)是一类典型的不适定问题,具有广泛的实际应用价值.近年来,基于深度学习的SISR方法的研究已经取得长足的进展,其性能大大超越了传统的方法.本文将SISR研究归纳为两大挑战性问题:SISR的建模和面向真实场景的领域自适应问题.基于此,将当前基于深度学习的SISR方法划分为有监督的SISR和不成对的SISR.进一步简单介绍SISR的应用情况.最后,总结并探讨未来SISR研究的发展方向.     

基于非局部稀疏表示的立体图像的超分辨率重建

针对在立体图像的超分辨率重建过程中,需要分别对低分辨率的彩图和同场景的深度图进行超分辨率重建的问题,提出了一种基于联合稀疏表示的立体图像的超分辨率重建方法.该方法在非局部中心稀疏表示重建方法的基础上,利用彩色图像与同场景深度图像的耦合相关性,通过构造联合特征图像块来学习彩色和深度图像的联合字典;然后构造彩色和深度图像块的联合编码增量作为正则项,利用迭代优化算法求解模型,进而同时重建高分辨率的彩色和深度图像.为验证算法的有效性,在Middlebury数据集上对重建结果进行了主、客观评估,并与不同算法进行了比较.实验结果表明,在客观指标和主观视觉效果上,本文提出的算法可以同时获得令人满意的彩图和高质量的深度图.     

面向各向异性3D-MRI图像超分辨率 重建的ESRGAN网络

高分辨率磁共振图像(MRI, magnetic resonance images)能够提高疾病诊断精度,但高分辨率MRI图像的获取十分困难。基于深度学习的图像超分辨率(SR, super resolution)技术可有效地提高图像分辨率。近年来,生成对抗网络(GANs, generative adversarial networks)为3D-MRI图像SR重建提供了新思路。相较于传统的基于深度卷积神经网络(DCNN, deep convolutional neural network)的SR算法,GANs网络以人类视觉机制为目标,且引入判别函数,使重建3D-MRI图像更接近真实图像。研究采用增强超分辨率生成对抗网络(ESRGAN, enhanced super-resolution generative adversarial networks)对3D-MRI图像进行SR重建;并利用3D-MRI图像的跨层面自相似性,将重建任务降维到2D,在保证重建效果的基础上,减少了网络训练时间和内存需求。通过与其他传统算法和基于DCNN算法对比实验表明,提出的算法能够进一步提高3D-MRI图像的视觉...     

一种MRF-MAP框架下的图像超分辨率重建方法

基于多帧观察样本的超分辨率图像重建是超分辨率图像重建研究中的重要方向.在马尔科夫随机场最大后验概率(MRF-MAP)框架下研究了多帧图像的超分辨率重建问题.根据给定的空间图像退化模型建立了超分辨率重建的二阶能量函数,并利用α-expansion图切算法对能量函数进行求解.考虑到α-expansion算法的规范性要求,将能量函数进行近似.针对二阶能量函数的图切算法,讨论了s-t图的构造,给出一种节点的分配方法以及t-link和n-link的赋值方式,以提高图切算法的计算效果.通过对两种类型的图像进行超分辨率重建的对比实验,表明该方法具有较好的去噪及重建效果.     

基于特征补偿的深度神经网络重建超分辨率图像

为有效恢复图像的高频信息,本文提出一种基于特征补偿的深度神经网络重建超分辨率图像方法.该方法结合密集型深度卷积神经网络和残差网络,并将原图像的高频信息单独提取上采样后与重建后的超分辨率图像融合形成高频特征补偿,使得图像质量提升.通过实验对比,本文算法相比于SRCNN算法重建出的超分辨率图像效果提升约1 db.     

基于卷积神经网络的图像超分辨率方法研究

结合认知构架ACT-R模型(Adaptive Control of Thought-Rational),基于邻域嵌入算法和深度学习的图像超分辨率重建方法,构建一个应用于超分辨率重建研究的ACT-R研究模型.在匹配阶段,根据低分辨率(Low Resolution,LR)测试图像的结构和内容特征,运用图像的多尺度相似性和非局部相似性,对图像进行特征提取;在选择阶段,把邻域嵌入算法分为两层,进行邻域图像块的寻找,同时构建一个端到端的深层门限卷积神经网络,把从匹配阶段得到的高分辨率无细节小图像块输入到卷积神经网络中并得到输出图像,将输出图像与高分辨率无细节小图像块相加得到该低分辨率小图像块对应的高分辨率小图像块,最后把高分辨率图像块组合成高分辨率(High Resolution,HR)图像.决策阶段,我们进行实验并与其他方法对比.结果表明,该模型对单帧图像具有良好的重建能力,在视觉效果上和客观评价标准上都取得了不错的效果,能够较好的重建低分辨率图像.     

基于流形学习和梯度约束的图像超分辨率重建

将改进的基于流形学习的超分辨率重建与基于梯度约束的正则化重建结合起来,提出一种新的单帧图像超分辨率重建算法.该算法首先针对基于流形学习的超分辨率重建,提出新的特征提取方法,联合归一化亮度与平稳小波变换细节子带系数两个特征矢量,提高重建性能;然后将学习得到的高分辨率图像作为初始估计,将其梯度作为目标梯度域,进行基于梯度约束的正则化重建,得到最终的高分辨率图像.与现有的一些算法相比,文中算法无论在视觉效果还是客观评价上都具有较好的重建性能.     

深度学习下的高效单幅图像超分辨率重建方法

提出一种基于深度学习的高效单幅图像超分辨率重建方法,增加一个亚像素卷积层和一个替换的级联卷积,即设计一个具有合适深度的卷积神经网络,以保证图像的重建质量,并采用级联小卷积核提高运行速度.在标准的公共数据集上进行实验测试,结果表明:与亚像素卷积神经网络(ESPCN)算法相比,所提算法重建的高分辨率图像的质量和速度皆显著提高;将其应用于实际项目中,可端到端地重建低分辨率服装风格图像,获得高分辨率图像.     

超分辨率重建算法综述

超分辨率重建是指由同一场景的低分辨率退化图像,运用相应的算法重建一幅清晰的高分辨率图像。然而,传统的基于插值、基于重建和基于学习的方法已很难获得进一步的突破。近年新兴的过完备稀疏表示是一种新的图像表示模型,它为解决超分辨率重建中的难点问题提供了新的思路。本文通过分析超分辨率技术的以往研究和最新进展,着重讨论了各算法在重构时的优缺点,并对未来超分辨率重建技术进行了展望。     

基于深度残差卷积神经网络的高光谱图像超分辨方法

卷积神经网络由于其强大的非线性表达能力在自然图像的处理问题中已经获得了非常大的成功。传统的稀疏表示方法利用精确配准的高分辨率多光谱图像,从而限制了实际应用。针对传统方法的不足,本文提出了一种基于深度残差卷积神经网络的单高光谱图像超分辨率方法,无需对应的多光谱图像。我们构建深度残差卷积神经网络挖掘低分辨率遥感图像和高分辨率遥感图像之间的非线性关系。构建的深度学习网络串联多个残差块,并去除一些不必要的模块,如批标准化层,每个残差块只包含两个卷积层,这样在保证模型效果的同时又加快模型的效率。此外,因为遥感图像训练数据缺乏,我们充分挖掘自然图像和高光谱图像之间的相似性,利用自然图像样本训练卷积神经网络,进一步利用迁移学习将训练好的网络模型引入到高分辨率遥感图像超分辨问题上,解决了训练样本缺乏问题。最后,基于实际的遥感数据超分辨实验结果表明,本文所提出的方法具有良好的性能,能得到较好的超分辨效果。     

多尺度残差注意网络的真实图像复原方法

为了提高基于深度学习网络方法在真实图像上的复原效果,提出了一种基于多尺度残差注意网络的复原方法。将退化图像输入到该模型中,利用浅层特征网络提取原始低质量图像的浅层特征;利用残差注意网络模块提取深层特征信息和通道相关性,使用局部连接和短跳跃连接进行残差学习;将浅层特征、通道相关性以及上下文深层特征信息输入到重构网络,利用具有不同感受野的特征进行图像复原。实验结果表明,相较于其他对比方法,该方法在图像去噪、图像增强和超分辨率等多个任务中获得最优的结果,能够在不引入伪影的情况下生成纹理细节丰富的清晰图像。     

A brief survey on deep learning based image super-resolution

Image super-resolution(SR) is an important technique for improving the resolution and quality of images.With the great progress of deep learning,image super-resolution achieves remarkable improvements recently.In this work,a brief survey on recent advances of deep learning based single image super-resolution methods is systematically described.The existing studies of SR techniques are roughly grouped into ten major categories.Besides,some other important issues are also introduced,such as publicly available benchmark datasets and performance evaluation metrics.Finally,this survey is concluded by highlighting four future trends.     

基于深度学习的三维模型重构研究

由单个图像建立其三维模型是计算机视觉领域的一个热门且具有挑战性的问题.现有的传统单视图三维重构算法在处理低分辨率图像时效果不好,在训练中由于三维图形的高维性,使网络也变得高度不稳定,导致模型重构效果差.针对传统三维重构算法存在的缺点,提出一种基于深度学习网络的改进模型,在模型中加入超分辨率、投影、对抗生成网络(generative adversarial network,GAN)等模块,采用模块化设计强制生成的三维形状与深度图像对齐,使得映射更加规则.在损失函数上运用Wasserstein GAN思想,引入惩罚项,使网络训练难度降低,减小网络模型对训练数据集的依赖,克服了传统算法存在的问题.实验证明,提出的模型较传统方法重构的三维模型更加逼真,符合客观事实.     

利用对抗性边缘学习模型生成超分辨率图像

大部分基于卷积神经网络的图像超分辨率方法都是采用端到端的模式,这类图像超分辨率方法往往存在重构图像纹理边缘模糊、高频信息缺失的问题.为了改善该问题,在SRGAN(super-resolution generation adversarial networks)的基础上提出了一种基于对抗性图像边缘学习的深层网络模型,将图像边缘信息得到充分利用,来引导超分网络生成更加真实的高分辨率图像.该网络模型由两个生成对抗网络所组成,首先利用一个生成对抗网络来生成低分辨率图像所对应的高分辨率边缘特征图,然后再用高分辨率边缘特征图来约束和引导第二个生成对抗网络,使之重构出来的高分辨率图像纹理边缘更加清晰,更好地恢复图像边缘的高频细节.在Set5、Set14、BSD100、Urban100和Manga109基准测试集上的实验结果表明该算法重构出的高分辨率图像更加接近真实的图像,在峰值信噪比、结构相似度和感知指标上都有不错的表现.     

基于深度网络分级特征图的图像超分辨率重建

从低分辨率图像中提取特征图恢复高分辨率图像中的高频信息是超分辨率重建的一个关键问题,针对该问题提出一个新的基于卷积神经网络的超分辨率重建算法.网络结构由卷积层与子像素卷积组成,特征提取网络中卷积层提取低分辨率图像的特征,重建网络中子像素卷积神经网络作为上采样算子.针对不能充分利用多级特征图的问题,采用跳跃连接和特征图联结在特征提取网络末端跨通道融合特征图,同时降低特征图的维度.并在此基础上再次提取特征图应用于重建.实验结果表明,算法在PSNR、SSIM和人类视觉效果上与其他基于深度学习的算法相比有着显著的提高.     

深度学习技术在影像密集匹配方面的进展与应用

在计算机视觉及摄影测量领域中,影像的密集匹配一直是研究的重点与难点之一。它在影像三维重建、数字表面模型生产中都具有不可或缺的作用。近几年来,随着深度学习的快速发展,基于深度学习的影像密集匹配算法也是层出不穷。本文通过对目前具有代表性的技术方法进行回顾,按照基于图像块的相似性度量学习和端对端生成视差图两类研究思路,叙述了深度学习在影像密集匹配中的研究进展与趋势,总结了现有方法的优点与不足,以期为影像匹配的研究提供具有参考价值的文献综述。