基于改进的邻域嵌入算法的图像超分辨率研究

本文提出了一种基于改进的邻域嵌入算法的图像超分辨率重建方法,基本思路是同时利用低分辨率图像自身和外部训练集的信息指导高分辨率图像的重建.邻域嵌入算法往往要求训练图像库包含广泛的细节信息,重建质量取决于测试图像和训练图像的相似程度,当在图像库中找不到相似的训练图像块时,重建结果局部就会出现失真或模糊,而且在此过程中低分辨率测试图像本身所含的先验信息常被忽视.针对此类问题,本文引入图像的多尺度相似性,即不同尺度的图像所包含的局部结构相似,同时在寻找近邻图像块时采用双层寻找的方式,并将固定的邻域数目K改为设定固定阈值.实验结果表明,本算法不仅能够减小测试图像对训练图像集的依赖,而且能够克服重建过程中欠拟合和过拟合造成的失真,具有较快的运行速度.     

连分式插值结合卷积神经网络的超分辨率重建

基于卷积神经网络的图像超分辨率重建算法是数字图像处理领域近年来的研究热点。针对低分辨率图像在预处理时使用双三次插值导致图像丢失一些重要的高频纹理细节以及网络模型优化问题,文章提出了连分式插值结合卷积神经网络的超分辨率重建方法。在原有的轻量级基于卷积神经网络的超分辨率重建算法(super-resolution convolutional neural net work, SRCNN)网络模型基础上,首先采用Newton-Thiele型连分式插值函数将低分辨率图像插值到目标尺寸;然后利用3个卷积层进行图像特征提取、非线性映射、重建与优化;该文在网络收敛时利用Radam优化算法自适应地调整梯度,并且采用余弦衰减法逐渐降低学习率。实验结果表明,该网络模型能够在轻量级的卷积神经网络下获得更丰富的纹理细节和更清晰的图像边缘。     

基于深度卷积残差学习的图像超分辨

传统的超分辨率卷积神经网络难以获得丰富的细节和边缘信息。提出了一种多映射残差卷积神经网络(MMRCNN)来解决这些问题。具体来说,MMRCNN直接使用低分辨率图像作为网络的初始输入,然后使用卷积层提取特征。其次,通过残差学习构建多映射网络,添加批量归一化层优化网络,使聚合高分辨率图像时所需要的特征信息能够变得极为丰富。最后,使用反卷积层来完成图像上采样,输出高分辨率图像,因此不需要预处理,就能够直接完成低分辨率图像与高分辨率图像之间端到端的映射关系。在不同模型的基准数据集上的实验表明,MMRCNN在峰值信噪比、结构相似性和视觉效果方面均有所提升。     

基于半耦合字典的快速图像超分辨率重建算法

为了提高图像超分辨率重建的效率与质量,考虑到高、低分辨率稀疏表示系数的不同,改进了锚定邻域回归算法,并结合半耦合字典学习算法提出了一种快速图像超分辨率重建算法.首先采用半耦合字典学习算法得到高分辨率字典、低分辨率字典及映射矩阵;再采用岭回归算法求解低分辨率稀疏表示系数,并根据高分辨率稀疏表示系数与低分辨率稀疏表示系数之间的映射关系,得到高分辨率稀疏表示系数;然后,根据输入图像块特征寻找字典中与其最相关的字典原子,计算该字典原子所对应的投影矩阵,进行超分辨率重建.仿真结果表明:提出的算法不仅在重建速度上表现更快,重建图像的质量也得到提高,在客观指标和主观效果上均取得更好的效果.     

基于分形残差网络的单幅图像超分辨率重建

近年来,各种基于卷积神经网络的单幅图像超分辨率方法取得了优异的性能提升.现有的超分辨率网络大多数都是使用单种尺度的卷积核来提取低分辨率图像的特征信息,这样很容易造成细节信息的遗漏,也无法很好地利用低分辨率图像的多尺度特征来提高图像的表达能力.为了解决超分辨率重建中存在的问题,提出了一种新的超分辨重建方法称为分型残差网络...     

深度学习下的高效单幅图像超分辨率重建方法

提出一种基于深度学习的高效单幅图像超分辨率重建方法,增加一个亚像素卷积层和一个替换的级联卷积,即设计一个具有合适深度的卷积神经网络,以保证图像的重建质量,并采用级联小卷积核提高运行速度.在标准的公共数据集上进行实验测试,结果表明:与亚像素卷积神经网络(ESPCN)算法相比,所提算法重建的高分辨率图像的质量和速度皆显著提高;将其应用于实际项目中,可端到端地重建低分辨率服装风格图像,获得高分辨率图像.     

基于像素及梯度域双层深度卷积神经网络的页岩图像超分辨率重建

实际采集的页岩图像存在分辨率低等不足,有时难以满足实际应用的需求。针对此问题,构建了一种基于双层深度卷积神经网络的页岩图像超分辨率重建算法。算法以深度卷积神经网络为基础,引入残差训练及批规范化层来加速网络的收敛,并且在此神经网络的基础上提出图像像素域及梯度域结合的页岩图像超分辨率重建算法。算法大致过程为首先利用像素域的卷积神经网络对输入的低分辨率页岩图像进行上采样;然后对上采样图像提取梯度信息并利用梯度域的卷积神经网络对其进行转换;最后利用转换后的梯度信息作为正则项来约束高分辨率图像的重建,从而得到重建的高分辨率页岩图像。实验表明,与主流的超分辨率重建算法相比,重建得到的页岩图像具有更好的主观视觉效果与更高的客观评价参数,更利于后续的处理及分析。     

基于深度残差卷积神经网络的高光谱图像超分辨方法

卷积神经网络由于其强大的非线性表达能力在自然图像的处理问题中已经获得了非常大的成功。传统的稀疏表示方法利用精确配准的高分辨率多光谱图像,从而限制了实际应用。针对传统方法的不足,本文提出了一种基于深度残差卷积神经网络的单高光谱图像超分辨率方法,无需对应的多光谱图像。我们构建深度残差卷积神经网络挖掘低分辨率遥感图像和高分辨率遥感图像之间的非线性关系。构建的深度学习网络串联多个残差块,并去除一些不必要的模块,如批标准化层,每个残差块只包含两个卷积层,这样在保证模型效果的同时又加快模型的效率。此外,因为遥感图像训练数据缺乏,我们充分挖掘自然图像和高光谱图像之间的相似性,利用自然图像样本训练卷积神经网络,进一步利用迁移学习将训练好的网络模型引入到高分辨率遥感图像超分辨问题上,解决了训练样本缺乏问题。最后,基于实际的遥感数据超分辨实验结果表明,本文所提出的方法具有良好的性能,能得到较好的超分辨效果。     

基于深度网络分级特征图的图像超分辨率重建

从低分辨率图像中提取特征图恢复高分辨率图像中的高频信息是超分辨率重建的一个关键问题,针对该问题提出一个新的基于卷积神经网络的超分辨率重建算法.网络结构由卷积层与子像素卷积组成,特征提取网络中卷积层提取低分辨率图像的特征,重建网络中子像素卷积神经网络作为上采样算子.针对不能充分利用多级特征图的问题,采用跳跃连接和特征图联结在特征提取网络末端跨通道融合特征图,同时降低特征图的维度.并在此基础上再次提取特征图应用于重建.实验结果表明,算法在PSNR、SSIM和人类视觉效果上与其他基于深度学习的算法相比有着显著的提高.     

多尺度卷积神经网络的图像超分辨率重建算法

为利用多尺度信息重建超分辨率图像,提出多尺度卷积神经网络的图像超分辨率重建算法。算法利用不同尺度的卷积核提取图像特征,为图像重建提供不同大小的邻域信息;用瓶颈层融合多尺度特征图,增强网络非线性表示能力,降低中间层输出的维数,提高图像的超分辨率重建性能。多个测试集上的实验结果表明,多尺度卷积神经网络算法优于现有的单幅图像超分辨率方法。     

联合稀疏表示和总变分正则化的超分辨率重建方法

为提高基于稀疏表示的图像超分辨率重建的质量,该文提出了联合稀疏表示与总变分正则化的超分辨率重建算法。首先,在字典训练阶段,从具有相似统计特征的训练图片中获取图像块,作为训练字典的样本,并用K-SVD算法进行字典训练,得到高、低分辨率的字典。在稀疏编码阶段,根据局部稀疏编码模型求解出低分辨图像的稀疏表示系数,再利用稀疏表示系数和高分辨率字典对输入低分辨率图像进行重建,得到高分辨率图像。最后,将重建得到的高分辨率图像进行总变分正则化优化,进一步提高重建效果。仿真实验结果表明,该算法在客观评价指标和主观视觉效果上,图像质量都有明显提高。     

基于秩极小化理论的单幅图像超分辨率复原

由于自然图像中较小的图像块具有相似性,而这些相似图像块之间具有近似低秩结构.提出了一种基于秩极小化理论和块相似性的单幅超分辨率方法.该方法首先对于每一输入低分辨率图像块在训练图像库的低分辨率图像块中寻找其相似图像块;利用这些相似块所对应的高分辨率图像块构造近似低秩矩阵,建立秩极小化的复原模型,利用增广拉格朗日乘子算法将近似低秩矩阵分解为低秩矩阵和稀疏矩阵;最后根据相似的高分辨率图像块子空间的低秩矩阵,实现图像的超分辨率复原.通过在仿真数据机上进行验证和对比表明:本方法能够取得较好的超分辨率效果.     

基于改进SRResNet深度学习网络的低照度图像超分辨率重建方法

为解决低照度条件下低分辨率图像的超分辨率重建问题,提出一种基于改进SRResNet（super-resolution residual networks,超分辨率残差网络）深度学习网络的低照度图像超分辨率重建方法。通过将读取的图像下采样、亮度降低等处理生成低照度低分辨率图像,并将该图像与高分辨率图像作为数据对输入学习模型,以便改进SRResNet的训练数据对的生成方式,优化训练过程,从而构建面向单帧低照度彩色图像的基于改进SRResNet训练的超分辨率重建方法。实验结果表明：与现有流行的图像超分辨率重建方法相比,该方法的峰值信噪比（peak signal to noise ratio,PSNR)、结构相似性（structural similarity,SSIM）指标整体为最优,低照度环境下的超分辨率重建图像更为清晰明亮、细节更丰富,该方法训练出的深度学习网络的重建效果更好。     

全局重建和位置块残差补偿的人脸图像超分辨率算法

针对传统基于学习的人脸图像超分辨率算法存在高频细节信息损失过多问题,提出一种全局重建和位置块残差补偿相结合的人脸图像超分辨率新算法.首先利用高、低分辨率训练集所有样本,使用基于权值学习的全局重建算法得到初步的人脸图像,再结合图像模糊和下采样过程,产生高、低分辨率残差图像训练集,最后使用基于位置块的残差补偿算法,对初步的人脸图像进行高频细节补偿得到最终结果.对比实验结果表明,相比同类基于学习的人脸图像超分辨率算法,在将人脸图像分辨率提高4×4倍的情况下,新算法的平均峰值信噪比可提高0.65～3.55dB,可以更好地重建出局部高频细节信息.     

基于深层卷积网络的单幅图像超分辨率重建模型

【目的】针对Mean squared error(MSE)作为损失函数在人眼感知方面存在局限性,以及基于卷积神经网络的图像超分辨率(Super-resolution,SR)算法生成的图像存在参数较多、计算量较大、训练时间较长、纹理模糊等问题,设计基于深层卷积神经网络的单幅图像超分辨率重建模型。【方法】使用ImageNet预先训练的大型卷积神经网络Visual geometry group(VGG)模型提取图像特征,利用该特征设计视觉感知损失函数进行训练学习,引入亚像素卷积层(Sub-pixel convolution)替换上采样层,缓解生成图像的棋盘效应。【结果】设计的模型对放大两倍的图像进行超分辨率修复,与其他4种超分辨率重建模型的Peak signal to noise ratio(PSNR)值接近,且生成图像的视觉效果更加清晰逼真,细节更加细腻。【结论】该模型可以实现输入不同大小的低分辨率图像而不必多次训练学习不同比例的放大模型,可以实现对不同放大倍数图像的训练和预测,在保持一定PSNR正确率的前提下,放大后的超分辨率图像能够恢复更多纹理细节和更佳视觉效果。     

基于四元稀疏正则的彩色图像超分辨率重建

为了更好地保持重建彩色图像各通道信息的相关性,有效提高彩色重建图像边缘、色彩等细节信息的恢复质量,提出一种基于四元稀疏正则模型的彩色图像超分辨率重建算法.该算法利用四元数表示彩色图像的三个通道信息,并且采用L1/2正则项代替L1正则项构建基于四元稀疏正则约束的彩色图像超分辨率字典学习及模型重建.同时在训练重建字典对中,为了更好地表征图像特征信息,采用去均值方法构造高低分辨率训练样本集;为了得到与低分辨率重建字典更匹配的高分辨率重建字典,采用字典分离训练方法分别生成高低分辨率重建字典.实验结果表明:与现有的算法相比较,本文算法在重建图像的主观和客观评价指标方面均有改善.     

基于参考图像的膝关节MR I超分辨率重建算法研究

针对在膝关节MR I图像重建中,传统超分辨算法存在重建图像纹理不清晰、参考图像难以与低分辨率图像纹理严格对齐等问题,提出了一种基于参考图像的膝关节MR I超分辨率成像算法.该算法利用纹理相似性,将参考图像的迁移纹理与低分辨率图像纹理自适应地对齐,丰富低分辨率图像的细节,实现膝关节MR I超分辨率成像.纹理迁移利用残差网...     

基于DCT域采样和重建的低码率图像压缩算法

本文构建了一种基于DCT域采样和超分辨率(Super Resolution, SR)重建的低码率图像压缩编码算法。在编码端对原始图像进行分块离散余弦变换（DCT）,并提取每个DCT系数块的低频系数,然后再反变换到空间域,从而得到在DCT域下采样的低分辨率（Low Resolution,LR）图像块。用JPEG标准对下采样图像块编解码后,采用基于学习的方法恢复DCT域高频系数,重建出高分辨率（High Resolution, HR）的图像。实验结果表明,在码率较低的情况下,本文算法比JPEG编码标准具有更好的率失真性能;同时,在相同码率下,本文算法重建的解码图像视觉效果更好。     

一种基于实例的文本图像超分辨率重建算法

为了从一幅包含文字、公式和图形等内容的低分辨率文本图像重建高分辨率图像,提出了一种获取重建图像先验知识的新方法.利用实例图像和图像降质模型建立图像库,图像重建时,将低分辨率观测图像分成若干子块,每个子块分别从图像库中找到一块最佳匹配的高分辨率实例图像块,将这些实例图像块依次拼成一幅大图,并把该大图各点的灰度值作为重建图像各点灰度值的均值,以此先验知识采用最大后验概率(MAP)准则估计出高分辨率文本图像.实验结果表明本文的方法能够取得较好的重建效果.     

基于残差神经网络的高强度运动超分辨率图像重构

针对实际拍摄的亚像素信息较少的低分辨率运动图像,重构图像通常较为模糊,甚至不能分辨。为此,提出一种新的基于残差神经网络的高强度运动超分辨率图像重构方法。令沿运动方向的亮度保持恒定,通过光流场匹配实现高强度运动图像的运动估计;根据运动估计结果和超分辨率重构的基本思想,将BP神经网络看作残差神经网络的基础建立残差神经网络,对残差神经网络进行训练,参照训练样本将经插值法放大若干倍的待重构高强度运动图像作为输入,将高分辨率图像和输入图像间的残差作为输出,把输入和输出累加获取超分辨率图像,实现若干放大倍数高强度运动超分辨率图像的重构。实验结果表明,所提方法运动估计准确,重构图像清晰、质量佳。