多尺度卷积神经网络的图像超分辨率重建算法

为利用多尺度信息重建超分辨率图像,提出多尺度卷积神经网络的图像超分辨率重建算法。算法利用不同尺度的卷积核提取图像特征,为图像重建提供不同大小的邻域信息;用瓶颈层融合多尺度特征图,增强网络非线性表示能力,降低中间层输出的维数,提高图像的超分辨率重建性能。多个测试集上的实验结果表明,多尺度卷积神经网络算法优于现有的单幅图像超分辨率方法。     

超分辨率重建算法综述

超分辨率重建是指由同一场景的低分辨率退化图像,运用相应的算法重建一幅清晰的高分辨率图像。然而,传统的基于插值、基于重建和基于学习的方法已很难获得进一步的突破。近年新兴的过完备稀疏表示是一种新的图像表示模型,它为解决超分辨率重建中的难点问题提供了新的思路。本文通过分析超分辨率技术的以往研究和最新进展,着重讨论了各算法在重构时的优缺点,并对未来超分辨率重建技术进行了展望。     

基于多尺度特征融合的超分辨率重建算法研究

超分辨率重建技术可以提高图像质量,使原图像具有更丰富的细节信息。针对现有的超分辨率重建算法存在提取特征单一、不利于对图像信息进一步提取的问题,提出了一种基于多尺度特征融合的超分辨率重建算法。采用多特征提取模块获取更多浅层信息,并在网络中添加密集连接结构,增强特征的传播,减少相关参数计算,减轻梯度消失问题。在Set5和Set14基准数据集上进行了测试,并在电力巡检数据集上进一步验证了算法的有效性。与主流的超分辨率重建方法进行了对比,实验结果表明,该方法生成的图像有更加丰富的细节信息,能够有效地改善图像质量,峰值信噪比与结构相似度值较其他主流算法均有一定的提高。     

基于单帧图像的超分辨率算法

随着稀疏编码与压缩传感理论的逐步发展,如何应用于图像的超分辨率成为研究热点之一.基于示例学习的算法,提出了一种新的超分辨率算法,其特点在于只基于低分辨率图像本身,没有额外的样本库,运用自然图像的自相似性与冗余性,学习低分辨率图像块与高分辨率图像块之间的函数关系.为了从图像中获取更加全面的信息,采用Guided滤波、一阶导数和二阶导数2种方法来提取特征.此外,提出了一种新的字典学习算法R-KSVD,并且改进了后项处理过程.实验结果显示,提出的算法具有较好的超分辨率效果和稳定性.     

基于局部结构相似与稀疏表示的超分辨率图像重建

稀疏表示在图像超分辨率(super-resolution, SR)重建中表现良好,但是传统的稀疏表示方法独立考虑图像块之间的稀疏性,会导致重建图像损失部分纹理结构。文章提出了一种基于局部结构相似与稀疏表示的SR图像重建算法。该算法利用局部几何结构相似的约束模型和L_1范数正则化的稀疏表示来求解图像块在低分辨率字典下的稀疏表示,以此重建高分辨率图像块。实验结果表明,该算法比传统稀疏表示方法能更好地恢复图像纹理结构,并在重建效果上具有明显的优越性。     

一种改进的稀疏表示超分辨率重建算法

针对稀疏表示超分辨率重建算法中稀疏表示系数正则化效果不明显、字典完备性弱以及重建图像存在虚边缘等问题,提出了一种改进的稀疏表示超分辨率重建算法.首先对正则化正交匹配追踪(regularized orthogonal matching pursuit,ROMP)稀疏表示系数求解算法进行了改进,通过引入局部约束加权来提高稀疏表示系数的精度、增强图像的纹理特性;然后,将Huber影响函数用于提取图像的先验特征信息,以增强图像特征、提升高分辨率字典的表示能力;最后,提出了基于学习的迭代反投影方法,提高了图像后处理阶段预测误差的准确性,进一步改善了高分辨率重建图像效果.实验结果表明,该方法在峰值信噪比和视觉效果上都有所提高,重建图像的纹理特性和质量得到了有效增强.     

基于结构相似度衡量的图像超分辨率重建

图像超分辨率一直都是图像处理领域的研究热点,提出了把图像质量评价方法用于图像超分辨率的方法.把结构相似性度量用于块匹配,搜索图像块的相似块,利用找到的相似块的加权平均重构高分辨率图像.在低分辨率图像上进行了有噪声,无噪声情况下的两种实验,实验结果证明本文提出的方法在相同实验条件下比TV,Sparsity,Softcut取得了更好的结果.进一步分析实验可以发现用结构相似度搜索图像的相似块,使得重构后的图像更加充分地保留了原图像的结构信息.本方法提供了处理图像的新思路,使得对图像质量评价的研究和图像处理的研究可以结合起来共同推动图像处理方法的创新.     

基于多尺度超完备字典的飞机目标检测算法

天空背景的复杂性与飞机目标的多样性,对基于传统目标检测算法的飞机目标检测带来了巨大的挑战。本文基于图像的稀疏表示理论,提出了基于多尺度超完备字典的飞机目标检测算法。算法综合了不同尺度下超完备字典各自的优点：利用低分辨率图像块学习小尺度字典,构造小尺度分类器,在低分辨率测试图像中完成前景粗检测;利用高分辨率图像块学习大尺度字典,构造大尺度分类器,在高分辨率测试图像中完成前景精检测;最后通过飞机图像块学习飞机目标字典,构造飞机目标分类器,完成前景目标分类。实验结果表明,算法能有效完成天空背景下的飞机目标检测任务,时间开销与小尺度字典目标检测相当,但在精度上逼近大尺度字典目标检测。     

基于半耦合字典的快速图像超分辨率重建算法

为了提高图像超分辨率重建的效率与质量,考虑到高、低分辨率稀疏表示系数的不同,改进了锚定邻域回归算法,并结合半耦合字典学习算法提出了一种快速图像超分辨率重建算法.首先采用半耦合字典学习算法得到高分辨率字典、低分辨率字典及映射矩阵;再采用岭回归算法求解低分辨率稀疏表示系数,并根据高分辨率稀疏表示系数与低分辨率稀疏表示系数之间的映射关系,得到高分辨率稀疏表示系数;然后,根据输入图像块特征寻找字典中与其最相关的字典原子,计算该字典原子所对应的投影矩阵,进行超分辨率重建.仿真结果表明:提出的算法不仅在重建速度上表现更快,重建图像的质量也得到提高,在客观指标和主观效果上均取得更好的效果.     

基于多尺度残差的数字图像超分辨率重建算法

针对目前数字图像采集传输过程中因受环境干扰出现低像素的图像,导致图像重建效果较差的问题,提出了基于多尺度残差的数字图像超分辨率重建算法。首先,采用双边滤波算法完成数字图像的去雾处理;其次,分类数字图像的亮度特征信息和色彩信息,采用距离阈值去噪方法分别对其进行去噪处理;并且设置多个尺寸的卷积核,将其引入图像特征提取过程中,获取数字图像特征,对其展开反向投影操作,在残差学习思想的基础上连接升采样和降采样过程提取的特征,实现数字图像超分辨率重建。实验结果表明,所提算法对图像重建的结构相似度高、峰值信噪比(PSNR:Peak Signal-to-Noise Ratio)高、重建效果好。     

非局部相似和双边滤波的图像超分重建

为了提高重建图像的分辨率,提出一种改进的稀疏表示超分重建算法.在稀疏编码阶段,引入非局部相似正则化以改进稀疏编码目标函数,并通过非局部相似正则化获得图像非局部冗余,以保持图像边缘信息.为了进一步恢复图像的边缘细节信息,提出一种基于改进双边滤波的全局误差补偿模型,以实现重建图像的误差补偿.实验结果表明:与Bicubic,L1SR,SISR,ANR,NE+LS,NE+NNLS,NE+LLE和A+(16 atoms)等算法相比,无论在主观视觉效果,还是在峰值信噪比和结构相似性指标上,所提算法都有显著的提高.     

基于半像素运动信息的快速超分辨率图像重构算法

提出了一种全新的、利用半像素运动信息进行超分辨率重构的快速算法．该算法连续两次使用了图像的一维统计特性：第一次将图像分为运动区域和背景区域;第二次针对运动区域估计各像素的运动范围．在对运动区域进行运动估计和运动补偿后获得Ⅳ个运动补偿图,最后结合背景区域,利用数据融合技术获得超分辨率的重构图像．试验结果表明,该算法计算量小、复杂度低,无论是最小均方误差,还是信噪比或峰值信噪比,均好于传统的双线性内插法．     

基于学习的人脸图像超分辨率重构算法

提出了一种新的基于学习的人脸图像超分辨率重构算法,利用高分辨率图像和低分辨率图像的拓扑结构相似性,将现有的低分辨率人脸图像在低分辨率人脸图像字典中展开,在保持系数不变的同时将字典换为高分辨率人脸图像字典,最终得到待重构的高分辨率人脸图像.在系数估计时,使用主成分分析的方法,同时加入了最小全变分作为约束,算法充分利用了不同人脸图像之间的相似性和人脸图像本身的内部相关性.实验结果表明,结果既保持了对原有图像的忠实性,又比较适合人眼观察.     

采用稀疏表示和小波变换的超分辨率重建算法

为了提高超分辨率重建图像的质量,提出一种基于稀疏表示和小波变换的超分辨率重建算法.首先,将小波变换的多尺度性、多方向性与稀疏表示的灵活性相结合,构建一种双稀疏编码(DSC)模型,提高稀疏系数的精度.然后,在双稀疏编码模型中引入局部线性嵌入正则化项(LLER),以更好地保留图像的结构;在重建过程中,对输入的低分辨率图像进行小波分解,得到3幅不同方向的高频子图,并采用提出的模型对其进行重建.最后,利用逆小波得到最终的高分辨率图像.实验结果表明:与多种主流的超分辨率算法相比,文中算法无论在主观视觉效果还是在峰值信噪比和结构相似度两个客观评价指标上,都取得了更好的效果.     

基于非局部相似性和分类半耦合字典学习的超分辨率重建

为了提升单幅彩色图像的超分辨率重建质量,提出了一种改进的基于学习的超分辨率方法.针对半耦合字典学习超分辨率算法训练精度不高的缺陷,采用稀疏域分类与半耦合字典学习交替进行的启发式策略.在训练阶段引入稀疏域非局部相似性约束项,使用改进了的非局部约束l1范数优化问题求解算法,训练得到多组高、低分辨率字典和映射矩阵.在重建阶段利用分类稀疏表示、非局部相似性并结合残差补偿进一步提高重建精度.实验结果表明,该方法在主观和客观评价标准下均取得了较好的重建效果,显著提升了超分辨率重建质量.     

基于流形学习和梯度约束的图像超分辨率重建

将改进的基于流形学习的超分辨率重建与基于梯度约束的正则化重建结合起来,提出一种新的单帧图像超分辨率重建算法.该算法首先针对基于流形学习的超分辨率重建,提出新的特征提取方法,联合归一化亮度与平稳小波变换细节子带系数两个特征矢量,提高重建性能;然后将学习得到的高分辨率图像作为初始估计,将其梯度作为目标梯度域,进行基于梯度约束的正则化重建,得到最终的高分辨率图像.与现有的一些算法相比,文中算法无论在视觉效果还是客观评价上都具有较好的重建性能.     

基于学习的彩色人脸图像超分辨率重构研究

提出了一种基于四元数模型的彩色人脸图像超分辨率重构算法.该算法利用主成分分析的主要思想,同时结合插值算法的理论,前期进行整体约束,后期进行分块处理,对人脸图像进行超分辨率重构.同时使用奇异值分解去除彩色图像中的噪声,针对主成分分析算法不太忠实于原图像的弱点进行改进;使用四元数表示彩色图像,将R,G,B三个分量同时进行处理.分析结果表明,该算法既利用了彩色分量的相关性,又提高了运算效率.     

基于局部像素嵌入的人脸图像超分辨率重构

利用像素点在邻域空间的线性嵌入关系作为先验约束来重构高分辨率(HR)人脸图像.算法从HR训练样本集中选择与输入人脸最相近的K个样本进行配准,并以配准后的样本作为参考,学习目标图像中像素点的局部嵌入系数.在学习过程中,算法通过自适应调整各参考样本的权重来减小配准误差的影响,并利用总变差最小化约束嵌入系数的平滑度.结合局部像素嵌入关系以及降质模型,算法可以在最大后验估计的框架下实现对目标人脸的超分辨率重构.实验表明,重建的HR图像拥有更加细腻、清晰的局部特征,其平均峰值信噪比和结构相似度分别比对比算法高出1.26dB和0.04.     

多尺度生成对抗网络的图像超分辨率算法

基于神经网络的图像超分辨率方法往往存在重建图像纹理结构模糊、缺失高频信息的问题。为了解决该问题,在SRGAN的基础上提出一种多尺度并联学习的生成对抗网络结构,其中生成模型由两个不同尺度的残差网络块组成,首先对提取的低分辨率图像通过两个子网络的多尺度特征学习,然后使用融合网络进行残差融合,融合不同尺度高频信息,最终生成高分辨图像。在Set5、Set14、BSD100基准数据集以及SpaceNet卫星图像数据集上的实验结果证明了该算法在恢复低分辨率图像的细节纹理信息具有良好效果。