基于深度网络分级特征图的图像超分辨率重建

从低分辨率图像中提取特征图恢复高分辨率图像中的高频信息是超分辨率重建的一个关键问题,针对该问题提出一个新的基于卷积神经网络的超分辨率重建算法.网络结构由卷积层与子像素卷积组成,特征提取网络中卷积层提取低分辨率图像的特征,重建网络中子像素卷积神经网络作为上采样算子.针对不能充分利用多级特征图的问题,采用跳跃连接和特征图联结在特征提取网络末端跨通道融合特征图,同时降低特征图的维度.并在此基础上再次提取特征图应用于重建.实验结果表明,算法在PSNR、SSIM和人类视觉效果上与其他基于深度学习的算法相比有着显著的提高.     

基于位置约束的参考图引导的遥感影像超分辨率网络

在遥感对地观测领域中,往往需要对生态或地质环境进行长时间跨度的监测.然而,仅通过卫星拍摄的高分辨率影像来实现在长时间跨度范围内对同一位置区域的覆盖是较为困难的.因此,之前的研究多采用单图像超分辨率算法来对低分辨率影像进行重建.但单张低分辨率影像中的信息是有限的,所以该类算法的重建结果往往较为平滑和模糊.实际上,对于同一位置区域而言,通常可以获取到来自不同卫星在不同时间段拍摄的多幅分辨率不同的遥感影像.其中的高分辨率影像可以作为低分辨输入在重建过程中的参考影像.因此,提出了一种基于位置约束的参考图引导的遥感影像超分辨率网络.该网络首先通过一个基于位置编码的纹理转换模块来实现参考图像与低分辨率图像之间的相似特征块匹配.同时引入位置约束,即根据低分辨率输入中邻近元素所对应的参考相似块的聚合度来对转换后的参考图像进行编码,从而提高匹配的准确度.同时,还提出了一种基于通道注意力机制的多尺度特征自适应融合模块,该模块有效提高了网络在进行跨尺度特征融合时的特征表达能力,进一步提高了网络的重建性能.实验结果表明,相较于其他新近的超分辨率方法,该网络在4×和8×超分辨率任务上均表现出了更为优越的重建性能...     

基于超分辨重建和公共特征子空间的低分辨率人脸识别

针对传统低分辨率人脸识别准确率较低的问题，提出了一种基于超分辨重建和公共特征子空间的低分辨率人脸识别网络InGLRNet(inception GAN low resolution Net)。InGLRNet网络采用生成对抗网络结构，首先，由超分辨InSRNet网络和特征提取网络构成生成网络，InSRNet网络将Inception结构中3×3卷积核分解为1×3、3×1和1×1的卷积核，同时，增加残差网络的旁路直连方式，减轻梯度消失问题。其次，利用公共特征子空间法，将变换后的低分辨率样本图像和高分辨率基准图像在公共空间中的距离作为训练深度卷积神经网络的目标函数，通过损失函数匹配高、低分辨率图像的特征，实现人脸的精准特征识别。最后，将InGLRNet与CLPMs、MDS、Deep-Face和Face-Net经典的4种低分辨人脸识别方法进行对比，实验结果表明，构建的网络在人脸识别性能上有显著提升，在不同低分辨率下都优于其他4种方法。     

基于卷积神经网络的图像超分辨率方法研究

结合认知构架ACT-R模型(Adaptive Control of Thought-Rational),基于邻域嵌入算法和深度学习的图像超分辨率重建方法,构建一个应用于超分辨率重建研究的ACT-R研究模型.在匹配阶段,根据低分辨率(Low Resolution,LR)测试图像的结构和内容特征,运用图像的多尺度相似性和非局部相似性,对图像进行特征提取;在选择阶段,把邻域嵌入算法分为两层,进行邻域图像块的寻找,同时构建一个端到端的深层门限卷积神经网络,把从匹配阶段得到的高分辨率无细节小图像块输入到卷积神经网络中并得到输出图像,将输出图像与高分辨率无细节小图像块相加得到该低分辨率小图像块对应的高分辨率小图像块,最后把高分辨率图像块组合成高分辨率(High Resolution,HR)图像.决策阶段,我们进行实验并与其他方法对比.结果表明,该模型对单帧图像具有良好的重建能力,在视觉效果上和客观评价标准上都取得了不错的效果,能够较好的重建低分辨率图像.     

基于偏最小二乘的人脸超分辨率重构

提出了一种基于偏最小二乘(PLS)的超分辨率重构方法用于快速恢复高分辨率人脸图像.该算法利用主成分分析(PCA)方法将所有高、低分辨率人脸图像投影到各自的特征子空间中,通过PLS对高、低分辨率投影变量之间的统计关系进行回归建模.当输入的低分辨率人脸图像给定时,对应的高分辨率人脸图像可以由训练后的回归模型导出.实验结果表明,在离线训练的情况下,所提出的算法可以快速地给出令人满意的重构解.     

基于深度卷积残差学习的图像超分辨

传统的超分辨率卷积神经网络难以获得丰富的细节和边缘信息。提出了一种多映射残差卷积神经网络(MMRCNN)来解决这些问题。具体来说,MMRCNN直接使用低分辨率图像作为网络的初始输入,然后使用卷积层提取特征。其次,通过残差学习构建多映射网络,添加批量归一化层优化网络,使聚合高分辨率图像时所需要的特征信息能够变得极为丰富。最后,使用反卷积层来完成图像上采样,输出高分辨率图像,因此不需要预处理,就能够直接完成低分辨率图像与高分辨率图像之间端到端的映射关系。在不同模型的基准数据集上的实验表明,MMRCNN在峰值信噪比、结构相似性和视觉效果方面均有所提升。     

基于深度卷积神经网络的三维模型识别

为了进一步提高三维模型的识别精度,提出了一种基于深度卷积神经网络的三维模型识别方法。将点云数据通过占用网格规范化计算转化为二值3D体素矩阵,通过附加正则化项的随机梯度下降算法提取体素矩阵的特征,再通过共享权重的旋转增强对训练集进行数据增广并以此对模型标签进行预测。实验结果表明,该算法在公开数据集ModelNet40及悉尼城市模型数据集上的识别精度均达到85%左右。与基于同类机器学习的三维模型识别算法相比,在相同训练数据集上该方法网络训练时间短,在相同测试数据集上模型识别准确率高,检索速度快。提出的体素占用网格模型的深度卷积神经网络,可以实现三维点云模型数据集及规范化体素模型数据集的识别和分类工作。     

一种基于金字塔策略的人脸超分辨率方法

高分辨率预期图像与低分辨率输入图像分别位于高斯金字塔的第0层和第i层.超分辨率过程据此被分成i-1个子过程,逐层进行,即将第k层低分辨率图像的超分辨率估计图像(位于第k-1层)作为第k-2层高分辨率预期图像的输入,直至产生第0层高分辨率估计图像为止.在每个超分辨率子过程中,采用基于patch的搜索策略.文中对这种基于金字塔策略的人脸超分辨率方法进行了实验,结果表明该方法能够达到很好的超分辨率效果.     

利用对抗性边缘学习模型生成超分辨率图像

大部分基于卷积神经网络的图像超分辨率方法都是采用端到端的模式,这类图像超分辨率方法往往存在重构图像纹理边缘模糊、高频信息缺失的问题.为了改善该问题,在SRGAN(super-resolution generation adversarial networks)的基础上提出了一种基于对抗性图像边缘学习的深层网络模型,将图像边缘信息得到充分利用,来引导超分网络生成更加真实的高分辨率图像.该网络模型由两个生成对抗网络所组成,首先利用一个生成对抗网络来生成低分辨率图像所对应的高分辨率边缘特征图,然后再用高分辨率边缘特征图来约束和引导第二个生成对抗网络,使之重构出来的高分辨率图像纹理边缘更加清晰,更好地恢复图像边缘的高频细节.在Set5、Set14、BSD100、Urban100和Manga109基准测试集上的实验结果表明该算法重构出的高分辨率图像更加接近真实的图像,在峰值信噪比、结构相似度和感知指标上都有不错的表现.     

基于时空感知级联神经网络的视频前背景分离

针对在复杂情景下视频前背景分离技术中存在的前景泄露问题,设计开发了一个端对端的二级级联深度卷积神经网络,实现了对输入视频序列进行精确的前景和背景分离.所提网络由一级前景检测子网络和二级背景重建子网络串联而成.一级网络融合时间和空间信息,其输入包含2个部分:第1个部分是3张连续的彩色RGB视频帧,分别为上一帧、当前帧和下一帧;第2个部分是3张与彩色视频帧相对应的光流图.一级前景检测子网络通过结合2部分输入对视频序列中运动的前景进行精确检测,生成二值化的前景掩膜.该部分网络是一个编码器-解码器网络:编码器采用VGG16的前5个卷积块,用来提取两部分输入的特征图,并在经过每一个卷积层后对两类特征图进行特征融合;解码器由5个反卷积模块构成,通过学习特征空间到图像空间的映射,从而生成当前帧的二值化的前景掩膜.二级网络包含3个部分:编码器、传输层和解码器.二级网络能够利用当前帧和生成的前景掩膜对缺失的背景图像进行高质量的修复重建.实验结果表明,本文所提时空感知级联卷积神经网络在公共数据集上取得了较其他方法更好的结果,能够应对各种复杂场景,具有较强的通用性和泛化能力,且前景检测和背景重建结果显著超越多种现有方法.