基于分形残差网络的单幅图像超分辨率重建

近年来,各种基于卷积神经网络的单幅图像超分辨率方法取得了优异的性能提升.现有的超分辨率网络大多数都是使用单种尺度的卷积核来提取低分辨率图像的特征信息,这样很容易造成细节信息的遗漏,也无法很好地利用低分辨率图像的多尺度特征来提高图像的表达能力.为了解决超分辨率重建中存在的问题,提出了一种新的超分辨重建方法称为分型残差网络...     

基于深度网络分级特征图的图像超分辨率重建

从低分辨率图像中提取特征图恢复高分辨率图像中的高频信息是超分辨率重建的一个关键问题,针对该问题提出一个新的基于卷积神经网络的超分辨率重建算法.网络结构由卷积层与子像素卷积组成,特征提取网络中卷积层提取低分辨率图像的特征,重建网络中子像素卷积神经网络作为上采样算子.针对不能充分利用多级特征图的问题,采用跳跃连接和特征图联结在特征提取网络末端跨通道融合特征图,同时降低特征图的维度.并在此基础上再次提取特征图应用于重建.实验结果表明,算法在PSNR、SSIM和人类视觉效果上与其他基于深度学习的算法相比有着显著的提高.     

连分式插值结合卷积神经网络的超分辨率重建

基于卷积神经网络的图像超分辨率重建算法是数字图像处理领域近年来的研究热点。针对低分辨率图像在预处理时使用双三次插值导致图像丢失一些重要的高频纹理细节以及网络模型优化问题,文章提出了连分式插值结合卷积神经网络的超分辨率重建方法。在原有的轻量级基于卷积神经网络的超分辨率重建算法(super-resolution convolutional neural net work, SRCNN)网络模型基础上,首先采用Newton-Thiele型连分式插值函数将低分辨率图像插值到目标尺寸;然后利用3个卷积层进行图像特征提取、非线性映射、重建与优化;该文在网络收敛时利用Radam优化算法自适应地调整梯度,并且采用余弦衰减法逐渐降低学习率。实验结果表明,该网络模型能够在轻量级的卷积神经网络下获得更丰富的纹理细节和更清晰的图像边缘。     

一种基于注意力嵌入对抗网络的全色锐化方法

全色锐化旨在将低空间分辨率的多光谱图像和高空间分辨率的全色图像进行融合，生成一幅高空间分辨率的多光谱图像．伴随卷积神经网络的发展，涌现出很多基于CNN的全色锐化方法．这些用于全色锐化的CNN模型大都未考虑不同通道特征和不同空间位置特征对最终锐化结果的影响．并且仅使用基于像素的1-范数或2-范数作为损失函数对锐化结果与参考图像进行评估，易导致锐化结果过于平滑，空间细节缺失．为了解决上述问题，本文提出一种嵌入注意力机制，并辅以空间结构信息对抗损失的生成对抗网络模型．该网络模型由2个部分组成：一个生成器网络模型和一个判别器网络模型．嵌入通道注意力机制和空间注意力机制的生成器将低分辨多光谱图像和全色图像融合为高质量的高分辨多光谱图像．判别器以patch-wise判别的方式对锐化结果与参考图像的梯度进行一致性检验，以确保锐化结果的空间细节信息．最后，在3种典型数据集上的对比实验验证了所提出方法的有效性．     

基于改进的卷积神经网络的工件识别技术

针对传统的工件识别流程是由人工根据工件的特点设计需要提取的特征,整个过程具有耗时高、成本大、通用性较差和识别准确率不高等问题,改进了经典的卷积神经网络模型AlexNet和LeNet-5,通过将AlexNet网络的输入图像尺寸缩小到120×120,用BN层代替LRN层,减少两层卷积和全连接层,用3×3的卷积核代替第一层卷积层11×11的卷积核;将LeNet-5的输入图像尺寸提升至60×60,用ReLU取代原始Sigmoid激活函数,使用多个小卷积核代替大卷积核;分别使用改进前后的网络模型对工件数据集进行训练、测试.结果表明,改进后的两种网络模型,在测试集上分别达到94.31%和92.75%的平均识别准确率,平均识别时间分别为0.271s和0.321 s,满足生产需求.     

基于参考图像的膝关节MRI超分辨率重建算法研究

针对在膝关节MRI图像重建中,传统超分辨算法存在重建图像纹理不清晰、参考图像难以与低分辨率图像纹理严格对齐等问题,提出了一种基于参考图像的膝关节MRI超分辨率成像算法。该算法利用纹理相似性,将参考图像的迁移纹理与低分辨率图像纹理自适应地对齐,丰富低分辨率图像的细节,实现膝关节MRI超分辨率成像。纹理迁移利用残差网络与跳跃链接构成的生成网络实现。实验结果表明,与传统算法相比,该算法重建图像分辨率更高、纹理更真实。     

基于生成对抗网络的轻量级图像盲超分辨率网络

针对图像盲超分辨率网络计算参数多、模型庞大的问题,对快速且节省内存的轻量级图像非盲超分辨率网络（fast and memory-efficient image super resulotion network, FMEN）进行改进,提出了一种轻量级的快速且节省内存的图像盲超分辨率网络（fast and memory-efficient image blind super resulotion network, FMEBN)。首先,通过图像退化模块模拟部分真实世界退化空间,使用退化预测模块预测低分辨率(low resolution, LR)图像的退化参数;然后,为能有效利用退化先验信息指导并约束网络进行重建,使用动态卷积对原网络特征提取、重建模块、高频注意力块（high frequency attention block, HFAB）结构进行改进;最后,使用生成对抗网络（generative adversarial network, GAN)对FMEN训练策略与损失函数进行优化,减小真实数据与生成数据的差异,生成更加真实、清晰的纹理、轮廓。实验结果表明,在合成图像数据集和真实图像数据集R...     

利用对抗性边缘学习模型生成超分辨率图像

大部分基于卷积神经网络的图像超分辨率方法都是采用端到端的模式,这类图像超分辨率方法往往存在重构图像纹理边缘模糊、高频信息缺失的问题.为了改善该问题,在SRGAN(super-resolution generation adversarial networks)的基础上提出了一种基于对抗性图像边缘学习的深层网络模型,将图像边缘信息得到充分利用,来引导超分网络生成更加真实的高分辨率图像.该网络模型由两个生成对抗网络所组成,首先利用一个生成对抗网络来生成低分辨率图像所对应的高分辨率边缘特征图,然后再用高分辨率边缘特征图来约束和引导第二个生成对抗网络,使之重构出来的高分辨率图像纹理边缘更加清晰,更好地恢复图像边缘的高频细节.在Set5、Set14、BSD100、Urban100和Manga109基准测试集上的实验结果表明该算法重构出的高分辨率图像更加接近真实的图像,在峰值信噪比、结构相似度和感知指标上都有不错的表现.     

基于深度卷积残差学习的图像超分辨

传统的超分辨率卷积神经网络难以获得丰富的细节和边缘信息。提出了一种多映射残差卷积神经网络(MMRCNN)来解决这些问题。具体来说,MMRCNN直接使用低分辨率图像作为网络的初始输入,然后使用卷积层提取特征。其次,通过残差学习构建多映射网络,添加批量归一化层优化网络,使聚合高分辨率图像时所需要的特征信息能够变得极为丰富。最后,使用反卷积层来完成图像上采样,输出高分辨率图像,因此不需要预处理,就能够直接完成低分辨率图像与高分辨率图像之间端到端的映射关系。在不同模型的基准数据集上的实验表明,MMRCNN在峰值信噪比、结构相似性和视觉效果方面均有所提升。     

基于三维卷积的人手姿态估计高分辨率网络

在体素化输入的三维卷积基础上,通过引入高分辨率保持模块,提出了一种基于三维卷积的高分辨率保持网络.该网络以体素化的深度图为输入,进行三维卷积.不同于先前大多数从低分辨率特征中恢复高分辨率特征的方法,构建的网络引入不同分辨率子网络并行的结构,在处理低分辨率特征图的同时保持高分辨率特征图,从高分辨率子网络卷积得出每个关节点在3D体素中的分布概率,最终计算出每个关节点的三维空间坐标.实验表明:该算法相较于先前的基于沙漏模型的三维卷积网络能更准确地进行关节点估计.     

基于深度残差卷积神经网络的高光谱图像超分辨方法

卷积神经网络由于其强大的非线性表达能力在自然图像的处理问题中已经获得了非常大的成功。传统的稀疏表示方法利用精确配准的高分辨率多光谱图像,从而限制了实际应用。针对传统方法的不足,本文提出了一种基于深度残差卷积神经网络的单高光谱图像超分辨率方法,无需对应的多光谱图像。我们构建深度残差卷积神经网络挖掘低分辨率遥感图像和高分辨率遥感图像之间的非线性关系。构建的深度学习网络串联多个残差块,并去除一些不必要的模块,如批标准化层,每个残差块只包含两个卷积层,这样在保证模型效果的同时又加快模型的效率。此外,因为遥感图像训练数据缺乏,我们充分挖掘自然图像和高光谱图像之间的相似性,利用自然图像样本训练卷积神经网络,进一步利用迁移学习将训练好的网络模型引入到高分辨率遥感图像超分辨问题上,解决了训练样本缺乏问题。最后,基于实际的遥感数据超分辨实验结果表明,本文所提出的方法具有良好的性能,能得到较好的超分辨效果。     

基于CNN的中文字体图像超分辨率重构算法

提出一种针对中文字体生成图像的超分辨率字体重构方法,以提高字体图像矢量化的准确度.结合字体行业领域知识和图像处理技术将网络生成的9169个字体图像进行超分辨率重构,该方法联合优化了所有网络层,使用双三次插值将单个低分辨率字体图像放大到所需的大小,通过卷积神经网络(CNN)拟合非线性映射输出较高分辨率的字体图像.实验结果表明:提出的方法生成的字体分辨率更高,能更好辅助字体设计师进行字体设计.     

基于U-net边缘生成和超图卷积的两阶段修复算法

为了有效修复背景复杂、大面积不规则缺失区域，得到合理的结构和精细的纹理，提出了基于U-net边缘生成和超图卷积的两阶段修复算法.首先，将缺失图像输入基于U-net门控卷积的粗修复网络，通过跳跃连接将图像的上下文信息向深层传播，获取丰富的图像细节信息，下采样提取缺失区域边缘特征，上采样还原缺失区域边缘细节，同时使用混合空洞卷积增大信息感受野，获取细节纹理信息.然后，将粗修复结果输入含超图卷积的细修复网络，捕获和学习输入图像中的超图结构，使用空间特征的互相关矩阵捕获空间特征结构，改善结构完整性并提升细节细粒度.最后，将细修复结果输入鉴别器进行判别优化，进一步优化修复结果.在国际公认数据集上进行实验仿真，结果显示：本文提出的算法在修复大面积不规则缺失时，可以生成合理的结构和丰富的纹理细节，修复的视觉效果，PSNR,SSIM和L1损失优于对比算法.     

基于深层卷积网络的单幅图像超分辨率重建模型

【目的】针对Mean squared error(MSE)作为损失函数在人眼感知方面存在局限性,以及基于卷积神经网络的图像超分辨率(Super-resolution,SR)算法生成的图像存在参数较多、计算量较大、训练时间较长、纹理模糊等问题,设计基于深层卷积神经网络的单幅图像超分辨率重建模型。【方法】使用ImageNet预先训练的大型卷积神经网络Visual geometry group(VGG)模型提取图像特征,利用该特征设计视觉感知损失函数进行训练学习,引入亚像素卷积层(Sub-pixel convolution)替换上采样层,缓解生成图像的棋盘效应。【结果】设计的模型对放大两倍的图像进行超分辨率修复,与其他4种超分辨率重建模型的Peak signal to noise ratio(PSNR)值接近,且生成图像的视觉效果更加清晰逼真,细节更加细腻。【结论】该模型可以实现输入不同大小的低分辨率图像而不必多次训练学习不同比例的放大模型,可以实现对不同放大倍数图像的训练和预测,在保持一定PSNR正确率的前提下,放大后的超分辨率图像能够恢复更多纹理细节和更佳视觉效果。     

基于改进的SqueezeNet的人脸识别

针对众多基于卷积神经网络的人脸识别技术在追求提高人脸识别率上,忽视了网络模型输入参数,导致模型输入参数多、训练时间长和无法在内存小的硬件上运行等问题,提出一种基于改进的Squeeze Net的人脸识别模型。改进的Squeeze Net模型保留了原网络模型中的小卷积核去提取图片特征,还采用首尾池化层分别引入对应的后续卷积层进行特征融合,提取细微的人脸纹理特征来稳定模型收敛性,防止小的卷积核在复杂的人脸训练集上产生过拟合。针对分类函数Softmax的改进,采用L2范数约束的方法,将最后一层的特征约束在一个球面内,减少相同特征间距,提高网络收敛能力。通过两种改进后的Squeeze Net模型在与其他的先进模型对比,在不降低人脸识别准确率的前提下,具有输入参数少、模型易于收敛和能够运行在内存小的硬件设备的优势。结果在CASIA-WebFace和ORL人脸库上得到了有效性的实验验证。     

用于全色锐化的相对平均生成对抗网络

为解决全色锐化过程中对原图像特征提取不足导致融合结果细节信息易丢失，以及图像融合过程中因忽略不同区域的空间特征差异而导致信息冗余等问题，采用深度学习算法，提出一种用于全色锐化的相对平均生成对抗网络(Pan-RaGAN)。在生成器中利用改进的密集块结构对原图像进行特征提取，充分利用原图像各级特征，获取包含了更多细节信息的融合结果；提出基于空间注意力机制的特征细化模块，用于特征选择，可在保留有效高频信息的同时剔除冗余信息；利用图像重建模块将细化后的特征与上采样的低分辨率多光谱图像进行融合，以保持光谱信息；利用相对平均鉴别器改进网络的损失函数，进一步优化融合效果。在高分2号卫星和快鸟卫星图像数据集上的实验结果表明，与已有用于遥感图像全色锐化的生成对抗网络相比，Pan-RaGAN网络的光谱角映射指标平均降低了0.075,验证了Pan-RaGAN网络的有效性。     

基于改进的深度卷积神经网络的单图像超分辨率重建

为解决现有的超分辨率模型不能很好的恢复图像的纹理细节和模型训练困难等问题,结合现有的残差网络和GoogleNet中的Inception模块对其进行改进。通过将5×5的卷积核替换为两个级联的3×3的卷积核、使用LeakyReLU作为激活函数和删除池化层等方法对原始的Inception模块进行改进,然后在模型中多次级联改进后的Inception模块。实验结果表明,与双三次插值算法、SRCNN和VDSR算法相比,改进后的模型能获得更高的峰值信噪比(PSNR)和结构相似性指数(SSIM),并且在视觉效果上也有明显的改善。     

轻量级卷积神经网络架构在入侵检测上的应用

针对当前卷积神经网络在入侵检测领域的效率低,误报率高等问题,提出一种新型的轻量级卷积神经网络.通过将SqueezeNet网络模型中Fire模块中的3×3卷积核替换成一组深度可分离的3×1与1×3的卷积核,并构建SpeedNet网络结构,替换模型卷积获得变形结构.实验结果表明,与传统的CNN网络架构相比,不降低精确度的情况下,提高了检测效率.     

基于双空间金字塔匹配核的图像目标分类

提出一种基于局部特征的双空间金字塔匹配核(bi-space pyramid match kernel,BSPM)用于图像目标分类.利用局部特征在特征空间和图像空间建立统一的多分辨率框架,以便较好地表达图像的语义内容.该方法同时在特征空间和图像空间建立金字塔型结构,通过适当匹配可以得到正定核函数,该函数具有线性计算复杂度,可以运用于基于核的学习算法.将BSPM嵌入支持向量机对公共数据库中图像目标进行分类,实验结果表明该方法对图像具有良好的分类能力,优于词汇导向的金字塔匹配核和空间金字塔匹配核.     

基于位置约束的参考图引导的遥感影像超分辨率网络

在遥感对地观测领域中,往往需要对生态或地质环境进行长时间跨度的监测.然而,仅通过卫星拍摄的高分辨率影像来实现在长时间跨度范围内对同一位置区域的覆盖是较为困难的.因此,之前的研究多采用单图像超分辨率算法来对低分辨率影像进行重建.但单张低分辨率影像中的信息是有限的,所以该类算法的重建结果往往较为平滑和模糊.实际上,对于同一位置区域而言,通常可以获取到来自不同卫星在不同时间段拍摄的多幅分辨率不同的遥感影像.其中的高分辨率影像可以作为低分辨输入在重建过程中的参考影像.因此,提出了一种基于位置约束的参考图引导的遥感影像超分辨率网络.该网络首先通过一个基于位置编码的纹理转换模块来实现参考图像与低分辨率图像之间的相似特征块匹配.同时引入位置约束,即根据低分辨率输入中邻近元素所对应的参考相似块的聚合度来对转换后的参考图像进行编码,从而提高匹配的准确度.同时,还提出了一种基于通道注意力机制的多尺度特征自适应融合模块,该模块有效提高了网络在进行跨尺度特征融合时的特征表达能力,进一步提高了网络的重建性能.实验结果表明,相较于其他新近的超分辨率方法,该网络在4×和8×超分辨率任务上均表现出了更为优越的重建性能...