基于分形残差网络的单幅图像超分辨率重建

近年来,各种基于卷积神经网络的单幅图像超分辨率方法取得了优异的性能提升.现有的超分辨率网络大多数都是使用单种尺度的卷积核来提取低分辨率图像的特征信息,这样很容易造成细节信息的遗漏,也无法很好地利用低分辨率图像的多尺度特征来提高图像的表达能力.为了解决超分辨率重建中存在的问题,提出了一种新的超分辨重建方法称为分型残差网络...     

基于深度网络分级特征图的图像超分辨率重建

从低分辨率图像中提取特征图恢复高分辨率图像中的高频信息是超分辨率重建的一个关键问题,针对该问题提出一个新的基于卷积神经网络的超分辨率重建算法.网络结构由卷积层与子像素卷积组成,特征提取网络中卷积层提取低分辨率图像的特征,重建网络中子像素卷积神经网络作为上采样算子.针对不能充分利用多级特征图的问题,采用跳跃连接和特征图联结在特征提取网络末端跨通道融合特征图,同时降低特征图的维度.并在此基础上再次提取特征图应用于重建.实验结果表明,算法在PSNR、SSIM和人类视觉效果上与其他基于深度学习的算法相比有着显著的提高.     

基于深度残差卷积神经网络的高光谱图像超分辨方法

卷积神经网络由于其强大的非线性表达能力在自然图像的处理问题中已经获得了非常大的成功。传统的稀疏表示方法利用精确配准的高分辨率多光谱图像,从而限制了实际应用。针对传统方法的不足,本文提出了一种基于深度残差卷积神经网络的单高光谱图像超分辨率方法,无需对应的多光谱图像。我们构建深度残差卷积神经网络挖掘低分辨率遥感图像和高分辨率遥感图像之间的非线性关系。构建的深度学习网络串联多个残差块,并去除一些不必要的模块,如批标准化层,每个残差块只包含两个卷积层,这样在保证模型效果的同时又加快模型的效率。此外,因为遥感图像训练数据缺乏,我们充分挖掘自然图像和高光谱图像之间的相似性,利用自然图像样本训练卷积神经网络,进一步利用迁移学习将训练好的网络模型引入到高分辨率遥感图像超分辨问题上,解决了训练样本缺乏问题。最后,基于实际的遥感数据超分辨实验结果表明,本文所提出的方法具有良好的性能,能得到较好的超分辨效果。     

连分式插值结合卷积神经网络的超分辨率重建

基于卷积神经网络的图像超分辨率重建算法是数字图像处理领域近年来的研究热点。针对低分辨率图像在预处理时使用双三次插值导致图像丢失一些重要的高频纹理细节以及网络模型优化问题,文章提出了连分式插值结合卷积神经网络的超分辨率重建方法。在原有的轻量级基于卷积神经网络的超分辨率重建算法(super-resolution convolutional neural net work, SRCNN)网络模型基础上,首先采用Newton-Thiele型连分式插值函数将低分辨率图像插值到目标尺寸;然后利用3个卷积层进行图像特征提取、非线性映射、重建与优化;该文在网络收敛时利用Radam优化算法自适应地调整梯度,并且采用余弦衰减法逐渐降低学习率。实验结果表明,该网络模型能够在轻量级的卷积神经网络下获得更丰富的纹理细节和更清晰的图像边缘。     

基于像素及梯度域双层深度卷积神经网络的页岩图像超分辨率重建

实际采集的页岩图像存在分辨率低等不足,有时难以满足实际应用的需求。针对此问题,构建了一种基于双层深度卷积神经网络的页岩图像超分辨率重建算法。算法以深度卷积神经网络为基础,引入残差训练及批规范化层来加速网络的收敛,并且在此神经网络的基础上提出图像像素域及梯度域结合的页岩图像超分辨率重建算法。算法大致过程为首先利用像素域的卷积神经网络对输入的低分辨率页岩图像进行上采样;然后对上采样图像提取梯度信息并利用梯度域的卷积神经网络对其进行转换;最后利用转换后的梯度信息作为正则项来约束高分辨率图像的重建,从而得到重建的高分辨率页岩图像。实验表明,与主流的超分辨率重建算法相比,重建得到的页岩图像具有更好的主观视觉效果与更高的客观评价参数,更利于后续的处理及分析。     

一种基于深度学习的图像超分辨率重构方法

近年来,基于卷积神经网络(CNN)的单幅图像超分辨率重构得到了广泛应用﹒然而,随着网络不断加深,也同时出现了参数过多、计算代价过大和难以训练等问题﹒为解决上述问题,提出一种新的深度残差密集网络(DRDN)框架并应用于单幅图像超分辨率重建﹒首先,网络通过密集连接充分利用了低分辨率图像从浅层到深层的各层特征,为超分辨率重构提供更多的低分辨率图像信息;其次,为了充分融合全局特征信息,通过残差学习的方式进行融合重构,同时为了缓解深层网络带来的训练困难等问题,网络采用多路跳步连接,使误差更加快速地传到各层网络;最后,将该方法与深度递归残差网络(DRRN)方法在公共数据集上进行了实验比较,结果表明DRDN在网络稳定性、时间效率、收敛速度和重建效果等方面都优于DRRN﹒     

基于Dirac残差模块的单幅图像超分辨率重建

针对单幅图像超分辨率重建问题(SISR),提出了一种新的基于Dirac残差的超分辨率重建算法.算法使用全局跳跃重建层来直接利用输入LR图像的低频特征,通过多个dirac残差块来自适应学习输入LR图像的高频特征,通过亚像素卷积进行图像重建.算法通过权重参数化来改进残差层,同时使用输入图像的卷积特征与残差网络学习特征结合进行重建.实验采用Adam优化器进行网络训练.使用L1范数作为损失函数.在PSNR、SSIM和视觉效果与其他先进算法进行对比,实验结果表明,在常用测试集上与其他深度学习算法相比有较大提高.     

基于卷积神经网络的图像超分辨率方法研究

结合认知构架ACT-R模型(Adaptive Control of Thought-Rational),基于邻域嵌入算法和深度学习的图像超分辨率重建方法,构建一个应用于超分辨率重建研究的ACT-R研究模型.在匹配阶段,根据低分辨率(Low Resolution,LR)测试图像的结构和内容特征,运用图像的多尺度相似性和非局部相似性,对图像进行特征提取;在选择阶段,把邻域嵌入算法分为两层,进行邻域图像块的寻找,同时构建一个端到端的深层门限卷积神经网络,把从匹配阶段得到的高分辨率无细节小图像块输入到卷积神经网络中并得到输出图像,将输出图像与高分辨率无细节小图像块相加得到该低分辨率小图像块对应的高分辨率小图像块,最后把高分辨率图像块组合成高分辨率(High Resolution,HR)图像.决策阶段,我们进行实验并与其他方法对比.结果表明,该模型对单帧图像具有良好的重建能力,在视觉效果上和客观评价标准上都取得了不错的效果,能够较好的重建低分辨率图像.     

基于超分辨重建和公共特征子空间的低分辨率人脸识别

针对传统低分辨率人脸识别准确率较低的问题，提出了一种基于超分辨重建和公共特征子空间的低分辨率人脸识别网络InGLRNet(inception GAN low resolution Net)。InGLRNet网络采用生成对抗网络结构，首先，由超分辨InSRNet网络和特征提取网络构成生成网络，InSRNet网络将Inception结构中3×3卷积核分解为1×3、3×1和1×1的卷积核，同时，增加残差网络的旁路直连方式，减轻梯度消失问题。其次，利用公共特征子空间法，将变换后的低分辨率样本图像和高分辨率基准图像在公共空间中的距离作为训练深度卷积神经网络的目标函数，通过损失函数匹配高、低分辨率图像的特征，实现人脸的精准特征识别。最后，将InGLRNet与CLPMs、MDS、Deep-Face和Face-Net经典的4种低分辨人脸识别方法进行对比，实验结果表明，构建的网络在人脸识别性能上有显著提升，在不同低分辨率下都优于其他4种方法。     

多尺度生成对抗网络的图像超分辨率算法

基于神经网络的图像超分辨率方法往往存在重建图像纹理结构模糊、缺失高频信息的问题。为了解决该问题,在SRGAN的基础上提出一种多尺度并联学习的生成对抗网络结构,其中生成模型由两个不同尺度的残差网络块组成,首先对提取的低分辨率图像通过两个子网络的多尺度特征学习,然后使用融合网络进行残差融合,融合不同尺度高频信息,最终生成高分辨图像。在Set5、Set14、BSD100基准数据集以及SpaceNet卫星图像数据集上的实验结果证明了该算法在恢复低分辨率图像的细节纹理信息具有良好效果。     

多尺度特征融合网络的磁共振快速重建方法

为了提高磁共振的数据采集效率,提出了一种多尺度特征融合网络。该网络模型由二扩张卷积和三扩张卷积特征融合块组成,采用扩张卷积以较少的参数扩大网络的感受野。在特征融合块中将几个扩张卷积残差模块组合在一起,并通过跳跃连接直接传输每个局部残差分支模块上的特征。使用特征融合块融合局部残差特征来产生更丰富的特征表示,同时引入局部残差学习来提取更多的图片细节。通过多组不同加速倍率下的重建实验并与其他文献中提到的方法相比较,实验结果表明,该网络重建出的磁共振图像具有更高的峰值信噪比和结构相似性。     

基于残差变换器的并行傅里叶卷积修复算法

为解决现有图像修复算法因缺乏上下文信息和有效的感受野导致修复大面积随机破损时效果差且只能修复低分辨率图像的缺陷,提出了基于残差变换器的并行傅里叶卷积修复算法.首先,提出基于变换器的改进残差网络模块提取待修复图像的纹理特征;然后,设计并行快速傅里叶卷积模块增强损失图像的高度有效感受野捕捉结构信息;最后,提出门控双特征融合模块交换和结合图像的结构与纹理分量,融合上下文特征,改善生成纹理的细粒度.在两个公开数据集上进行定性和定量实验,实验结果表明：所提算法可有效修复结构复杂且纹理精细的随机不规则大面积破损区域,生成结构合理、纹理细腻和语义丰富的高保真图像,并能用于高分辨率图像的目标移除.     

基于卷积神经网络的MRI脑瘤图像分割方法研究

本文研究卷积神经网络在脑瘤图像分割中的应用.脑瘤位置易变,形状大小不定等特性促使我们去探索一个更加高效,更加准确,鲁棒性更好的方法.本文利用相同感受野下多个卷积层级联的非线性远大于单一卷积层的特性,将小卷积核级联层加入网络,并加入恒等映射来促进梯度流,使得训练速度增加.除此之外,网络利用多尺度操作同时提取同一像素点不同像素范围内的特征信息.最后将得到的结果送入卷积层构成全卷积神经网络,实现像素级别上的脑瘤分割.测试阶段在BRATS2013测试集上进行,研究过证明该模型能够得到较好的分割效果(Challenge:0.84,0.83,0.85;Leaderboard:0.77,079,0.78).     

多尺度空洞卷积金字塔网络建筑物提取

为改善现有深度学习方法获取图像特征尺度单一、提取精度较低等问题,提出多尺度空洞卷积金字塔网络建筑物提取方法。多尺度空洞卷积金字塔网络以U-Net为基础模型,编码-解码阶段采用空洞卷积替换普通卷积扩大感受野,使得每个卷积层输出包含比普通卷积更大范围的特征信息,以利于获取遥感影像中建筑物特征的全局信息,金字塔池化模块结合U-Net跳跃连接结构整合多尺度的特征,以获取高分辨率全局整体信息及低分辨率局部细节信息。在WHU数据集上进行提取实验,交并比达到了91.876%,相比其他语义分割网络交并比提升4.547%～10.826%,在Inria数据集上进行泛化实验,泛化精度高于其他网络。结果表明所提出的空洞卷积金字塔网络提取精度高,泛化能力强,且在不同尺度建筑物提取上具有良好的适应性。     

基于并行残差卷积网络的图像超分辨重建

针对VDSR模型卷积核单一和DRRN模型不能全局利用的问题,提出了基于并行残差卷积神经网络的联合卷积图像超分辨重建模型。模型首先利用原始卷积层和扩张卷积层融合,建立联合卷积层,然后利用跳跃链接,将多种抽象层次的特征进行融合,最后完成整个超分辨网络的模型构建。提出的模型具有以下优点：①扩张卷积神经网络与原始卷积神经网络融合,在计算机复杂度不变的情况下,可以获取更多尺度的信息,因此具有更强的表达能力;②跳跃链接方式,将抽象层度较低与较高抽象层次的信息融合,获取更多的信息,使得模型具有更强的学习能力。通过在多个数据集上进行实验,模型在大多数任务中与VDSR、DRRN和SRCNN等先进模型相比,IFC值取得了大于0.1的提升。     

利用对抗性边缘学习模型生成超分辨率图像

大部分基于卷积神经网络的图像超分辨率方法都是采用端到端的模式,这类图像超分辨率方法往往存在重构图像纹理边缘模糊、高频信息缺失的问题.为了改善该问题,在SRGAN(super-resolution generation adversarial networks)的基础上提出了一种基于对抗性图像边缘学习的深层网络模型,将图像边缘信息得到充分利用,来引导超分网络生成更加真实的高分辨率图像.该网络模型由两个生成对抗网络所组成,首先利用一个生成对抗网络来生成低分辨率图像所对应的高分辨率边缘特征图,然后再用高分辨率边缘特征图来约束和引导第二个生成对抗网络,使之重构出来的高分辨率图像纹理边缘更加清晰,更好地恢复图像边缘的高频细节.在Set5、Set14、BSD100、Urban100和Manga109基准测试集上的实验结果表明该算法重构出的高分辨率图像更加接近真实的图像,在峰值信噪比、结构相似度和感知指标上都有不错的表现.     

基于通道注意力机制的视频超分辨率方法

基于视频帧间信息特征,提出了基于通道注意力机制的循环残差注意力网络,将连续的低分辨率视频帧、前一时刻输出帧和隐藏态作为输入进行特征提取,在隐藏态中引入残差连接和注意力机制,增强网络特征提取能力,经过亚像素卷积层重建出高分辨率视频帧。然后将本视频超分辨率网络模型在Vid4、UDM10、SPMCS视频数据集进行了测试。实验结果表明,与其他基于深度学习的视频超分辨率方法相比,本方法能利用帧间特征信息较好地恢复高频特征信息,恢复的视频图像PSNR和SSIM值都比其他主流方法要高,同时取得了较好的主观视觉效果。     

融合注意力特征及动态卷积的肺结节辅助诊断

针对肺结节关键影像征象信息不易获取,部分卷积神经网络（convolutional neural networks, CNN）模型对肺结节的识别率不高的问题,提出一种结合注意力特征的动态卷积残差网络（dynamic convolutional residual networks incorporating attention features,DcANet） ,并在有效实现肺结节良恶性分类的基础上对所提模型的诊断结果进行可视化分析。此网络以适应肺结节三维小尺寸输入特点的残差网络为基本框架,在DcABlock部分使用可以自适应调整卷积参数的动态卷积以及迭代注意特征融合模块,使模型能够更准确地获取肺结节信息,提高模型的表征能力。此外,还使用类激活映射将三维图像的各层切片进行可视化分析。实验在最终测试集上的准确率为85.87%,平衡F分数（F1 ）值为82.67%,敏感度和特异性的综合指标Gmean值为85.51%。实验结果表明,该网络可以提升对肺结节良恶性分类的准确性,诊断结果具有可信性,有一定的临床应用价值。     

基于并联卷积神经网络的运动模糊去除模型

为了提取丰富的图像特征,提出了一种并联卷积神经网络模型．核心支路采用改进级联编解码器模块,在传统编码器路径中引入通道注意机制和塔式空洞卷积模块提取丰富的上下文信息,在模块间引入跳跃连接,以保留图像细节．并行支路采用基于塔式空洞卷积模块的改进递归残差组,在提取充足空间细节信息的同时能够将特征传递到网络深处,保存图像的精细纹理．最后在GoPro数据集和Kohler数据集上评估模型的性能．从实验结果可以看出该模型在主客观评价上都表现良好．     

基于双通道CNN的单幅图像超分辨率重建

卷积神经网络在单幅图像超分辨率重建方面取得了很大的进展,目前的很多方法都选择使用浅层或者深层的卷积神经网络实现图像超分辨率重建。浅层网络结构简单,但容易丢失图像的高频信息,而深层网络可以学习图像的高频纹理特征。本文提出了双通道卷积神经网络。浅层网络负责重建图像的整体轮廓,保留图像的原始信息;深层网络学习图像的高频纹理特征。在深层网络中,使用密集连接的卷积网络,能更有效地恢复图像的高频信息。同时,在两个网络的末端,通过添加额外的卷积层表示融合层,将网络进行融合,重建超分辨率图片。实验结果表明,在大多数情况下,本文模型的重构效果在主观和客观评估中均优于当前代表性的超分辨率重构方法。