连分式插值结合卷积神经网络的超分辨率重建

基于卷积神经网络的图像超分辨率重建算法是数字图像处理领域近年来的研究热点。针对低分辨率图像在预处理时使用双三次插值导致图像丢失一些重要的高频纹理细节以及网络模型优化问题,文章提出了连分式插值结合卷积神经网络的超分辨率重建方法。在原有的轻量级基于卷积神经网络的超分辨率重建算法(super-resolution convolutional neural net work, SRCNN)网络模型基础上,首先采用Newton-Thiele型连分式插值函数将低分辨率图像插值到目标尺寸;然后利用3个卷积层进行图像特征提取、非线性映射、重建与优化;该文在网络收敛时利用Radam优化算法自适应地调整梯度,并且采用余弦衰减法逐渐降低学习率。实验结果表明,该网络模型能够在轻量级的卷积神经网络下获得更丰富的纹理细节和更清晰的图像边缘。     

基于密连接生成对抗网络的图像超分辨率重建

为了使超分辨率图像展现更好的视觉效果,在基于生成对抗网络的超分辨率算法基础上,改进生成器网络,加入密连接块,使网络在更少参数、更低计算成本、更短训练时间的情况下,实现更优的性能.为了促进图像的空间平滑性,在优化问题中,使用内容损失函数和Total Variation Loss一起约束噪声.输出图像选取VGG19的19、16、13、10、7层输出对比结果,加强了不同尺度图像的特征融合.主观视觉效果显示,该方法重建后的图像质量有所提升,重建后的图像细节信息有所增加;同时,用于评价图像重建质量的峰值信噪比(PSNR)提升了1.30dB,结构相似性(SSIM)提升了0.03.     

基于Dirac残差模块的单幅图像超分辨率重建

针对单幅图像超分辨率重建问题(SISR),提出了一种新的基于Dirac残差的超分辨率重建算法.算法使用全局跳跃重建层来直接利用输入LR图像的低频特征,通过多个dirac残差块来自适应学习输入LR图像的高频特征,通过亚像素卷积进行图像重建.算法通过权重参数化来改进残差层,同时使用输入图像的卷积特征与残差网络学习特征结合进行重建.实验采用Adam优化器进行网络训练.使用L1范数作为损失函数.在PSNR、SSIM和视觉效果与其他先进算法进行对比,实验结果表明,在常用测试集上与其他深度学习算法相比有较大提高.     

基于SinGAN的岩石薄片图像超分辨率重建

岩石薄片图像对研究石油地质特性以及油气勘探都有重要的意义。由于各种因素的限制,获取到的岩石薄片图像经常会出现分辨率较低的情况,一定程度上限制了研究者对其细节信息的掌握。而一般的神经网络超分辨率算法都需要大量的数据作为训练集,为了提升岩石薄片图像超分辨率重建算法纹理细节信息还原能力,本文利用单图像生成式对抗网络,不需输入大量数据集,对岩石薄片图像进行超分辨率重建。采用鄂尔多斯某油区岩石铸体薄片图像进行训练,通过峰值信噪比(Peak Signal to Noise Ratio, SSNR)和结构相似性(Structural Similarity, SSIM)评价指标进行模型评价,实验结果表明:该方法超分辨率处理的图像在视觉效果和评价指标上均具有良好的效果。     

基于改进的深度卷积神经网络的单图像超分辨率重建

为解决现有的超分辨率模型不能很好的恢复图像的纹理细节和模型训练困难等问题,结合现有的残差网络和GoogleNet中的Inception模块对其进行改进。通过将5×5的卷积核替换为两个级联的3×3的卷积核、使用LeakyReLU作为激活函数和删除池化层等方法对原始的Inception模块进行改进,然后在模型中多次级联改进后的Inception模块。实验结果表明,与双三次插值算法、SRCNN和VDSR算法相比,改进后的模型能获得更高的峰值信噪比(PSNR)和结构相似性指数(SSIM),并且在视觉效果上也有明显的改善。     

多尺度残差生成对抗网络的图像超分辨率重建

针对目前基于深度学习的超分辨率重建图像存在的纹理等高频信息丢失问题,提出了多尺度残差生成对抗网络的图像超分辨率重建算法。首先,使用Dense-Res2Net模块替代SRGAN生成网络中原本的残差模块,并且组合特征压缩与激发网络（SENet）从多个尺度自适应地提取浅层特征信息。其次,引入全变分正则化损失（TV loss）指导生成器训练。最后,使用Wasserstein距离优化对抗损失,提高网络训练稳定性。实验结果表明,该算法重建出的图像在视觉效果上保留了更加丰富的高频细节,与当前主流超分算法相比,该方法不仅有更高的峰值信噪比（PNSR）与结构相似性（SSIM）,且学习感知图像块相似度（LPIPS）的分数上均优其他算法。     

双通道多感知卷积神经网络图像超分辨率重建

基于深度卷积神经网络的单幅图像超分辨率重建取得了显著研究成果.但随着深度卷积神经网络规模的不断扩大,如何降低网络构建难度和计算成本成为一个难点.为此,提出了一种双通道多感知卷积神经网络(DMCN)模型.该模型在两条具有不同卷积核的通道上建立了稠密连接,并构建了带有动态调节能力的层间融合结构.这种结构的设计使得小规模卷积神经网络便能获得图片特征信息的全面感知能力.实验结果表明,DMCN重建效果优于目前多数具有代表性的重建算法.     

基于双通道CNN的单幅图像超分辨率重建

卷积神经网络在单幅图像超分辨率重建方面取得了很大的进展,目前的很多方法都选择使用浅层或者深层的卷积神经网络实现图像超分辨率重建。浅层网络结构简单,但容易丢失图像的高频信息,而深层网络可以学习图像的高频纹理特征。本文提出了双通道卷积神经网络。浅层网络负责重建图像的整体轮廓,保留图像的原始信息;深层网络学习图像的高频纹理特征。在深层网络中,使用密集连接的卷积网络,能更有效地恢复图像的高频信息。同时,在两个网络的末端,通过添加额外的卷积层表示融合层,将网络进行融合,重建超分辨率图片。实验结果表明,在大多数情况下,本文模型的重构效果在主观和客观评估中均优于当前代表性的超分辨率重构方法。     

基于改进SRResNet深度学习网络的低照度图像超分辨率重建方法

为解决低照度条件下低分辨率图像的超分辨率重建问题,提出一种基于改进SRResNet（super-resolution residual networks,超分辨率残差网络）深度学习网络的低照度图像超分辨率重建方法。通过将读取的图像下采样、亮度降低等处理生成低照度低分辨率图像,并将该图像与高分辨率图像作为数据对输入学习模型,以便改进SRResNet的训练数据对的生成方式,优化训练过程,从而构建面向单帧低照度彩色图像的基于改进SRResNet训练的超分辨率重建方法。实验结果表明：与现有流行的图像超分辨率重建方法相比,该方法的峰值信噪比（peak signal to noise ratio,PSNR)、结构相似性（structural similarity,SSIM）指标整体为最优,低照度环境下的超分辨率重建图像更为清晰明亮、细节更丰富,该方法训练出的深度学习网络的重建效果更好。     

用于图像超分辨率重建的双通道残差网络

针对现有基于深度学习的自然图像超分辨率算法在图像高频细节重建方面的不足,提出了一种更注重图像高频细节重建的双通道残差网络。使用带有通道注意力机制的残差结构作为网络的主通道;为了在重建过程中更好地保留原始图像的几何结构和边缘信息,使用自适应结构化卷积设计了网络的辅助通道,以此构建的双通道残差网络在学习过程中会有更强的高频信息捕获能力;为了使重建图像效果更加符合人眼的主观视觉感受,结合使用L₁损失函数和多尺度结构相似度损失函数来训练网络,使网络在训练过程中能够较好地保留图像的视觉效果。实验结果表明:在主通道外并构基于结构化卷积的辅助通道可以使重建图像的峰值信噪比提高2 dB;结合使用L₁损失函数和多尺度结构相似度损失函数可以使重建图像的峰值信噪比提高3 dB、结构相似性提高0.5;与同类网络客观定量相比,所提网络在两个公开数据集上取得的效果更优。     

基于像素及梯度域双层深度卷积神经网络的页岩图像超分辨率重建

实际采集的页岩图像存在分辨率低等不足,有时难以满足实际应用的需求。针对此问题,构建了一种基于双层深度卷积神经网络的页岩图像超分辨率重建算法。算法以深度卷积神经网络为基础,引入残差训练及批规范化层来加速网络的收敛,并且在此神经网络的基础上提出图像像素域及梯度域结合的页岩图像超分辨率重建算法。算法大致过程为首先利用像素域的卷积神经网络对输入的低分辨率页岩图像进行上采样;然后对上采样图像提取梯度信息并利用梯度域的卷积神经网络对其进行转换;最后利用转换后的梯度信息作为正则项来约束高分辨率图像的重建,从而得到重建的高分辨率页岩图像。实验表明,与主流的超分辨率重建算法相比,重建得到的页岩图像具有更好的主观视觉效果与更高的客观评价参数,更利于后续的处理及分析。     

面向各向异性3D-MRI图像超分辨率 重建的ESRGAN网络

高分辨率磁共振图像(MRI, magnetic resonance images)能够提高疾病诊断精度,但高分辨率MRI图像的获取十分困难。基于深度学习的图像超分辨率(SR, super resolution)技术可有效地提高图像分辨率。近年来,生成对抗网络(GANs, generative adversarial networks)为3D-MRI图像SR重建提供了新思路。相较于传统的基于深度卷积神经网络(DCNN, deep convolutional neural network)的SR算法,GANs网络以人类视觉机制为目标,且引入判别函数,使重建3D-MRI图像更接近真实图像。研究采用增强超分辨率生成对抗网络(ESRGAN, enhanced super-resolution generative adversarial networks)对3D-MRI图像进行SR重建;并利用3D-MRI图像的跨层面自相似性,将重建任务降维到2D,在保证重建效果的基础上,减少了网络训练时间和内存需求。通过与其他传统算法和基于DCNN算法对比实验表明,提出的算法能够进一步提高3D-MRI图像的视觉...     

基于深度学习的二值图像目标轮廓识别算法

针对传统目标轮廓识别算法对图像目标轮廓识别精度较低、 效果较差的问题, 提出一种基于深度学习的二值图像目标轮廓识别算法. 首先, 选取深度学习算法中的深度卷积网络算法识别二值图像目标轮廓, 将二值图像划分为不重叠的、 大小相同的子块图像输入深度卷积网络第一层; 其次, 卷积网络中的滤波器（卷积核）采用传统神经网络算法优化的代价函数对输入子块图像实施卷积滤波, 并将卷积滤波后下采样图像发送至第二层, 第二层经过相同处理后将结果输入第三层, 第三层输出图像即为该子块目标轮廓识别结果; 最后, 所有子块识别结束后在输出层通过全连接方法将其聚类, 并输出最终二值图像目标轮廓识别结果. 实验结果表明, 该算法识别15幅二值图像目标轮廓的识别精度平均为98.75%, 信噪比平均为2.42, 识别效果较优.     

基于深度学习的二值图像目标轮廓识别算法

针对传统目标轮廓识别算法对图像目标轮廓识别精度较低、 效果较差的问题, 提出一种基于深度学习的二值图像目标轮廓识别算法. 首先, 选取深度学习算法中的深度卷积网络算法识别二值图像目标轮廓, 将二值图像划分为不重叠的、 大小相同的子块图像输入深度卷积网络第一层; 其次, 卷积网络中的滤波器（卷积核）采用传统神经网络算法优化的代价函数对输入子块图像实施卷积滤波, 并将卷积滤波后下采样图像发送至第二层, 第二层经过相同处理后将结果输入第三层, 第三层输出图像即为该子块目标轮廓识别结果; 最后, 所有子块识别结束后在输出层通过全连接方法将其聚类, 并输出最终二值图像目标轮廓识别结果. 实验结果表明, 该算法识别15幅二值图像目标轮廓的识别精度平均为98.75%, 信噪比平均为2.42, 识别效果较优.     

顾及区域信息的卷积神经网络在影像语义分割中的应用

高分辨率遥感影像在实际应用中得到广泛使用。高分影像语义分割方法的研究具有重要实际应用价值。近来基于深度卷积网络的遥感影像标注方法表现出了比传统方法更为优越的性能;然而由于其基于固定感受野大小的上下文信息获取方法没有显式利用像素间约束关系,导致同一地物内部语义标注结果不一致。基于同一区域内部像素属于相同类别概率较大的假定,试图引入图像区域内部语义标注一致性约束,以改善现有深度卷积神经网络描述上下文信息的能力。在现有全卷积网络模型基础上,利用卷积神经网络最后一层特征,引入一个表示区域内部像素特征一致性的损失函数;将该损失函数与softmax损失函数进行联合训练,得到网络模型参数。在ISPRS(国际摄影测量与遥感学会)的Vaihingen 2D语义标注数据集上,对提出的方法进行了实验验证,实验结果表明所提方法在大多数类别上取得了较现有卷积神经网络模型更优的分类结果,总体准确率达85.18%。提出的引入区域内部像素标记一致性的全卷积网络模型,可以有效捕捉区域内部像素特征一致性的上下文信息,能有效纠正全卷积网络模型在区域内部像素分类中的冲突,获得区域一致较好的分类结果,从而改善图像的语义标注效果。     

基于特定深度内部学习网络提高"不理想"图像分辨率

现有基于深度学习的图像分辨率提升方法中需耗费大量时间训练,且受限于特定的训练数据等问题。本文引入“零射击”超分辨率概念,可以重复利用已有照片、噪声图像、生物数据以及获取过程未知或非理想的其他图像的相关内部信息,以提高其分辨率。在测试阶段训练一个小的图像特定卷积神经网络,仅需对从输入图像本身提取的示例进行训练；然后通过单个图像内部信息再现,进一步利用图像内部相关信息,以增强图像分辨率。实验结果表明,本文算法可以加快训练速度且不需要标准训练集,图像分辨率优于现有基于卷积神经网络的超分辨率方法,以及已有的无监督超分辨率方法。     

利用卷积神经网络的显著性区域预测方法

针对神经网络的显著性区域预测存在数据采集代价大、处理繁琐等问题,提出2种卷积神经网络,即从头开始训练的浅层卷积神经网络,以及前三层源自另一个网络的深层卷积神经网络。其中,浅层网络结构简单,可避免过拟合问题;深层网络可以充分利用最底层的模型参数,收敛更快,效果更好。所提卷积神经网络应用于回归问题,均没有直接训练特征图的线性模型,而是在迁移层上训练了一堆新的卷积层。从端到端的角度解决显著性预测,将学习过程演化为损失函数的最小化问题。测试和训练在SALICON,SUN和MIT300数据集上进行,实验结果验证了所提方法的有效性。其中,深层网络和浅层网络在SALICON和SUN数据上的结果相似,深层网络在MIT300上的结果更优,与其他方法相比,所提方法具有不错的表现,而且具有跨数据集的鲁棒性。     

基于深度CRF模型的图像语义分割方法

从图像中提取多种特征向量堆叠为一个高维特征向量用于图像语义分割,会导致部分特征向量的分类能力减弱或丢失。针对此问题,提出了一种结合深度卷积神经网络AlexNet和条件随机场的图像语义分割方法。利用预训练好的AlexNet模型提取图像特征,再通过条件随机场对多特征及上下文信息的有效利用来实现图像的语义分割。与利用传统经典特征的方法进行对比,实验结果表明:在利用AlexNet模型提取特征进行图像语义分割时,Conv5层为最有效的特征提取层,在Stanford background和Weizmann horse数据集下的识别准确率分别为81.0%和91.7%,均高于其他2种对比方法,说明AlexNet可以提取更有效的特征,得到更高的语义分割精度。     

基于多层特征深度融合的卷积神经网络人脸识别方法

针对传统神经网络在人脸图像的训练过程中没有将高低卷积层信息进行融合,为充分利用图像各层特征信息,提出一种基于三层特征融合的全连接卷积神经网络模型,算法将原有网络最后三层特征结合,并将提取的特征信息与最后一层全连接层结合,从而增加了浅层特征的表达,加强了深层特征的提取效果,促使改进后的卷积神经网络提取的信息更加完备;同时将损失函数和中心函数加权联合,以提高人脸图像的识别率和区分性.在CASIA-webface人脸数据库进行的实验结果表明,改进后的网络模型识别率达到98. 7%,优于DCNN等算法,并将训练好的网络模型应用到YALE、PERET、LFW-A等人脸库上,相比其他方法识别率都有所提升.