基于残差注意力机制的图像超分辨率算法研究

针对传统单幅图像超分辨率重建算法未能充分利用浅层特征信息,忽略视觉目标中的空间结构信息,难以捕捉特征通道与高频特征信息之间的依赖关系,重建图像出现伪影、边缘模糊的问题,提出一种基于残差网络和注意力机制的图像超分辨率重建算法。该模型特征提取部分结合WDSR-B(Wider Activation Super-Resolution B)残差网络增强特征信息在网络中的流通,通过坐标注意力机制对特征参数加权,引导网络更好地重建高频特征,恢复图像细节。实验结果表明,4倍图像重建下,在Set5和Set14测试集上的峰值信噪比(PSNR:Peak Signal to Noise Ratio)为31.00 dB、28.96 dB,结构相似性(SSIM:Structural Similarity)为0.893、0.854,重建后的图像在细节、轮廓方面均表现更好,优于其他主流超分辨率重建算法。     

基于GAN的图像超分辨率重建算法研究

SRGAN是一种基于生成对抗网络的超分辨重建方法,其生成的高分辨率图像质量较传统方法有着明显提升,然而SRGAN存在着训练过程不稳定,图像浅层特征未充分使用等问题,很大程度上影响到了生成图像的质量。本文提出了一种特征增强改进的SRGAN模型,该模型使用信息蒸馏块进行特征纹理信息的增强,并消除图像特征中的冗余信息。此外,使用相对平均鉴别器替代原始SRGAN中的二分类鉴别器,保证了GAN网络训练的稳定性。本文基于4倍放大因子的超分辨重建任务,在BSD100数据集上进行实验结果的质化评价和量化评价。实验表明,本文方法较之SRGAN在训练过程中具有更好的稳定性,生成的图像具有更清晰的细节纹理,取得了更佳的图像超分辨率重建效果。     

多尺度生成对抗网络的图像超分辨率算法

基于神经网络的图像超分辨率方法往往存在重建图像纹理结构模糊、缺失高频信息的问题。为了解决该问题,在SRGAN的基础上提出一种多尺度并联学习的生成对抗网络结构,其中生成模型由两个不同尺度的残差网络块组成,首先对提取的低分辨率图像通过两个子网络的多尺度特征学习,然后使用融合网络进行残差融合,融合不同尺度高频信息,最终生成高分辨图像。在Set5、Set14、BSD100基准数据集以及SpaceNet卫星图像数据集上的实验结果证明了该算法在恢复低分辨率图像的细节纹理信息具有良好效果。     

利用对抗性边缘学习模型生成超分辨率图像

大部分基于卷积神经网络的图像超分辨率方法都是采用端到端的模式,这类图像超分辨率方法往往存在重构图像纹理边缘模糊、高频信息缺失的问题.为了改善该问题,在SRGAN(super-resolution generation adversarial networks)的基础上提出了一种基于对抗性图像边缘学习的深层网络模型,将图像边缘信息得到充分利用,来引导超分网络生成更加真实的高分辨率图像.该网络模型由两个生成对抗网络所组成,首先利用一个生成对抗网络来生成低分辨率图像所对应的高分辨率边缘特征图,然后再用高分辨率边缘特征图来约束和引导第二个生成对抗网络,使之重构出来的高分辨率图像纹理边缘更加清晰,更好地恢复图像边缘的高频细节.在Set5、Set14、BSD100、Urban100和Manga109基准测试集上的实验结果表明该算法重构出的高分辨率图像更加接近真实的图像,在峰值信噪比、结构相似度和感知指标上都有不错的表现.     

利用图像掩膜优化基于生成对抗网络的图像超分辨率模型

深度学习在一定程度上解决了从低分辨率图像中恢复出高分辨率图像这一图像超分辨率问题。目前基于生成对抗网络（generative adversarial network,GAN）的方法可以从超分辨率数据集中学习低/高分辨率图像映射关系,从而生成具有真实纹理细节的超分辨率图像。然而,基于GAN的图像超分辨率模型训练通常不稳定,其结果往往带有纹理扭曲和噪声等问题,提出了采用掩膜（mask）模块以辅助对抗网络训练。在网络训练过程中,掩膜模块根据生成网络输出的超分辨率结果和原始高分辨率图像,计算得到相应观感质量信息,并进一步辅助对抗网络训练。在实验中对3个最近提出的基于GAN的图像超分辨率模型进行修改,引入掩膜模块,修改后的模型在超分辨率图像输出的观感和真实感量化指标上均有明显地提升。掩膜模块的优点是可以进一步提升基于GAN的图像超分辨率网络输出的超分辨率图像观感质量,并仅需对生成对抗网络训练框架进行修改,因此适用于多数基于GAN的图像超分辨率模型的进一步优化。     

基于文本语义指导的自然场景文本图像超分辨方法

在自然场景文本图像超分辨中，针对先验信息利用不准确、不充分以及文本边缘恢复不完整的问题，提出了一种基于文本语义指导的自然场景文本图像超分辨方法。该网络结构由超分辨重建模块和文本语义感知模块组成。为进一步提高超分辨网络的表达能力，提出使用循环十字交叉注意力，捕获全局上下文信息，使得模型在训练的过程中更加关注文本区域，同时，提出软边缘损失、梯度损失对重建过程进行约束，生成具有锐利边缘的超分辨结果。采用公开的自然场景文本图像超分辨数据集TextZoom对提出模型的性能进行验证，与8种主流深度网络模型进行了对比,结果表明：该模型在3个不同识别器下的平均识别率相比TSRN分别提升了2.06%、1.80%和2.89%，在PSNR和SSIM指标上也具有一定的优势。     

改进生成对抗网络的图像超分辨率重建算法

超分辨率生成对抗网络(SRGAN)的高分辨率图像质量较传统方法有明显提升,然而其存在训练过程不稳定、图像浅层特征未充分使用等问题,很大程度上影响生成图像的质量.为此,提出一种特征增强改进的SRGAN模型,使用信息蒸馏块.通过对长短途特征在图像通道上的拼接增强特征纹理信息,利用压缩单元消除图像特征中的冗余信息.此外,使用相对平均鉴别器替代原始SRGAN中的二分类鉴别器,保证生成对抗网络训练的稳定性.本研究基于4倍放大因子进行超分辨重建任务,并在BSD100和SET14数据集上进行实验结果的质化和量化评价.实验表明,该方法较之SRGAN在训练过程中具有更好的稳定性,生成的图像具有更清晰的细节纹理,取得了更佳的图像超分辨率重建效果.     

基于生成对抗网络的轻量级图像盲超分辨率网络

针对图像盲超分辨率网络计算参数多、模型庞大的问题,对快速且节省内存的轻量级图像非盲超分辨率网络（fast and memory-efficient image super resulotion network, FMEN）进行改进,提出了一种轻量级的快速且节省内存的图像盲超分辨率网络（fast and memory-efficient image blind super resulotion network, FMEBN)。首先,通过图像退化模块模拟部分真实世界退化空间,使用退化预测模块预测低分辨率(low resolution, LR)图像的退化参数;然后,为能有效利用退化先验信息指导并约束网络进行重建,使用动态卷积对原网络特征提取、重建模块、高频注意力块（high frequency attention block, HFAB）结构进行改进;最后,使用生成对抗网络（generative adversarial network, GAN)对FMEN训练策略与损失函数进行优化,减小真实数据与生成数据的差异,生成更加真实、清晰的纹理、轮廓。实验结果表明,在合成图像数据集和真实图像数据集R...     

基于双向循环网络的变色龙视觉超分辨率图像重建

针对使用均方误差（Mean Square Error,MSE）作为目标损失函数，导致重建的超分辨率图像在失真与感知质量上难以兼得的问题，提出基于双向循环网络的变色龙视觉重建模型（Super-resolution Bidirectional Recurrent Neural Network,SRBRNN）以改善重建效果.首先，鉴于变色龙可以同时注视两个不同方向的非凡视觉功能，SRBRNN模型借助双向循环神经网络结合序列演进前向与反向给输出提供不同方向时间信息的思想，实现重建过程中失真与感知质量的兼顾；其次，SRBRNN模型定义了特征演进和退化序列，并设计了低分辨率图像到高分辨率图像演进和高分辨率图像到低分辨率图像退化网络，将演进网络和退化网络对应应用为原双向循环网络的前向循环和反向循环网络；最后，利用双向循环机制重建超分辨率特征.用SRBRNN算法在Set5、Set14、BSD100基准测试集上进行实验，实验结果表明在峰值信噪比(Peak Signal to Noise Ratio,PSNR)和结构相似性(Structural Similarity, SSIM)评估指标及主观质量评分上，...     

基于GAN的浮选泡沫图像压缩与超分辨率重建

为了解决浮选过程中由于浮选泡沫图像像素高导致的工业现场无法大量保存离线泡沫图像数据的问题，提出了先进行有损压缩图像储存，再对其进行超分辨率重建的方法。该方法采集浮选槽泡沫的无损图像，通过下采样降低图像的分辨率，使用JPEG压缩算法对图像进行压缩。重建时，先使用低分辨率图像和高分辨率图像对生成对抗网络(GAN)进行训练，然后使用GAN对有损图像进行超分辨率重建，恢复图像细节特征，在得到能够满足工业生产所需要的图像质量的同时，大幅减少图像储存所需的存储空间。     

基于生成对抗网络的单图像超分辨率重建

针对当前卷积神经网络未能充分利用浅层特征信息, 并难以捕获各特征通道间的依赖关系、 丢失高频信息的问题, 提出一种新的生成对抗网络用于图像超分辨率重建. 首先, 在生成器中引入WDSR-B残差块充分提取浅层特征信息; 其次, 将GCNet模块和像素注意力机制相结合加入到生成器和鉴别器中, 学习各特征通道的重要程度和高频信息; 最后, 采用谱归一化代替不利于图像超分辨率的批规范化, 减少计算开销, 稳定训练. 实验结果表明, 该算法与其他经典算法相比能有效提高浅层特征信息的利用率, 较好地重建出图像的细节信息和几何特征, 提高超分辨率图像的质量.     

基于生成对抗网络与噪声分布的图像超分辨率重建方法

现有的图像超分辨率重建方法都较少考虑真实低分辨率图像中包含的噪声信息,因此会影响图像的重建质量.受真实图像去噪算法的启发,本文引入一个噪声分布收集网络来收集低分辨率图像的噪声分布信息,并采用生成对抗网络的模型设计,提高含噪声图像的重建质量.噪声分布信息会分别输入到超分辨率重建网络和判别网络,在重建过程中去除噪声的同时保证有用高频信息的恢复,另外由于判别网络的能力对整个模型的性能有着重要影响,选择使用 U-Net 网络来获得更好的梯度信息反馈.与经典图像超分辨率重建算法的对比以及消融实验表明,使用噪声收集网络和 U-Net 判别网络后,本文模型在噪声低分辨率图像重建任务中获得了更好的性能.     

一种基于注意力嵌入对抗网络的全色锐化方法

全色锐化旨在将低空间分辨率的多光谱图像和高空间分辨率的全色图像进行融合，生成一幅高空间分辨率的多光谱图像．伴随卷积神经网络的发展，涌现出很多基于CNN的全色锐化方法．这些用于全色锐化的CNN模型大都未考虑不同通道特征和不同空间位置特征对最终锐化结果的影响．并且仅使用基于像素的1-范数或2-范数作为损失函数对锐化结果与参考图像进行评估，易导致锐化结果过于平滑，空间细节缺失．为了解决上述问题，本文提出一种嵌入注意力机制，并辅以空间结构信息对抗损失的生成对抗网络模型．该网络模型由2个部分组成：一个生成器网络模型和一个判别器网络模型．嵌入通道注意力机制和空间注意力机制的生成器将低分辨多光谱图像和全色图像融合为高质量的高分辨多光谱图像．判别器以patch-wise判别的方式对锐化结果与参考图像的梯度进行一致性检验，以确保锐化结果的空间细节信息．最后，在3种典型数据集上的对比实验验证了所提出方法的有效性．     

基于多尺度特征融合的超分辨率重建算法研究

超分辨率重建技术可以提高图像质量,使原图像具有更丰富的细节信息。针对现有的超分辨率重建算法存在提取特征单一、不利于对图像信息进一步提取的问题,提出了一种基于多尺度特征融合的超分辨率重建算法。采用多特征提取模块获取更多浅层信息,并在网络中添加密集连接结构,增强特征的传播,减少相关参数计算,减轻梯度消失问题。在Set5和Set14基准数据集上进行了测试,并在电力巡检数据集上进一步验证了算法的有效性。与主流的超分辨率重建方法进行了对比,实验结果表明,该方法生成的图像有更加丰富的细节信息,能够有效地改善图像质量,峰值信噪比与结构相似度值较其他主流算法均有一定的提高。     

多生成器生成对抗网络

生成对抗网络(Generative adversarial networks,GAN)广泛应用于各种领域,尤其在图像生成方面.该模型由生成网络与判别网络2部分组成,在无监督的训练方式下,2个网络相互竞争相互提高.然而,GAN在训练时经常出现模式崩溃问题,进而导致模型收敛较慢,生成样本多样性较差.为解决这一问题,在深度卷积神经网络的基础上提出了一种多生成器生成对抗网络模型.该模型包含多个生成网络,每个生成网络均使用残差网络进行搭建,同时在生成网络间引入协作机制,以加快模型获取信息并减少参数量,最后将各生成网络的特征图进行融合得到最终图像输入到判别网络中.GAN在训练过程中还会出现梯度消失、训练不稳定问题.为避免出现这些问题,将Wasserstein距离和梯度惩罚引入模型的损失函数.通过在多个数据集上与多种相关方法进行实验比较,结果表明提出的模型在缓解模式崩溃问题、加快模型收敛速度以及减少参数量上均明显优于其他几种方法.     

基于SinGAN的图像生成模型

生成对抗网络(GAN)是目前图像生成领域中一种新的、有效的训练生成模型方法,单一生成对抗网络(SinGAN)是建立在一张图片上的无条件GAN.该文在生成对抗网络原理的基础上阐述了单一生成对抗网络(SinGAN)的原理及基本结构.以SinGAN作为研究对象,通过实例在训练过程中生成了与原图像语义相近的图像,并对SinGAN的训练和应用进行了研究.研究表明:SinGAN在同一张图片上进行的训练或测试,通过建立一个模型,可以对图片进行纹理转移,提高清晰度等操作.     

基于边缘增强生成对抗网络的人脸超分辨率重建

针对对抗生成神经网络在人脸轮廓细节恢复上不够完善的问题,利用人脸图像的结构先验信息提出了一种边缘增强的生成对抗网络人脸超分辨率的重建算法.首先,利用人脸图像及其边缘图像的一致性关系设计一种并行网络提取面部和边缘细节特征;然后,通过特征融合网络获得高分辨率的生成图像;最后,利用判别网络判别生成图像的真伪.在人脸图像数据库上进行的人脸超分辨率重建实验结果表明:提出的边缘增强生成对抗网络能够提升面部细节重建能力,主观和客观评价指标均优于现有的人脸超分辨率算法.     

基于生成对抗网络的低分化宫颈癌病理图像分类

使用生成对抗网络(GAN)扩充宫颈癌病理图像的数据集以提高计算机辅助诊断的准确率.首先,使用GAN进行细胞质部分图像生成;其次,使用两次k-means聚类对生成图像进行筛选;最后,使用Inception-V3模型对数据集进行分类训练.结果表明,在测试集相同的情况下,该方法可以将总体分类准确率提升约2.5%,尤其对低分化宫颈癌病理图像有显著效果.通过GAN解决了组织病理学图像无方向性、内容复杂、前景目标规则性差等问题,证明了该方法的有效性及发展潜力.     

结构自相似线性回归超分辨重建

实例学习是一种有效的提高图像分辨率的超分辨重建方法.然而,其重建质量很大程度上依赖于学习样本的质量.为克服外部实例图像与输入图像结构可能不匹配而导致重建质量下降的局限性,提出了一种利用多线性回归统计模型建立输入低分辨图像本身不同尺度相似性图像块之间的映射关系的超分辨重建方法.该方法采用逐层重建策略,将输入的低分辨图像逐步分级放大到所期望的大小.实验结果表明,该方法在不需要外部训练集的情况下,能有效重建高质量的超分辨率图像.     

基于位置约束的参考图引导的遥感影像超分辨率网络

在遥感对地观测领域中,往往需要对生态或地质环境进行长时间跨度的监测.然而,仅通过卫星拍摄的高分辨率影像来实现在长时间跨度范围内对同一位置区域的覆盖是较为困难的.因此,之前的研究多采用单图像超分辨率算法来对低分辨率影像进行重建.但单张低分辨率影像中的信息是有限的,所以该类算法的重建结果往往较为平滑和模糊.实际上,对于同一位置区域而言,通常可以获取到来自不同卫星在不同时间段拍摄的多幅分辨率不同的遥感影像.其中的高分辨率影像可以作为低分辨输入在重建过程中的参考影像.因此,提出了一种基于位置约束的参考图引导的遥感影像超分辨率网络.该网络首先通过一个基于位置编码的纹理转换模块来实现参考图像与低分辨率图像之间的相似特征块匹配.同时引入位置约束,即根据低分辨率输入中邻近元素所对应的参考相似块的聚合度来对转换后的参考图像进行编码,从而提高匹配的准确度.同时,还提出了一种基于通道注意力机制的多尺度特征自适应融合模块,该模块有效提高了网络在进行跨尺度特征融合时的特征表达能力,进一步提高了网络的重建性能.实验结果表明,相较于其他新近的超分辨率方法,该网络在4×和8×超分辨率任务上均表现出了更为优越的重建性能...