多尺度残差生成对抗网络的图像超分辨率重建

针对目前基于深度学习的超分辨率重建图像存在的纹理等高频信息丢失问题,提出了多尺度残差生成对抗网络的图像超分辨率重建算法。首先,使用Dense-Res2Net模块替代SRGAN生成网络中原本的残差模块,并且组合特征压缩与激发网络（SENet）从多个尺度自适应地提取浅层特征信息。其次,引入全变分正则化损失（TV loss）指导生成器训练。最后,使用Wasserstein距离优化对抗损失,提高网络训练稳定性。实验结果表明,该算法重建出的图像在视觉效果上保留了更加丰富的高频细节,与当前主流超分算法相比,该方法不仅有更高的峰值信噪比（PNSR）与结构相似性（SSIM）,且学习感知图像块相似度（LPIPS）的分数上均优其他算法。     

基于生成对抗网络的单图像超分辨率重建

针对当前卷积神经网络未能充分利用浅层特征信息, 并难以捕获各特征通道间的依赖关系、 丢失高频信息的问题, 提出一种新的生成对抗网络用于图像超分辨率重建. 首先, 在生成器中引入WDSR-B残差块充分提取浅层特征信息; 其次, 将GCNet模块和像素注意力机制相结合加入到生成器和鉴别器中, 学习各特征通道的重要程度和高频信息; 最后, 采用谱归一化代替不利于图像超分辨率的批规范化, 减少计算开销, 稳定训练. 实验结果表明, 该算法与其他经典算法相比能有效提高浅层特征信息的利用率, 较好地重建出图像的细节信息和几何特征, 提高超分辨率图像的质量.     

改进生成对抗网络的图像超分辨率重建算法

超分辨率生成对抗网络(SRGAN)的高分辨率图像质量较传统方法有明显提升,然而其存在训练过程不稳定、图像浅层特征未充分使用等问题,很大程度上影响生成图像的质量.为此,提出一种特征增强改进的SRGAN模型,使用信息蒸馏块.通过对长短途特征在图像通道上的拼接增强特征纹理信息,利用压缩单元消除图像特征中的冗余信息.此外,使用相对平均鉴别器替代原始SRGAN中的二分类鉴别器,保证生成对抗网络训练的稳定性.本研究基于4倍放大因子进行超分辨重建任务,并在BSD100和SET14数据集上进行实验结果的质化和量化评价.实验表明,该方法较之SRGAN在训练过程中具有更好的稳定性,生成的图像具有更清晰的细节纹理,取得了更佳的图像超分辨率重建效果.     

利用图像掩膜优化基于生成对抗网络的图像超分辨率模型

深度学习在一定程度上解决了从低分辨率图像中恢复出高分辨率图像这一图像超分辨率问题。目前基于生成对抗网络（generative adversarial network,GAN）的方法可以从超分辨率数据集中学习低/高分辨率图像映射关系,从而生成具有真实纹理细节的超分辨率图像。然而,基于GAN的图像超分辨率模型训练通常不稳定,其结果往往带有纹理扭曲和噪声等问题,提出了采用掩膜（mask）模块以辅助对抗网络训练。在网络训练过程中,掩膜模块根据生成网络输出的超分辨率结果和原始高分辨率图像,计算得到相应观感质量信息,并进一步辅助对抗网络训练。在实验中对3个最近提出的基于GAN的图像超分辨率模型进行修改,引入掩膜模块,修改后的模型在超分辨率图像输出的观感和真实感量化指标上均有明显地提升。掩膜模块的优点是可以进一步提升基于GAN的图像超分辨率网络输出的超分辨率图像观感质量,并仅需对生成对抗网络训练框架进行修改,因此适用于多数基于GAN的图像超分辨率模型的进一步优化。     

基于生成对抗网络的轻量级图像盲超分辨率网络

针对图像盲超分辨率网络计算参数多、模型庞大的问题,对快速且节省内存的轻量级图像非盲超分辨率网络（fast and memory-efficient image super resulotion network, FMEN）进行改进,提出了一种轻量级的快速且节省内存的图像盲超分辨率网络（fast and memory-efficient image blind super resulotion network, FMEBN)。首先,通过图像退化模块模拟部分真实世界退化空间,使用退化预测模块预测低分辨率(low resolution, LR)图像的退化参数;然后,为能有效利用退化先验信息指导并约束网络进行重建,使用动态卷积对原网络特征提取、重建模块、高频注意力块（high frequency attention block, HFAB）结构进行改进;最后,使用生成对抗网络（generative adversarial network, GAN)对FMEN训练策略与损失函数进行优化,减小真实数据与生成数据的差异,生成更加真实、清晰的纹理、轮廓。实验结果表明,在合成图像数据集和真实图像数据集R...     

基于生成对抗网络与噪声分布的图像超分辨率重建方法

现有的图像超分辨率重建方法都较少考虑真实低分辨率图像中包含的噪声信息,因此会影响图像的重建质量.受真实图像去噪算法的启发,本文引入一个噪声分布收集网络来收集低分辨率图像的噪声分布信息,并采用生成对抗网络的模型设计,提高含噪声图像的重建质量.噪声分布信息会分别输入到超分辨率重建网络和判别网络,在重建过程中去除噪声的同时保证有用高频信息的恢复,另外由于判别网络的能力对整个模型的性能有着重要影响,选择使用 U-Net 网络来获得更好的梯度信息反馈.与经典图像超分辨率重建算法的对比以及消融实验表明,使用噪声收集网络和 U-Net 判别网络后,本文模型在噪声低分辨率图像重建任务中获得了更好的性能.     

改进条件生成对抗网络的文本生成图像方法

该文提出了一种改进条件生成对抗网络的文本生成图像模型(TxtGAN),使用一对生成器和判别器的单阶段生成方式生成高分辨率图像,避免因训练多个GAN消耗大量计算资源.生成器网络由一系列生成模块(RUPBlock)组成,每个模块中应用条件批量归一化方法,在实现图像生成的同时充分融合了文本信息与图像特征,较好地保留了文本信息...     

利用对抗性边缘学习模型生成超分辨率图像

大部分基于卷积神经网络的图像超分辨率方法都是采用端到端的模式,这类图像超分辨率方法往往存在重构图像纹理边缘模糊、高频信息缺失的问题.为了改善该问题,在SRGAN(super-resolution generation adversarial networks)的基础上提出了一种基于对抗性图像边缘学习的深层网络模型,将图...     

非局部多尺度融合的单帧图像超分辨率重建

现有的深度超分辨率重建模型,用堆叠多个相同模块的方式获取具有更高精度的重建结果,但未能充分考虑各层特征间的上下文关联信息.提出一种基于非局部多尺度融合的图像超分辨率重建模型.该模型采用3种模块:非局部模块、多尺度融合模块和宽激活残差模块.其中,非局部模块用于获取图像的全局特征,关注目标的核心区域;多尺度融合模块用于融合...     

多尺度卷积神经网络的图像超分辨率重建算法

为利用多尺度信息重建超分辨率图像,提出多尺度卷积神经网络的图像超分辨率重建算法。算法利用不同尺度的卷积核提取图像特征,为图像重建提供不同大小的邻域信息;用瓶颈层融合多尺度特征图,增强网络非线性表示能力,降低中间层输出的维数,提高图像的超分辨率重建性能。多个测试集上的实验结果表明,多尺度卷积神经网络算法优于现有的单幅图像超分辨率方法。     

一种基于多尺度结构自相似性的图像超分辨重建算法

多尺度结构自相似性是指图像中存在大量相同尺度以及不同尺度相似结构的性质。本文提出一种基于多尺度结构自相似性的超分辨率重建算法,该方法通过图像旋转和金字塔分解将输入图像的先验信息附加到训练库中,并对样本图像块聚类,分别训练针对各类的多个字典。在图像重建阶段,自适应选择最优字典,并利用相似图像块间的关系建立非局部约束项重建图像。最后利用迭代反投影算法进行图像后处理,进一步提升图像的超分辨率重建效果。实验结果表明,与SCSR、SISR和ASDS算法相比,本文算法能够取得边缘更为清晰的超分辨率重建效果。     

基于多尺度密集特征融合的生成式对抗除雾网络

在真实雾天场景下,针对除雾网络无法去除远处雾气、天空区域容易出现噪声的问题,提出了一种基于多尺度密集特征融合的生成式对抗除雾网络,并采用制作的合成雾天数据集进行对抗训练.首先,对除雾网络进行设计,构建了网络模型;其次,从合成晴朗天气图像中利用深度标签生成逼真的雾天数据集,以适用于真实雾天除雾领域;最后,在真实雾天数据集上测试,选取近几年具有代表性的6种基于深度学习的除雾网络进行主观视觉效果,并借助除雾领域常用的无参考图像质量评价指标进行客观分析.研究结果表明:提出的除雾网络在真实场景下的除雾效果较其他网络有显著提升,主观视觉效果明显优于对比的除雾网络,在无参评价指标上综合表现优于其他除雾网络.     

基于半像素运动信息的快速超分辨率图像重构算法

提出了一种全新的、利用半像素运动信息进行超分辨率重构的快速算法．该算法连续两次使用了图像的一维统计特性：第一次将图像分为运动区域和背景区域;第二次针对运动区域估计各像素的运动范围．在对运动区域进行运动估计和运动补偿后获得Ⅳ个运动补偿图,最后结合背景区域,利用数据融合技术获得超分辨率的重构图像．试验结果表明,该算法计算量小、复杂度低,无论是最小均方误差,还是信噪比或峰值信噪比,均好于传统的双线性内插法．     

基于生成对抗网络的人脸图像彩色化方法

提出了一种新的基于生成对抗网络的人脸图像彩色化方法.所提出的网络结构包含两组生成对抗子网络,每个子网络由一个生成器和判别器组成.其中,一个对抗子网络A（包含生成器A和判别器A）实现从灰度图像到彩色图像的翻译过程,另一个子网络B（包含生成器B和判别器B）反转该过程,即生成器B对称地使用生成器A的最终输出图像作为输入,用来重建原始的人脸灰度图像.其中,网络中的循环损失进行图像重建,而生成损失和对抗损失用来保证生成的图像更加接近真实图像.实验结果表明,这种结构设计不仅能实现自然逼真的人脸图像彩色化,还能同时保证人脸的身份属性不变.      

改进的二阶龙格-库塔超分辨率算法

提出一种改进的二阶龙格-库塔超分辨率算法.首先,提出一种浅层共享编码器,以实现低分辨率图像的浅层特征提取.其次,提出一种深层特征学习单元,并与基于龙格-库塔方法的残差模块相融合,进而构建出一种基于深层特征的残差模块,以提升深层特征提取能力.实验结果表明:与主流超分辨率算法相比,文中算法在主观视觉效果和客观评价指标方面都具有更好的效果.     

基于小波变换的图像超分辨率增强算法

视频图像超分辨率增强技术具有重要的研究价值。文章在研究和分析小波变换理论的基础上提出了一种基于小波变换的图像超分辨率增强算法,该算法充分利用小波多分辨率分解思想,体现图像分辨率降低的自然过程;通过估计高分辨率小波系数,经插值逆变换可得到重构的高分辨率图像。实验结果证明该算法克服了传统的插值方法致使图像高频部分损失、细节被模糊的缺点,是超分辨率图像处理的一种行之有效的途径,具有一定的实用价值。     

基于生成对抗网络的海马子区图像分割

海马子区体积很小且结构复杂,传统分割方法无法达到理想分割效果,为此引入生成对抗网络模型用于海马子区图像分割.该方法构建一个生成对抗网络模型,通过构建生成网络和对抗网络并对其进行交替对抗训练实现对脑部海马子区图像的像素级精确分割.实验选取美国旧金山CIND中心的32位实验者的脑部MRI图像进行海马子区分割测试,在定性和定量方面分别对比了所提方法基于稀疏表示与字典学习方法和传统CNN的分割结果.实验结果表明,该方法优于基于稀疏表示与字典学习和CNN方法,海马子区分割准确率有较大提升.该方法提升了海马子区的分割准确率,可用于大脑核磁图像中海马子区的分割,为诸多神经退行性疾病的临床诊断与治疗提供依据.     

基于深层卷积网络的单幅图像超分辨率重建模型

【目的】针对Mean squared error(MSE)作为损失函数在人眼感知方面存在局限性,以及基于卷积神经网络的图像超分辨率(Super-resolution,SR)算法生成的图像存在参数较多、计算量较大、训练时间较长、纹理模糊等问题,设计基于深层卷积神经网络的单幅图像超分辨率重建模型。【方法】使用ImageNet预先训练的大型卷积神经网络Visual geometry group(VGG)模型提取图像特征,利用该特征设计视觉感知损失函数进行训练学习,引入亚像素卷积层(Sub-pixel convolution)替换上采样层,缓解生成图像的棋盘效应。【结果】设计的模型对放大两倍的图像进行超分辨率修复,与其他4种超分辨率重建模型的Peak signal to noise ratio(PSNR)值接近,且生成图像的视觉效果更加清晰逼真,细节更加细腻。【结论】该模型可以实现输入不同大小的低分辨率图像而不必多次训练学习不同比例的放大模型,可以实现对不同放大倍数图像的训练和预测,在保持一定PSNR正确率的前提下,放大后的超分辨率图像能够恢复更多纹理细节和更佳视觉效果。