基于GAN的图像超分辨率重建算法研究

SRGAN是一种基于生成对抗网络的超分辨重建方法,其生成的高分辨率图像质量较传统方法有着明显提升,然而SRGAN存在着训练过程不稳定,图像浅层特征未充分使用等问题,很大程度上影响到了生成图像的质量。本文提出了一种特征增强改进的SRGAN模型,该模型使用信息蒸馏块进行特征纹理信息的增强,并消除图像特征中的冗余信息。此外,使用相对平均鉴别器替代原始SRGAN中的二分类鉴别器,保证了GAN网络训练的稳定性。本文基于4倍放大因子的超分辨重建任务,在BSD100数据集上进行实验结果的质化评价和量化评价。实验表明,本文方法较之SRGAN在训练过程中具有更好的稳定性,生成的图像具有更清晰的细节纹理,取得了更佳的图像超分辨率重建效果。     

多尺度生成对抗网络的图像超分辨率算法

基于神经网络的图像超分辨率方法往往存在重建图像纹理结构模糊、缺失高频信息的问题。为了解决该问题,在SRGAN的基础上提出一种多尺度并联学习的生成对抗网络结构,其中生成模型由两个不同尺度的残差网络块组成,首先对提取的低分辨率图像通过两个子网络的多尺度特征学习,然后使用融合网络进行残差融合,融合不同尺度高频信息,最终生成高分辨图像。在Set5、Set14、BSD100基准数据集以及SpaceNet卫星图像数据集上的实验结果证明了该算法在恢复低分辨率图像的细节纹理信息具有良好效果。     

利用对抗性边缘学习模型生成超分辨率图像

大部分基于卷积神经网络的图像超分辨率方法都是采用端到端的模式,这类图像超分辨率方法往往存在重构图像纹理边缘模糊、高频信息缺失的问题.为了改善该问题,在SRGAN(super-resolution generation adversarial networks)的基础上提出了一种基于对抗性图像边缘学习的深层网络模型,将图像边缘信息得到充分利用,来引导超分网络生成更加真实的高分辨率图像.该网络模型由两个生成对抗网络所组成,首先利用一个生成对抗网络来生成低分辨率图像所对应的高分辨率边缘特征图,然后再用高分辨率边缘特征图来约束和引导第二个生成对抗网络,使之重构出来的高分辨率图像纹理边缘更加清晰,更好地恢复图像边缘的高频细节.在Set5、Set14、BSD100、Urban100和Manga109基准测试集上的实验结果表明该算法重构出的高分辨率图像更加接近真实的图像,在峰值信噪比、结构相似度和感知指标上都有不错的表现.     

多尺度残差生成对抗网络的图像超分辨率重建

针对目前基于深度学习的超分辨率重建图像存在的纹理等高频信息丢失问题,提出了多尺度残差生成对抗网络的图像超分辨率重建算法。首先,使用Dense-Res2Net模块替代SRGAN生成网络中原本的残差模块,并且组合特征压缩与激发网络（SENet）从多个尺度自适应地提取浅层特征信息。其次,引入全变分正则化损失（TV loss）指导生成器训练。最后,使用Wasserstein距离优化对抗损失,提高网络训练稳定性。实验结果表明,该算法重建出的图像在视觉效果上保留了更加丰富的高频细节,与当前主流超分算法相比,该方法不仅有更高的峰值信噪比（PNSR）与结构相似性（SSIM）,且学习感知图像块相似度（LPIPS）的分数上均优其他算法。     

多特征融合的深度强化学习色彩增强方法

提出一种结合深度特征与美学特征的图像增强方法.首先,结合多种图像特征重构智能体评估网络,该网络通过拼接图像语义特征、图像色彩特征及历史动作信息输出当前策略.其次,感知奖励模型通过预训练分类模型激活层网络提取深层特征,使用余弦距离获得图像间的深度感知距离;利用美学模型获得图像间的概率距离.最后,结合两方面的距离表示并将其用于奖励模型构造中.在MIT-Adobe FiveK数据集上的实验结果表明,本色彩增强方法在结构相似度和平均均方误差上优于其他基线算法,模型场景适用性强.生成图像在保留更多的细节信息的同时,可以有效增强图像色彩.     

基于边缘增强生成对抗网络的人脸超分辨率重建

针对对抗生成神经网络在人脸轮廓细节恢复上不够完善的问题,利用人脸图像的结构先验信息提出了一种边缘增强的生成对抗网络人脸超分辨率的重建算法.首先,利用人脸图像及其边缘图像的一致性关系设计一种并行网络提取面部和边缘细节特征;然后,通过特征融合网络获得高分辨率的生成图像;最后,利用判别网络判别生成图像的真伪.在人脸图像数据库上进行的人脸超分辨率重建实验结果表明:提出的边缘增强生成对抗网络能够提升面部细节重建能力,主观和客观评价指标均优于现有的人脸超分辨率算法.     

自注意力SRGAN在岩石CT图像超分辨中的应用研究

针对图像采集设备和地质环境等因素导致的岩石显微图像普遍存在分辨率低,图像细节不清晰等问题,本文基于SRGAN和自注意力机制,对生成网络和判别网络进行调整,并在损失函数中结合岩石显微图像的孔隙度特征,提出一种岩石显微图像超分辨率重建算法.在4倍放大因子下,通过实验对岩石显微图像数据集DRSRD1_2D进行了测试.结果表明...     

分类重构堆栈生成对抗网络的文本生成图像模型

利用堆栈生成对抗网络,提出分类重构堆栈生成对抗网络.第一阶段生成64 px×64 px的图像,第二阶段生成256 px×256 px的图像.在每个阶段的文本生成图像中,加入图像类别信息、特征和像素重构信息辅助训练,生成质量更好的图像.将图像模型分别在Oxford-102、加利福尼亚理工学院鸟类数据库(CUB)和微软COCO(MS COCO)数据集上进行验证,使用Inception Score评估生成图像的质量和多样性.结果表明:提出的模型具有一定的效果,在3个数据集上的Inception Score值分别是3.54,4.16和11.45,相应比堆栈生成对抗网络提高10.6%,12.4%和35.5%.     

基于融合SIFT特征和二次聚类视觉词典生成的场景分类方法

在传统SIFT(scale-invariant feature transform)特征检测算子基础上,增加部分伪极值点和非极值点作为特征点,提出融合SIFT特征检测算子.该算子能够提取图像中更多特征点,并使特征点在图像上分布均匀;然后在生成视觉词典前,对每幅图像的特征单独进行聚类,使视觉单词包含更多的场景信息,并缩短视觉词典的生成时间;最后使用PLSA(probabilistic latent semantic analysis)主题生成模型实现场景分类.在标准图像集上进行的对比实验表明:该方法的分类性能有一定提高,并且对多个不同场景的表现较为均稳.     

改进条件生成对抗网络的文本生成图像方法

该文提出了一种改进条件生成对抗网络的文本生成图像模型(TxtGAN),使用一对生成器和判别器的单阶段生成方式生成高分辨率图像,避免因训练多个GAN消耗大量计算资源.生成器网络由一系列生成模块(RUPBlock)组成,每个模块中应用条件批量归一化方法,在实现图像生成的同时充分融合了文本信息与图像特征,较好地保留了文本信息...     

对比增强的关联记忆网络用于医学图像报告生成

在现有的医学影像诊断报告自动生成模型中,仅利用输入图像的视觉特征来提取相应的语义特征,并且生成词之间关联较弱和缺乏上下文信息等问题。为了解决上述问题,提出一种对比增强的关联记忆网络模型,通过对比学习提高模型区分不同图像的能力,设计了注意力增强关联记忆模块根据上一时间步生成的单词来持续更新,以加强生成医学图像报告中生成词之间的关联性,使得本模型可以为医学图像生成更准确的病理信息描述。在公开IU X-Ray数据集和私有胎儿心脏超声数据集上的实验结果表明,提出的模型在Cider评估指标方面明显优于以前的一些模型(与经典的AOANet模型相比较,在IU X-Ray上Cider指标提升了51.9%,在胎儿心脏超声数据集上Cider指标提升了3.0%)。     

基于残差变换器的并行傅里叶卷积修复算法

为解决现有图像修复算法因缺乏上下文信息和有效的感受野导致修复大面积随机破损时效果差且只能修复低分辨率图像的缺陷,提出了基于残差变换器的并行傅里叶卷积修复算法.首先,提出基于变换器的改进残差网络模块提取待修复图像的纹理特征;然后,设计并行快速傅里叶卷积模块增强损失图像的高度有效感受野捕捉结构信息;最后,提出门控双特征融合模块交换和结合图像的结构与纹理分量,融合上下文特征,改善生成纹理的细粒度.在两个公开数据集上进行定性和定量实验,实验结果表明：所提算法可有效修复结构复杂且纹理精细的随机不规则大面积破损区域,生成结构合理、纹理细腻和语义丰富的高保真图像,并能用于高分辨率图像的目标移除.     

基于分形维数和小波域特征的计算机生成图像检测算法

针对自然图像与计算机生成图像在统计特征上存在的差异, 提出一种基于分形维数和小波域特征的计算机生成图像盲鉴别算法, 该算法基于统计特征对图像进行真伪识别. 在使用支持向量机作为分类器的情况下, 对800张标准图像进行实验的结果表明, 该算法对计算机生成图像检测准确率达96.5%, 明显提高了计算机生成图像的识别精度, 为数字图像的真实性提供了保证.     

基于多方向滤波的人脸年龄图像合成方法

为补偿人脸识别中的年龄变化,结合人脸形状与纹理信息,提出了一种新的人脸年龄图像合成方法来模拟年龄变化.首先将人群划分成8个年龄段,选取不同年龄段人脸的多个特征点,依据径向基函数变形技术,得到脸形变形函数,对人脸进行形状变形;接着对目标图像进行多方向滤波,提取原始纹理信息,然后根据使用神经网络模拟得到的年龄因子,选择相应的模板纹理信息,在原始纹理信息基础上进行置换和融合,得到新的纹理信息特征,并将得到的纹理特征叠加在已经变形的人脸图像上,合成年龄模拟图像.另外为进行更细微的纹理控制,使用高斯滤波器调节滤波程度.试验结果表明该方法简单易行,而且可以生成更接近目标年龄的人脸图像.     

基于LTCP特征的计算机生成图像鉴别算法

针对目前计算机生成图像鉴别算法在对图像纹理特征进行鉴别时精度较差的问题, 提出一种基于长期控制计划(LTCP)特征的计算机生成图像鉴别算法. 首先将彩色图像变换到颜色模型中, 对图像进行下采样, 获得较高尺度的纹理信息; 然后采用基于LTCP特征和共生矩阵的计算机生成图像盲鉴别算法, 对不同尺度的纹理图像LTCP特征及相邻像素一致性共生矩阵特征进行采集; 最后通过判别分类器对LTCP特征及相邻像素一致性共生矩阵特征实施分类预测, 根据分类预测结果实现计算机生成图像的鉴别. 实验结果证明, 该算法在计算机上生成的图像特征维度较低, 鉴别率和精度较高, 能实现计算机生成图像的准确鉴别.     

基于生成对抗网络的人脸图像修复

为了有效修复大面积破损的面部图像,通过生成对抗网络,使用解码器-编码器结构的卷积神经网络作为生成模型,增强生成模型的结构信息预测能力,同时引入对抗训练策略优化生成模型。该模型首先训练一个判别模型识别真实图像,再将判别待修复图像输入生成模型后所得到的结果是否真实,从此为生成模型提供优化梯度。结合卷积神经网络的结构信息预测能力和DCGAN对抗策略的优化能力,提高图像补全效果。通过在CeleBA人脸数据集上进行的实验结果表明:该方法在补全大面积破损的图像任务上性能明显优于其他方法。     

基于U-net边缘生成和超图卷积的两阶段修复算法

为了有效修复背景复杂、大面积不规则缺失区域，得到合理的结构和精细的纹理，提出了基于U-net边缘生成和超图卷积的两阶段修复算法.首先，将缺失图像输入基于U-net门控卷积的粗修复网络，通过跳跃连接将图像的上下文信息向深层传播，获取丰富的图像细节信息，下采样提取缺失区域边缘特征，上采样还原缺失区域边缘细节，同时使用混合空洞卷积增大信息感受野，获取细节纹理信息.然后，将粗修复结果输入含超图卷积的细修复网络，捕获和学习输入图像中的超图结构，使用空间特征的互相关矩阵捕获空间特征结构，改善结构完整性并提升细节细粒度.最后，将细修复结果输入鉴别器进行判别优化，进一步优化修复结果.在国际公认数据集上进行实验仿真，结果显示：本文提出的算法在修复大面积不规则缺失时，可以生成合理的结构和丰富的纹理细节，修复的视觉效果，PSNR,SSIM和L1损失优于对比算法.     

局部特征与全局信息联合的自适应图像增强算法

针对传统基于修正直方图的图像增强算法不能兼顾局部特征和全局信息的问题,提出一种局部特征与全局信息联合的自适应图像增强算法. 该算法将增强分为局部增强和全局增强两部分,局部增强利用像素的邻域信息和局部与全局对比度的比例信息作为幂次变换的伽马值,对图像进行伽马校正,提高图像的亮度和局部对比度;全局增强利用区域相似直方图统计抑制噪声,避免过度增强. 实验结果表明,本文算法在客观性能上优于其它传统图像增强算法,并且可以有效提高复杂光照下人脸图像的检测率.      

自动生成影像学报告的混合特征提取无卷积结构深度学习模型

在影像学报告的生成中,由于正常区域和异常区域的数据不平衡,描述疾病的关键词经常被描述图像正常区域的句子掩盖,导致异常图像特征的误判和漏判,严重影响医疗报告的质量。本研究提出混合特征提取无卷积深度学习模型,首次将Swin Transformer引入放射学报告中,设计了一个混合特征提取器,以提取更加细粒度的图像特征,准确地捕捉生成影像学报告所需要的异常特征;设计一个名为视觉-语义协同注意力的注意力机制,在生成报告时突出图像重点特征信息,对非关键信息进行过滤,有效提升生成异常报告的质量;使用具有记忆机制的解码器模块生成影像学报告。最后,在流行的影像学报告IU X-Ray数据集上与当前的主流模型进行对比表明,本模型在语言生成指标和临床评估方面都达到较理想的效果。     

基于多层次相容粒度的图像分类

通过图像块的局部特征生成图像特征的空间分布信息和层次信息,提出了基于相容粒度空间的图像特征分层分类方法.该方法体现了基于粒计算从粗到细对图像进行分类的原理;实验测试说明了所提出方法有效.