基于近邻算法的GAN生成图像质量评价

GAN生成图像质量评价是指对GAN生成的图像进行评价,判断生成图像的失真度是否影响观察者的信息获取和主观感受.目前,GAN生成图像质量评价算法较少且算法运行效率不高.该文提出一种基于近邻算法的生成图像质量评价(Near-Neighbor based Generated Image Quality Assessment, NN-GIQA)算法,实现对GAN生成图像的自动、客观、高效评价.首先,基于ANN算法获取生成图像的近邻构成相似图像候选池,缩小生成图像对比范围;然后,基于KNN算法在相似图像候选池中获取与生成图像最相似的K个真实图像得到生成图像质量分数;最后,评价多个经典GAN模型在多个经典数据集上获取的生成图像的质量.实验结果表明本文方法有效提高了GAN生成图像质量评价的效率和准确性,运行时间仅为其他方法的1/9～1/28,其评价结果和人类主观评价结果的一致性达到80%以上,符合人类视觉感知.     

基于双重注意力和分层感知表征的IQA方法

图像质量评价在图像处理领域有着广泛的应用．基于深度学习的方法以多通道特征的形式获取图像信息,但在特征下采样过程中会丢失局部空间细节,导致对于图像信息的表征能力不足．针对以上问题,本文基于人类视觉系统的分层感知机制,提出了一种全参考图像质量评价方法,采用Siamese结构的卷积神经网络实现非线性映射,从不同尺度和视觉复杂度表征图像信息,并通过双重注意力模拟人类在评价图像质量时对视觉注意力的调控过程．此方法在特征提取阶段引入空间注意力机制,对特征图的二维空间位置赋以权重,计算人在感知图像失真信息时对空间区域的注意力差别．在特征融合阶段利用分组通道注意力模块显式建模通道间的依赖关系,对感知差异特征进行自适应的校准,使网络关注对于图像质量评价影响大的通道特征．实验结果表明,该方法在LIVE、TID2013和CSIQ3个公开数据集上的斯皮尔曼相关系数分别达到0.975、0.938和0.963,在应对复杂失真类型图像时的性能提升显著,与人类主观评价的一致性良好．     

结合注意力机制的生成对抗网络图像超分辨重建

为改善图像超分辨率重建的主观视觉效果,提出一种结合注意力机制的图像超分辨生成对抗网络(generative adversarial network, GAN)模型.该模型在生成器网络中引入通道和空间双重注意力机制,选取更合适的重要特征信息进行传递;判别器网络采用WGAN进行构建,通过Wasserstein距离定义对抗损失,解决了GAN模型的训练不稳定问题.该重建模型在Set5、Set14、BSD100和Urban100共4个标准数据集上进行了实验,结果表明,和主流的超分辨重建算法相比,该模型的主客观评价指标均有所提高,图像细节信息恢复更加清晰,重建质量更好.     

基于视觉显著性与对比度特性的图像质量评价

提出1种用于客观图像质量评价的新方法.分别对参考图像与失真图像进行高斯金字塔分解;对于分解后的每1层图像,采用基于相位谱的视觉显著图来计算2幅图像中每个对应像素点间的相似性,同时采用梯度图表示图像的对比度特性.视觉显著性和对比度特性互为补充,分别反映了人类视觉系统的不同特性,将2者加权相乘可获得单尺度的质量评价值;最后对各层结果进行综合可获得失真图像的客观质量评价值.在LIVE、TID 2008、CSIQ、IVC 4个公开的图像质量评价数据库上进行了大量的实验,结果表明,与其他相关的图像质量评价方法相比,提出的客观质量评价方法与人类主观评价的结果具有更好的一致性.     

多模态医学图像融合图像质量评估

目前大多数的质量评估算法都应用于自然图像的融合场景,缺乏专用评价的医学图像数据集及多模态医学融合图像的质量评估算法。针对此问题,利用17种经典的医学图像融合方法构建医学图像主观数据集,解决无专用评价数据集的问题;提出一种基于色彩相似度(color similarity,CS)和信息相似度(information similarity,IS)的客观医学图像质量评价方法。将CS模块用于测量局部颜色失真,在传统的池化层上添加背景分离模块使其适用于医学图像多背景干扰特性;将IS模块用于衡量信息失真,改进图像熵的计算方法,添加过滤模块以剔除图像噪声。实验结果表明,所提方法的预测值和主观数据集客观评分具有更好的一致性,更符合人类视觉系统。     

基于注意力机制的循环一致性生成对抗网络

针对循环一致性生成对抗网络（Cycle-GAN）在图像风格转换任务上出现的纹理细节处理得不好、背景颜色保留较差等问题，并且缩小在配对图像数据集和非配对图像数据集上训练结果的差异，提出一种基于注意力机制的循环一致性生成对抗网络，在生成器网络中融入通道注意力机制（SE-Net），利用网络自主学习的方法得到每一个特征通道的重要程度，再分别赋予每个特征通道不一样的权重系数，以此来强调有重要特征的部分、抑制非重要特征的部分，使得不同特征和不同区域能够被生成器网络非均匀的处理。同时引入对比学习（CL），使网络能够学习到图像的更高层次的通用特征。实验结果表明，所提方法在horse2zebra数据集上取得了较好的结果。     

可见光与红外灰度融合图像感知对比度客观评价

如何客观有效地评价融合图像质量,是融合技术发展与装备应用面临的一个关键问题.图像对比度是衡量双波段灰度融合质量的一项重要的评价指标.针对目前的图像对比度客观计算模型没有充分反映人眼视觉特性,从而影响模型计算结果与人眼视觉感受的一致性的问题.在各向同性局部对比度计算模型基础上,引入人眼视觉的亮度掩盖特性,提出图像感知对比度客观评价模型.使用模拟灰度图像以及人眼主观评价实验得到的15组不同真实场景融合图像的对比度评价数据来验证客观计算模型.结果表明,相比于4种经典的对比度客观评价模型,建立的图像感知对比度模型评价结果更符合人眼视觉感受,可以有效实现双波段灰度融合图像感知对比度的客观评价.      

一种基于知觉模拟的全参考图像质量评价方法

为提高客观图像质量评价与主观图像质量评价的一致性,提出一种模拟人类感知图像质量过程中,由生理因素主导的前期过程和由心理因素主导的后期过程的IQA 方法. 人类感知图像信息的过程依赖于人脑的内部生成机制,它主动预测图像中易被感知的简单结构且忽略难以被感知的复杂结构. 此方法利用贝叶斯预测模型将输入图像分为易感知区域和难感知区域,对具有各异感知特征的两区域通过不同特征进行分别评估. 最后采用关于视觉显着性和亮度掩蔽的整体综合策略,对两组评估结果统一进行计算. 基于整体感知的综合策略和基于局部感知的保真度测量在此方法中互为补充.TID2008 等4 个通用评测数据库的实验结果,指出了该方法具有良好的预测精度和稳定性.     

基于人眼视觉特征的立体图像质量客观评价方法

在充分利用人类视觉特性的基础上,模拟人眼感知立体图像的方式,提出了一种立体图像质量客观评价方法。该方法考虑了对比度敏感度、多通道结构和掩盖特性等多种人眼视觉特性．在处理HVS模型的多通道中,将图像的空间频率按视觉系统的掩盖效应特点分成5个带分别进行滤波,以改变原始图像的空间频率实验结果表明,所提出的方法与主观评价结果基本一致,能够反映图像质量以及立体感的优劣．     

基于PSNR立体图像质量客观评价方法

立体图像技术的发展为其质量评价提出了新的课题．为此,以平面图像的客观评价方法PSNR为基础。通过分析人类立体视觉,提出了一种立体图像质量评价方法．该方法分两部分进行立方体图像质量评价,分别是图像质量客观评价与立体感觉客观评价．实验结果表明,该方法的评价结果与主观评价结果基本一致,能够反映图像质量以及立体感的优劣度．     

基于改进DCGAN轮胎缺陷图像生成方法

针对深度卷积生成对抗网络的数据扩充方法存在生成图像质量差、模型框架不稳定、模型收敛速度慢等问题，提出一种改进DCGAN轮胎缺陷图像生成模型。将残差网络和注意力机制嵌入到DCGAN模型中，提升模型特征的提取能力；同时摒弃DCGAN损失函数JS散度，使用带有梯度惩罚项的Wasserstein距离，提高模型训练的稳定性。实验结果表明，使用给定模型生成的轮胎缺陷图像质量优于使用DCGAN，WGAN，CGAN与SAGAN所生成图像，其平均FID值可以达到116.28，最小FID值可以达到84.94。所提出的模型可以稳定生成质量更好的轮胎缺陷图像，为轮胎缺陷样本数据集的扩充提供了一种有效途径，有助于有效解决深度学习在缺陷检测领域发展所面临的小样本问题。     

基于改进循环生成对抗网络的低照度图像增强

为了解决在低照度图像增强过程中配对数据集获取困难,且经过增强后的图像质量不佳的问题,通过改进循环生成对抗网络的方法研究了非配对低照度图像增强的实现。主要方法为改进生成器和判别器的结构提高增强后图像的质量。生成器部分采用融合了Vision Transformer结构的U-NET模型替代原始的生成器模型,来提高图像变换的周期一致性和内容保持性,并有效的处理图像研究中普遍存在的长距离空间相关性的问题。判别器部分针对图像研究的特点选择PatchGAN代替传统的判别器,提高对图像细节的判别能力,提高图像质量。结果表明,相比较于传统方法,本文改进的模型有着更好的主观视觉效果,同时在客观评价指标也有着相应的提高。可见本文改进模型的有效性。     

基于GAN的图像超分辨率重建算法研究

SRGAN是一种基于生成对抗网络的超分辨重建方法,其生成的高分辨率图像质量较传统方法有着明显提升,然而SRGAN存在着训练过程不稳定,图像浅层特征未充分使用等问题,很大程度上影响到了生成图像的质量。本文提出了一种特征增强改进的SRGAN模型,该模型使用信息蒸馏块进行特征纹理信息的增强,并消除图像特征中的冗余信息。此外,使用相对平均鉴别器替代原始SRGAN中的二分类鉴别器,保证了GAN网络训练的稳定性。本文基于4倍放大因子的超分辨重建任务,在BSD100数据集上进行实验结果的质化评价和量化评价。实验表明,本文方法较之SRGAN在训练过程中具有更好的稳定性,生成的图像具有更清晰的细节纹理,取得了更佳的图像超分辨率重建效果。     

基于生成对抗网络的乳腺MRI图像生成

乳腺癌磁共振成像(nuclear magnetic resonance imaging, MRI)数据由于不同医院采集方式不同、设备不同或病人等自身原因，会存在同一病人不同序列缺失的问题。目前主流的图像生成对抗网络Pix2Pix和Cycle-consistency是医学图像生成的两种主要模式，这类方法要求不同MRI序列数据配对出现，难以处理存在缺失的数据，此外，该类方法往往关注整幅图像的生成质量，缺少对疾病诊断更有价值的病灶区域的生成质量的监控。针对以上问题，该文受配准网络(RegGAN)自适应对准图像空间分布的启发，设计了一种新的基于特征增强的双注意力配准生成对抗网络DA-RegGAN。该网络在生成器中引入卷积注意力模块，使网络更注重病灶的学习；在判别器中添加梯度正则化约束，主要解决网络训练不稳定容易出现模式崩溃的现象，使网络生成包含更清晰的病灶细节全局图。该文在1 697幅乳腺数据上开展消融实验、不同图像生成算法间的对比实验、肿瘤分类实验，进一步验证了方法的有效性。与原始RegGAN比，全局图像生成质量和局部病灶图像生成质量均得到提升，局部图像质量较原始PSNR提升了0.518,S...     

注意力融合双流特征的局部GAN生成人脸检测算法

为解决现有局部生成式对抗网络(GAN)生成人脸检测算法在检测经过后处理的图像时性能严重下降的问题，提出一种注意力融合双流特征的局部GAN生成人脸检测算法.该算法利用双流网络分别从RGB颜色空间和YCbCr颜色空间中提取鲁棒特征，并引入注意力特征融合模块在不同网络层上融合双流特征以获得更鲁棒的特征.同时采用多层次特征融合决策提高网络对局部生成区域特征的提取和辨别能力.实验结果表明，所提算法的鲁棒性优于现有算法，尤其是针对JPEG压缩和双边滤波后处理.在FFHQ+规则子集上与次优算法相比，该算法在3种强度的JPEG压缩和双边滤波上的平均准确率分别提高了1.88%和2.64%;在FFHQ+不规则子集上与次优算法相比，该算法在3种强度的JPEG压缩和双边滤波上的平均准确率分别提高了2.85%和1.60%.     

基于视觉传达的产品外观设计感知差异研究

为了解产品外观设计所传达的感知差异,建立客观的图像评价体系,提出利用生成对抗网络,建立无参考图像评价模型.首先,根据产品外观设计对消费者视觉感知差异的影响,提出将消费者的情感感知差异,作为中间变量进行建模分析.其次,基于生成对抗网络结合感知差异,建立无参考图像评价模型,并对生成网络、判别网络以及图像质量评价网络进行设计.实验表明,设计模型的评价分数高于0.93,与常用算法相比,设计方法对不同失真类型的图像有更优异的评价效果.对产品外观的输出结果显示,模型的输出误差更小,预测准确性优于传统评价模型的效果.研究为建立基于视觉传达下的客观图像评价系统提供了参考.     

基于生成对抗网络的低分化宫颈癌病理图像分类

使用生成对抗网络(GAN)扩充宫颈癌病理图像的数据集以提高计算机辅助诊断的准确率.首先,使用GAN进行细胞质部分图像生成;其次,使用两次k-means聚类对生成图像进行筛选;最后,使用Inception-V3模型对数据集进行分类训练.结果表明,在测试集相同的情况下,该方法可以将总体分类准确率提升约2.5%,尤其对低分化宫颈癌病理图像有显著效果.通过GAN解决了组织病理学图像无方向性、内容复杂、前景目标规则性差等问题,证明了该方法的有效性及发展潜力.     

基于人类视觉系统的特征相似性图像质量评价

为克服现有特征相似性(FSIM)图像质量评价算法对图像信息无序部分及边缘信息度量能力的不足,利用人类视觉系统的内在推导机制,提出基于人类视觉系统的特征相似性图像质量评价算法HFSIM.该算法采用自回归预测模型分解并解读图像内容的预测部分和无序部分;联合FSIM与边缘结构相似性算法度量预测部分,采用多尺度峰值信噪比(PSNR)度量无序部分的衰减情况,最后根据噪声能量融合图像信息预测部分与无序部分的评价结果得到图像质量评价.在6个公开基准数据库上的实验结果表明,该算法与人类主观感知具有高度的一致性,且在各类型失真图像的评价上具有较好的性能.     

基于深度网络和视觉特性的无参考图像质量评价方法

图像质量评价是图像处理和计算机视觉领域的基础性问题,对于视觉信息的采集、处理和分析系统性能的评判具有重要的意义.现有的无参考型图像质量评价方法都是基于自然统计规律的,或者构建单一网络模型,并未考虑视觉感知特性,使得最终的评价结果与主观感受间存在较大差异.为此,本文提出一种结合多种网络特性和最差视觉感知特性的无参考型图像质量评价方法.首先,提取图像的去均值对比度归一化特征,将特征图进行重叠分块;然后,构建VGG与Inception相结合的深度网络,对图像块提取深度感知特征;最后,将分块图像的质量分数集合进行排序,利用视觉感知最差情况加权策略对序列进行加权求和,得到最终的图像质量分数.在国际公开的质量评价数据库CSIQ、LIVE和TID2013上的实验结果表明,本文方法取得了优于现有方法的主客观一致性性能.     

基于图像信息相关性的质量评价方法

图像质量评价是图像工程的重要内容之一,在图像通信过程中起着举足轻重的作用。评价方法一般来说可分为客观质量评价方法和主观评价方法。文中分析了传统的MSE和MOS图像质量评价方法及其一些缺点,在分析图像信息和相关性理论基础之上,通过对基于结构失真的图像质量评价方法的深入分析,提出了一种对结构失真评价方法进行改进的图像质量评价方法,实验证明所提出的改进方法与人的主观视觉质量具有一致性。