改进CycleGAN的钢材表面缺陷图像生成方法

针对工业钢材表面缺陷检测过程中存在的样本采集困难、成本较高,以及缺陷种类较多难以覆盖全部导致的小样本问题,提出一种改进循环生成对抗网络(cycle-consistent generative adversarial networks, CycleGAN)的钢材表面缺陷图像生成方法。首先,将通道注意力(class activation map, CAM)和空间注意力(spatial attention map, SAM)机制嵌入到CycleGAN模型中,增强模型的特征提取能力;其次,引入权重解调(weight demodulation, WD)机制修复特征伪影和白斑,进一步提高生成图像的质量;再次,引入形状一致性损失对生成器训练过程进行监督,解决图像几何变换过程中内在模糊性问题;最后,将改进前后的模型在NEU-DET数据集上进行试验。结果表明,改进后的模型在缺陷图像生成的效果上更具多样性和准确性,PSNR,SSIM分别提高了13.0％和7.8％,FID值降低了33.1％。该方法能够稳定地生成高质量的各类钢材表面缺陷图像,可以达到增加训练数据的目的,对于其他缺陷数据集的扩增具有参考价值。     

基于生成对抗网络的单图像超分辨率重建

针对当前卷积神经网络未能充分利用浅层特征信息, 并难以捕获各特征通道间的依赖关系、 丢失高频信息的问题, 提出一种新的生成对抗网络用于图像超分辨率重建. 首先, 在生成器中引入WDSR-B残差块充分提取浅层特征信息; 其次, 将GCNet模块和像素注意力机制相结合加入到生成器和鉴别器中, 学习各特征通道的重要程度和高频信息; 最后, 采用谱归一化代替不利于图像超分辨率的批规范化, 减少计算开销, 稳定训练. 实验结果表明, 该算法与其他经典算法相比能有效提高浅层特征信息的利用率, 较好地重建出图像的细节信息和几何特征, 提高超分辨率图像的质量.     

改进条件生成对抗网络的文本生成图像方法

该文提出了一种改进条件生成对抗网络的文本生成图像模型(TxtGAN),使用一对生成器和判别器的单阶段生成方式生成高分辨率图像,避免因训练多个GAN消耗大量计算资源.生成器网络由一系列生成模块(RUPBlock)组成,每个模块中应用条件批量归一化方法,在实现图像生成的同时充分融合了文本信息与图像特征,较好地保留了文本信息...     

基于改进的注意力机制与纹理结构分层的生成对抗网络图像修复方法

构建一个以U-Net为基础的模型,通过引入注意力机制与纹理结构分层相融合的图像修复方法,在生成对抗网络模型基础上,引入通道注意力并结合多尺度卷积模块,将图像下采样提取特征分为纹理特征与结构特征,采用改进的Res2Net残差块并重构损失函数.实验结果表明,修复后图像的纹理和结构更统一,修复图像与原始图像在高级语义上更加接近.     

基于改进生成对抗网络的抽油机故障诊断方法

针对抽油机故障数据不足、样本分布不均衡的问题,提出一种基于自注意力机制的条件深度卷积生成对抗网络(CDCGAN:Conditional Deep Convolutional Generative Adversarial Networks)模型。该模型在CDCGAN的基础上引入自注意力机制,并在损失函数中加入约束生成图像分布的正则项,提高了生成图像的质量和多样性,有效地防止了模式崩溃的发生。采用Alexnet、VGG16等网络对生成的抽油机故障样本进行分类测试,实验结果表明,改进网络的生成数据质量更高,能够有效平衡抽油机故障数据,进一步提升了抽油机故障诊断的准确率。     

基于生成对抗网络的气缸套表面缺陷图像生成

针对气缸套缺陷检测中缺陷样本不足限制气缸套缺陷检测性能提升问题,采用基于生成对抗网络的气缸套表面缺陷检测算法.首先,为了保持缺陷图像中原有缺陷位置与特征不变,通过循环生成对抗网络模型学习有缺陷气缸套图像与正常图像的关系;其次,利用学习得到的模型对有缺陷气缸套图像进行风格迁移,即把有缺陷气缸套图像背景替换成无缺陷气缸套图像背景,实现对气缸套缺陷数据集的扩充与增强;最后,通过基于数据增强的RetinaNet网络模型对生成图像的有效性进行验证.试验结果表明,通过生成对抗网络生成的气缸套数据集可以提升缺陷检测性能,进一步证明了生成对抗网络在工业应用的可行性.     

基于生成对抗网络的乳腺MRI图像生成

乳腺癌磁共振成像(nuclear magnetic resonance imaging, MRI)数据由于不同医院采集方式不同、设备不同或病人等自身原因,会存在同一病人不同序列缺失的问题。目前主流的图像生成对抗网络Pix2Pix和Cycle-consistency是医学图像生成的两种主要模式,这类方法要求不同MRI序列数据配对出现,难以处理存在缺失的数据,此外,该类方法往往关注整幅图像的生成质量,缺少对疾病诊断更有价值的病灶区域的生成质量的监控。针对以上问题,该文受配准网络(RegGAN)自适应对准图像空间分布的启发,设计了一种新的基于特征增强的双注意力配准生成对抗网络DA-RegGAN。该网络在生成器中引入卷积注意力模块,使网络更注重病灶的学习;在判别器中添加梯度正则化约束,主要解决网络训练不稳定容易出现模式崩溃的现象,使网络生成包含更清晰的病灶细节全局图。该文在1 697幅乳腺数据上开展消融实验、不同图像生成算法间的对比实验、肿瘤分类实验,进一步验证了方法的有效性。与原始RegGAN比,全局图像生成质量和局部病灶图像生成质量均得到提升,局部图像质量较原始PSNR提升了0.518,S...     

基于MD-CGAN的脑部肿瘤图像生成方法研究

深度学习已广泛用于脑部磁共振（MR）图像分析中,但脑部肿瘤MR图像样本不足会严重影响深度学习模型的性能.提出基于多鉴别器循环一致性生成对抗网络（MD-CGAN）的样本生成方法 .利用所提出的MD-CGAN生成脑部肿瘤病理区域图像,将生成的脑部肿瘤病理区域图像覆盖脑部正常图像子区域,合成得到脑部肿瘤MR图像. MD-CG...     

一种基于自注意力机制的文本图像生成对抗网络

图像自动生成一直以来都是计算机视觉领域的一项重要挑战,其中的文本到图像的生成更是图像生成领域的重要分支。随着深度学习技术迅猛发展,生成对抗网络的出现使得图像生成领域焕发生机,借助生成对抗网络能够生成较为生动且多样的图像。本文将自注意力机制引入生成对抗网络,提出GAN-SelfAtt以提升生成图像的质量。同时,使用WGAN、WGAN-GP 2种生成对抗网络框架对GAN-SelfAtt进行实现。实验结果表明,自注意力机制的引入能够提高生成图像的清晰度,这归功于自注意力机制弥补了卷积运算中只能计算局部像素区域内的相关性的缺陷。除此之外,GAN-SelfAtt在训练时有着更好的稳定性,避免了原始生成对抗网络中的模式坍塌问题。     

基于DCGAN和改进YOLOv5s的桥梁表面缺陷检测识别

针对人工检测桥梁表面缺陷存在精度低、速度慢和漏检率高等问题,该文提出了基于深度卷积生成式对抗网络(deep convolutional generative adversarial networks,DCGAN)和改进YOLOv5s的桥梁表面缺陷检测识别模型.首先,通过DCGAN网络对自主采集的桥梁表面缺陷图像进行数据增强,建立每类缺陷样本数量较为均衡的数据集; 其次,在YOLOv5s模型基础上嵌入CBAM注意力机制模块,使模型将注意力集中于缺陷区域,从而提升图像分类的准确率; 最后,为验证所提方法的适用性,将包含4类桥梁表面缺陷的数据集进行训练与测试.实验结果表明:该文提出的模型在桥梁表面缺陷检测上的准确率为92%,相比其他深度学习模型具有更高的检测精度和鲁棒性.     

面向稀疏数据场景的生成对抗网络推荐算法

基于生成对抗网络的协同过滤算法(CFGAN)是生成对抗网络在个性化推荐领域上的重大突破,但CFGAN存在缺乏对用户可能交互物品的关注以及面对稀疏数据场景特征提取能力较弱的问题。另外,结合负采样技术提出的优化CFGAN方案存在无法结合用户属性抽取负样本的缺陷。为此,本文提出一种改进的CFGAN模型,通过引入增强的置换注意力机制强化面向稀疏数据集的特征聚焦能力,同时考虑用户可能交互物品对推荐结果的影响;此外,采用协同用户社交网络从用户反馈中提取的语义好友特征嵌入CFGAN,以实现负样本的个性化抽取,进一步提升模型面向稀疏数据场景的推荐效果。     

基于CNN-Transformer双流网络的伪脸检测

生成对抗网络(generative adversarial networks, GANs)技术正逐步成为合成图像的主流方法,合成的人脸图像对社会稳定和国家安全具有潜在的风险隐患,因此识别GAN生成的人脸已成为一个重要问题。为解决卷积神经网络(convolutional neural networks, CNN)在训练过程中无法获取图像全局表示的问题,提出了一种CNN-Transformer双流网络检测框架,在最大限度提取局部特征的同时,进一步保留图像的全局信息。首先,在CNN分支流中引入空间注意力和通道注意力,关注图像关键信息并提取局部特征;其次,利用Transformer分支流提取图像的全局信息;最后,中间利用桥接双分支的MixBlock交互模块分别将两者提取的局部特征和全局信息融合在一起。实验结果表明：与现有两种方法相比,本文所提方法在公共伪脸数据集上的分类检测精度分别提升了5.42%和1.95%,并且在后处理的图像上表现出一定的鲁棒性。     

多尺度残差注意网络的真实图像复原方法

为了提高基于深度学习网络方法在真实图像上的复原效果,提出了一种基于多尺度残差注意网络的复原方法。将退化图像输入到该模型中,利用浅层特征网络提取原始低质量图像的浅层特征;利用残差注意网络模块提取深层特征信息和通道相关性,使用局部连接和短跳跃连接进行残差学习;将浅层特征、通道相关性以及上下文深层特征信息输入到重构网络,利用具有不同感受野的特征进行图像复原。实验结果表明,相较于其他对比方法,该方法在图像去噪、图像增强和超分辨率等多个任务中获得最优的结果,能够在不引入伪影的情况下生成纹理细节丰富的清晰图像。     

基于深度学习的图像超分辨率重建方法综述

图像超分辨率重建(super-resolution, SR)是指从观测到的低分辨率图像重建出相应的高分辨率图像,在目标检测、医学成像和卫星遥感等领域都有着重要的应用价值.近年来,随着深度学习的迅速发展,基于深度学习的图像超分辨率重建方法取得了显著的进步.为了把握目前基于深度学习的图像超分辨率重建方法的发展情况和研究热点,对一些最新的基于深度学习的图像超分辨率重建方法进行了梳理,将它们分为两大类(有监督的和无监督的)分别进行阐述.然后,在公开的数据集上,将主流方法的性能进行了对比分析.最后,对基于深度学习的图像超分辨率重建方法进行了总结,并对其未来的研究趋势进行了展望.     

面向各向异性3D-MRI图像超分辨率 重建的ESRGAN网络

高分辨率磁共振图像(MRI, magnetic resonance images)能够提高疾病诊断精度,但高分辨率MRI图像的获取十分困难。基于深度学习的图像超分辨率(SR, super resolution)技术可有效地提高图像分辨率。近年来,生成对抗网络(GANs, generative adversarial networks)为3D-MRI图像SR重建提供了新思路。相较于传统的基于深度卷积神经网络(DCNN, deep convolutional neural network)的SR算法,GANs网络以人类视觉机制为目标,且引入判别函数,使重建3D-MRI图像更接近真实图像。研究采用增强超分辨率生成对抗网络(ESRGAN, enhanced super-resolution generative adversarial networks)对3D-MRI图像进行SR重建;并利用3D-MRI图像的跨层面自相似性,将重建任务降维到2D,在保证重建效果的基础上,减少了网络训练时间和内存需求。通过与其他传统算法和基于DCNN算法对比实验表明,提出的算法能够进一步提高3D-MRI图像的视觉...     

基于WGAN的语音增强算法研究

带噪语音可看成由独立的噪声信号和语音信号经某种方式混合而成,传统语音增强方法需要对噪声信号和干净语音信号的独立性和特征分布做出假设,不合理的假设会造成噪声残留、语音失真等问题,导致语音增强效果不佳。此外,噪声本身的随机性和突变性也会影响传统语音增强方法的鲁棒性。针对这些问题,使用生成对抗网络来对语音进行增强,给出一种基于Wasserstein 距离的生成对抗网络(Wasserstein generative adversarial nets, WGAN)的语音增强方法来加快训练速度和稳定训练过程。该方法无需人工提取声学特征,且使语音增强系统的泛化能力得以提升,在匹配噪声集和不匹配噪声集中都有良好的增强效果。实验结果表明,使用训练出的端对端语音增强模型后,语音信号的客观评价标准(perceptual evaluation of speech quality,PESQ)平均得到23.97%的提高。     

面向三维残缺点云图像的数据精简方法

为解决残缺点云模型数据精简时边界特征容易失真的问题,以汽车覆盖件中的薄壁类零件为研究对象。提出一种保留残缺点云边界特征的数据精简方法。借助KD-tree建立数据索引结构,获取数据点最近邻,并通过邻域点拟合出微切平面的方法,计算出点云数据的法向量。利用法向量夹角大小关系,选取边界以及孔洞特征点的初始种子点。再根据欧氏距离实现初始种子点的邻域搜索,从而完成边界以及孔洞邻域特征点的提取。根据曲率精简的方法,对非特征点进行数据精简,最后,合并特征点云与非特征点云,实现对残缺点云模型的数据精简。将随机精简法、曲率精简法分别用于点云模型精简处理,结果表明：相比于其他两种方法,所提方法更好地保留了模型边界以及孔洞邻域特征数据点,其标准偏差、曲面表面积变化率优于其他两种方法且变化相对稳定。