基于风格解耦和自适应层实例归一化的图像翻译方法

针对当前无监督图像翻译方法在翻译过程中存在着图像内容变化过大、目标图像域风格传递不佳而导致生成的图像质量较低、多样性较差等问题,提出一种基于风格解耦和自适应层实例归一化的图像翻译方法.首先,采用基于解耦表示的自编码器作为模型的生成器,共享内容编码器来增强图像翻译的内容一致性;其次,在解码器中实现自适应层实例归一化运算,可以自适应地改变图像的风格,以改善风格传递的效果;再次,将随机风格编码融合至损失函数中,使得设计的模型具有生成随机风格图像的能力,来提升生成图像的多样性;最后,设计并实现了该方法,并在多个数据集上进行验证和分析.实验验证表明,与现有的无监督图像翻译方法相比,所研究的方法生成的图像质量较高,多样性较好.     

多通道特征增强风格迁移算法

针对风格迁移算法在迁移过程中图像内容特征映射出错,无法保证特征映射完整性,使生成图像出现内容失真的问题,提出多通道特征增强风格迁移算法.该算法在CycleGAN(Cycle Generative Adver-sarial Networks)风格迁移网络基础上,引入多通道特征增强机制,增强每个通道对图像特征的非线性表达能力,不仅可保持通道的独立,还能提取更加丰富的内容特征,在确保特征映射一致的同时,提高风格迁移质量.经仿真实验表明,本文所提算法与CycleGAN相比:在风景方面,冬-夏季节场景数据集在评价指标IS和FID上分别提高6.2％和25.7％;在静物方面,苹果-橘子水果静物数据集在评价指标IS和FID上分别提高9.3％和24.4％.     

CycleGAN-SN：结合谱归一化和CycleGAN的图像风格化算法

为解决CycleGAN算法图像风格化质量不高、网络稳定性不强的问题,提出了CycleGANSN算法。在CycleGAN算法判别网络的每一个卷积层后添加谱归一化层,通过幂迭代法估算卷积层参数矩阵的谱范数,采用随机梯度下降法更新卷积层参数。由于参数在每一次更新中的变化量很小,只需迭代一次即可快速估算出矩阵的最大奇异值。根据得到的最大奇异值,对卷积层参数进行归一化处理,使得整个判别网络满足1-Lipschitz连续。在4个常用风格图像数据集上进行实验,并与CycleGAN算法进行对比,结果表明:所提算法能够在保留原有图像细节的基础上,生成色彩鲜艳、纹理清晰、风格渲染充分的风格化图像;在训练过程中的损失函数振荡幅度小,能够使用更大的学习率进行训练,稳定性较强;能够有效减少网络收敛所需的步数,收敛速度较快;在测试阶段一次性风格化751幅图像时,时间最多仅增加0.63s,几乎没有额外的时间消耗。     

基于改进的生成对抗网络漫画风格迁移的图片生成

在VGG生成对抗网络的基础上,提出了一种改进的基于残差网络的生成对抗网络漫画风格迁移的图片生成技术,用于图片特征提取及图片生成,使具有漫画家卡通风格的特征迁移到现实图片中,和VGG生成对抗网络相比,在一定程度上缓解了梯度消失、过拟合等问题.实验表明,相较于VGG生成对抗网络,改进后的模型在图像特征提取及生成都表现了更好的性能.     

改进CycleGAN的钢材表面缺陷图像生成方法

针对工业钢材表面缺陷检测过程中存在的样本采集困难、成本较高，以及缺陷种类较多难以覆盖全部导致的小样本问题，提出一种改进循环生成对抗网络(cycle-consistent generative adversarial networks, CycleGAN)的钢材表面缺陷图像生成方法。首先，将通道注意力(class activation map, CAM)和空间注意力(spatial attention map, SAM)机制嵌入到CycleGAN模型中，增强模型的特征提取能力；其次，引入权重解调(weight demodulation, WD)机制修复特征伪影和白斑，进一步提高生成图像的质量；再次，引入形状一致性损失对生成器训练过程进行监督，解决图像几何变换过程中内在模糊性问题；最后，将改进前后的模型在NEU-DET数据集上进行试验。结果表明，改进后的模型在缺陷图像生成的效果上更具多样性和准确性，PSNR，SSIM分别提高了13.0％和7.8％，FID值降低了33.1％。该方法能够稳定地生成高质量的各类钢材表面缺陷图像，可以达到增加训练数据的目的，对于其他缺陷数据集的扩增具有参考价值。     

基于生成对抗网络的手写汉字生成方法研究

在计算机机械学习领域,相对于数字和英文字母,手写汉字的自动生成研究是个重点难点问题,且具有重要研究意义。随着深度学习的不断发展,生成对抗网络在图像生成领域取得了很大进展。本文提出了一种基于循环生成对抗网络(Cycle Generative Adversarial Networks, CycleGAN)的无监督手写汉字生成方法。利用标准仿宋字体图像和手写字体图像进行训练,生成的手写汉字图像具有比较高的识别度。     

基于风格特征分布匹配的图像风格迁移

本研究针对现有方法在实现风格迁移任务时只能提取图像特征的低阶统计量这一问题,考虑将风格迁移过程建模为一个特征分布匹配过程,提出了一个基于Wasserstein距离的判别器网络并以此定义了一个风格损失函数,Wasserstein判别器能够更好地拟合特征分布之间的Wasserstein距离,定义的风格损失也能够更好地区分图像特征的高阶统计信息之间的差异。同时,为了达到实时生成的效果,引入一个基于编码器-解码器结构和一个基于注意力机制的风格迁移转换模块作为生成网络,该生成网络能够有效融合原始图像特征并生成。具体而言,通过在计算损失模块的卷积层(CNN)后面添加Wasserstein判别器来计算风格损失,然后将风格损失与传统方法中计算为均方误差的内容损失一起监督生成网络的训练,在网络训练结束后,可以输入任意图像进行风格迁移测试。最后,在基准MSCOCO和WikiArt数据集上训练网络并测试结果,定性实验和定量实验结果表明,与现有方法相比,所提出的方法可以实现实时风格迁移,并且生成高质量风格化效果。     

基于生成模型的图像风格迁移设计与实现

图像风格迁移技术在社交网络、影视娱乐、辅助创作等方面具有广阔的应用前景.本文设计和实现了基于生成模型的图像风格迁移系统,该系统由一个风格迁移图像自动生成器和一个图像风格迁移质量自动评判器组成.风格迁移图像自动生成器采用深度残差网络实现,通过优化内容损失、风格损失和全变差损失实现高精度图像风格迁移;图像风格迁移质量自动评判器采用VGG19深度神经网络预训练模型实现.实验结果表明,该系统不仅最大程度保留原始图像内容,而且高效完成高精度风格迁移.     

基于无人机图像生成高精度真正射影像图研究

无人机低空遥感技术近年来广泛被采用,但无人机图像生成的真正射影像图（True Digital Orthophoto Map,TDOM）的制图精度和制作过程需要进一步改进。使用多旋翼无人机和专业相机,在离地160 m的飞行高度和0.016 m的地面采样距离（Ground Sampling Distance,GSD）下,布置地面控制点并收集图像。概述了运动结构（Structure From Motion,SFM）、修正数字表面模型（Digital Surface Model,DSM）和多视图图像纹理补偿工作流程,以生成高精度TDOM;研究提出的方法消除了TDOM的倾斜和阴影区域,使建筑物保持垂直视角,生成的TDOM精度优于0.05 m,证明该方法可以用于识别农村宅基地、土地规划和设计。     

基于改进生成对抗网络的汉字字体生成算法

为解决现有字体模型不完善的笔画连接、不正确的拓扑结构、字形模糊等伪影问题,提出了一种基于改进条件生成对抗网络的汉字字体生成算法.本算法将字体生成任务视为图像转换问题,提出FontToFont和MSAFont两种自动字体生成方法.针对现有汉字字体生成模型存在的问题,提出了基于改进条件生成对抗网络的汉字字体生成算法FontToFont,通过引入U-Net网络结构,可以使生成器保存更详细的信息,并有利于模型性能.建立一种基于多种风格汉字字体的数据集,定性定量验证模型的性能.提出的这种基于改进条件生成对抗网络的汉字字体生成算法,能够从多风格汉字字体中的一部分字体生成高质量的一整套汉字字体.通过设计师的评价及模型消融实验,生成字体的视觉质量和完整度效果良好.     

基于循环生成对抗网络的人脸素描合成网络设计

针对目前人脸到素描合成存在生成的素描图轮廓模糊、细节纹理缺失等问题,提出一种采用循环生成对抗网络(CycleGAN:Cycle-Generative Adversarial Networks)解决方案。构建多尺度CycleGAN,生成器采用深度监督的U-Net++结构为基础,在其解码器端进行下采样密集跳跃连接;在其生成器的编码器端设计通道注意力和和空间注意力机制形成特征增强模块;最后在生成器中增加像素注意力模块。实验结果表明,与现有经典算法相比,从主观视觉评测和利用现有的4种图像质量评价算法进行质量评估,该方法较好地合成了素描图像的几何边缘和面部细节信息,提高了素描图像的质量。     

采用类内迁移学习的红外/可见光异源图像匹配

为解决异源图像匹配中样本量过少和成像原理不同导致成像差异的问题,提出了一种采用类内迁移学习的异源图像匹配网络(PairsNet)。该网络由特征提取子网络和匹配度量子网络两部分组成。特征提取子网络中存在4条卷积神经网络分支,其通过卷积神经网络分支提取出红外图像和可见光图像的特征。将可见光图像作为源域、红外图像作为目标域进行迁移学习,通过减小两个域中样本特征的类内最大均值差异距离,实现了源域和目标域对应图像类别上精准的样本特征分布对齐。匹配度量子网络使用2个全连接层和1个softmax层进行串联,评估出异源图像特征的匹配度。构建了红外和可见光图像数据集,进行端到端的训练和测试。结果表明:与当前使用预训练模型微调的方法相比,PairsNet的准确率提升了10.54%,可见光图像匹配网络的能力可以有效迁移到异源图像匹配网络。     

一种基于同类融合的工业数据扩充算法

在基于深度网络的工业板材表面缺陷检测应用中,缺陷图像的类别不平衡和数量不足严重制约了深度网络的应用性能.为了解决此问题,提出一种基于同类融合的工业数据扩充方法以丰富表面缺陷图像训练集.首先根据缺陷特征将表面缺陷图像集中的样本进行分类,随机选择属于同一类别的多个样本执行融合操作以扩充数据量和丰富样本类型,然后将原始数据和扩充的人工数据组合起来作为新训练集,以提升模型分类和检测的能力.以实际生产中采集的钢材表面缺陷图像进行实验,并与生成算法扩充的样本进行比较.实验结果表明,该算法不仅在扩充表面缺陷图像质量上超过了卷积生成对抗网络(DCGAN)和循环一致生成对抗网络(CycleGAN)等生成算法,并在缺陷目标分类和检测任务上取得了更有效的扩充效果.     

基于生成对抗网络的HDR图像风格迁移技术

针对高动态范围(high dynamic range,HDR)图像较为复杂耗时的合成流程,提出一种基于生成对抗网络的HDR图像风格迁移技术.首先,构建两个生成对抗网络的训练集:普通图片与低曝光HDR图片,普通图片与高曝光HDR图片;然后,通过生成对抗网络训练,得到普通图片到低曝光HDR图片和普通图片到高曝光HDR图片两个生成模型;最后,将模型输出的高低曝光图像和原图合成HDR文件,再通过色调映射形成最终HDR风格迁移后的图像.实验结果表明,这种方法不仅有效解决了HDR图像风格迁移问题,也充分表明了生成对抗网络在图像编辑中的优越性.     

基于循环生成对抗网络的壁画色彩修复算法

针对敦煌唐代壁画修复所面临的褪、变色以及修复后的壁画图像色彩存在假色和伪影的问题,提出基于循环生成对抗网络和多尺度融合协调注意力机制的壁画色彩修复算法。首先在循环一致性损失中添加同一映射损失,然后改进协调注意力机制,提出多尺度融合的协调注意力机制,最后在生成器中引入多尺度融合的协调注意力机制,对图像进行卷积核大小为1×1、3×3、5×5、7×7的多尺度卷积运算,提高生成图像的协调性。实验结果表明,与CycleGAN、WGAN等经典算法相比,本文算法在构造的壁画数据集上精度更高,可以在不依赖专家知识的情况下修复褪色壁画图像的颜色。     

从语域分析的角度看日语翻译中的对等

从语域的角度,在语场、语旨、语式3个方面对日语翻译中的对等进行了分析。在翻译中,每一个译者心中都在追求某种程度的从语义到风格的对等。对译者来说,以对等为目的的翻译,需要集中探讨语篇的语域变量。识别并分析源语语篇的语域,不仅有助于把握源语语篇的风格特征,而且有助于为译语语篇设定与源语语篇相对应的语域,从而使译语语篇尽可能忠实得体。     

无人机图像增强方法的研究与实现

以无人机采集的低照度图像为研究对象,提出了一种改进的低照度图像增强算法.获取无人机采集图像的灰度直方图,计算灰度像素的均值和方差,通过计算亮度系数划分亮暗区域;根据滑动窗口的像素均值与设定的阈值进行计算得到修正系数,完成图像亮度的修正;为减小时间复杂度使用三次快速均值算法替代高斯滤波进行去噪.结果表明,本文的算法能够有效地改善图像局部亮度、提高图像对比度和保留轮廓边缘纹理信息.     

改进基于小波变换的PCNN图像融合算法

以小波变换为基础,针对小波分解后高频域和低频域的特点,分别在低频域采用基于PCNN（脉冲耦合神经网络）的融合方法,在高频域采用改进的PCNN融合算法．仿真图像和评价指标结果显示：改进的PCNN融合算法,有效地提高了图像在边缘、纹理、保留更多源图像信息等方面的综合性能。     

基于生成对抗网络的人脸图像翻译

针对人脸照片和人脸素描间的图像翻译问题,本文基于对偶生成对抗网络模型,对其目标函数附加两个损失函数建立新的网络模型.通过参数优化实验不断优化本文提出的模型,从而找到最优参数;通过直观和量化对比实验表明本文提出的模型在人脸数据上的图像翻译效果无论在清晰度还是在保持面部特征方面是目前基于生成对抗网络的图像翻译模型中表现最优的,并对相关GAN模型的稳定性进行了对比;最后通过效果分析实验说明了所附加的损失函数的具体作用.     

注意力机制引导的多模态心脏图像分割

为有效挖掘模态间共享与模态特有的信息,本文提出一种注意力机制引导的半孪生网络,用于分割多模态(MRI与CT)心脏图像.具体地,首先运用循环一致的生成对抗网络(CycleGAN)进行双向的图像生成(即从MRI到CT以及从CT到MRI),这样可以解决模态间心脏图像不配对的问题;其次,设计一个新的半孪生网络,将原始的CT(或MR)图像及其生成的MR(或CT)图像进行配对并同时输入,先通过两个编码器(encoders)分别学习模态特有的特征,再经过一个跨模态的注意力模块将不同模态的特征进行融合,最后输入一个公共的解码器(decoder)来得到模态共享的特征,用于心脏图像分割.上述学习过程是端到端的方式进行训练.本文将所提方法在真实的CT与MR不配对的心脏图像数据集上进行实验评估,表明所提方法的分割精度超出基准方法.