基于风格特征分布匹配的图像风格迁移

本研究针对现有方法在实现风格迁移任务时只能提取图像特征的低阶统计量这一问题,考虑将风格迁移过程建模为一个特征分布匹配过程,提出了一个基于Wasserstein距离的判别器网络并以此定义了一个风格损失函数,Wasserstein判别器能够更好地拟合特征分布之间的Wasserstein距离,定义的风格损失也能够更好地区分图像特征的高阶统计信息之间的差异。同时,为了达到实时生成的效果,引入一个基于编码器-解码器结构和一个基于注意力机制的风格迁移转换模块作为生成网络,该生成网络能够有效融合原始图像特征并生成。具体而言,通过在计算损失模块的卷积层(CNN)后面添加Wasserstein判别器来计算风格损失,然后将风格损失与传统方法中计算为均方误差的内容损失一起监督生成网络的训练,在网络训练结束后,可以输入任意图像进行风格迁移测试。最后,在基准MSCOCO和WikiArt数据集上训练网络并测试结果,定性实验和定量实验结果表明,与现有方法相比,所提出的方法可以实现实时风格迁移,并且生成高质量风格化效果。     

结合马尔科夫场和格拉姆矩阵特征的写实类图像风格迁移

风格迁移是一门将参考图像的风格迁移到目标图像上的技术,但将风格迁移算法应用于写实类照片时,生成的图像却会因为纹理扭曲严重而表现得不真实或是生成的图像整体缺少美感,为了解决此类问题,提出一种基于卷积神经网络的风格迁移算法.首先,为了高效融合不同层信息作为特征表达使生成图像饱满丰富,用聚合方法结合了图像较浅层和较深层的特征;然后,使用全局风格损失和局部风格损失来构建总风格损失项,这样能使生成图像保持风格全局一致性,同时也保留了局部细节信息,其中全局风格损失是由格拉姆矩阵表达,而局部风格损失由马尔科夫随机场表达.为了限制图像结构的变化,将图像变化约束在颜色空间的局部仿射中.还提出一种基于神经网络的语义分割模块来约束图像不同语义区域处的纹理溢出,该模块自动生成输入图像的语义分割映射,节约人为手工构造语义区域的时间.实验结果表明,该方法在不同的风格场景下均能产生真实且美观的图像.     

基于生成模型的图像风格迁移设计与实现

图像风格迁移技术在社交网络、影视娱乐、辅助创作等方面具有广阔的应用前景.本文设计和实现了基于生成模型的图像风格迁移系统,该系统由一个风格迁移图像自动生成器和一个图像风格迁移质量自动评判器组成.风格迁移图像自动生成器采用深度残差网络实现,通过优化内容损失、风格损失和全变差损失实现高精度图像风格迁移;图像风格迁移质量自动评判器采用VGG19深度神经网络预训练模型实现.实验结果表明,该系统不仅最大程度保留原始图像内容,而且高效完成高精度风格迁移.     

利用生成对抗网络实现水下图像增强

提出一种基于生成对抗模型的水下图像修正与增强算法.该算法将多尺度内核应用于改进的残差模块中,以此构建生成器,实现多感受野特征信息的提取与融合;判别器设计考虑了全局信息与局部细节的关系,建立了全局-区域双判别结构,能够保证整体风格与边缘纹理的一致性;最后,根据人类视觉感官系统设计了无监督损失函数,此部分无需参考图像进行约...     

基于双分支特征提取的水下图像复原

水下成像的复杂性,严重影响图像质量.为解决水下图像存在的颜色失真、亮度底等问题,提出一种双分支水下图像复原模型.复原模型利用双分支特征提取架构提取水下图像不同层次,不同尺度的特征,实现提取特征的完整性;利用残差结构做中间特征处理环节,增强网络学习能力,提高训练速度;且在残差模块中引入空洞卷积以增大感知野,融合两个分支提...     

考虑难例挖掘和整体特征分布的损失函数设计

为了提高深度度量学习模型训练中的图像检索性能,在度量学习模型SoftTriple的基础上,对损失函数和网络结构进行改进.网络结构改进是在SoftTriple网络结构的基础上引入BNNeck模块;在损失函数设计中,首先添加难例挖掘函数对损失函数进行改进,然后通过使用高阶矩来表征整体特征分布的思路提出了新的损失函数.实验表...     

基于双域信息的深度残差网络图像去噪

基于深度学习的去噪技术,通过考虑视觉伪影和整体平滑噪声,提高了图像的质量.然而,它们很少涉及边缘细节的恢复.为此,本文提出了一种基于双域信息的深度残差网络去噪模型,利用小波域信息与空间域信息的融合来扩展网络学习信息,通过在激活单元内引入多尺度学习和空洞卷积,以此提取图像特征,并减少了网络参数.为了进一步改善去噪结果,结合小波域损失和空间域损失构造联合损失函数,使得网络获取更多的边缘与细节.实验结果表明,本文提出的方法不仅可以有效去除图像噪声,而且可以更好地恢复图像纹理细节,在主观和客观评价中均获得了更好的结果.     

基于卷积神经网络的图像风格迁移算法研究

针对Gatys的图像风格迁移算法做了两个方面的改进,首先提出了一种更加适用于风格迁移的卷积网络结构,相较于其他的预训练卷积神经网络模型减少了95％的参数数量,降低了22％以上算法运行时间;其次对风格迁移的风格损失函数部分做了改进,可以使一幅内容图像同时迁移多种不同的画作风格.     

基于注意力和反馈机制的HDR视频重建

对基于深度学习的高动态范围(high dynamic range,HDR)重建进行研究,提出一种基于注意力和反馈机制的HDR重建方法.首先,将时间上连续、循环曝光的3张图像作为网络的输入,通过引入注意力模块生成注意力图像,对获取的特征进行自适应的加权,以优化网络的特征提取和减少鬼影现象的出现;然后,将反馈机制引入到网络中,进一步提高特征信息的利用率,优化网络在特征融合和重建方面的性能;最后,在L1损失函数的基础上,考虑色彩相似度损失函数和VGG (Visual Geometry Group)损失函数以增强重建后HDR图像的色彩表现及高频细节.实验结果表明,本方法不仅可获得更好的主观和客观重建质量,而且优于目前存在的主流算法.     

基于RetinaNet的SAR图像舰船目标检测

在合成孔径雷达图像舰船目标检测中,由于背景复杂多变,传统的基于人工特征的目标检测方法效果较差.基于深度学习中的单阶段目标检测算法RetinaNet,结合合成孔径雷达图像本身特征信息较少的特点,采用了多特征层融合的思想,改进了网络特征提取能力,提出了相适应的损失函数的计算方法.采用SAR图像舰船目标检测数据集(SSDD)对网络进行训练,并通过样本增强和迁移学习的方法提升算法的鲁棒性和收敛速度.通过实验与其他基于深度学习的目标检测算法所得结果进行比较,结果表明本算法具有更高的检测精度.     

基于注意力机制的细粒度图像分类

针对细粒度图像分类中数据分布具有小型、非均匀和不易察觉类间差异的特征,提出一种基于注意力机制的细粒度图像分类模型.首先通过引入双路通道注意力与残差网络融合对图像进行初步特征提取,然后应用多头自注意力机制,达到提取深度特征数据之间细粒度关系的目的,再结合交叉熵损失和中心损失设计损失函数度量模型的训练.实验结果表明,该模型在两个标准数据集102 Category Flower和CUB200-2011上的测试准确率分别达94.42%和89.43%,与其他主流分类模型相比分类效果更好.     

基于两层迁移卷积神经网络的抽象图像情感识别

为弥合抽象图像底层视觉特征与高层情感语义间的鸿沟,同时缓解抽象图像情感识别所固有的小样本缺陷,将两层迁移学习策略引入传统的卷积神经网络,提出一种基于两层迁移卷积神经网络的抽象图像情感识别模型.该模型利用深度特征的层次性,首先通过大规模通用图像数据集来学习提取普适的底层图像特征;然后利用抽象图像风格分类数据集来学习提取抽象图像的专有高层语义特征;最后采用抽象图像情感识别数据集来微调整个网络.MART数据集上的实验结果表明,与传统的抽象图像情感识别方法相比,所提出的模型能够有效地提高识别精度.     

基于改进的注意力机制与纹理结构分层的生成对抗网络图像修复方法

构建一个以U-Net为基础的模型,通过引入注意力机制与纹理结构分层相融合的图像修复方法,在生成对抗网络模型基础上,引入通道注意力并结合多尺度卷积模块,将图像下采样提取特征分为纹理特征与结构特征,采用改进的Res2Net残差块并重构损失函数.实验结果表明,修复后图像的纹理和结构更统一,修复图像与原始图像在高级语义上更加接近.     

基于Dirac残差模块的单幅图像超分辨率重建

针对单幅图像超分辨率重建问题(SISR),提出了一种新的基于Dirac残差的超分辨率重建算法.算法使用全局跳跃重建层来直接利用输入LR图像的低频特征,通过多个dirac残差块来自适应学习输入LR图像的高频特征,通过亚像素卷积进行图像重建.算法通过权重参数化来改进残差层,同时使用输入图像的卷积特征与残差网络学习特征结合进行重建.实验采用Adam优化器进行网络训练.使用L1范数作为损失函数.在PSNR、SSIM和视觉效果与其他先进算法进行对比,实验结果表明,在常用测试集上与其他深度学习算法相比有较大提高.     

基于多通道均衡化的水下彩色图像增强算法

针对水下环境存在的颜色衰减和散射效应导致水下图像颜色严重失真的问题,提出一种多通道均衡化的水下图像增强算法.首先,对原始图像在对数域上进行归一化处理后转换到HSI(色调-饱和度-亮度)颜色空间;然后,对亮度分量利用McCann Retinex算法在四个方向(纵横)进行比较、实现增强,并根据图像全局亮度信息进行照度增强;最后,将图像重新转换到RGB(红-绿-蓝)空间,计算各通道的累积分布函数,对密集部分进行拉伸处理,达到颜色均衡的效果.针对多幅水下彩色图像进行增强对比实验,结果表明:通过该方法得到的增强图像颜色失真程度减弱,图像对比度和清晰度显著提高,色彩更加鲜艳;该算法在改善水下图像照度信息的同时,保留了饱和度和色度信息,解决了水下图像增强的颜色失真问题,使水下图像具有较高的对比度和清晰度.     

基于窗口自注意力网络的单图像去雨算法

单图像去雨研究旨在利用退化的雨图恢复出无雨图像，而现有的基于深度学习的去雨算法未能有效地利用雨图的全局性信息，导致去雨后的图像损失部分细节和结构信息.针对此问题，提出一种基于窗口自注意力网络(Swin Transformer)的单图像去雨算法.该算法网络主要包括浅层特征提取模块和深度特征提取网络两部分.前者利用上下文信息聚合输入来适应雨痕分布的多样性，进而提取雨图的浅层特征.后者利用Swin Transformer捕获全局性信息和像素点间的长距离依赖关系，并结合残差卷积和密集连接强化特征学习，最后通过全局残差卷积输出去雨图像.此外，提出一种同时约束图像边缘和区域相似性的综合损失函数来进一步提高去雨图像的质量.实验表明，与目前单图像去雨表现优秀的算法MSPFN、 MPRNet相比，该算法使去雨图像的峰值信噪比提高0.19 dB和2.17 dB,结构相似性提高3.433%和1.412%,同时网络模型参数量下降84.59%和34.53%,前向传播平均耗时减少21.25%和26.67%.     

低算力深度学习下的图像卡通风格化研究

在深入研究图像风格迁移的基础上，提出了一种适用于图形处理器性能受限情况下，卡通（cartoon）图像风格迁移训练的生成式对抗网络(generative adversarial networks，GAN)．利用视觉几何组（visual geometry group，VGG）网络提取图片先验信息，实现学习过程的加速；裁剪cartoonGAN模型，在保证效果的基础上，使得低性能计算条件下的网络收敛成为可能；设计合理的损失函数，保证整体风格化效果．基于tensorflow 2.0构建试验平台，通过对试验结果分析可发现，该方法的迁移效果好，稳定性强，且收敛时间短．对算法的参数和初始化方法给出了相关讨论，并提出了进一步的解决方案．      

改进U-Net网络的水下图像增强

为解决现有水下图像增强方法对水下图像特征提取能力不足而导致的模型通用性不足的问题,本文提出一种改进U-Net网络用于水下图像增强。首先,提出用生成对抗网络拟合一个新的水下退化模型,再用无水深度图像经过生成对抗网络合成对应的水下图像,从而建立水下数据集。然后,提出一种改进的U-Net网络充分提取水下图像特征,自适应地学习水下图像到无水图像的映射关系。在3种不同类型的数据集上对本文所提出的算法与其他具有代表性的增强方法进行对比验证,结果表明,本文提出的算法能够对不同场景下的水下图像进行颜色校正,提高了图像的清晰度和对比度。     

细粒度全局感知多聚焦图像融合网络

多聚焦图像融合是图像融合的一个重要分支，在显微成像等方面具有广泛的应用.针对多聚焦融合中存在的纹理细节不清晰、聚焦区域误判等问题，本文从空间及通道信息全局关注的角度出发，结合Swin Transformer中的移动窗口自注意力机制和深度可分离卷积设计了一个全局信息编码-解码网络，采用综合损失函数进行图像重构任务的无监督学习；从特征邻域信息重要性的角度出发，引入了改进的拉普拉斯能量和函数在特征域进行图像聚焦属性的判别，增强图像聚焦区域判别的细粒度效果.与7种经典图像融合算法比较，本文算法在定性和定量分析中均取得了先进的融合性能表现，对原始图像的聚焦区域信息具有更高的保真效果.     

基于改进Bilinear-CNN的服装图像风格识别

为解决服装风格的细粒度识别问题,提出一种改进的Bilinear-CNN(convolutional neural network)模型.在VGG16特征提取网络的输出特征图中引入空间注意力机制,提升对图像中服装区域的关注程度.设计一种单特征通路的双线性池化方法,在减小参数量和计算量的同时,采用全局平均池化和全局最大池化...