基于风格特征分布匹配的图像风格迁移

本研究针对现有方法在实现风格迁移任务时只能提取图像特征的低阶统计量这一问题,考虑将风格迁移过程建模为一个特征分布匹配过程,提出了一个基于Wasserstein距离的判别器网络并以此定义了一个风格损失函数,Wasserstein判别器能够更好地拟合特征分布之间的Wasserstein距离,定义的风格损失也能够更好地区分图像特征的高阶统计信息之间的差异。同时,为了达到实时生成的效果,引入一个基于编码器-解码器结构和一个基于注意力机制的风格迁移转换模块作为生成网络,该生成网络能够有效融合原始图像特征并生成。具体而言,通过在计算损失模块的卷积层(CNN)后面添加Wasserstein判别器来计算风格损失,然后将风格损失与传统方法中计算为均方误差的内容损失一起监督生成网络的训练,在网络训练结束后,可以输入任意图像进行风格迁移测试。最后,在基准MSCOCO和WikiArt数据集上训练网络并测试结果,定性实验和定量实验结果表明,与现有方法相比,所提出的方法可以实现实时风格迁移,并且生成高质量风格化效果。     

结合多尺度特征和多维注意力的人脸风格转换

针对StarGANv2模型生成的人脸图像存在风格重建效果不佳、人脸纹理不够自然等现象,该文提出结合多尺度特征和多维注意力的人脸风格转换模型.1)将多尺度特征融合模块PSConv嵌入StarGANv2生成器内,提高了模型对图像特征的提取能力;2)提出了多维注意力模块MDConv,并将该模块嵌入StarGANv2判别器内,从而提高了模型对真假人脸图像的判别能力.与StarGANv2方法在CelebA-HQ数据集上进行对比实验的结果表明：该方法生成的人脸图像风格更美观,纹理细节更自然,学习感知图像相似度(LPIPS)的值也得到了提升.     

基于注意力机制的轻量级水下图像风格迁移方法

目前,获取海洋素材的途径稀少,数据集缺失,质量相对较低,是海洋生态环境保护宣传、水下图像应用设计的重大难题之一.本文将基于深度学习的图像风格迁移技术与白化现象严重的水下图像进行结合,引入SqueezeNext轻量级编码器网络,通过低秩卷积、压缩模块和全连接操作,在不影响模型准确率的条件下减少模型参数冗余,减少模型计算量.同时,本文还进一步引入了关系感知全局注意力转换网络,结合特征和特征位置的相关性更有效地平衡全局和局部结构信息.此外,在损失函数中加入HSV色相损失函数,通过色相值的计算来衡量颜色的距离,由此更好地表示颜色的相近关系.通过学习图像的内容、风格等特征进行照片风格迁移,解决海洋图像设计素材短缺、图像质量低等问题,从而增加水下图像样式的多元性、素材的丰富性以及资源的拓展性.     

一种基于深度学习的实时视频图像背景替换方法

针对视频会话业务的实时性需求,提出一种轻量级深度学习网络模型实现视频图像的实时背景替换功能.网络模型包含语义分割和背景替换两个模块.语义分割模块整体架构采用编解码结构,编码端使用编码器模块、空洞卷积金字塔池化模块、注意力模块以及增益模块提取特征;解码端使用解码器模块、调整模块以及编码器模块恢复图像,再传入背景替换模块完成背景替换.该网络模型在本文设定的数据集训练后分割精确度达到94.1%,分割速度达到42.5帧/s,在实时性和准确性上达到较好的平衡,具有很好的实用效果.     

体现用户意图和风格的图像描述生成

现有的图像描述模型大多不能根据用户的意图和用语风格生成个性化的描述。针对这一问题,本文提出一种能体现用户意图和风格的个性化图像描述方法。首先,构建一个关于场景中目标、目标属性以及目标间关系的结构图,通过该图来控制用户所希望表达的目标对象、目标属性以及各目标之间的相互关系;然后,在编码器中加入多关系图卷积神经网络对场景的上下文信息进行编码,并利用图流动注意力来控制描述的侧重点;最后,在生成语句时加入用户风格控制模块,即利用关键词搜索生成包含性别、年龄、受教育程度等信息的用户画像,并结合该画像来控制风格生成器,提取对应的风格样式,最终生成体现用户意图和风格的个性化图像描述。在MSCOCO和FlickrStyle数据集上的实验结果表明,所提出的方法能较好地生成个性化和多样性图像描述语句。     

基于风格解耦和自适应层实例归一化的图像翻译方法

针对当前无监督图像翻译方法在翻译过程中存在着图像内容变化过大、目标图像域风格传递不佳而导致生成的图像质量较低、多样性较差等问题,提出一种基于风格解耦和自适应层实例归一化的图像翻译方法.首先,采用基于解耦表示的自编码器作为模型的生成器,共享内容编码器来增强图像翻译的内容一致性;其次,在解码器中实现自适应层实例归一化运算,可以自适应地改变图像的风格,以改善风格传递的效果;再次,将随机风格编码融合至损失函数中,使得设计的模型具有生成随机风格图像的能力,来提升生成图像的多样性;最后,设计并实现了该方法,并在多个数据集上进行验证和分析.实验验证表明,与现有的无监督图像翻译方法相比,所研究的方法生成的图像质量较高,多样性较好.     

基于残差密集块与注意力机制的图像去雾网络

基于卷积神经网络的单幅图像去雾算法虽然取得了一定进展,但仍然存在去雾不完全和伪影等问题.基于这一现状,提出了一种以编码器-解码器结构为基本框架,融合注意力机制与残差密集块的单幅图像去雾网络.首先,利用网络中的编码器、特征恢复模块和解码器三个部分直接对去雾后的图像进行预测;然后,在网络中引入本文所设计的带有注意力机制的残差密集块,提升网络的特征提取能力;最后,基于注意力机制提出自适应跳跃连接模块,增强网络对去雾图像细节的恢复能力.实验结果表明,与现有去雾方法相比,提出的去雾网络在合成有雾图像数据集和真实有雾图像上均取得了较为理想的去雾效果.     

局部图像风格迁移绘制算法

提出了一种基于导向滤波的局部图像风格迁移算法.局部图像风格迁移提取图像中感兴趣的部分进行风格迁移,将其渲染成具有铅笔画、水彩画或水墨画等风格的艺术图像.介绍了一种基于导向滤波提取局部图像(也叫图像抠图)的方法,得到二值掩膜图像,利用VGG16网络提取图像的高级特征,通过分离与重组输入图像的内容特征与风格特征的方式,实现局部目标图像的内容与艺术图像的风格的深度融合,并通过掩膜图像去除边缘粗糙,得到精细的风格化图像,从而获得新的局部风格迁移图像.     

基于循环生成对抗网络的人脸素描合成网络设计

针对目前人脸到素描合成存在生成的素描图轮廓模糊、细节纹理缺失等问题,提出一种采用循环生成对抗网络(CycleGAN:Cycle-Generative Adversarial Networks)解决方案。构建多尺度CycleGAN,生成器采用深度监督的U-Net++结构为基础,在其解码器端进行下采样密集跳跃连接;在其生成器的编码器端设计通道注意力和和空间注意力机制形成特征增强模块;最后在生成器中增加像素注意力模块。实验结果表明,与现有经典算法相比,从主观视觉评测和利用现有的4种图像质量评价算法进行质量评估,该方法较好地合成了素描图像的几何边缘和面部细节信息,提高了素描图像的质量。     

基于注意力特征融合稠密网络的图像去雾算法

目前主流图像去雾算法输出的结果图像存在颜色失真、边缘模糊的问题.为改善上述问题,提出一种基于深度学习的图像去雾算法,所提算法由两个模块构成:注意力特征融合模块和雾霾模型参数估计模块.注意力特征融合模块用于充分提取雾霾图像的颜色、边缘特征;基于稠密连接空洞卷积自编码器的雾霾模型参数估计模块用于估计雾霾模型的参数,改善网络退化的问题.在浓雾图像、薄雾图像数据集上的实验表明,本文提出的算法有效地实现了图像去雾,与主流的图像去雾算法相比具有更高的结构相似性(SSIM),更低的均方误差(mean-square error,MSE)和边缘误差e_○edge.     

基于潜在特征重构和注意力机制的人脸图像修复

本研究针对现有图像修复方法不能有效地分离结构和纹理信息,修复结果往往会出现边界模糊、结构扭曲等伪影问题,提出了基于潜在特征重构和注意力机制的人脸图像修复方法。人脸图像修复方法分为两阶段,第一阶段,通过结构重建器网络提取样式向量,按照StyleGAN所述的原理分为粗尺度特征、中尺度特征和精细特征三组,插入到预先训练好的StyleGAN生成器中,产生初步的修复结果;第二阶段通过构建纹理生成网络并使用上下文注意力机制,注意力分数由注意力计算模块计算,注意力转移模块根据较高级别特征图和注意力分数来填充较低级别特征图中的对应缺失区域,以细化上一阶段初步的人脸修复结果。在CelebA-HQ数据集上的训练并进行测试,本文的方法在定量和定性分析两个方面均优于现有方法。因此,基于潜在特征重构和注意力机制的人脸图像修复方法能够有效地修复缺损人脸图像,大大减少了边界过度平滑和存在纹理伪影的问题。     

多尺度残差注意网络的真实图像复原方法

为了提高基于深度学习网络方法在真实图像上的复原效果,提出了一种基于多尺度残差注意网络的复原方法。将退化图像输入到该模型中,利用浅层特征网络提取原始低质量图像的浅层特征;利用残差注意网络模块提取深层特征信息和通道相关性,使用局部连接和短跳跃连接进行残差学习;将浅层特征、通道相关性以及上下文深层特征信息输入到重构网络,利用具有不同感受野的特征进行图像复原。实验结果表明,相较于其他对比方法,该方法在图像去噪、图像增强和超分辨率等多个任务中获得最优的结果,能够在不引入伪影的情况下生成纹理细节丰富的清晰图像。     

基于改进U-Net神经网络的图像去噪算法

针对目前常见的U-Net网络结构以及现有的图像去噪算法在去除图像噪声时,处理后得到的图像较为模糊且图像的边缘纹理过于光滑缺乏真实性的问题,提出了一种改进的U-Net网络结构去噪算法。它由去噪模块以及边缘信息提取模块组成,首先,利用U-Net++中的跳跃连接应用到原始的U型去噪子网中,密集连接的U型去噪网络可以减少编码器与解码器特征映射之间的语义差距,还原出更清晰的图像。其次,基于VGG-16网络结构的边缘信息提取模块对去噪网络处理后的图像进行特征提取,同时反向优化U型去噪模块,还原出更真实的图像。实验表明,在常见的Set5、Set12、Kodak24和CBSD68数据集测试所提出的算法,在图像的客观评价指标上均优于目前具有代表性的去噪算法,同时图像的边缘细节和纹理特征更清晰真实,视觉效果上更好。     

结合迁移学习的真实图像去噪算法

为了能有效地去除真实图像的复杂噪声,提出了一种结合迁移学习的真实图像去噪算法。该算法采用了双编码器结构,迁移学习编码单元利用预先训练好的权值有效提取鲁棒特征,残差编码单元对当前数据处理,进一步补充了信息。解码单元通过特征融合模块对丰富的信息进行融合,随后经过残差注意力模块加强对图像细节信息的关注,从而更好地恢复图像。实验结果表明,该算法在DND、SIDD和RNI15真实噪声数据集上有很好的泛化能力,能够在有效去除噪声的同时更好地保留图像纹理和边缘信息,恢复图像视觉效果更好。     

基于密集残差网络的图像隐藏方案

针对基于编-解码器网络的图像隐写方案生成的含密图像和消息图像质量不高的问题,提出了一种新的基于密集残差连接的编码器-解码器隐写方案,与现有的端到端图像隐写网络不同,本文采用密集残差连接,将浅层网络的特征输送到深层网络结构的每一层,有效的保留了特征图的细节信息,并使用通道和空间注意力模块对特征进行筛选,提高了编-解码器对图像复杂纹理区域的关注度。在LFW、PASCAL-VOC12和ImageNet数据集的实验结果表明,在保证算法安全性的前提下,所提方法能够有效提高图像质量,含密图像和载体图像的峰值信噪比(PSNR)和结构相似性(SSIM)的平均值最高达到了36.2dB和0.98。     

一种循环多尺度的图像盲去模糊网络

针对当前单图像盲去模糊算法处理的图像存在纹理模糊、 图像质量欠佳的问题, 提出一种嵌入注意力机制的图像盲去模糊网络. 该网络首先采用多尺度循环架构, 通过不同分辨率的图像在网络内部循环处理实现多尺度, 由粗到精复原图像; 然后在网络内部嵌入残差通道选择模块和跨层长连接对特征进行强化提取, 并设计多尺度结构损失函数进行训练优化; 最后在两个使用广泛的数据集GoPro和Kohler上与经典去模糊网络进行对比, 并在数据集Lai上进行视觉直观对比. 实验结果表明, 该网络在视觉上取得了较好的图像盲去模糊效果, 与其他算法相比在峰值信噪比和结构相似性上有提升, 可改善去模糊图像质量欠佳的问题.     

基于改进Inception-ResNet-v2的城市交通路面状态识别算法

针对传统方法对于路面状态识别准确率低的问题,提出了一种改进Inception-ResNet-v2的路面状态识别算法,对6种城市交通路面状态进行识别。首先,在Inception-ResNet-v2算法的Inception-ResNet-C模块引入SENet注意力机制得到SE-Inception-ResNet-C模块,使算法学习到不同通道特征的重要程度;然后采用特征融合策略,将不同层级的特征信息融合,防止重要特征信息的丢失;最后采用全卷积结构,将原始算法中的全连接层换成卷积层,不仅保证了图像的空间结构,还能使网络接收任意尺度的图片。实验结果表明,该算法能提取关键的特征信息,有效提高了路面状态的识别精度。