基于潜在特征重构和注意力机制的人脸图像修复

本研究针对现有图像修复方法不能有效地分离结构和纹理信息,修复结果往往会出现边界模糊、结构扭曲等伪影问题,提出了基于潜在特征重构和注意力机制的人脸图像修复方法。人脸图像修复方法分为两阶段,第一阶段,通过结构重建器网络提取样式向量,按照StyleGAN所述的原理分为粗尺度特征、中尺度特征和精细特征三组,插入到预先训练好的StyleGAN生成器中,产生初步的修复结果;第二阶段通过构建纹理生成网络并使用上下文注意力机制,注意力分数由注意力计算模块计算,注意力转移模块根据较高级别特征图和注意力分数来填充较低级别特征图中的对应缺失区域,以细化上一阶段初步的人脸修复结果。在CelebA-HQ数据集上的训练并进行测试,本文的方法在定量和定性分析两个方面均优于现有方法。因此,基于潜在特征重构和注意力机制的人脸图像修复方法能够有效地修复缺损人脸图像,大大减少了边界过度平滑和存在纹理伪影的问题。     

人脸属性编辑的全局组织网络算法

提出一种新的基于生成对抗网络的人脸属性编辑全局组织网络算法.人脸属性编辑是指通过结合编码解码器结构与生成对抗网络,生成具有期望属性的人脸图像.传统的编码解码器结构对人脸的重构和编辑能力有限.直接将编码特征与属性标签结合会因为融入编码特征造成属性编辑性能低下,同时,也会由于缺失编码特征造成人脸还原度的损失,两者无法平衡.因此,提出U型传递方式与全局组织单元. U型传递改变了传统的属性流动方式,并生成反向状态.全局组织单元结合反向状态生成全局属性信息,在编码解码器中搭建桥梁,帮助解码器更好地融入编码器特征与属性信息.与此同时,为了更好地配合全局组织模块,重新设计了编码器下采样.实验结果表明,本文所提方法可以同时提高模型的人脸重塑与属性编辑能力.      

结合多尺度特征和多维注意力的人脸风格转换

针对StarGANv2模型生成的人脸图像存在风格重建效果不佳、人脸纹理不够自然等现象,该文提出结合多尺度特征和多维注意力的人脸风格转换模型.1)将多尺度特征融合模块PSConv嵌入StarGANv2生成器内,提高了模型对图像特征的提取能力;2)提出了多维注意力模块MDConv,并将该模块嵌入StarGANv2判别器内,从而提高了模型对真假人脸图像的判别能力.与StarGANv2方法在CelebA-HQ数据集上进行对比实验的结果表明：该方法生成的人脸图像风格更美观,纹理细节更自然,学习感知图像相似度(LPIPS)的值也得到了提升.     

基于CNN-Transformer双流网络的伪脸检测

生成对抗网络(generative adversarial networks, GANs)技术正逐步成为合成图像的主流方法,合成的人脸图像对社会稳定和国家安全具有潜在的风险隐患,因此识别GAN生成的人脸已成为一个重要问题。为解决卷积神经网络(convolutional neural networks, CNN)在训练过程中无法获取图像全局表示的问题,提出了一种CNN-Transformer双流网络检测框架,在最大限度提取局部特征的同时,进一步保留图像的全局信息。首先,在CNN分支流中引入空间注意力和通道注意力,关注图像关键信息并提取局部特征;其次,利用Transformer分支流提取图像的全局信息;最后,中间利用桥接双分支的MixBlock交互模块分别将两者提取的局部特征和全局信息融合在一起。实验结果表明：与现有两种方法相比,本文所提方法在公共伪脸数据集上的分类检测精度分别提升了5.42%和1.95%,并且在后处理的图像上表现出一定的鲁棒性。     

基于残差变换器的并行傅里叶卷积修复算法

为解决现有图像修复算法因缺乏上下文信息和有效的感受野导致修复大面积随机破损时效果差且只能修复低分辨率图像的缺陷,提出了基于残差变换器的并行傅里叶卷积修复算法.首先,提出基于变换器的改进残差网络模块提取待修复图像的纹理特征;然后,设计并行快速傅里叶卷积模块增强损失图像的高度有效感受野捕捉结构信息;最后,提出门控双特征融合模块交换和结合图像的结构与纹理分量,融合上下文特征,改善生成纹理的细粒度.在两个公开数据集上进行定性和定量实验,实验结果表明：所提算法可有效修复结构复杂且纹理精细的随机不规则大面积破损区域,生成结构合理、纹理细腻和语义丰富的高保真图像,并能用于高分辨率图像的目标移除.     

基于U-net边缘生成和超图卷积的两阶段修复算法

为了有效修复背景复杂、大面积不规则缺失区域，得到合理的结构和精细的纹理，提出了基于U-net边缘生成和超图卷积的两阶段修复算法.首先，将缺失图像输入基于U-net门控卷积的粗修复网络，通过跳跃连接将图像的上下文信息向深层传播，获取丰富的图像细节信息，下采样提取缺失区域边缘特征，上采样还原缺失区域边缘细节，同时使用混合空洞卷积增大信息感受野，获取细节纹理信息.然后，将粗修复结果输入含超图卷积的细修复网络，捕获和学习输入图像中的超图结构，使用空间特征的互相关矩阵捕获空间特征结构，改善结构完整性并提升细节细粒度.最后，将细修复结果输入鉴别器进行判别优化，进一步优化修复结果.在国际公认数据集上进行实验仿真，结果显示：本文提出的算法在修复大面积不规则缺失时，可以生成合理的结构和丰富的纹理细节，修复的视觉效果，PSNR,SSIM和L1损失优于对比算法.     

全局视野多层次特征增强的人脸伪造检测方法

针对现有的深度伪造检测方法的偏重于局部伪造纹理信息以及对于未知伪造类型人脸泛化性检测精度低的问题，提出了一种基于全局视野的多层次检测网络，利用多头注意力机制聚合空域中Query的像素级别强度以及梯度信息生成Key和Value,使得网络在空域中构建长距离依赖关系便于获取全局伪造信息，并结合多层次特征增强策略对检测网络不同层次之间的提取伪造特征进行增强，用于提升网络的空间感知局部伪造信息能力。实验结果表明在数据集内和跨伪造类型数据集上均有较高的ACC和AUC测试得分，消融研究验证了模型各个子模块的有效性。     

感知特征增强学习的低分辨率人脸识别

针对低分辨率人脸图像信息严重缺失而导致的人脸识别能力受限问题,提出了一种感知特征增强学习的低分辨率人脸识别网络.设计的整体网络包含两个通道,其中一个通道为低分辨率人脸识别子网络,顺序执行对输入的低分辨率人脸的超分辨率重构、深度特征提取与识别;另一通道为高分辨率人脸识别子网络,顺序对输入的高分辨率人脸进行深度特征提取与识...     

基于小波变换及注意力机制的T型图像去雾网络

受大气中雾霾等悬浮颗粒的影响，室外拍摄的图像常伴有低对比度和低能见度问题，现存去雾方法未能充分利用图像的局部特征信息，存在去雾不彻底及图像细节丢失等问题. 为此，提出一种基于小波变换及注意力机制的T型图像去雾网络. 所提网络通过对图像进行多次离散小波分解及重构来获取有雾图像的边缘细节特征，并提出了一种兼顾图像全局特征及局部信息提取的特征注意力模块，加强了网络在图像视觉感知和细节纹理方面的学习. 在进行特征提取的过程中，提出T型连接方式来获得多尺度的图像特征，扩展了网络的表示能力. 对重构后的无雾图像进行色彩平衡，得到最终复原图像.在合成数据集和真实数据集中的大量实验结果表明，本文所提网络相较于现有其他网络模型具有更优越的性能.     

FSDN:基于嵌套U-Net结构的人脸阴影检测模型

人脸阴影检测通常作为人脸图像相关任务的预处理步骤,避免阴影带来干扰。提出基于深度学习的人脸阴影检测方案,在解决方案中,首先根据光照和人脸结构信息,对耶鲁人脸数据库中1 600张光照不均匀人脸图像的阴影区域进行标注,构建人脸阴影检测数据集;之后设计基于嵌套U-Net结构和注意力模块的人脸阴影检测网络,嵌套U-Net结构被用于提取图像的高分辨率信息和全局特征,注意力模块被用于融合各个嵌套U-Net的输出,同时抑制低阶子层带来的噪声信息;最后在标注的人脸检测数据集上对网络进行了评估,实验结果表明,所提方法的平均检测错误率比对照组中最优方案降低了14.2%,可以有效地检测图像中的小面积阴影,并提供更精确的阴影边缘定位。