人脸属性编辑的全局组织网络算法

提出一种新的基于生成对抗网络的人脸属性编辑全局组织网络算法.人脸属性编辑是指通过结合编码解码器结构与生成对抗网络,生成具有期望属性的人脸图像.传统的编码解码器结构对人脸的重构和编辑能力有限.直接将编码特征与属性标签结合会因为融入编码特征造成属性编辑性能低下,同时,也会由于缺失编码特征造成人脸还原度的损失,两者无法平衡.因此,提出U型传递方式与全局组织单元. U型传递改变了传统的属性流动方式,并生成反向状态.全局组织单元结合反向状态生成全局属性信息,在编码解码器中搭建桥梁,帮助解码器更好地融入编码器特征与属性信息.与此同时,为了更好地配合全局组织模块,重新设计了编码器下采样.实验结果表明,本文所提方法可以同时提高模型的人脸重塑与属性编辑能力.      

多尺度注意力的面部属性编辑归一化

现有的方法利用编解码器和生成对抗网络用于面部属性编辑,会导致低分辨率结果而且操控面部属性能力有限。为了解决这些问题,文章从选择性细化的角度提出一种新的面部属性编辑生成对抗网络(facial attribute editing generative adversarial networks, FAE-GAN),该方法能够专注于编辑要更改的图像属性,同时保留面部的细节。首先学习一个空间变化函数,该函数将高层特征图映射到归一化层所需的参数图;然后结合残差块,将低层特征图添加到调制后的特征图中,从而使属性细化任务更加容易实现。实验结果表明,该模型在属性操纵精度和感知质量方面均具有优势。     

基于跳跃连接的生成对抗网络人脸修复算法

针对生成对抗网络(GAN)在人脸修复任务中存在的修复效果不佳、细节体现不足、修复边缘生硬等问题,提出一种跳跃连接式生成对抗网络.首先,在双判别器模型基础上,通过在生成器中引入跳跃连接来获取更多层间特征来提升图像修复效果;其次,采用步长卷积进行采样来减少采样造成的信息损失;最后,在CelebA数据集上进行实验,并用峰值信...     

基于对抗生成网络的人脸照片去网纹技术

【目的】研究修复带网纹遮挡的人脸照片,以有助于提高后续的人脸验证的准确性。【方法】基于深度学习的模型(针对修复网纹遮挡的人脸照片)在训练时都要求输入对应的网纹数据,但是在实际应用中要获得对应的网纹数据却是非常困难的。为了避免使用对应的网纹数据对人脸图像进行有效的修复,提出了分离对抗生成网络。该网络利用网纹遮挡的人脸照片与干净的人脸照片做像素差生成残差网纹,利用1个分离网络和3个判别网络进行图像修复。【结果】实验结果表明所提出的方法对于消除人脸图像中网纹遮挡有效。【结论】针对带网纹结构遮挡的人脸图像,在对应网纹数据缺失的情况下,通过分离对抗生成网络,依然可以取得很好的图像修复效果。     

基于双重自注意力机制的人脸图像修复

人脸图像修复旨在修复输入人脸图像中的缺失区域,生成令人满意的高质量修复结果.然而当存在大面积缺失时,直接修复缺失人脸图像十分困难,此时修复网络的全局上下文信息感知能力是影响修复结果的关键.鉴于此,本文提出了软硬注意力相结合的双重自注意力模块.该模块通过全局相似度计算来获得软硬两种注意力特征,之后对两种注意力特征进行自适应融合,进而提高修复网络对全局上下文信息的感知能力.此外,本文进一步提出了多尺度生成对抗网络以加强对修复结果的监督,促使修复网络生成更高质量的修复结果.实验结果表明,本文方法在定量和定性评测上均优于五种先进的对比方法.     

基于图像块相似性和补全生成的人脸复原算法

图像获取过程中,由于成像距离、成像设备分辨率等因素的限制,成像系统难以无失真地获取原始场景中的信息,产生变形、模糊、降采样和噪声等问题,针对上述情况下降质图像的复原问题,提出了适用于低分辨率,低先验知识情况下的人脸复原方法,通过基于图像相似性的期望块log相似性EPLL (expected patch log likelihood)框架来构建人脸复原效果的失真函数,利用生成对抗网络的图像补全式生成过程来复原图像。所提算法在加噪率50%以及更高情况下可以保持较好的人脸图像轮廓与视觉特点,在复原加噪20%的降质图像时,相比传统的基于图像块相似性的算法,本文算法复原结果的统计特征峰值信噪比PSNR (peak signal-noise ratio)与结构相似度SSIM (structural similarity)值具有明显优势。     

人脸跨域合成技术研究进展

总结了人脸跨域合成技术的起源、任务类型与难点、技术发展与挑战、潜在应用与问题等,从自监督与弱监督跨域合成、基于预训练大模型跨域合成、基于跨域合成隐私保护3个方面探讨了人脸跨域合成技术未来发展趋势与挑战。     

基于生成对抗网络的人脸图像彩色化方法

提出了一种新的基于生成对抗网络的人脸图像彩色化方法.所提出的网络结构包含两组生成对抗子网络,每个子网络由一个生成器和判别器组成.其中,一个对抗子网络A（包含生成器A和判别器A）实现从灰度图像到彩色图像的翻译过程,另一个子网络B（包含生成器B和判别器B）反转该过程,即生成器B对称地使用生成器A的最终输出图像作为输入,用来重建原始的人脸灰度图像.其中,网络中的循环损失进行图像重建,而生成损失和对抗损失用来保证生成的图像更加接近真实图像.实验结果表明,这种结构设计不仅能实现自然逼真的人脸图像彩色化,还能同时保证人脸的身份属性不变.      

注意力融合双流特征的局部GAN生成人脸检测算法

为解决现有局部生成式对抗网络(GAN)生成人脸检测算法在检测经过后处理的图像时性能严重下降的问题,提出一种注意力融合双流特征的局部GAN生成人脸检测算法.该算法利用双流网络分别从RGB颜色空间和YCbCr颜色空间中提取鲁棒特征,并引入注意力特征融合模块在不同网络层上融合双流特征以获得更鲁棒的特征.同时采用多层次特征融合决策提高网络对局部生成区域特征的提取和辨别能力.实验结果表明,所提算法的鲁棒性优于现有算法,尤其是针对JPEG压缩和双边滤波后处理.在FFHQ+规则子集上与次优算法相比,该算法在3种强度的JPEG压缩和双边滤波上的平均准确率分别提高了1.88%和2.64%;在FFHQ+不规则子集上与次优算法相比,该算法在3种强度的JPEG压缩和双边滤波上的平均准确率分别提高了2.85%和1.60%.     

基于卷积神经网络的人脸图像隐私保护

针对现有基于深度生成网络模型的人脸图像隐私保护方法无法提供可证明隐私保证、合成图像与原始图像保持语义一致性的问题,提出一种基于卷积神经网络的人脸图像隐私保护方法。该方法首先基于卷积自动编码器和差分隐私实现人脸图像的预训练,对原始人脸图像进行解耦和身份信息的差分隐私保护;然后利用卷积生成对抗网络合成伪图像代替原始图像发布,在保留原始人脸图像的关键特征的基础上,生成与原始图像的关键人脸属性高度匹配的伪图像。该方法可保证合成图像与原始图像语义一致性,并提供可证明的隐私保证。与现有的基于深度生成模型人脸图像隐私方法相比,所提出的方法达到了更好的隐私保护与数据可用性之间的优化权衡。     

基于边缘增强生成对抗网络的人脸超分辨率重建

针对对抗生成神经网络在人脸轮廓细节恢复上不够完善的问题,利用人脸图像的结构先验信息提出了一种边缘增强的生成对抗网络人脸超分辨率的重建算法.首先,利用人脸图像及其边缘图像的一致性关系设计一种并行网络提取面部和边缘细节特征;然后,通过特征融合网络获得高分辨率的生成图像;最后,利用判别网络判别生成图像的真伪.在人脸图像数据库上进行的人脸超分辨率重建实验结果表明:提出的边缘增强生成对抗网络能够提升面部细节重建能力,主观和客观评价指标均优于现有的人脸超分辨率算法.     

基于条件循环生成对抗网络的人脸姿态重建

人脸姿态重建对于解决由于人脸姿态导致的人脸识别率降低的问题有重要意义,由于自遮挡,缺少大部分的人脸特征,重建正面人脸存在很大困难.近年来运用生成对抗网络的图像生成方法得到学界深入的研究,受生成对抗网络在人脸肤色,头发等属性变换等方面研究工作的启发,将人脸偏转角度作为人脸的一种全局姿态属性进行基于生成对抗机制的互换训练,...     

一种增强的3D人脸替换方法

针对3D人脸重建方法在贴图时忽视对纹理处理的设计,仅进行仿射变换和插值,其中仿射变换会导致其生成图像的高频分量遭到损坏,尤其是给出嘴部姿态不同的源、目标人像时,会造成人像的嘴部纹理缺失,而插值方法会造成灰度不连续现象;提出一种增强的3D人脸替换方法,称为基于生成-重建的人脸替换(generative reconstructed face swap, GRFS)。GRFS将对抗生成网络应用于对3D人脸替换结果的纹理修复,包括两个子网络：嘴部修复网络(mouth restoration network, MRN)以及局部修复生成网络(generative local restoration network, GLRN)。MRN用于修复人像的嘴部细节,GLRN用于修复3D人脸重建过程中损坏的高频分量,并使得异常的不连续灰度变得光滑。实验结果表明,GRFS可以在给定单对源、目标人像的情况下生成逼真的人脸替换结果,且在不同实验环境下的表现好于主流人脸替换算法。     

基于属性数据库的地图制图编辑技术研究

本文基于笔者多年从事地图制图的相关工作经验,以属性数据库在地图编辑中的应用技术为研究对象,探讨了制图过程中连接属性数据库的必要性,内涵以及方式方法,全文是笔者长期工作实践基础上的理论升华,相信对从事相关工作的同行有着重要的参考价值和借鉴意义.     

基于属性数据库的地图制图编辑技术研究

本文基于笔者多年从事地图制图的相关工作经验,以属性数据库在地图编辑中的应用技术为研究对象,探讨了制图过程中连接属性数据库的必要性,内涵以及方式方法,全文是笔者长期工作实践基础上的理论升华,相信对从事相关工作的同行有着重要的参考价值和借鉴意义.     

基于嵌入式系统的多任务人脸属性估计算法

针对传统人脸属性估计算法算力大、推理速度慢、精度低,难以完成算法在移动或嵌入式设备上集成应用等问题,提出一种基于嵌入式系统的多任务人脸属性估计算法。首先,采用MobileFaceNet网络中的瓶颈结构融合跨阶段融合网络(cross stage partial network, CSPNet)和空间金字塔网络(spatial pyramid pooling network, SPPNet)设计CSPSPP＿bk结构作为人脸属性估计算法共享网络特征提取模块;然后,在局部属性中增加通道注意力机制,在较困难的全局属性中使用更深、性能更优的网络模型作为Teacher模型指导所设计的轻量级多任务属性网络进行知识蒸馏,采用逐层剪枝的方法对网络模型进行优化,优化后的模型量仅1.8 MB;最后,通过动态类别抑制损失函数进行损失度量,均衡样本数据分布。在公共数据集CelebA和Adience数据集上进行测试比较,性别和眼镜的平均准确率分别为98.89%、99.72%,标准差为3.01%时,年龄估计精度为60.21%,在RK3288开发板上的前传推理速度为138 fps。结果表明：所提方法可广泛应用于嵌入式...     

基于图像条件的二元合成生成算法

生成对抗网络(GAN)是一种无监督学习方法,该算法巧妙地利用博弈的思想来学习生成式模型,但由于GAN通常从单个潜在源采样,因此常常丢失场景中的多个实体交互信息。为了捕获不同对象之间的复杂交互,包括它们的相对缩放,空间布局,遮挡,提出了一种基于图像条件的生成对抗网络,利用"分解—合成"的流程,模型可以根据输入对象的纹理和形状从它们的关节分布生成逼真的合成图像。通过使用Shapenet数据集,在2D和3D图像中分别对55个常见对象类别约51 300个图像模型进行试验,比起传统的SLP和cGAN,算法的图片质量有4%以上的提高。     

基于GAN改进的人脸表情识别算法及应用

针对传统人脸表情识别算法存在的特征提取能力差、 识别率低和误分类率较高等问题, 提出一种基于生成对抗网络(GAN)改进的人脸表情识别算法. 利用生成对抗网络的博弈思想, 分别设计特征提取器、 特征合成器和判别器, 通过判别器与特征提取器之间的对抗训练, 不断增强特征提取器提取特征的能力和分类器对人脸表情识别的准确率, 并将其应用在工作人员工作状态智能监测中, 根据表情识别结果判断工作状态, 从而合理分配实验室资源, 提高实验室资源利用率. 改进算法在CK+数据集上多次实验的结果表明： 该算法有较高的鲁棒性, 能有效提高人脸表情识别率.     

一种利用年龄编辑改进年龄估计的方法

人脸年龄估计(face age estimation)作为一种新兴的生物特征识别技术,是计算机视觉中一个经典的学习问题.基于生成对抗网络(generative adversarial network,GAN)强大的数据生成能力,提出了一种利用年龄编辑改进年龄估计的方法,并通过分阶段联合训练年龄编辑网络StarGAN和年...     

基于回归的人脸检测加速算法

为了提高视频中人脸检测的检测速度,采用回归分析方法预测连续视频中人脸中心位置坐标,并通过调整区域宽度系数确定人脸区域位置,从而提出一种人脸检测加速算法。该算法的主体框架采用VJ(Viola-Joines)结构,在人脸检测过程中,通过聚合通道特征和弱级联分类建立多尺度精细采样图像特征金字塔,并利用回归分析方法进行人脸中心位置坐标拟合,再采用粗粒度预测方法降低算法时间复杂度,最后通过优化人脸区域位置系数提高人脸检测准确率。在此基础上,又通过目标预测、跟踪算法进行人脸检测的二次加速。实验结果表明,该算法有效减少了视频人脸检测遍历区域,提高了人脸检测的检测速度,缩短了提取视频人脸特征区域的时间,更加适合视频人脸检测的实时性应用。