基于生成对抗网络的人脸图像彩色化方法

提出了一种新的基于生成对抗网络的人脸图像彩色化方法.所提出的网络结构包含两组生成对抗子网络,每个子网络由一个生成器和判别器组成.其中,一个对抗子网络A（包含生成器A和判别器A）实现从灰度图像到彩色图像的翻译过程,另一个子网络B（包含生成器B和判别器B）反转该过程,即生成器B对称地使用生成器A的最终输出图像作为输入,用来重建原始的人脸灰度图像.其中,网络中的循环损失进行图像重建,而生成损失和对抗损失用来保证生成的图像更加接近真实图像.实验结果表明,这种结构设计不仅能实现自然逼真的人脸图像彩色化,还能同时保证人脸的身份属性不变.      

基于边缘增强生成对抗网络的人脸超分辨率重建

针对对抗生成神经网络在人脸轮廓细节恢复上不够完善的问题,利用人脸图像的结构先验信息提出了一种边缘增强的生成对抗网络人脸超分辨率的重建算法.首先,利用人脸图像及其边缘图像的一致性关系设计一种并行网络提取面部和边缘细节特征;然后,通过特征融合网络获得高分辨率的生成图像;最后,利用判别网络判别生成图像的真伪.在人脸图像数据库上进行的人脸超分辨率重建实验结果表明:提出的边缘增强生成对抗网络能够提升面部细节重建能力,主观和客观评价指标均优于现有的人脸超分辨率算法.     

人脸属性编辑的全局组织网络算法

提出一种新的基于生成对抗网络的人脸属性编辑全局组织网络算法.人脸属性编辑是指通过结合编码解码器结构与生成对抗网络,生成具有期望属性的人脸图像.传统的编码解码器结构对人脸的重构和编辑能力有限.直接将编码特征与属性标签结合会因为融入编码特征造成属性编辑性能低下,同时,也会由于缺失编码特征造成人脸还原度的损失,两者无法平衡.因此,提出U型传递方式与全局组织单元. U型传递改变了传统的属性流动方式,并生成反向状态.全局组织单元结合反向状态生成全局属性信息,在编码解码器中搭建桥梁,帮助解码器更好地融入编码器特征与属性信息.与此同时,为了更好地配合全局组织模块,重新设计了编码器下采样.实验结果表明,本文所提方法可以同时提高模型的人脸重塑与属性编辑能力.      

一种增强的3D人脸替换方法

针对3D人脸重建方法在贴图时忽视对纹理处理的设计,仅进行仿射变换和插值,其中仿射变换会导致其生成图像的高频分量遭到损坏,尤其是给出嘴部姿态不同的源、目标人像时,会造成人像的嘴部纹理缺失,而插值方法会造成灰度不连续现象;提出一种增强的3D人脸替换方法,称为基于生成-重建的人脸替换(generative reconstructed face swap, GRFS)。GRFS将对抗生成网络应用于对3D人脸替换结果的纹理修复,包括两个子网络：嘴部修复网络(mouth restoration network, MRN)以及局部修复生成网络(generative local restoration network, GLRN)。MRN用于修复人像的嘴部细节,GLRN用于修复3D人脸重建过程中损坏的高频分量,并使得异常的不连续灰度变得光滑。实验结果表明,GRFS可以在给定单对源、目标人像的情况下生成逼真的人脸替换结果,且在不同实验环境下的表现好于主流人脸替换算法。     

基于属性法向量修改的人脸编辑算法

根据用户需求修改给定人脸图像,在美妆造型设计、异质人脸合成等领域具有重要的应用价值.目前已有研究基于生成对抗网络(GAN)模型实现人脸的语义属性迁移或者定性修改,但少有算法能够对用户指定的属性进行定量修改.针对人脸多个属性的分离(解纠缠)以及定量编辑两大问题,提出了一个基于属性法向量修改的定量人脸属性编辑算法.首先,端...     

基于卷积神经网络的人脸图像隐私保护

针对现有基于深度生成网络模型的人脸图像隐私保护方法无法提供可证明隐私保证、合成图像与原始图像保持语义一致性的问题,提出一种基于卷积神经网络的人脸图像隐私保护方法。该方法首先基于卷积自动编码器和差分隐私实现人脸图像的预训练,对原始人脸图像进行解耦和身份信息的差分隐私保护;然后利用卷积生成对抗网络合成伪图像代替原始图像发布,在保留原始人脸图像的关键特征的基础上,生成与原始图像的关键人脸属性高度匹配的伪图像。该方法可保证合成图像与原始图像语义一致性,并提供可证明的隐私保证。与现有的基于深度生成模型人脸图像隐私方法相比,所提出的方法达到了更好的隐私保护与数据可用性之间的优化权衡。     

基于三维重建的人脸姿态估计

人脸姿态估计是计算机视觉及人脸识别领域的一项关键研究内容.将三维模型应用于估计人脸图像姿态参数,提出了基于三维重建的人脸姿态估计算法.根据人脸正面图片上的特征点计算出形状参数,实现三维人脸重建.基于三维人脸模型,由姿态图片上提取的特征点信息推知等姿态下模型上对应特征点的信息,针对照模型正面姿态,运用线性回归估计姿态参数.实验表明,重建的三维人脸具有较好的真实感,在较大的姿态变化范围内,该方法也能够取得较好的估计精确并具有鲁棒性.     

基于一般模型的单幅人脸照片三维重建

针对由单幅照片进行三维人脸自动重建的问题,提出了基于一般模型变形的快速三维重建方法.先通过稀疏形变模型获取照片人脸特征点的深度信息,再将一般人脸模型变形到特定人脸,并使用基于肤色模型的插值合成皮肤纹理.实验证明,三维人脸重建方法快速简便,且只需单幅人脸照片,真实感强,并且可生成多种姿态、光照和表情的人脸图像,有较好的应用价值.     

基于GAN改进的人脸表情识别算法及应用

针对传统人脸表情识别算法存在的特征提取能力差、 识别率低和误分类率较高等问题, 提出一种基于生成对抗网络(GAN)改进的人脸表情识别算法. 利用生成对抗网络的博弈思想, 分别设计特征提取器、 特征合成器和判别器, 通过判别器与特征提取器之间的对抗训练, 不断增强特征提取器提取特征的能力和分类器对人脸表情识别的准确率, 并将其应用在工作人员工作状态智能监测中, 根据表情识别结果判断工作状态, 从而合理分配实验室资源, 提高实验室资源利用率. 改进算法在CK+数据集上多次实验的结果表明： 该算法有较高的鲁棒性, 能有效提高人脸表情识别率.     

基于生成对抗网络的图像超分辨率重建

借助深度学习方法,通过组合低层特征形成更加抽象的高层特征表示属性类别或特征,发现数据的分布式特征表示。采用生成对抗网络作为神经网络框架,实现了图像超分辨率的重建。     

基于对抗生成网络的人脸照片去网纹技术

【目的】研究修复带网纹遮挡的人脸照片,以有助于提高后续的人脸验证的准确性。【方法】基于深度学习的模型(针对修复网纹遮挡的人脸照片)在训练时都要求输入对应的网纹数据,但是在实际应用中要获得对应的网纹数据却是非常困难的。为了避免使用对应的网纹数据对人脸图像进行有效的修复,提出了分离对抗生成网络。该网络利用网纹遮挡的人脸照片与干净的人脸照片做像素差生成残差网纹,利用1个分离网络和3个判别网络进行图像修复。【结果】实验结果表明所提出的方法对于消除人脸图像中网纹遮挡有效。【结论】针对带网纹结构遮挡的人脸图像,在对应网纹数据缺失的情况下,通过分离对抗生成网络,依然可以取得很好的图像修复效果。     

基于生成对抗网络的多目标行人跟踪算法

多目标跟踪领域中,在背景复杂、目标遮挡、目标尺度和姿态变换等情况下,容易出现目标丢失、身份交换和跳变等问题.针对这些问题,提出了一种基于检测的多目标跟踪算法,使用改进的YOLO人体人脸关联算法,对当前帧待检目标进行分类和位置检测,使用生成对抗网络构建特征提取模型,学习目标的主要特征以及细微特征,再运用生成对抗网络生成多目标的运动轨迹,最终融和目标的运动信息和外观信息,得到跟踪目标的最优匹配.在MOT16数据集下的实验结果表明,提出的多目标跟踪算法具有较高的精确度和鲁棒性,对比目前身份交换和跳变最少的算法,跳变的次数少了65%,准确度提高了0.25%.     

基于弱监督学习的细节三维人脸重建

人脸细节特征(如皱纹、沟壑等)在表达情感信息和提高模型真实感上起着重要作用，然而目前大多数细节重建算法忽略了人脸细节的复杂特性，以单一方法提取细节，无法兼顾细节重建质量和鲁棒性。为此，本文提出了一个基于弱监督学习的重建算法，使用基于三维人脸形变模型的粗略模型和UV空间的位移贴图来表示细节人脸。为提升网络的细节提取能力，在细节生成部分将人脸细节分为表情相关细节和表情无关细节，并根据两种细节的不同特性分别设计细节生成网络。为进一步提升重建细节的质量，设计了一组针对细节重建的多层级损失函数。最后在大量无标签的二维图像中以弱监督方式学习，实现基于单张图像的细节三维人脸重建。大量实验结果表明，本文算法在鲁棒性和细节重建质量上均有较好的表现。     

基于生成对抗网络的人脸图像翻译

针对人脸照片和人脸素描间的图像翻译问题,本文基于对偶生成对抗网络模型,对其目标函数附加两个损失函数建立新的网络模型.通过参数优化实验不断优化本文提出的模型,从而找到最优参数;通过直观和量化对比实验表明本文提出的模型在人脸数据上的图像翻译效果无论在清晰度还是在保持面部特征方面是目前基于生成对抗网络的图像翻译模型中表现最优的,并对相关GAN模型的稳定性进行了对比;最后通过效果分析实验说明了所附加的损失函数的具体作用.     

一种基于压缩感知的单样本人脸识别方法

针对人脸姿态、光照和表情等各方面原因引起人脸识别率不高的问题,提出了一种基于单样本特征点形变成冗余样本的压缩传感人脸识别方法.将人脸图像信号进行小波变换得到系数的稀疏表示,采用高斯随机测量矩阵进行测量得到离散人脸单样本,基于特征点形变人脸三维模型生成冗余样本,通过稀疏特征点正交匹配追踪非线性重建算法重建冗余图像进行人脸识别.仿真实验结果表明,所提出的算法相对于同类算法,时间复杂度较低、精确度较高、鲁棒性较强,且随复杂环境变化,其优势更明显.     

基于区域变换的人脸融合改进算法

针对人脸融合过程中出现的侧面图像无法正常融合及肤色融合的问题,利用TP-GAN神经网络源图像人脸的倾角对目标图像人脸进行变换和生成,保证源与目标图像人脸倾角的一致性,同时在生成过程中引入对抗损失与对称损失统一性保留的损失组合,保证生成人脸图像的身份判别稳定.选取了Multi-Pie人脸数据集进行实验,实验表明:加入TP-GAN网络后,相对于传统的人脸融合算法在人脸多角度融合问题方面得到了有效的提高,解决了目标人脸图像为侧面图时无法完美融合的问题.     

MeGAN:基于多任务增强生成对抗网络的图像合成

在计算机视觉领域,现有图像合成方法通常采用一对一的映射网络生成人脸表情,存在很大的建模局限性,难以表达丰富多样、复杂多变的人脸表情。为此,该文提出一种基于多任务增强生成对抗网络的图像合成方法。该方法构建多任务学习框架,改善人脸表情生成的多样性;通过设计双域卷积模块,利用具有补偿的频域信息改善空域特征映射;引入多尺度自适应激活函数,对不同特征进行自适应修正,进一步提升网络性能和特征映射效果。实验结果表明,该文方法能够同时生成多种逼真的人脸表情图像,与现有先进的图像合成方法相比,具有更好的定性和定量评估结果。     

基于多尺度特征融合的属性已知人脸图像超分辨率

卷积神经网络凭借其强大的表征能力,在图像超分辨率任务上取得了许多令人满意的结果。许多基于神经网络的方法采用增加网络深度的方式,存在存储空间消耗多、实用性不强的问题。为解决该问题,该文提出一种基于多尺度特征融合的属性感知人脸图像超分辨率网络。该文借助局部残差模块和逐元素相加的融合方式以减少网络复杂性并提炼出表征能力优秀的多尺度特征。该文构建一个可自适应地融合多尺度特征和人脸先验的属性感知模块,使得网络学习到更丰富的语义信息。该文提出的网络由多个网络子模块级联构成,并通过一个多层次特征融合模块进行共同学习。试验表明：该文方法能取得良好的超分辨率性能,输出更加真实的人脸图像,可以通过调整人脸属性信息进行人脸图像生成效果的操纵。     

基于跳跃连接的生成对抗网络人脸修复算法

针对生成对抗网络(GAN)在人脸修复任务中存在的修复效果不佳、细节体现不足、修复边缘生硬等问题,提出一种跳跃连接式生成对抗网络.首先,在双判别器模型基础上,通过在生成器中引入跳跃连接来获取更多层间特征来提升图像修复效果;其次,采用步长卷积进行采样来减少采样造成的信息损失;最后,在CelebA数据集上进行实验,并用峰值信...     

基于图片特征与人脸姿态的人脸识别方法研究

针对人脸识别中在非限定条件下（如背景、光照等因素发生变化时）人脸多角度多姿态识别精度低的问题与现有基于识别模型的方法无法快速更新人脸类别,提出了基于图片特征与人脸姿态的识别方法,通过对人脸姿态的识别,最大程度的匹配人脸数据库中的人脸信息,使用VGG16卷积神经网络训练模型提取图片特征,生成特征向量,再使用支持向量机分别训练提取出的特征,与人脸数据库中信息进行比对,从而精确识别人脸。通过在Pubfig与FERET人脸库上实验结果表明,所采用的算法精度较高。