基于纹理特征融合的人脸图像质量评估算法

从视频序列中选取同一人的高质量人脸图像是人脸识别技术的关键步骤。为了提升人脸图像评估的可靠性,提出了纹理特征融合的人脸质量评估算法。首先,针对人脸图像提取HOG、GIST、GABOR和LBP等纹理特征;接着,根据标注数据训练分类器,实现单特征得分评估;再将多特征得分值融合成特征向量;最后,通过多项式核函数升维得到新的特征向量,并根据该特征训练SVMs分类器,以回归人脸图像质量得分。实验结果表明,基于特征融合的方法能有效提升人脸图像质量评估的效果,特别是HOGGIST特征组合的算法具有很好的效率,目标人脸在不同姿势及遮挡的情况都能得到可靠的评估结果。     

基于语音与人脸参数化表示的跨模态稠密深度

为了提高跨模态人脸表示与合成的性能,针对语音与人脸图像2种模态数据,提出一种基于人脸参数化表示与稠密深度网络相结合的面部生成方法。针对输入语音模态,通过对信号进行频谱变换,将一维时域信号转换到二维频率域,可提取频域上稳健的特征描述;针对输出图像模态,利用主动外观模型对不同面部区域独立建模以降低区域间的相关性,并提取紧凑的人脸参数化特征;为了获得有效的跨模态学习性能,提出采用稠密连接的深度卷积神经网络学习语音、图像2种模态的回归预测,并通过预测的人脸参数进行面部重构,所采用的深度网络模型可以加强特征传播与特征复用,有利于增强面部细节的合成。在2组音视频数据集上验证了提出方法的有效性。     

融合主动外观模型与局部二元模式的人脸识别

提出一种新的人脸识别算法.首先,利用主动外观模型(active appearance model,AAM)提取人脸五官特征点,进而获得人脸区域的全局纹理特征;然后对人脸区域中的若干个局部子块进行加权局部二元模式(local binary pattern,LBP)的特征组合;接着分别对这两类特征进行最近邻法则匹配;最后,采用基于模糊综合的原理对这两大类特征进行数据融合,给出最终识别结果.实验表明该算法的有效性,能够很好地结合人脸图像全局和局部的互补信息,识别效果优于各单一模块的分类性能.     

基于潜在特征重构和注意力机制的人脸图像修复

本研究针对现有图像修复方法不能有效地分离结构和纹理信息,修复结果往往会出现边界模糊、结构扭曲 等伪影问题,提出了基于潜在特征重构和注意力机制的人脸图像修复方法。 人脸图像修复方法分为两阶段,第一 阶段,通过结构重建器网络提取样式向量,按照 StyleGAN 所述的原理分为粗尺度特征、中尺度特征和精细特征三 组,插入到预先训练好的 StyleGAN 生成器中,产生初步的修复结果;第二阶段通过构建纹理生成网络并使用上下 文注意力机制,注意力分数由注意力计算模块计算,注意力转移模块根据较高级别特征图和注意力分数来填充较 低级别特征图中的对应缺失区域,以细化上一阶段初步的人脸修复结果。 在 CelebA-HQ 数据集上的训练并进行 测试,本文的方法在定量和定性分析两个方面均优于现有方法。 因此,基于潜在特征重构和注意力机制的人脸图 像修复方法能够有效地修复缺损人脸图像,大大减少了边界过度平滑和存在纹理伪影的问题。     

基于高次曲线拟合的人脸特征表示

基于数字化曲线拟合技术, 提出一种新的人脸图像不变特征表示方法. 该方法先将人脸边缘图像分割为高次多项式及抛物线段构成的特征曲线段集合, 再运用极惯性矩度量不同人脸图像在特征曲线段两侧的局部纹理及形态差异. 实验结果表明, 该方法与直线边缘图法和抛物线边缘图法相比, 能更好地描述人脸图像的分布特征.     

结合多尺度特征和多维注意力的人脸风格转换

针对StarGANv2模型生成的人脸图像存在风格重建效果不佳、人脸纹理不够自然等现象,该文提出结合多尺度特征和多维注意力的人脸风格转换模型.1)将多尺度特征融合模块PSConv嵌入StarGANv2生成器内,提高了模型对图像特征的提取能力;2)提出了多维注意力模块MDConv,并将该模块嵌入StarGANv2判别器内,从而提高了模型对真假人脸图像的判别能力.与StarGANv2方法在CelebA-HQ数据集上进行对比实验的结果表明：该方法生成的人脸图像风格更美观,纹理细节更自然,学习感知图像相似度(LPIPS)的值也得到了提升.     

视频序列中运动人脸的检测与特征定位

针对视频序列中运动人脸的检测与特征定位问题,给出了一种算法,即通过计算并比较人脸区域而不是整幅视频帧的峰值信噪比（PSNR）,先从视频序列中找到人脸区域清晰度高且尽可能大的视频帧,然后再进行人脸的准确检测与特征定位。首先利用Adaboost方法检测出人脸的大致范围,再根据肤色模型确定人脸的具体位置并从图像中提取出人脸部分,然后利用基于帧间差的人脸区域的PSNR判断图像清晰度,从而定位出人脸区域清晰度高且尽可能大的视频帧,最后进行人脸检测和特征定位。对实际视频序列的计算表明,给出的算法在时间效率上较高,人脸的检测与特征定位效果较好。     

应用人脸姿态估计实现人机信息交互

针对残疾人士不用手实现计算机操作的问题,提出了一种通过面部姿态的视觉分析手段控制鼠标操作的新方法。首先,由CCD摄像头获得人脸视频图像,采用Haar特征和基于AdaBoost算法的目标检测手段确定人脸区域,再通过图像分析手段提取2个眼角、2个嘴角和鼻尖共5个特征点;然后,以一幅正面图像的特征点位置为参考,对实时图像中人脸的空间姿态进行估计;最后,根据人脸的3个偏转角定义并生成人机交互信息,用于计算机人机界面中鼠标位置的移动和操作控制。实验表明,在良好的光照条件下,该方法可以快速准确完成人脸姿态估计并获得鼠标控制信息,帮助伤残人士实现人机信息交互。     

基于加权局部梯度直方图的头部三维姿态估计

在实时估计人的头部三维姿态时,基于局部梯度方向直方图的面部特征表示方法容易受到背景和环境的影响,其检测精度无法满足实际需求。为了减少图像或视频序列中背景和环境的影响,提出了一种新的对面部特征进行描述的方法,即基于肤色权值和高斯权值加权的局部梯度方向直方图特征表示方法。在具体计算时,首先进行人脸检测并将人脸区域缩放到统一大小,然后计算人脸区域每个像素点对应的梯度方向,接着计算肤色权值并利用肤色权值和高斯权值对梯度方向进行加权得到加权局部梯度方向直方图,从而强化面部特征在直方图中的比重,有效减小背景对头部三维姿态估计的影响,最后利用非线性支持向量回归机求解加权局部梯度方向直方图与头部三维姿态之间的关系。实验结果表明:该特征表示方法具有更高的检测精度。     

一种基于人脸检测的人眼特征定位方法

人脸图像分析中,眼睛的精确定位是非常重要的一个环节。文章提出了一种基于人脸检测的人眼特征定位方法。首先采用AdaBoost人脸检测算法对人脸图像进行人脸检测,确定人脸位置。然后根据人脸面部结构特征估计人眼所在区域,利用该区域内的灰度和梯度特征搜索人眼特征点。实验表明该方法能够快速有效地定位出人眼特征。     

人脸图像年龄估计

为了解决人脸识别中识别率随年龄变化急剧下降的问题,提出了一种自动的年龄估计方法。通过年龄函数建立人脸特征和年龄之间的对应关系,人脸特征由形状特征和纹理特征组成。首先,通过改进的活动形状模型自动定位人脸形状特征点,再通过形状拉伸获得单纯的纹理图像,然后用主分量分析分别得到形状特征向量和纹理特征向量,合成作为人脸特征,最后,按照最优化的准则得到年龄函数,结合人脸变老方式的分类,自动估计年龄。实验结果表明,这种方法对年龄估计十分有效,平均200人的多年龄人脸数据库上的估计误差为1.1a。     

脸部表情动画的实现

用计算机动画技术合成人的面部表情动画是人体动画研究的一个重点。本文分析了人脸的生理结构组成和脸部表情与表情单元形变之间的关系，研究了包括局部变形箱变形、线性局部变形和密度球收缩和舒张变形在内的三种面部肌肉变形方法，在此基础上，提出了一个基于复合多组局部变形操作的脸部表情动画的模拟算法。通过调相关整表情单元的形变因子一时间参数曲线，有效地控制了脸部表情的动画过程，从而实现了脸部表情动画。     

Adaptation to natural facial categories

Face perception is fundamentally important for judging the characteristics of individuals, such as identification of their gender, age, ethnicity or expression. We asked how the perception of these characteristics is influenced by the set of faces that observers are exposed to. Previous studies have shown that the appearance of a face can be biased strongly after viewing an altered image of the face, and have suggested that these after-effects reflect response changes in the neural mechanisms underlying object or face perception. Here we show that these adaptation effects are pronounced for natural variations in faces and for natural categorical judgements about faces. This suggests that adaptation may routinely influence face perception in normal viewing, and could have an important role in calibrating properties of face perception according to the subset of faces populating an individual's environment.     

人脸图像年龄估计

为了解决人脸识别中识别率随年龄变化急剧下降的问题,提出一种自动的年龄估计方法。通过年龄函数建立人脸特征与年龄之间的对应关系,人脸特征由形状特征和纹理特征组成。首先,通过改进的活动形状模型自动定位人脸形状特征点,再通过形状拉伸获得单纯的纹理图像;然后用主分量分析分别得到形状特征向量和纹理特征向量,合成作为人脸特征;最后,按照最优化的准则得到年龄函数,结合人脸变老方式的分类,自动估计年龄。实验结果表明,这种方法对年龄估计十分有效,平均200人的多年龄人脸数据库上的估计误差为1.1 a。     

利用Mahalanobis距离进行人脸表情的识别

提出了利用Mahalanobis距离进行人脸表情识别的方法.首先将待分类的图像样本集进行坐标变换,使得变换以后类间离散度尽可能大而类内离散度尽可能小,即使变换以后的Fisher准则函数取得极大值,在新的坐标下求每个待分类样本到各类均值向量的Mahalanobis距离,从而将待分类的样本归到Mahalanobis距离最小的类中去,通过实验得到了平均80.25%的识别率.     

基于 Mahalanobis距离进行人脸表情的识别

提出了利用Mahalanobis距离进行人脸表情识别的方法.首先将待分类的图像样本集进行坐标变换,使得变换以后类间离散度尽可能大而类内离散度尽可能小,即使变换以后的Fisher准则函数取得极大值,在新的坐标下求每个待分类样本到各类均值向量的Mahalanobis距离,从而将待分类的样本归到Mahalanobis距离最小的类中去,通过实验得到了平均80.25%的识别率.     

基于小波变换的人脸特征定位

提出一种基于离散小波变换 (DWT)的人脸检测与特征定位算法 ,算法针对人脸的不同特征 ,选择小波变换相应最有效的频段和分量 .运用椭圆检测算法、模板匹配算法、Hough变换等方法 ,并结合人脸各特征间的几何特征关系 ,采用由粗到细的方法分步地检测人脸范围 ,分割定位人脸的眼睛、虹膜、嘴、鼻尖等特征 .该算法对人脸姿态、表情变化和遮盖物具有一定的鲁棒性 ,同时具有计算量小、效率高的特点 .     

基于照片的人脸三维建模

研究由一张正面照片和一张侧面照片合成头部三维模型的自动方法。从照片中提取面部特征点后,修改基本模型生成特定人的面部三维模型。从两张照片可以合成任意角度视图,纹理映射后可以获得较好的三维效果。     

Video-based facial animation with detailed appearance texture

Facial shape transformation described by facial animation parameters (FAPs) involves the dynamic movement or deformation of eyes, brows, mouth, and lips, while detailed facial appearance concerns the facial textures such as creases, wrinkles, etc. Video-based facial animation exhibits not only facial shape transformation but also detailed appearance updates. In this paper, a novel algorithm for effectively extracting FAPs from video is proposed. Our system adopts the ICA-enforced direct appearance model (DAM) to track faces from video sequences; and then, FAPs are extracted from every frame of the video based on an extended model of Wincandidate 3.1. Facial appearance details are transformed from each frame by mapping an expression ratio image to the original image. We adopt wavelet to synthesize expressive details by combining the low-frequency signals of the original face and high-frequency signals of the expressive face from each frame of the video. Experimental results show that our proposed algorithm is suitable for reproducing realistic, expressive facial animations.