Fast Individual Facial Animation Framework Based on Motion Capture Data

Based upon motion capture,a semi-automatic technique for fast facial animation was implemented. While capturing the facial expressions from a performer,a camera was used to record her /his front face as a texture map. The radial basis function（ RBF） technique was utilized to deform a generic facial model and the texture was remapped to generate a personalized face.Partitioning the personalized face into three regions and using the captured facial expression data,the RBF and Laplacian operator,and mean-value coordinates were implemented to deform each region respectively. With shape blending,the three regions were combined together to construct the final face model. Our results show that the technique is efficient in generating realistic facial animation.     

特定人脸模型编辑系统中纹理映射技术探讨

在真实感的人脸动画系统中,纹理贴图技术是其中一个很重要的环节,它直接关系到系统的逼真度和动画的效果。提出特定人脸模型的纹理映射的技术,用圆柱投影把人脸单独3幅渲染图展开成3幅新的视图,再用多分辨率技术把这3幅新的贴图进行无缝拼接,以得到全视角无缝贴图,最后用该无缝贴图对特定人脸模型进行渲染。实验表明,该方法所得到的人脸纹理贴图非常逼真。     

基于真实感三维头重建的人脸替换

传统的人脸替换技术需要输入的源图像中的人脸与待替换的目标图像中的人脸姿态相似,这限制了人脸替换技术的应用。该文提出一种基于特定三维头模型重建的人脸替换技术。首先,利用替换者的2张正交图像(1张正面图像和1张侧面图像)进行三维头重建。整个三维头重建过程分为人脸图像配准、特征点匹配、标准三维头形变和纹理贴图4个部分。形变部分利用了径向基函数对标准三维头进行形变以获得最终的特定三维头模型。通过建立替换者的真实感三维头模型,渲染出与任意目标图像姿态相一致的人脸图像。为了让渲染后的人脸图像与目标图像进行无缝纹理融合,还进行了色彩传递和基于多分辨率技术的边界融合。用此方法可将故事书中的任意角色替换成用户,以此提供个性化的图书。     

基于Kinect 2的三维人脸个性化建模

提出一种基于五官形状特征点以及人脸肌肉函数的优化Kinect 2 个性人脸网格的算法,然后通过自适应uv贴图,使结果更符合个性人脸特征.首先,通过提取彩色图的特征点位置获取个性人脸的x,y 空间的特征信息,基本的五官形状特征点为83 个,通过相似三角关系在鼻梁和鼻翼处添加了6 个特征点以丰富五官形状特征信息.肌肉形状特征约束方面,综合肌肉形状约束量有43 个.其次,通过Kinect 2 人脸个性化建模得到中间模型,同时也获得了五官形状和肌肉形状特征的深度先验信息.接着使用基于拉普拉斯算子的微分网格变形算法对Kinect2 的中间模型进行五官优化及肌肉形状约束,通过对比ASM、正则化均值漂移和face + + 算法检测的人脸特征点来选择更精确的五官位置.最后,为了让人脸更具有真实感,还通过平面微分网格形变实现了uv 自动贴图,提升了maya中手动调整uv 坐标的准确性和效率.同时,使用次表面散射光照模型来使人脸皮肤的真实感加强.实验表明,本文所采用的三维人脸模型的个性化变形方法能使Kinect2 模型更好地符合个性人脸特征,这将为后期的表情生成和动画制作奠定良好的基础.     

基于主动表观模型的人脸图像描述与编码

利用主动表观模型(AAM)来对人脸图像进行描述和编码,该方法不仅对人脸形状进行建模,同时又建立了反映人脸灰度变化的纹理模型,并将纹理模型与形状模型合理地结合起来,反映了整个人脸形状及纹理。实验表明了AAM方法进行人脸描述和编码的有效性。     

Video-based facial animation with detailed appearance texture

Facial shape transformation described by facial animation parameters (FAPs) involves the dynamic movement or deformation of eyes, brows, mouth, and lips, while detailed facial appearance concerns the facial textures such as creases, wrinkles, etc. Video-based facial animation exhibits not only facial shape transformation but also detailed appearance updates. In this paper, a novel algorithm for effectively extracting FAPs from video is proposed. Our system adopts the ICA-enforced direct appearance model (DAM) to track faces from video sequences; and then, FAPs are extracted from every frame of the video based on an extended model of Wincandidate 3.1. Facial appearance details are transformed from each frame by mapping an expression ratio image to the original image. We adopt wavelet to synthesize expressive details by combining the low-frequency signals of the original face and high-frequency signals of the expressive face from each frame of the video. Experimental results show that our proposed algorithm is suitable for reproducing realistic, expressive facial animations.     

基于多视角照片的人脸建模和动画

实现了一个交互式人脸建模和动画的工具，用户可从多幅不同视角的照片构造出头部的三维模型，并在此模型的基础上实现了一些人脸表情。并详尽地介绍了线性弹性模型和肌肉模型的理论和构造以及纹理贴图等技术。     

融合主动外观模型与局部二元模式的人脸识别

提出一种新的人脸识别算法.首先,利用主动外观模型(active appearance model,AAM)提取人脸五官特征点,进而获得人脸区域的全局纹理特征;然后对人脸区域中的若干个局部子块进行加权局部二元模式(local binary pattern,LBP)的特征组合;接着分别对这两类特征进行最近邻法则匹配;最后,采用基于模糊综合的原理对这两大类特征进行数据融合,给出最终识别结果.实验表明该算法的有效性,能够很好地结合人脸图像全局和局部的互补信息,识别效果优于各单一模块的分类性能.     

一种基于MPEG-4的三维人脸表情动画算法

面向模型基人脸视频编解码领域,提出了一种基于MPEG-4的三维人脸表情动画算法.首先对编码端发送视频的首帧图像,利用Adaboost+Camshift+AAM(active appearance model算法检测人脸和定位特征点,接着特定化一个简洁人脸通用网格模型得到FDP(facial definition parameter);对于得到的FDP,解码端先用其特定化一个精细人脸通用网格模型,然后基于肌肉模型和参数模型相结合的方式来生成人脸表情动画,同时对人脸功能区进行划分.实验表明,该算法在FAP(facial animation parameter)流的驱动下可以生成真实感较强的三维人脸表情动画.     

基于优化CANDIDE模型的人脸动画

使用CANDIDE模型,实现模型与照片人脸的快速自动匹配.在模型与人脸初步匹配后,对模型局部进行网格优化,提高了模型的表征力同时并不影响匹配速度.用基于薄板样条插值方法（TPS）的网格形变取代传统的移动网格结点的动画方法,有效提高了动画的真实感.实验结果显示,自动模型匹配让动画角色的更换工作变得快速易行,优化的网格形变产生的动画更加生动、自然.     

实时语音驱动的虚拟说话人

该文实现了一个实时语音驱动的虚拟说话人面部动画方案。随着语音信号的输入,同步生成对应的面部动画。这种实时语音驱动的虚拟说话人在可视电话、虚拟会议、音视频聊天等即时通讯与娱乐媒体领域具有巨大的应用潜力。由于音素是最小的可分发音单元,因此构建音素识别器,对输入语音信号进行实时音素识别。为提高语音与口型的同步效果,改进了音素识别与输出算法。考虑协同发音影响,利用动态视素生成算法,将识别得到的音素转化为对应的面部动画参数序列。最后用参数序列驱动按照MPEG-4面部动画标准参数化的3-D头部模型,实现面部动画的同步生成。主观MOS评测结果表明:本文所实现的实时语音驱动虚拟说话人在的同步性和逼真度上的MOS评分分别达到了3.42和3.50。     

标准人头脸三维模型建模研究

提出了一种通过标准人脸的正面像及侧面像来生成标准人头脸三维模型的建模方法.所建立的标准人头脸三维模型可用于模型基图像编码、计算机视觉、计算机动画和多媒体通信等方面的研究和应用,具有良好的准确度和可操作性.     

基于曲率和纹理信息的三维人脸特征提取

针对目前三维人脸特征提取方法对表情很敏感的缺陷,通过借鉴曲面曲率生动描述人脸形状的特点和人脸特征区域纹理不受表情影响的特点,提出了一种基于曲率和纹理信息的三维人脸特征提取方法。实验分析说明该方法有效利用了三维人脸的深度信息和人脸纹理对表情和姿态不敏感,具有较好的准确性和鲁棒性。     

特定人的三维人脸模型生成与应用

计算机三维人脸对象的应用范围包括虚拟现实，辅助教学，远程会议，人机交互，游戏娱乐，电影制作等诸多方面，提出利用区域差值法的算法实现基于两幅人脸图像生成具有特定人特征的三维人脸模型，并在生成特定人三维人脸模型的基础上实现了基于MPEG－4的特定人的人脸动画功能，实验取得了良好的效果。     

人脸图像年龄估计

为了解决人脸识别中识别率随年龄变化急剧下降的问题,提出了一种自动的年龄估计方法。通过年龄函数建立人脸特征和年龄之间的对应关系,人脸特征由形状特征和纹理特征组成。首先,通过改进的活动形状模型自动定位人脸形状特征点,再通过形状拉伸获得单纯的纹理图像,然后用主分量分析分别得到形状特征向量和纹理特征向量,合成作为人脸特征,最后,按照最优化的准则得到年龄函数,结合人脸变老方式的分类,自动估计年龄。实验结果表明,这种方法对年龄估计十分有效,平均200人的多年龄人脸数据库上的估计误差为1.1a。     

人脸图像年龄估计

为了解决人脸识别中识别率随年龄变化急剧下降的问题,提出一种自动的年龄估计方法。通过年龄函数建立人脸特征与年龄之间的对应关系,人脸特征由形状特征和纹理特征组成。首先,通过改进的活动形状模型自动定位人脸形状特征点,再通过形状拉伸获得单纯的纹理图像;然后用主分量分析分别得到形状特征向量和纹理特征向量,合成作为人脸特征;最后,按照最优化的准则得到年龄函数,结合人脸变老方式的分类,自动估计年龄。实验结果表明,这种方法对年龄估计十分有效,平均200人的多年龄人脸数据库上的估计误差为1.1 a。     

脸部表情动画的实现

用计算机动画技术合成人的面部表情动画是人体动画研究的一个重点。本文分析了人脸的生理结构组成和脸部表情与表情单元形变之间的关系，研究了包括局部变形箱变形、线性局部变形和密度球收缩和舒张变形在内的三种面部肌肉变形方法，在此基础上，提出了一个基于复合多组局部变形操作的脸部表情动画的模拟算法。通过调相关整表情单元的形变因子一时间参数曲线，有效地控制了脸部表情的动画过程，从而实现了脸部表情动画。     

基于局部分割的快速人脸识别

针对人脸识别系统易受光照,表情与遮挡等因素的影响,提出一种基于局部分割的快速人脸识别算法。首先,建立高斯肤色模型,并融合几何特征快速实现人脸粗定位;然后,利用局部初次匹配与全局特征的方法排除背景环境对人脸检测的干扰以及减少匹配过程中的计算量,同时运用LBP算子对2D-Fr FT的幅度与相位特征的互补信息进行编码;最后,采用最近邻分类器进行分类识别。本文的方法在公共人脸图像数据库上进行仿真实验。结果表明,该算法简单、鲁棒性高、在速度与准确性方面具有良好的性能。     

一个改进的球面谐波模型及其在光照人脸识别中的应用

从根本上解决人脸识别中的光照问题,仅从人脸的平面图像考虑是不够的,需更多地利用人脸的纹理和形状等本质特征。提出用中性人脸的形状来表示特定人脸的形状,并通过计算球面谐波基图像进行光照估计,实现光照补偿。对真实照片去光照的处理和在Yale B人脸库上的实验结果表明,该方法有效地利用了人脸的形状特征,能比较准确地估计出人脸的光照,明显地去掉光照不均的影响,识别率得到较大提高。     

基于核函数因素分解模型的表情合成与识别

人脸图像合成是新一代人机交互中的重要技术。传统的三维模型加生理模型的方法可以生成真实的人脸表情图像,但是其中的计算复杂度很高。该文提出了一种基于样本的方法,将不同的人和不同的表情看作影响人脸表情图像的两种变化因素,利用因素分解模型巧妙地进行人脸表情图像合成。同时,分析了因素分解模型获得的身份子空间和表情子空间的特点,提出了一种在子空间中利用余弦距离进行身份和表情识别的新思路。从实验结果来看,这里提出的方法可以仅利用一张训练集内、外的人脸图像合成出该人在不同表情下逼真的脸部表情图像,同时可以合成库内的人在新表情下的表情图像。