基于深度学习的面部表情识别方法综述

人脸表情识别就是让计算机按照人类的思维理解表情,是人机交互的重要组成,然而随着深度学习的迅速发展,深度学习技术在人脸表情领域的研究也成为研究热点,所以对深度学习技术在表情识别中的应用及取得的成果进行分析。首先总结了几种常用表情数据集;然后从特征提取和特征分类两方面对基于深度学习的表情识别方法进行了分类,并从网络改进方面分析了基于深度学习的表情识别中的几种网络改进方法;最后阐述了表情识别这一领域中面临的挑战和未来发展。     

基于人脸局部特征和SVM的表情识别

提出了一种基于人脸局部特征的表情识别方法．首先选取人脸重要的局部特征,对得到的局部特征进行主成分分析,然后用支持向量机（SVM）设计局部特征分类器来确定测试表情图像中局部特征,同时设计支持向量机（SVM）表情分类器,确定表情图像的所属类别．对JAFFE人脸图像数据库进行仿真实验．结果表明,该方法要优于一般的基于整体特征的人脸表情识别方法．     

基于KPCANet和线性判别分析的表情识别

针对目前多数表情识别算法都是基于浅层特征的,很难达到良好的识别效果,并且核主成分分析网络(PCANet)网络存在提取到的表情特征维数比较高致使识别时间较长和分类效率较低的问题,受到深度学习模型PCANet的启发,提出了一种结合核主成分分析网络(KPCANet)和线性判别分析(LDA)的表情识别算法.首先,利用基于KPCANet模型获取训练样本及测试样本的深层特征;然后,用LDA监督层对KPCANet模型获取的深层特征对表情图像特征进行监督投影,从而使表情特征具有类别区分性;最后,将经LDA投影的特征矩阵输入支持向量机(SVM)中对表情特征进行训练和分类.提出的KPCANet-LDA算法模型在人脸表情数据库CK+和JAFFE上进行实验,实验结果表明提出的算法具有良好的鲁棒性且识别率高于其他对比算法.     

一种基于Fisher准则的二维主元分析表情识别方法

提出了一种基于Fisher准则进行特征选择的二维主元分析表情识别方法.首先对训练样本做二维主元分析,然后再根据Fisher准则,按Fisher比的大小选择特征向量作为投影轴,最后用最近邻方法进行分类.在JAFFE人脸表情静态图像库上进行实验,与按特征值的大小来选择特征向量相比,该方法更有效.     

基于多任务深度卷积神经网络的人脸/面瘫表情识别方法

由于人类个体面部形态各种各样,使得不同人在表达同一感情时有可能产生较大的视觉差异,为了减弱这种内类视觉差异性对人脸表情识别产生的影响,该文提出一种分层多任务学习的人脸表情识别方法,该方法以现有深度卷积神经网络模型为基础,构造双层树分类器以替换输出层的平面softmax分类器,构建深度多任务学习框架,通过利用人脸表情标签和人脸标签共同学习更具辨识力的深度特征,将知识从相关人脸识别任务中迁移过来,从而减弱面部形态对表情识别的影响,提高表情识别性能。实验结果表明,相较于VGGnet,Googlenet和Resnet深度模型,文中提出的方法均提高了人脸表情识别率,且成功推广到面瘫表情识别问题中。     

一种基于两步降维和并行特征融合的表情识别方法

在采用特征融合方法进行人脸表情识别时,通常会产生高维特征问题.针对这一问题,提出一种基于两步降维和并行特征融合的表情识别新方法.利用主成分分析法(principal component analysis,PCA)分别对待融合的两类特征在实数域进行第一次降维,将降维后的特征进行并行特征融合;为了解决在并行融合过程中产生的高维复特征问题,提出一种基于酉空间的混合判别分析方法(unitary-space hybrid discriminant analysis,unitary-space HDA)作为酉空间的特征降维方法.该方法是实数域混合判别分析法在酉空间内的扩展,并兼顾了复特征数据的类间判别信息及全局描述信息.对局部二值模式(local binary pattern,LBP)和Gabor小波特征进行融合,并在JAFFE和CK+表情数据集上开展对比实验.实验结果表明,该方法具有较好的高维复特征数据降维能力,并且有效提高了表情识别率.     

基于Gabor变换的表情识别系统的设计

针对Gabor特征维数和冗余度较高的缺点,对Gabor小波变换特征进行分块,提取了所有子块局部统计特征,然后使用PCA+LDA方法对这些特征进行选择,最后采用决策树分类法进行了人脸表情识别.实验结果表明:此方法在维数降低的同时,其识别性能比传统的方法更具优势.     

基于模糊核判别分析的静态面部表情情绪识别方法

当前面部表情情绪识别方法由于表情类别划分能力差,导致面部表情情绪识别结果精度不佳,为此,该文提出基于模糊核判别分析的静态面部表情情绪识别方法。根据模糊核图像处理原理,线性方程对静态面部表情原始图像进行复原,获取原始人脸图像采集。利用奇异值分解技术提取静态面部表情情绪特征。采用模糊核判别分析方法对面部表情情绪类别进行划分,实现静态面部表情情绪识别。通过五官结构关键信息提取、表情信息匹配精度以及静态面部表情情绪识别精度三部分指标,验证此方法的应用效果。实验结果表明：研究方法的表情信息匹配精度可达97.0%,使用其可有效提升静态面部表情情绪识别效果。     

基于局部特征自适应加权2DPCA提取表情特征

本文提出了基于局部特征自适应加权2维主成分分析（2DPCA）表情识别方法。该方法采用分块来融合基于整体模板的分类方法和基于几何特征的分类方法,通过虚拟样本自适应地计算出不同特征对识别的不同贡献,并加权到分类器中。     

基于改进的局部方向模式人脸表情识别算法

针对LDP利用Kirsch算子计算8方向的边缘响应值并排序,特征提取速度慢的问题,提出了一种改进的分解局部方向模式DLDP(divided local directional pattern)特征提取方法。将Kirsch算子的8个方向掩模分成2个子方向掩模再分别计算边缘响应值,获得2个编码(DLDP1和DLDP2),级联两个编码的直方图得到表情特征DLDP。然后利用主成分分析法(PCA,principal component analysis)降维处理。最后用支持向量机进行表情识别,在JAFFE数据库上的实验表明,本文方法与近几年效果较好的特征提取算法相比,不仅缩短了特征提取的运算时间,而且提高了识别率。     

一种基于面部纹理特征融合的人脸表情识别方法

针对人脸表情识别领域受噪声和遮挡等因素影响识别率不高的问题,结合局部和全局特征,提出一种基于面部表情的情感分析混合方法.首先,通过将梯度直方图(HOG)与复合局部三元模式(C-LTP)融合来进行特征提取;其次,将HOG和C-LTP提取的特征融合到单个特征向量中;最后,采用多类支持向量机分类器把特征向量进行情感分类;最后...     

基于随机权重分配策略的面目表情识别

为了提高面部表情识别的精确度,提出了一种基于数据增强策略面部表情识别,区别于普通的在线随机数据增强,将实验用到的训练数据集采用附加不同的权重分配策略进行增强数据,并随机生成每次训练时的权重,保证其训练数据的多样性并通过比较实验结果得出哪种权重的分布策略适用于面部表情识别数据集的增强,同时解决了面部表情识别因数据集缺乏多样性识别精度不高等问题,提升了人脸表情识别的准确性和鲁棒性,此外还利用VGG19特征提取网络,通过从数据中学习鲁棒性和区分性特征,来实现高精度的面部表情识别。实验结果表明,使用该方式增强后的数据进行训练的模型在Fer2013和扩展Cohn-Kanade （CK+）数据库上对7种表情的识别率相比其原始数据集均有提升。     

基于面部肌肉特征的面部表情度量方法

基于对人类表情肌活动效果的归纳,采用一种新的面部特征构造描述面部状态。以支持向量机的后验概率作为依据,提出一种基于面部肌肉特征的面部表情度量方法,并对基于不同特征和不同面部素材库的决策模型进行对比实验。结果表明,相比其他的方法,基于新特征的度量方法能够对不同的面部表情产生具有足够区分度的度量,并能够以较高的准确率提取视频文件中”最夸张”的表情。     

基于MSVR和Arousal Valence情感模型的表情识别研究

通常的表情识别方法是对基本情绪进行表情分类,然而基本情绪对情感的表达能力有限。为了丰富情感的表达,研究采用Arousal-Valence情感模型,从心理学的角度对Arousal-Valence模型中Arousal维度和Valence维度之间的相关性进行了分析,并用统计学方法对AVEC2013,NVIE和Recola 3个数据集进行研究,实验结果表明它们之间具有正相关关系。为了利用Arousal-Valence 之间的相关性,采用多输出支持向量回归（multiple dimensional output support vector regression,MSVR）算法作为表情的训练和预测算法,并结合特征融合和决策融合提出了一种基于MSVR的两层融合表情识别方法。实验结果表明提出的表情识别方法比传统的方法能取得更好的识别效果。     

多级细节信息融合的人脸表情识别

在自然环境中各种因素的干扰下,人脸表情信息匹配的识别率受到严重影响,针对此问题,提出一种改进的基于VGGNet16(visual geometry group network16)的网络模型.在VGGNet16模型的侧方添加一系列的侧输出层,并在该侧输出层添加不同的卷积核,通过上采样和下采样方法连接侧输出层的上下2层,...     

kPCA特征提取算法的自动目标识别

分析了主成分分析（PCA）与核主成分分析（kPCA）的基本原理,比较了两者在处理数据方面的性能,得出了kPCA比PCA在处理非线性可分数据方面具有优势的结论．依据几何绕射理论（GTD）,通过Matlab仿真方法得到HRRP（高分辨距离像）数据,并以这些数据作为训练和测试样本,结合SVM分类方法,分别测试比较了基于4种不同核函数的分类识别性能,得出基于高斯核函数主成分分析的自动目标识别系统性能明显好于其他3种核函数的结论．     

基于多特征集成分类器的人脸表情识别

提出基于多特征集成分类器的人脸表情识别新算法。新算法首先对预处理后的人脸表情图像通过3种不同的特征提取方法来提取不同类型的表情特征,然后对不同特征构造不同的分类器,最后构造一个基于神经网络的集成分类器模型,对这3个分类器的输出进行决策融合,从而实现人脸表情的最终识别。在JAFFE人脸表情数据库中的试验结果表明,所提算法的识别效果优于单个特征和单一的分类器。     

基于深度卷积神经网络与中心损失的人脸识别

传统人脸识别方法手工设计特征过程复杂、识别率较低,对于开集人脸识别通用深度学习分类模型特征判别能力较弱。针对这两方面的不足,提出了一种以分类损失与中心损失相结合作为模型训练监督信号的深度卷积神经网络。首先,利用构建的应用场景数据集优调从公共数据集获得初始化参数的深度人脸识别模型,解决训练数据过小和数据分布差异问题,同时提高模型训练速度;然后,以传统损失函数和新的中心损失作为迁移学习过程中的监督信号,使得类内聚合、类间分散,提高模型输出人脸特征的判别能力;最后,对人脸特征进行主成分分析,进一步去除冗余特征,降低特征复杂度,提高人脸识别准确率。实验结果表明,与传统人脸识别算法相比该算法可以自动进行特征提取,并且相对于通用深度学习分类模型该算法通过度量学习使特征表示更具判别力。在自建测试集和LFW、YouTube Faces标准测试集上都取得了较高的识别率。