基于深度学习与传统机器学习的人脸表情识别综述

新时期我国科学技术的快速发展及信息化产业规模的不断扩大,为人机交互领域发展带来了重要的保障作用,并提升了人脸表情识别研究水平。在此背景下,为了确保人脸表情识别有效性,需要注重与之相关的基于深度学习与传统机器学习的研究工作落实。在此基础上,计算机视觉领域的整体发展速度将逐渐加快,且人脸表情识别研究中也将得到更多的支持。因此,本文就基于深度学习与传统机器学习的人脸表情识别展开论述。     

基于深度学习的人脸表情识别研究与应用

人脸面部表情是人机交互和非言语交际的有效方式,对面部表情进行识别并分析,可以获取很多信息,在安全监控、人工智能、军警、心理学等领域有着许多不同的应用。本研究基于深度学习对人脸表情识别进行深入研究,采用Open CV内置算法进行人脸检测,利用卷积神经网络进行面部表情识别,实现对人脸最基本的7种表情包括愤怒、厌恶、恐惧、快乐、悲伤、惊讶和中立分别进行识别。与传统的人脸表情识别方法相比较,卷积神经网络的识别精度高,训练参数少,在面部表情特征表现明显的情况下,对7种表情的识别精度都能超过70%以上。     

人脸表情识别综述

作为生物特征识别与情感计算领域的一个极富挑战性的交叉课题,人脸表情自动识别技术在各种应用的推动下发展很快,但鲁棒的自动人脸表情识别系统至今尚未建立.人脸表情识别的3个关键环节是人脸检测(定位)、脸部表情特征提取和人脸表情的情感分类.目前上述环节上均取得了重要进展.本文就这三方面分别进行了分类总结。     

基于深度学习与Dense SIFT融合的人脸表情识别

为了准确高效地实现人脸表情识别.提出将一种将卷积神经网络与Dense SIFT特征进行融合的混合模型,该混合模型所用的网络结构是在深度可分离的卷积神经网络MobileNet的思想上加以改进.在通道卷积(深度卷积)与空间卷积(点卷积)分离的基础上,将MobileNet结构的点卷积部分使用多尺度卷积核,保证了提取特征的丰富细微性,更加适用于人脸表情特征提取;同时引入DenseNet结构的思想,提升了网络的性能.利用Dense SIFT的128维描述子对特征描述较丰富的优势。将其与改进的MobileNet网络在全连接层进行融合,采用Eltwise层在全连接层元素之间做比较并取最大值,以保证特征的多样性,且更具代表性.在FER2013和JAFFE人脸表情数据集上运用该混合模型,识别率可以达到73.2%和96.5%.     

基于迁移深度模型的人脸表情识别研究

针对表情识别研究对网络的训练要求较高,超参数优化较难,训练效果期望低等问题,提出基于迁移学习的深度学习模型,利用几种较新的模型迁移到表情识别的训练中,即搭建CNN网络和基于迁移学习的ResNet18、ResNet50、MobileNetv2网络,通过大量的训练实验对比四种模型。仿真表明,所提出的模型与常用的模型相比,增强了算法性能,优化了表情网络性能,提高了人脸表情识别率和迁移学习效果。     

基于PSO-CG优化深度信念网络的人脸表情识别

深度信念网络(Deep Belief Network,DBN)在人脸表情识别领域表现出较好的性能,但其在有监督学习阶段通常采用反向传播微调网络的初始参数空间,容易陷入局部最优值,不能找到网络的最优参数空间.提出一种粒子群算法(Particle Swarm Optimization,PSO)和共轭梯度(Conjugate Gradient,CG)融合进行优化DBN,将其用于人脸表情识别.首先,通过虚拟样本扩充训练样本数据集的方式构建了人脸表情数据集.然后,使用PSO寻找全局最优点,DBN的参数维度高,单独使用PSO优化网络参数空间,容易出现局部最优、收敛速度慢等问题,结果显示,PSO与CG相融可以加强搜索精度和加快收敛速度,获取更优模型参数.仿真结果表明,提出的方法在JAFFE和CK+这2个常用人脸表情数据库的识别率分别为94.52%和97.84%.     

基于线性判别深度信念网络的人脸表情识别

深度信念网络在人脸表情识别领域表现出很好的性能,但由于其最后一个隐层与分类层之间的初始权值矩阵通常随机生成,这样的权值矩阵不具有判别能力,从而导致经该权值矩阵映射得到的特征不能保证适合于分类任务。为了解决此问题,提出一种新的深度信念网络结构——线性判别深度信念网络,其对传统线性判别分析法进行改进,设计了一个新的类间离散度矩阵,解决了传统线性判别分析法中存在的秩限问题;使用改进的线性判别分析法初始化深度信念网络最后一个隐层和分类层之间的权值矩阵,使网络更适合于分类任务。本文提出的线性判别深度信念网络在JAFFE和Extended Cohn-Kanade人脸表情数据库上分别得到了78.26%和94.48%的识别率。     

基于SVM的人脸表情识别

以人脸表情视频序列为研究对象,介绍了人脸表情识别的一般过程,给出了基于SVM的人脸表情识别方法,讨论了面部表情强度度量方法。通过分析人脸表情的变化,在L-K光流算法基础上应用修正的特征点跟踪方法提取面部特征信息,使用SVM建立人脸表情模型和强度模型,进行表情识别,并对高兴表情进行强度等级分类。实验结果证明了提出方法的有效性。     

基于Kirsch算子人脸表情识别

为了解决局部二值模式识别率不高、特征向量维数大的问题,使用Kirsch边缘检测算子,根据像素水平、垂直及对角的3个方向响应进行编码,得到基于Kirsch算子的局部二值模式.该方法有效提取了面部表情特征,且维数低,适合在大型人脸库上运行.在JAFFE数据库上的实验结果表明,基于Kirsch算子的局部二值模式与局部二值模式、CBP、GDP及LDP相比,识别率和运行效率均有提高,是一种有效的特征描述算子.     

基于深度学习的面部表情识别方法综述

人脸表情识别就是让计算机按照人类的思维理解表情,是人机交互的重要组成,然而随着深度学习的迅速发展,深度学习技术在人脸表情领域的研究也成为研究热点,所以对深度学习技术在表情识别中的应用及取得的成果进行分析。首先总结了几种常用表情数据集;然后从特征提取和特征分类两方面对基于深度学习的表情识别方法进行了分类,并从网络改进方面分析了基于深度学习的表情识别中的几种网络改进方法;最后阐述了表情识别这一领域中面临的挑战和未来发展。     

参考中性表情的人脸表情识别

为充分利用视频中人脸表情与中性表情的差异,提出了一种新的对非特定人脸的表情识别方法.该方法针对低复杂度的视频表情识别应用场景,利用参考中性表情的特征点偏移角表征被测表情的变化信息,同时利用二维主成分分析(2DPCA)法提取被测表情帧的二维主成分特征,从而综合使用表情的动态和静态特征,并使用支持向量机分类器进行表情分类识别.在JAFFE人脸表情库上的实验结果表明,相对于仅使用2DPCA的静态图像表情识别方法,文中所提方法的人脸表情识别准确率平均提高7%.     

基于深度学习的移动端表情识别系统设计

为了实现通过手机远程识别家居环境下家人的表情,提出了一种基于深度学习模型的移动端表情识别方法,并进行了系统设计。通过Vitamio框架获取远程视频,采用轻量级模型mini_Xception进行表情识别以适应移动端需求,将训练好的模型移植到Android手机之中,并进行了实验测试,结果表明设计的系统可实现远程表情识别,能够及时了解家人状况,为智能家居应用提供技术支持。     

基于 Mahalanobis距离进行人脸表情的识别

提出了利用Mahalanobis距离进行人脸表情识别的方法.首先将待分类的图像样本集进行坐标变换,使得变换以后类间离散度尽可能大而类内离散度尽可能小,即使变换以后的Fisher准则函数取得极大值,在新的坐标下求每个待分类样本到各类均值向量的Mahalanobis距离,从而将待分类的样本归到Mahalanobis距离最小的类中去,通过实验得到了平均80.25%的识别率.     

基于注意力机制的人脸表情识别网络

人脸表情识别一直是计算机视觉领域的一个难题.近年来,随着深度学习的飞速发展,一些基于卷积神经网络的方法大大提高了人脸表情识别的准确率,但未能充分利用人脸图像中的信息,这是由于对于面部表情识别有意义的特征主要集中在一些关键位置,例如眼睛、鼻子和嘴巴等区域,因此在特征提取时增加这些关键位置的权重可以改善表情识别的效果.为此...     

基于SKLLE和SVM 的人脸表情识别

为有效提取人脸表情图像特征并降低特征向量维数,该文提出一种基于监督核局部线性嵌入(Supervised Kernel Locally Linear Embedding,SKLLE)和支持向量机(Support Vector Machine,SVM)相结合的降维和分类方法.利用人脸表情图像数据本身的非线性流形结构信息和标签信息实现维数约简,提取低维嵌入特征用于人脸表情识别,采用支持向量机代替传统的K近邻分类器.基于JAFFE人脸表情图像库和Cohn-Kanade人脸表情数据库的实验结果表明,该方法可以很好地实现维数约简,达到较高的识别率,有效地提高了人脸表情识别的性能.     

三维人脸表情识别研究与进展

随着人机交互与情感计算的快速发展,人脸表情识别已经成为研究热点.二维人脸表情图像对于姿态变化与光照变化不具备鲁棒性,为了解决这些问题,研究者们使用三维人脸表情数据进行表情分析研究.本文在前人工作的基础上,对三维人脸表情识别中的对齐与跟踪、表情数据库、特征提取等方面进行综述.指出人脸表情识别的热点与趋势以及存在的局限,并对未来发展进行了展望.     

基于多特征与卷积神经网络的人脸表情识别

提出一种多特征与卷积神经网络相结合的人脸表情识别方法。先对人脸表情图像进行预处理,根据人脸面部"三庭五眼"的特征和人脸的几何模型对图像进行裁剪,采用双三次插值法对图像进行缩放。然后提取样本的局部方向模式、二维离散小波变换、Sobel算子三种特征。将这三种特征以三通道图像的形式输入卷积神经网络中进行自适应融合,融合后的特征通过Softmax层进行分类。在CK+数据库的识别率为99.51%,在RAF-DB的识别率为72.1%,识别率都有所提升,验证了所提方法的有效性。     

基于人脸局部特征和SVM的表情识别

提出了一种基于人脸局部特征的表情识别方法．首先选取人脸重要的局部特征,对得到的局部特征进行主成分分析,然后用支持向量机（SVM）设计局部特征分类器来确定测试表情图像中局部特征,同时设计支持向量机（SVM）表情分类器,确定表情图像的所属类别．对JAFFE人脸图像数据库进行仿真实验．结果表明,该方法要优于一般的基于整体特征的人脸表情识别方法．