基于小数据集下贝叶斯网络建模的面部表情识别

针对面部表情识别过程中获得的特征样本稀少的问题,提出了一种基于小数据集下贝叶斯网络(BN)建模的面部表情识别方法。首先提取面部表情图像的几何特征和HOG特征,经特征融合和归一化等处理构成动作单元(AU)标签样本集;其次提出了用于面部表情识别的BN结构,并将定性专家经验转化为BN条件概率之间的约束集合,随后引入凸优化最大化求解完成BN模型参数的估算;最后利用联合树推理算法识别出面部表情。实验结果表明:在小数据集条件下,与支持向量机(SVM)、Adaboost和卷积神经网络(CNN)等人脸表情分类方法相比,该方法能够取得更准确的面部表情识别结果。     

基于随机权重分配策略的面目表情识别

为了提高面部表情识别的精确度,提出了一种基于数据增强策略面部表情识别,区别于普通的在线随机数据增强,将实验用到的训练数据集采用附加不同的权重分配策略进行增强数据,并随机生成每次训练时的权重,保证其训练数据的多样性并通过比较实验结果得出哪种权重的分布策略适用于面部表情识别数据集的增强,同时解决了面部表情识别因数据集缺乏多样性识别精度不高等问题,提升了人脸表情识别的准确性和鲁棒性,此外还利用VGG19特征提取网络,通过从数据中学习鲁棒性和区分性特征,来实现高精度的面部表情识别。实验结果表明,使用该方式增强后的数据进行训练的模型在Fer2013和扩展Cohn-Kanade （CK+）数据库上对7种表情的识别率相比其原始数据集均有提升。     

新生儿疼痛面部表情的特征提取

针对新生儿的疼痛表情识别,提出了将Gobor小渡变换与改进的KDA相结合的特征提取方法.首先时新生儿面部图像进行Gabor变换,然后针对变换后的Gabor特征,用一种改进的核鉴别分析方法对它进行二次特征提取.该方法从根本上解决了表情识别中因小样本问题而引起的核类内离散度矩阵(kernel within-class scatter matrix)奇异性的问题.最后,对提取的特征用支持向量机进行了疼痛表情的分类识别.实验结果表明,此表情特征提取方法能够显著改善表情识别系统的性能.     

基于卷积网络与特征脸的面部表情聚类

相比于人脸识别，表情识别是更细粒度的图像分类，不同表情之间的差异非常细微，一般的聚类算法难以处理面部表情数据的分类问题。本文提出了一种基于卷积神经网络的Expression-EigenFace特征聚类算法，对数据集样本进行预处理，通过人脸检测和定位技术，将人脸分割重组形成情绪特征脸；将处理后的特征脸送入预训练好的卷积网络进行提取特征；通过聚类算法对所提取的特征进行聚类，完成人脸面部表情聚类的过程。实验结果表明：相比没有经过任何处理的表情图像聚类，本文方法在调整兰德系数(adjusted rand index, ARI)、调整互信息(adjusted mutual information, AMI)和标准化互信息(normalized mutual information, NMI)这几个聚类评估指标上都有大幅提升，证明了所提出的特征脸聚类算法的有效性。     

基于表情及姿态融合的情绪识别

情绪识别指在使计算机拥有能够感知和分析人类情绪和意图的能力,从而在娱乐、教育、医疗和公共安全等领域发挥作用.与直观的面部表情相比,身体姿态在情绪识别方面的作用总是被低估.针对公共空间个体人脸分辨率较低、表情识别精度不高的问题,提出了融合面部表情和身体姿态的情绪识别方法.首先,对视频数据进行预处理获得表情通道和姿态通道的输入序列;然后,使用深度学习的方法分别提取表情和姿态的情绪特征;最后,在决策层进行融合和分类.构建了基于视频的公共空间个体情绪数据集(SCU-FABE),在此基础上,结合姿态情绪识别数据增强,实现了公共空间个体情绪的有效识别.实验结果表明,表情和姿态情绪识别取得了94.698%和88.024%的平均识别率;融合情绪识别平均识别率为95.766%,有效融合了面部表情和身体姿态表达的情绪信息,在真实场景视频数据中具有良好的泛化能力和适用性.     

深度残差网络和LSTM结合的图像序列表情识别

为了改善图像表情和图像序列表情识别效果,针对传统表情识别特征提取复杂和效果不理想问题,提出了一种深度残差网络和局部二值模式(local binary patterns,LBP)相结合的特征提取方法,利用深度残差网络提取数据集的空域特征,长短期记忆网络(long short-term memory,LSTM)处理时域特征,实现空域与时域特征的结合。研究了不同层数的残差网络、不同形式的LBP算子以及其他网络结构对人脸表情识别的影响,对比了支持向量机和随机森林实现的序列表情识别算法。在Cohn-Kanade数据集和AFEW6.0数据集上进行了验证,实验结果表明,算法在验证集上的准确率分别为73.1%和58.4%,相比其他算法有一定程度的提升。     

基于关键子区域及特征提取的表情识别

针对传统表情识别系统不能充分提取关键子区域及有效特征的缺陷,设计了基于关键子区域及特征提取的表情识别系统。首先使用面部关键点检测技术及面部编码系统筛选出关键子区域;然后对其进行特征提取。提出一种改进的局部梯度编码算子(LGC)、局部均值梯度编码算子(LMGC-HD);改进的算子具有更低的维度,能够充分地描述局部形变;且受随机噪声及边缘变化影响小。最后使用支持向量机(SVM)进行分类识别。采用CK+数据集进行实验,结果证明该系统能够有效地提高人脸表情的识别率。     

基于多尺度特征选择网络的人脸表情识别

首先, 针对人脸表情识别问题提出一种新的多尺度特征选择网络识别方法, 该网络充分结合多尺度网络结构和特征选择结构的优点, 能更有效地提取面部静态图像中的空间信息. 其次, 为验证本文提出的多尺度特征选择网络的识别性能和泛化能力, 在两个经典的人脸表情识别数据集上与一些常用的方法进行对比和交叉验证实验. 实验结果表明, 该网络取得了更好的识别效果, 并且具有良好的泛化能力, 可以灵活地嵌入到人脸表情识别分析系统中.     

基于人脸运动单元及表情关系模型的自动表情识别

面部表情是人们表达情感和意向最有效、自然、快捷的方式. 表情的发生主体不同,程度不同,导致了表情的自发性. 基于这一难点,建立了一种人脸运动单元(action units,AUs)及面部表情间的概率关系模型,该模型将人脸分为眉眼区域和嘴巴区域两部分,采用Gabor小波提取区域特征,通过K临近(K nearest neighbor,KNN)与贝叶斯网络(Bayesian network,BN)相结合的机器学习算法进行自动AUs表情识别. 这种改进的机器学习算法,通过训练数据以及主观的先验知识进行模型学习,为AUs配以不同的权重,并且根据极大后验概率(maximum a posteriori probability,MAP)选取最优表情. 实验表明,本文所提出的模型对不同主体、不同程度的表情都表现出了较高的识别率,是一种高效且鲁棒性强的自动表情识别系统.      

基于融合特征提取与 LLE 方法的表情识别

为保证所提取特征表征作用的全面性, 提出一种基于几何特征和局部纹理特征相结合的特征提取方法。 将基于主动表观模型(AAM: Active Appearance Model)特征点标记提取的几何特征和基于局部二值模式(LBP: Local Binary Pattern)提取的眼部和嘴部纹理特征进行融合, 融合后的特征经局部线性嵌入(LLE: Locally Linear Embedding)方法进行特征降维, 并使用多分类的支持向量机(SVM: Support Vector Machine)进行分类识别。 该方法分别选取 JAFFE 数据集 7 类表情和小样本数据集 Yale 的 4 类表情进行实验, 识别准确率分别达到了 98. 57%和 91. 67%, 从而证明了该方法的有效性。     

基于多特征融合卷积神经网络的人脸表情识别

针对卷积神经网络特征提取不够充分且识别率低等问题,提出了一种多特征融合卷积神经网络的人脸表情识别方法。首先,为了增加网络的宽度和深度,在网络中引入Inception结构来提取特征的多样性;然后,将提取到的高层次特征与低层次特征进行融合,利用池化层的特征,将融合后的特征送入全连接层,对其特征进行融合处理来增加网络的非线性表达,使网络学习到的特征更加丰富;最后,输出层经过Softmax分类器对表情进行分类,在公开数据集FER2013和CK+上进行实验,并且对实验结果进行分析。实验结果表明:改进后的网络结构在FER2013和CK+数据集的面部表情上,识别率分别提高了0.06%和2.25%。所提方法在人脸表情识别中对卷积神经网络设置和参数配置方面具有参考价值。     

基于上下文感知和注意机制的多学习情绪识别方法

为提高人脸图像情绪识别效率与准确性,在探讨了深度神经网络、注意机制与损失函数基础上,提出基于上下文感知与注意机制的多学习情绪识别网络结构．该网络主要由场景特征提取、身体特征提取与融合决策3个子网络组成,并采用单双输出结构,实现多标签情绪分类与连续空间情绪回归任务．考虑到多标签情绪分类时标签的不平衡性,提出了一个改进的焦点损失（focal loss,FL）函数,可为小样本或难分类样本分配更多的权重,从而提高了网络训练效率．利用EMOTIC数据集进行仿真,结果表明平均绝对误差回归组合损失训练性能更优,分类平均准确率与回归平均误差率分别为28.5%和0.098,该方法对于小样本或难分类样本具有更好的分类效果．      

基于深度学习的面部表情识别方法综述

人脸表情识别就是让计算机按照人类的思维理解表情,是人机交互的重要组成,然而随着深度学习的迅速发展,深度学习技术在人脸表情领域的研究也成为研究热点,所以对深度学习技术在表情识别中的应用及取得的成果进行分析。首先总结了几种常用表情数据集;然后从特征提取和特征分类两方面对基于深度学习的表情识别方法进行了分类,并从网络改进方面分析了基于深度学习的表情识别中的几种网络改进方法;最后阐述了表情识别这一领域中面临的挑战和未来发展。     

基于改进高分辨率网络的人脸性别和年龄识别

针对目前利用人脸特征进行性别和年龄识别率较低的问题, 提出一种基于改进高分辨率网络(improved high-resoultion net, IHRNet)的新方法. 首先, 在IHRNet中融合具有少量参数和较高识别率的MobileNetV3结构, 结合高分辨率网络自身具有的多尺度特征提取优势, 有效提升了人脸特征识别的准确率; 其次, 为降低过拟合风险, 网络先采用IMDB-WIKI人脸数据集进行预训练, 然后加载预训练模型在Adience人脸数据集中进行训练和测试; 最后, 与ResNet50,HRNet,MobileNetV3三种同类算法进行对比. 实验结果表明, IHRNet在年龄及性别识别上的准确率分别高达82%,95%, 比同类算法分别平均提升9%和3%, 且参数量较未改进时下降36%, 验证了改进算法的有效性.     

基于改进高分辨率网络的人脸性别和年龄识别

针对目前利用人脸特征进行性别和年龄识别率较低的问题, 提出一种基于改进高分辨率网络(improved high-resoultion net, IHRNet)的新方法. 首先, 在IHRNet中融合具有少量参数和较高识别率的MobileNetV3结构, 结合高分辨率网络自身具有的多尺度特征提取优势, 有效提升了人脸特征识别的准确率; 其次, 为降低过拟合风险, 网络先采用IMDB-WIKI人脸数据集进行预训练, 然后加载预训练模型在Adience人脸数据集中进行训练和测试; 最后, 与ResNet50,HRNet,MobileNetV3三种同类算法进行对比. 实验结果表明, IHRNet在年龄及性别识别上的准确率分别高达82%,95%, 比同类算法分别平均提升9%和3%, 且参数量较未改进时下降36%, 验证了改进算法的有效性.     

多级细节信息融合的人脸表情识别

在自然环境中各种因素的干扰下,人脸表情信息匹配的识别率受到严重影响,针对此问题,提出一种改进的基于VGGNet16(visual geometry group network16)的网络模型.在VGGNet16模型的侧方添加一系列的侧输出层,并在该侧输出层添加不同的卷积核,通过上采样和下采样方法连接侧输出层的上下2层,并通过训练使侧输出层能够对其上下2层的表情信息进行加权融合.在VGGNet16第5层的后方添加2种不同的卷积核.将侧输出层最终得到的特征图进行局部卷积操作,将VGGNet16输出的最终特征图进行全局特征卷积操作,使局部特征与全局特征融合得到最终要进行分类的特征.该模型在CK+(the extended cohn-kanade)数据集上的识别率为98.6％,在RAF-DB(real-world affective faces)数据集上的表情识别率为79.59％,通过对比常用模型在这2种数据集上的识别率发现该模型具有一定的优势.     

基于像素特征的微表情识别

微表情持续时间短、表达强度低,给训练有效模型带来了挑战。针对此问题,提出了一种基于像素特征的微表情识别方法。对图像序列的面部区域进行裁剪,消除背景噪声;将每一帧的像素矩阵与第一帧(中性表情)做差处理,提取面部变化;对做差的结果累加,进一步突出面部表情;使用搭建的浅层CNN网络进行分类。在3个公共微表情数据集组成的交叉数据集上进行K折(K-fold)交叉验证实验中,所提方法的3个评价指标ACC(accuracy)、UF1(unweighted F1-score)和UAR(unweighted Average Recall)分别达到了0.8304、0.7827和0.7944,表明了该方法的有效性。与LBP-TOP等8个模型的对比实验中,所提方法的指标明显优于对比模型,验证了该方法的优越性。