基于小数据集下BN建模的面部表情识别

针对面部表情识别过程中获得的特征样本稀少的问题,提出了一种基于小数据集下贝叶斯网络(BN)建模的面部表情识别方法。首先提取面部表情图像的几何特征和HOG特征,经特征融合和归一化等处理构成动作单元(AU)标签样本集,其次提出了用于面部表情识别的BN结构,并将定性专家经验转化为BN条件概率之间的约束集合,随后引入凸优化最大化求解完成BN模型参数的估算,最后利用联合树推理算法识别出面部表情。实验结果表明：在小数据集条件下,与支持向量机(SVM)、Adaboost和卷积神经网络(CNN)等人脸表情分类方法相比,该方法能够取得更准确的面部表情识别结果。     

基于随机权重分配策略的面目表情识别

为了提高面部表情识别的精确度,提出了一种基于数据增强策略面部表情识别,区别于普通的在线随机数据增强,将实验用到的训练数据集采用附加不同的权重分配策略进行增强数据,并随机生成每次训练时的权重,保证其训练数据的多样性并通过比较实验结果得出哪种权重的分布策略适用于面部表情识别数据集的增强,同时解决了面部表情识别因数据集缺乏多样性识别精度不高等问题,提升了人脸表情识别的准确性和鲁棒性,此外还利用VGG19特征提取网络,通过从数据中学习鲁棒性和区分性特征,来实现高精度的面部表情识别。实验结果表明,使用该方式增强后的数据进行训练的模型在Fer2013和扩展Cohn-Kanade （CK+）数据库上对7种表情的识别率相比其原始数据集均有提升。     

新生儿疼痛面部表情的特征提取

针对新生儿的疼痛表情识别,提出了将Gobor小渡变换与改进的KDA相结合的特征提取方法.首先时新生儿面部图像进行Gabor变换,然后针对变换后的Gabor特征,用一种改进的核鉴别分析方法对它进行二次特征提取.该方法从根本上解决了表情识别中因小样本问题而引起的核类内离散度矩阵(kernel within-class scatter matrix)奇异性的问题.最后,对提取的特征用支持向量机进行了疼痛表情的分类识别.实验结果表明,此表情特征提取方法能够显著改善表情识别系统的性能.     

基于表情及姿态融合的情绪识别

情绪识别指在使计算机拥有能够感知和分析人类情绪和意图的能力,从而在娱乐、教育、医疗和公共安全等领域发挥作用.与直观的面部表情相比,身体姿态在情绪识别方面的作用总是被低估.针对公共空间个体人脸分辨率较低、表情识别精度不高的问题,提出了融合面部表情和身体姿态的情绪识别方法.首先,对视频数据进行预处理获得表情通道和姿态通道的输入序列;然后,使用深度学习的方法分别提取表情和姿态的情绪特征;最后,在决策层进行融合和分类.构建了基于视频的公共空间个体情绪数据集(SCU-FABE),在此基础上,结合姿态情绪识别数据增强,实现了公共空间个体情绪的有效识别.实验结果表明,表情和姿态情绪识别取得了94.698%和88.024%的平均识别率;融合情绪识别平均识别率为95.766%,有效融合了面部表情和身体姿态表达的情绪信息,在真实场景视频数据中具有良好的泛化能力和适用性.     

基于卷积网络与特征脸的面部表情聚类

相比于人脸识别，表情识别是更细粒度的图像分类，不同表情之间的差异非常细微，一般的聚类算法难以处理面部表情数据的分类问题。本文提出了一种基于卷积神经网络的Expression-EigenFace特征聚类算法，对数据集样本进行预处理，通过人脸检测和定位技术，将人脸分割重组形成情绪特征脸；将处理后的特征脸送入预训练好的卷积网络进行提取特征；通过聚类算法对所提取的特征进行聚类，完成人脸面部表情聚类的过程。实验结果表明：相比没有经过任何处理的表情图像聚类，本文方法在调整兰德系数(adjusted rand index, ARI)、调整互信息(adjusted mutual information, AMI)和标准化互信息(normalized mutual information, NMI)这几个聚类评估指标上都有大幅提升，证明了所提出的特征脸聚类算法的有效性。     

基于关键子区域及特征提取的表情识别

针对传统表情识别系统不能充分提取关键子区域及有效特征的缺陷,设计了基于关键子区域及特征提取的表情识别系统。首先使用面部关键点检测技术及面部编码系统筛选出关键子区域;然后对其进行特征提取。提出一种改进的局部梯度编码算子(LGC)、局部均值梯度编码算子(LMGC-HD);改进的算子具有更低的维度,能够充分地描述局部形变;且受随机噪声及边缘变化影响小。最后使用支持向量机(SVM)进行分类识别。采用CK+数据集进行实验,结果证明该系统能够有效地提高人脸表情的识别率。     

深度残差网络和LSTM结合的图像序列表情识别

为了改善图像表情和图像序列表情识别效果,针对传统表情识别特征提取复杂和效果不理想问题,提出了一种深度残差网络和局部二值模式(local binary patterns,LBP)相结合的特征提取方法,利用深度残差网络提取数据集的空域特征,长短期记忆网络(long short-term memory,LSTM)处理时域特征,实现空域与时域特征的结合。研究了不同层数的残差网络、不同形式的LBP算子以及其他网络结构对人脸表情识别的影响,对比了支持向量机和随机森林实现的序列表情识别算法。在Cohn-Kanade数据集和AFEW6.0数据集上进行了验证,实验结果表明,算法在验证集上的准确率分别为73.1%和58.4%,相比其他算法有一定程度的提升。     

基于盒注意力机制和Transformer的人脸微表情识别方法

微表情是一种细微的能够体现人真实心理活动的面部运动,通常与真实情感直接相关,应用前景广阔。但由于微表情持续时间短暂、表情幅度低和特征难以提取等特点,因此其识别准确率较低。针对该问题,提出了基于盒注意力机制和Transformer的人脸微表情识别模型(vision transformer based on box-attention, ViT-Box)。该模型首先对人脸面部进行特征提取,利用盒注意力机制获得自适应的面部微表情关键区域：左眉眼、右眉眼和嘴巴;然后对非关键区域进行掩码遮盖,避免微表情无关信息干扰;最后基于Vision Transformer网络实现人脸微表情识别。ViT-Box模型在微-宏表情仓库(MMEW)数据集上取得了98.68%的平均准确率,实验结果表明该模型在微表情识别上能够获得优秀的识别效果。同时通过消融实验验证了ViT-Box模型的有效性。     

基于人脸运动单元及表情关系模型的自动表情识别

面部表情是人们表达情感和意向最有效、自然、快捷的方式. 表情的发生主体不同,程度不同,导致了表情的自发性. 基于这一难点,建立了一种人脸运动单元(action units,AUs)及面部表情间的概率关系模型,该模型将人脸分为眉眼区域和嘴巴区域两部分,采用Gabor小波提取区域特征,通过K临近(K nearest neighbor,KNN)与贝叶斯网络(Bayesian network,BN)相结合的机器学习算法进行自动AUs表情识别. 这种改进的机器学习算法,通过训练数据以及主观的先验知识进行模型学习,为AUs配以不同的权重,并且根据极大后验概率(maximum a posteriori probability,MAP)选取最优表情. 实验表明,本文所提出的模型对不同主体、不同程度的表情都表现出了较高的识别率,是一种高效且鲁棒性强的自动表情识别系统.      

基于多尺度特征选择网络的人脸表情识别

首先, 针对人脸表情识别问题提出一种新的多尺度特征选择网络识别方法, 该网络充分结合多尺度网络结构和特征选择结构的优点, 能更有效地提取面部静态图像中的空间信息. 其次, 为验证本文提出的多尺度特征选择网络的识别性能和泛化能力, 在两个经典的人脸表情识别数据集上与一些常用的方法进行对比和交叉验证实验. 实验结果表明, 该网络取得了更好的识别效果, 并且具有良好的泛化能力, 可以灵活地嵌入到人脸表情识别分析系统中.     

基于像素特征的微表情识别

微表情持续时间短、表达强度低,给训练有效模型带来了挑战。针对此问题,提出了一种基于像素特征的微表情识别方法。对图像序列的面部区域进行裁剪,消除背景噪声;将每一帧的像素矩阵与第一帧(中性表情)做差处理,提取面部变化;对做差的结果累加,进一步突出面部表情;使用搭建的浅层CNN网络进行分类。在3个公共微表情数据集组成的交叉数据集上进行K折(K-fold)交叉验证实验中,所提方法的3个评价指标ACC(accuracy)、UF1(unweighted F1-score)和UAR(unweighted Average Recall)分别达到了0.8304、0.7827和0.7944,表明了该方法的有效性。与LBP-TOP等8个模型的对比实验中,所提方法的指标明显优于对比模型,验证了该方法的优越性。     

基于邻域粗糙集与量子遗传算法的人脸表情特征选择方法

人脸表情特征选择是人脸表情识别研究领域关注的一个热点。基于量子遗传算法与邻域粗糙集理论,文章提出一种新的人脸表情特征选择方法(Feature Selection based on Neighborhood Rough Set Theoryand Quantum Genetic Algorithm,简称FSNRSTQGA),以邻域粗糙集理论为基础,定义了最优特征集的适应度函数来评价表情特征子集的选择效果;并结合量子遗传算法进化策略,提出了一种表情特征选择方法。Cohn-Kanade表情数据集上的仿真实验结果表明了该方法的有效性。     

基于融合特征提取与 LLE 方法的表情识别

为保证所提取特征表征作用的全面性, 提出一种基于几何特征和局部纹理特征相结合的特征提取方法。 将基于主动表观模型(AAM: Active Appearance Model)特征点标记提取的几何特征和基于局部二值模式(LBP: Local Binary Pattern)提取的眼部和嘴部纹理特征进行融合, 融合后的特征经局部线性嵌入(LLE: Locally Linear Embedding)方法进行特征降维, 并使用多分类的支持向量机(SVM: Support Vector Machine)进行分类识别。 该方法分别选取 JAFFE 数据集 7 类表情和小样本数据集 Yale 的 4 类表情进行实验, 识别准确率分别达到了 98. 57%和 91. 67%, 从而证明了该方法的有效性。     

改进残差网络与峰值帧的微表情识别

目的 微表情(Micro Expression, ME)是人们流露内心情感时展现出的细微面部表情。针对微表情识别的样本较少且不同类别数量分布不均导致难以识别和识别准确率较低的问题,提出能够提高微表情识别准确率的模型框架。方法 提取微表情视频序列中含有更多关键表情信息的峰值帧;使用加入SE模块的改进残差网络SE-ResNeXt-50对微表情的峰值帧进行特征提取,其中SE模块可以更好地学习特征中的关键信息,ResNeXt通过分组卷积的方式用稀疏结构取代密集结构从而使结构更加简化,提升了识别效率。与此同时,使用Focal Loss损失函数可以更好地解决因微表情数据的不平衡带来的模型性能问题。结果 在微表情数据集CASMEⅡ上进行了仿真实验,可以发现改进的残差网络与峰值帧提高了微表情识别的准确率与F1值。结论 改进的残差网络与峰值帧可以降低数据集较少所带来的影响,使模型有着良好的拟合效果,同时改善了在不同类别上表现差异较大的问题,提升了微表情的识别准确率,对于微表情识别有着更好的识别性能。     

基于区域块LBP特征的人脸表情识别

人脸表情识别是模式识别与人工智能领域的研究热点之一,针对传统LBP方法的不足,提出了一种基于区域块LBP的人脸表情识别方法:先在人脸面部分割出与表情相关的眉毛、眼睛、鼻子和嘴巴等关键区域;再从这些关键表情区域提取表情特征,避免了在整个面部提取特征耗时的缺陷,同时有效地降低了特征维数;最后利用最近邻分类器给出识别结果,通过实验验证了本文算法在识别性能和时间性能上的优势.     

基于曲线表示的人脸表情合成

先将人脸边缘图像分割为曲线段集, 通过度量图像在曲线段两侧的局部纹理差异, 形成特征序列. 在此基础上, 比较人脸样本集出现一类特定表情前后的图像, 量化曲线段集和特征序列在此类表情运动作用下的变化, 找出其中模式, 从而在仅有某样本中性表情图像时, 根据模式合成出样本在发生某类特定表情变化后的曲线段集和特征序列. 运用该方法, 可在初始样本有限的情况下, 通过合成表情特征有效扩展样本空间, 使识别算法更好地适应表情变化.     

基于改进随机森林分类器在RGBD面部表情上的应用研究

面部表情识别是机器感知人类情绪变化的重要途径.利用面部RGB图像可以进行表情识别,但是容易受到光照变化影响,而且较难刻画细微表情变化.对采用RGBD面部图像识别6种基本面部表情(高兴、悲伤、愤怒、沮丧、恐惧以及惊讶)进行研究.首先利用深度图像鲁棒地检测面部;然后在面部灰度图像中检测并跟踪二维面部标记点,并添加对应的深度信息构造深度面部几何特征,从而有效识别细微表情变化;最后利用基于特征选择的随机森林分类器对不同面部表情进行识别.基准数据库上的对比实验结果表明本文算法的表情识别准确率高于主流基于手动提取特征的面部表情识别方法,接近基于卷积神经网络的识别算法性能.     

自然场景下基于数据增强的人脸表情识别研究进展与趋势

由于自然场景下的人脸表情存在光照、姿态、种族、性别等因素的影响,人脸表情图像数据集的多样性才是能够保障自然场景下的人脸表情识别的性能高效提升的关键.基于自然场景下的人脸图像数据增强的方法,通过增加人脸表情数据集的多样性,提升在自然场景下人脸表情识别的精确度.对最近人脸表情识别的数据增强方法进行了总结和分析,并对在自然场景下人脸表情识别数据增强的发展趋势进行了展望.     

基于改进的主成分分析法的矿工表情识别

针对传统的矿工面部表情识别方法中对矿工面部表情进行特征提取的时间较慢且识别准确率不高的问题,以主成分分析法为基础,运用Fisher线性判别法对传统的主成分分析法进行改进。首先在主成分分析法的基础上增加一个类间离散矩阵,使其投影后不同类别之间特征点的距离更大,同一类别之间特征点的距离更加紧凑,对矿工面部表情图像特征提取的结果更具有代表性和针对性;然后运用径向基神经网络将低维非线性可分的矿工面部表情图像对应的特征矩阵映射到高维空间并使其线性可分,从而实现对矿工面部表情的识别和分类。实验结果表明,所提出的方法对矿工面部表情识别的识别率为89.0%,优于传统矿工面部表情分类识别算法,在矿井安全监控、疲劳驾驶等领域有较好的应用前景。     

基于多特征融合卷积神经网络的人脸表情识别

针对卷积神经网络特征提取不够充分且识别率低等问题,提出了一种多特征融合卷积神经网络的人脸表情识别方法。首先,为了增加网络的宽度和深度,在网络中引入Inception结构来提取特征的多样性;然后,将提取到的高层次特征与低层次特征进行融合,利用池化层的特征,将融合后的特征送入全连接层,对其特征进行融合处理来增加网络的非线性表达,使网络学习到的特征更加丰富;最后,输出层经过Softmax分类器对表情进行分类,在公开数据集FER2013和CK+上进行实验,并且对实验结果进行分析。实验结果表明:改进后的网络结构在FER2013和CK+数据集的面部表情上,识别率分别提高了0.06%和2.25%。所提方法在人脸表情识别中对卷积神经网络设置和参数配置方面具有参考价值。