基于表情及姿态融合的情绪识别

情绪识别指在使计算机拥有能够感知和分析人类情绪和意图的能力,从而在娱乐、教育、医疗和公共安全等领域发挥作用.与直观的面部表情相比,身体姿态在情绪识别方面的作用总是被低估.针对公共空间个体人脸分辨率较低、表情识别精度不高的问题,提出了融合面部表情和身体姿态的情绪识别方法.首先,对视频数据进行预处理获得表情通道和姿态通道的输入序列;然后,使用深度学习的方法分别提取表情和姿态的情绪特征;最后,在决策层进行融合和分类.构建了基于视频的公共空间个体情绪数据集(SCU-FABE),在此基础上,结合姿态情绪识别数据增强,实现了公共空间个体情绪的有效识别.实验结果表明,表情和姿态情绪识别取得了94.698%和88.024%的平均识别率;融合情绪识别平均识别率为95.766%,有效融合了面部表情和身体姿态表达的情绪信息,在真实场景视频数据中具有良好的泛化能力和适用性.     

大脑识别表情 仅需200毫秒

英国研究人员不久前发现,人类面部表情的进化与大脑对其“解码”能力的发展是同步的。人脑通过识别面部表情信息,判断情绪状态的时间仅需200毫秒。     

基于特征融合的面部表情识别

针对传统Gabor变换在提取表情特征时,冗余较大、特征维数较高的不足,结合ASM自动特征定位技术,提出了一种基于特征点Gabor特征和ASM形状特征相融合的面部表情识别方法. 实验表明,两种特征的融合,可有效地利用特征点的局部纹理信息和脸部器官的整体形状信息,达到了更好的面部表情识别效果.     

基于小数据集下BN建模的面部表情识别

针对面部表情识别过程中获得的特征样本稀少的问题,提出了一种基于小数据集下贝叶斯网络(BN)建模的面部表情识别方法。首先提取面部表情图像的几何特征和HOG特征,经特征融合和归一化等处理构成动作单元(AU)标签样本集,其次提出了用于面部表情识别的BN结构,并将定性专家经验转化为BN条件概率之间的约束集合,随后引入凸优化最大化求解完成BN模型参数的估算,最后利用联合树推理算法识别出面部表情。实验结果表明：在小数据集条件下,与支持向量机(SVM)、Adaboost和卷积神经网络(CNN)等人脸表情分类方法相比,该方法能够取得更准确的面部表情识别结果。     

基于多特征融合卷积神经网络的人脸表情识别

针对卷积神经网络特征提取不够充分且识别率低等问题,提出了一种多特征融合卷积神经网络的人脸表情识别方法。首先,为了增加网络的宽度和深度,在网络中引入Inception结构来提取特征的多样性;然后,将提取到的高层次特征与低层次特征进行融合,利用池化层的特征,将融合后的特征送入全连接层,对其特征进行融合处理来增加网络的非线性表达,使网络学习到的特征更加丰富;最后,输出层经过Softmax分类器对表情进行分类,在公开数据集FER2013和CK+上进行实验,并且对实验结果进行分析。实验结果表明:改进后的网络结构在FER2013和CK+数据集的面部表情上,识别率分别提高了0.06%和2.25%。所提方法在人脸表情识别中对卷积神经网络设置和参数配置方面具有参考价值。     

基于LabVIEW 的面部表情识别系统的设计

针对传统界面表现不清晰, 编程语句繁琐的问题, 基于LabVIEW 软件设计了系统的面部表情识别界面。对面部表情识别系统设计中的关键问题进行探讨, 利用Matlab, 应用离散小波理论算法进行表情图像特征提取, 并采用弹性模版匹配算法进行情绪识别。实验结果表明, 基于LabVIEW 的面部表情识别系统, 应用LabVIEW软件简单的语句设计了清晰互动的界面, 其识别率可达到85%以上。     

基于多特征与卷积神经网络的人脸表情识别

提出一种多特征与卷积神经网络相结合的人脸表情识别方法。先对人脸表情图像进行预处理,根据人脸面部"三庭五眼"的特征和人脸的几何模型对图像进行裁剪,采用双三次插值法对图像进行缩放。然后提取样本的局部方向模式、二维离散小波变换、Sobel算子三种特征。将这三种特征以三通道图像的形式输入卷积神经网络中进行自适应融合,融合后的特征通过Softmax层进行分类。在CK+数据库的识别率为99.51%,在RAF-DB的识别率为72.1%,识别率都有所提升,验证了所提方法的有效性。     

基于非负矩阵分解的面部表情识别研究

提出了一种基于非负矩阵分解与支持向量机相结合的面部表情识别方法。使用直方图均衡化等方法对人脸图像进行预处理,使用非负矩阵分解算法进行表情特征提取,采用支持向量机对面部表情进行分类。以Matlab为仿真工具,在日本女性人脸表情数据库上测试。取得了66.19％的识别率。     

基于关键子区域及特征提取的表情识别

针对传统表情识别系统不能充分提取关键子区域及有效特征的缺陷,设计了基于关键子区域及特征提取的表情识别系统。首先使用面部关键点检测技术及面部编码系统筛选出关键子区域;然后对其进行特征提取。提出一种改进的局部梯度编码算子(LGC)、局部均值梯度编码算子(LMGC-HD);改进的算子具有更低的维度,能够充分地描述局部形变;且受随机噪声及边缘变化影响小。最后使用支持向量机(SVM)进行分类识别。采用CK+数据集进行实验,结果证明该系统能够有效地提高人脸表情的识别率。     

基于注意力机制的多粒度匹配的表情识别模型

面部表情自动识别技术已在人工智能领域受到广泛使用。然而,由于姿态变化和遮挡,人脸表情识别中的一个关键挑战是提取细粒度特征的方法。文章提出一种基于注意机制的多粒度匹配模型,特别地,在多粒度匹配模块中部署了多粒度模块和关注度估计模块。通过多粒度模块将细节图像划分为多个细粒度局部区域,并计算局部特征的关注度权重来构造全局特征。图像细节处理模块用于获取原始图像的细节特征。在CK+和Fer2013上进行了大量实验,结果证明了本文方法的有效性。     

一种基于面部纹理特征融合的人脸表情识别方法

针对人脸表情识别领域受噪声和遮挡等因素影响识别率不高的问题,结合局部和全局特征,提出一种基于面部表情的情感分析混合方法.首先,通过将梯度直方图(HOG)与复合局部三元模式(C-LTP)融合来进行特征提取;其次,将HOG和C-LTP提取的特征融合到单个特征向量中;最后,采用多类支持向量机分类器把特征向量进行情感分类;最后...     

基于面部表情GEM和稀疏立方矩阵的三维人脸识别方法

针对姿态和表情变化对3D人脸识别影响较大的问题,提出一种基于面部表情通用弹性模型(generic elastic models,GEM)和稀疏立方矩阵的3D人脸识别方法.利用面部表情通用弹性模型构造3D人脸数据库,3D重建模型为所有人脸姿态创建稀疏立方矩阵(sparse cubic matrix,SCM),并利用自动头部姿态估计法获得人脸图像中三元组角度的初始估计值;为每个子集估计的三元组角度选择SCM的阵列;通过稀疏表示从SCM中选择阵列与探针图像.在FERET,CMU PIE和LFW数据库上的实验验证了提出方法的有效性.与几种优秀3D人脸识别方法相比,提出的方法识别率更高,当姿态变化角度较大时尤为明显.此外,对于480×640图像,LFW数据库上,预处理、人脸检测和分类的总平均处理时间仅为89.4 ms.     

基于核函数因素分解模型的表情合成与识别

人脸图像合成是新一代人机交互中的重要技术。传统的三维模型加生理模型的方法可以生成真实的人脸表情图像,但是其中的计算复杂度很高。该文提出了一种基于样本的方法,将不同的人和不同的表情看作影响人脸表情图像的两种变化因素,利用因素分解模型巧妙地进行人脸表情图像合成。同时,分析了因素分解模型获得的身份子空间和表情子空间的特点,提出了一种在子空间中利用余弦距离进行身份和表情识别的新思路。从实验结果来看,这里提出的方法可以仅利用一张训练集内、外的人脸图像合成出该人在不同表情下逼真的脸部表情图像,同时可以合成库内的人在新表情下的表情图像。     

融合人脸特征和相关向量机的多姿态人脸检测

多姿态人脸检测是人脸检测研究领域中的难点和热点之一,针对这一实际应用中亟待解决的难题,提出融合人脸特征和相关向量机的检测算法。算法首先利用肤色特征快速排除大部分背景,在肤色区域中搜索眼睛和嘴巴区域。根据眼睛和嘴巴区域的几何特征所确定的人脸方向,分割出大致正向的人脸候选区域。最后选用分类性能比支持向量机更优的相关向量机对候选区域进行分类。对比实验表明,算法提高了多姿态人脸的检测率,对光照、表情和遮挡有较强的鲁棒性。     

矩在面部表情识别中的应用

将Zernike矩和小波矩运用于面部表情识别问题,分别计算了面部图像的Hu矩、Zernike矩、Haar矩、Shannon矩和B样条矩,以模式识别中常用的类间距作为依据,提取了面部图像的各种矩的最好特征和次好特征,并对Zernike矩和B样条矩的识别能力和抗噪性进行了比较.实验证明:用Zernike矩作为面部表情特征,其识别率在特征数取5个时能达到95%,B样条矩在特征数取2个以上时识别率能达到100%.     

利用Mahalanobis距离进行人脸表情的识别

提出了利用Mahalanobis距离进行人脸表情识别的方法.首先将待分类的图像样本集进行坐标变换,使得变换以后类间离散度尽可能大而类内离散度尽可能小,即使变换以后的Fisher准则函数取得极大值,在新的坐标下求每个待分类样本到各类均值向量的Mahalanobis距离,从而将待分类的样本归到Mahalanobis距离最小的类中去,通过实验得到了平均80.25%的识别率.     

基于二阶有效通道注意力网络的无约束人脸表情识别

现有基于卷积神经网络的无约束人脸表情识别方法侧重于网络结构的设计,对网络学习到的通道间深层特征相关性的研究较少,没有充分利用神经网络提取表达力较强的特征。为解决此问题,设计了一种基于二阶有效通道注意力网络(second-order efficient channel attention network, SECA-Net)的无约束人脸表情识别方法。该方法采用轻量级的网络提取表情图像的深层特征,使用二阶有效通道注意力模块统计深层特征的二阶信息并捕捉跨通道特征间的依赖关系来自适应地缩放通道特征,进而获得更具判别力的表情特征。SECA-Net利用Softmax损失和中心损失联合优化模型进行表情分类,该模块具有较少的参数量、较低的显存需求和计算量,并且没有使用额外的数据预训练模型。同时,所提出的模块还能提取到人脸表情微小变化的局部特征。在RAF-DB和FER-2013无约束人脸表情数据集上的实验结果表明,提出的方法是有效的。     

基于 Mahalanobis距离进行人脸表情的识别

提出了利用Mahalanobis距离进行人脸表情识别的方法.首先将待分类的图像样本集进行坐标变换,使得变换以后类间离散度尽可能大而类内离散度尽可能小,即使变换以后的Fisher准则函数取得极大值,在新的坐标下求每个待分类样本到各类均值向量的Mahalanobis距离,从而将待分类的样本归到Mahalanobis距离最小的类中去,通过实验得到了平均80.25%的识别率.     

基于改进MMI的HMM训练算法及其在面部表情识别中的应用

提出一种改进的最大互信息(MMI)准则函数并把它应用于隐马尔可夫模型(HMM)的参数估计,重新推导了HMM的迭代公式. 该准则函数相对于原来准则函数定义更为合理,能有效利用训练样本集中的鉴别信息,使得训练数据得到充分利用,提高了HMM的性能. 把这种改进的HMM算法应用于面部表情识别,利用改进的光流算法提取面部表情特征向量序列,并利用改进HMM算法和BP神经网络构建了面部表情混合分类器. 实验结果表明了该方法能有效提高面部表情识别率,有效解决HMM参数估计问题.     

基于MSVR和Arousal Valence情感模型的表情识别研究

通常的表情识别方法是对基本情绪进行表情分类,然而基本情绪对情感的表达能力有限。为了丰富情感的表达,研究采用Arousal-Valence情感模型,从心理学的角度对Arousal-Valence模型中Arousal维度和Valence维度之间的相关性进行了分析,并用统计学方法对AVEC2013,NVIE和Recola 3个数据集进行研究,实验结果表明它们之间具有正相关关系。为了利用Arousal-Valence 之间的相关性,采用多输出支持向量回归（multiple dimensional output support vector regression,MSVR）算法作为表情的训练和预测算法,并结合特征融合和决策融合提出了一种基于MSVR的两层融合表情识别方法。实验结果表明提出的表情识别方法比传统的方法能取得更好的识别效果。