基于多姿态多状态面部情绪模型的表情识别

介绍了面部表情识别的主要步骤,在此基础上提出了一种多姿态多状态的面部情绪模型．该系统利用图像质量的评价结果来决定面部检测的方法,通过中性脸的检测来实现表情边界的分割,从而把提取的表情运动特征参数作为BP神经网络的输入,进而实现面部表情的识别．实验表明,该系统具有很好的识别效果．     

基于身体姿态关键点检测及算法融合的连续手语识别

连续手语识别相对于单个手语词识别来说,更加具有研究意义也更加具有研究难度.连续手语识别需要更关注整体语句在时间上的依赖关系,以及语句中手语词结束与开始的时序分割问题.而对此的单个识别算法的研究与优化,短时间都很难再有较大的突破.因此,我们提出一种基于算法融合的连续手语识别方法,先通过帧间差分法处理关键帧,再通过MediaPipe检测并保存关键点数据,降低数据量,并提供有效、直接的数据;再通过CNN+BLSTM算法融合模型,让CNN专注局部感知,捕捉空间特征关系;BLSTM则侧重特征序列的时序建模,突出连续手语在时间纬度上的依赖关系.最后结合CTC完成标签和语句对齐问题.该算法在CSL数据集上取得了98.4%的平均识别率.     

基于多特征融合卷积神经网络的人脸表情识别

针对卷积神经网络特征提取不够充分且识别率低等问题,提出了一种多特征融合卷积神经网络的人脸表情识别方法。首先,为了增加网络的宽度和深度,在网络中引入Inception结构来提取特征的多样性;然后,将提取到的高层次特征与低层次特征进行融合,利用池化层的特征,将融合后的特征送入全连接层,对其特征进行融合处理来增加网络的非线性表达,使网络学习到的特征更加丰富;最后,输出层经过Softmax分类器对表情进行分类,在公开数据集FER2013和CK+上进行实验,并且对实验结果进行分析。实验结果表明:改进后的网络结构在FER2013和CK+数据集的面部表情上,识别率分别提高了0.06%和2.25%。所提方法在人脸表情识别中对卷积神经网络设置和参数配置方面具有参考价值。     

基于特征融合的面部表情识别

针对传统Gabor变换在提取表情特征时,冗余较大、特征维数较高的不足,结合ASM自动特征定位技术,提出了一种基于特征点Gabor特征和ASM形状特征相融合的面部表情识别方法. 实验表明,两种特征的融合,可有效地利用特征点的局部纹理信息和脸部器官的整体形状信息,达到了更好的面部表情识别效果.     

基于迁移深度模型的人脸表情识别研究

针对表情识别研究对网络的训练要求较高,超参数优化较难,训练效果期望低等问题,提出基于迁移学习的深度学习模型,利用几种较新的模型迁移到表情识别的训练中,即搭建CNN网络和基于迁移学习的ResNet18、ResNet50、MobileNetv2网络,通过大量的训练实验对比四种模型。仿真表明,所提出的模型与常用的模型相比,增强了算法性能,优化了表情网络性能,提高了人脸表情识别率和迁移学习效果。     

基于关键子区域及特征提取的表情识别

针对传统表情识别系统不能充分提取关键子区域及有效特征的缺陷,设计了基于关键子区域及特征提取的表情识别系统。首先使用面部关键点检测技术及面部编码系统筛选出关键子区域;然后对其进行特征提取。提出一种改进的局部梯度编码算子(LGC)、局部均值梯度编码算子(LMGC-HD);改进的算子具有更低的维度,能够充分地描述局部形变;且受随机噪声及边缘变化影响小。最后使用支持向量机(SVM)进行分类识别。采用CK+数据集进行实验,结果证明该系统能够有效地提高人脸表情的识别率。     

大脑识别表情 仅需200毫秒

英国研究人员不久前发现，人类面部表情的进化与大脑对其“解码”能力的发展是同步的。人脑通过识别面部表情信息，判断情绪状态的时间仅需200毫秒。     

基于改进的并行特征融合人脸表情识别

基于信息融合理论和线性鉴别分析,提出了一种改进的并行特征融合人脸表情识别方法.该方法首先将不同表征下的人脸表情特征利用复向量组合起来,构成复特征向量,然后利用具有不同权重的最大散度差鉴别分析方法进行进一步的复特征提取.在不同样本库、不同类型特征融合下的实验结果表明,该方法在优化投影轴和避免"小样本"问题的同时得到了满意的识别结果.     

基于彩色空间多特征融合的表情识别算法研究

目前的人脸表情识别方法大多是在灰度图像上采用单一特征算子,如 Local Phase Quantization(LPQ),Local Binary Patterns(LBP),Histograms Of Oriented Gradients(HOG),Gabor等,进行分类识别,但这类方法在复杂光照条件下识别率并不理想。为取得较好的识别率,本文首次提出了基于彩色图像多特征融合的表情识别算法。该算法首先在不同彩色分量上分别提取LPQ、LBP、HOG及Gabor多种特征,然后对高维特征进行线形鉴别分析并采用最近邻法进行表情分类,最后对多特征分类结果采用Adaboost算法进行融合。本文算法在具有复杂光照条件的Multi-PIE人脸库上进行了验证,取得了88.30%的平均识别率。实验结果表明：相比于基于灰度图像的单一特征识别算法,本文提出的算法能较大幅度地提高人脸表情识别率。     

基于深度学习的人脸表情识别研究与应用

人脸面部表情是人机交互和非言语交际的有效方式,对面部表情进行识别并分析,可以获取很多信息,在安全监控、人工智能、军警、心理学等领域有着许多不同的应用。本研究基于深度学习对人脸表情识别进行深入研究,采用Open CV内置算法进行人脸检测,利用卷积神经网络进行面部表情识别,实现对人脸最基本的7种表情包括愤怒、厌恶、恐惧、快乐、悲伤、惊讶和中立分别进行识别。与传统的人脸表情识别方法相比较,卷积神经网络的识别精度高,训练参数少,在面部表情特征表现明显的情况下,对7种表情的识别精度都能超过70%以上。     

一种基于局部特征融合的表情识别方法

表情识别是人工智能和模式识别的研究热点,而特征融合方法则是表情识别中重要的技术方法之一.基于嘴部的Gabor小波特征和几何特征对表情识别有重要作用,提出一种仅用嘴部不同特征进行特征融合的表情识别方法.该方法将嘴部的Gabor小波特征和几何特征进行特征融合后再使用最近邻分类器分类.根据不同样本库、不同识别方法的对比实验结...     

多级细节信息融合的人脸表情识别

在自然环境中各种因素的干扰下,人脸表情信息匹配的识别率受到严重影响,针对此问题,提出一种改进的基于VGGNet16(visual geometry group network16)的网络模型.在VGGNet16模型的侧方添加一系列的侧输出层,并在该侧输出层添加不同的卷积核,通过上采样和下采样方法连接侧输出层的上下2层,...     

一种基于面部纹理特征融合的人脸表情识别方法

针对人脸表情识别领域受噪声和遮挡等因素影响识别率不高的问题,结合局部和全局特征,提出一种基于面部表情的情感分析混合方法.首先,通过将梯度直方图(HOG)与复合局部三元模式(C-LTP)融合来进行特征提取;其次,将HOG和C-LTP提取的特征融合到单个特征向量中;最后,采用多类支持向量机分类器把特征向量进行情感分类;最后...     

一种基于两步降维和并行特征融合的表情识别方法

在采用特征融合方法进行人脸表情识别时,通常会产生高维特征问题.针对这一问题,提出一种基于两步降维和并行特征融合的表情识别新方法.利用主成分分析法(principal component analysis,PCA)分别对待融合的两类特征在实数域进行第一次降维,将降维后的特征进行并行特征融合;为了解决在并行融合过程中产生的高维复特征问题,提出一种基于酉空间的混合判别分析方法(unitary-space hybrid discriminant analysis,unitary-space HDA)作为酉空间的特征降维方法.该方法是实数域混合判别分析法在酉空间内的扩展,并兼顾了复特征数据的类间判别信息及全局描述信息.对局部二值模式(local binary pattern,LBP)和Gabor小波特征进行融合,并在JAFFE和CK+表情数据集上开展对比实验.实验结果表明,该方法具有较好的高维复特征数据降维能力,并且有效提高了表情识别率.     

结合低秩分解与多流融合的行为识别方法

运动信息对行为识别任务至关重要。现有方法仅利用了局部运动信息,忽略了全局运动信息的重要作用。为解决该问题,提出了一种基于低秩分解与多流融合的行为识别方法。通过3条支路分别提取视频的特征,第1条支路利用低秩分解提取全局运动信息;第2条支路提取视频的光流特征以得到局部运动信息;第3条支路利用原始视频作为输入,以保留完整的空域信息。将3条支路的预测结果进行后融合,得到最终的行为识别结果。通过多流融合,充分利用视频的多尺度时域运动信息和丰富的空域信息,提高现有模型的行为识别能力。实验结果表明,提出的方法优于现有模型的多流融合行为识别方法。     

基于注意力机制多尺度网络的自然场景情绪识别

情绪识别作为计算机视觉的一项基本课题已经取得很大进展,然而在无约束自然场景中的情绪识别仍具挑战性.现有方法主要是利用人脸、姿态以及场景信息识别情绪,但是忽略了人物个体在场景中的不确定性,以及不能很好地挖掘场景中的情绪线索.针对现有研究存在的问题,提出了基于人物与场景线索的双分支网络结构,两个分支独立学习,通过早期融合得到情绪分类结果.对于人物在场景中的不确定性,引入身体注意力机制预判人物情绪置信度进而获得人体的特征表示,场景中引入空间注意力机制和特征金字塔以便充分获得场景中不同粒度的情绪线索.实验结果表明,此方法有效融合人物与场景信息,在EMOTIC数据集下能够明显提高情绪识别率.     

Decision fusion recognition based on modified evidence rule

A modified evidence combination rule with a combination parameter λ is proposed to solve some problems in D-S theory by considering the correlation and complement among the evidences as well as the size and intersection of subsets in evidence. It can get reasonable results even the evidences are conflicting. Applying this rule to the real infrared/millimetre wave fusion system, a satisfactory result has been obtained.