基于深度学习的图像人脸识别方法研究

使用计算机进行面部表情识别是当前人脸面部表情识别的热点,在深度学习技术的基础上,应用级联分类器对面部进行整体检测和分区定位后,提出并使用了一种基于自注意力机制的深度卷积神经网络,模型采用Mini-Xception为基本网络融合了注意力机制,再通过训练卷积神经网络构建表情分类模型,最后实现较为快速准确的表情识别。文中采用几种方法进行实验对比,并对最终的实验结果加以分析。结果表明,在相同的参数设置下提出的方法能明显提高分类性能、识别的精准度以及面部表情变化检测的实时速度。     

改进残差网络与峰值帧的微表情识别

目的 微表情(Micro Expression, ME)是人们流露内心情感时展现出的细微面部表情。针对微表情识别的样本较少且不同类别数量分布不均导致难以识别和识别准确率较低的问题,提出能够提高微表情识别准确率的模型框架。方法 提取微表情视频序列中含有更多关键表情信息的峰值帧;使用加入SE模块的改进残差网络SE-ResNeXt-50对微表情的峰值帧进行特征提取,其中SE模块可以更好地学习特征中的关键信息,ResNeXt通过分组卷积的方式用稀疏结构取代密集结构从而使结构更加简化,提升了识别效率。与此同时,使用Focal Loss损失函数可以更好地解决因微表情数据的不平衡带来的模型性能问题。结果 在微表情数据集CASMEⅡ上进行了仿真实验,可以发现改进的残差网络与峰值帧提高了微表情识别的准确率与F1值。结论 改进的残差网络与峰值帧可以降低数据集较少所带来的影响,使模型有着良好的拟合效果,同时改善了在不同类别上表现差异较大的问题,提升了微表情的识别准确率,对于微表情识别有着更好的识别性能。     

基于人脸运动单元及表情关系模型的自动表情识别

面部表情是人们表达情感和意向最有效、自然、快捷的方式. 表情的发生主体不同,程度不同,导致了表情的自发性. 基于这一难点,建立了一种人脸运动单元(action units,AUs)及面部表情间的概率关系模型,该模型将人脸分为眉眼区域和嘴巴区域两部分,采用Gabor小波提取区域特征,通过K临近(K nearest neighbor,KNN)与贝叶斯网络(Bayesian network,BN)相结合的机器学习算法进行自动AUs表情识别. 这种改进的机器学习算法,通过训练数据以及主观的先验知识进行模型学习,为AUs配以不同的权重,并且根据极大后验概率(maximum a posteriori probability,MAP)选取最优表情. 实验表明,本文所提出的模型对不同主体、不同程度的表情都表现出了较高的识别率,是一种高效且鲁棒性强的自动表情识别系统.      

可解释时空卷积网络的微表情识别应用

面部微表情具有持续时间短、强度低等特点,因此微表情识别的准确率较低,且当前提出的基于深度学习的微表情识别方法难以理解网络模型的决策原因,以至于难以应用于实际.针对该问题提出一种基于残差单元的可解释时空卷积网络用于微表情识别的方法,该方法通过使用时空卷积网络,将微表情视频帧序列作为输入,并解释网络模型参数与特征,在实现模型可解释性的同时,提高了微表情识别的准确率.在CASME2、SMIC和SAMM数据集上对提出方法进行验证,实验结果表明,本文方法优于目前大部分基于深度学习的微表情识别方法.     

基于空时注意力网络的面部表情识别

基于视频序列的面部表情识别问题主要有两个特点:空时性和显著性。近年来,许多研究人员利用卷积神经网络、循环神经网络、三维卷积神经网络等深度学习方法处理该问题的空时特性。但是,面部表情的显著性问题却往往被忽视。随着注意力机制在深度学习网络中的应用发展,其能够有效地解决各类任务中的显著性问题。该文将空时注意力机制应用到面部表情识别中,使得深度网络更多地关注空时特征中的显著性。具体地,该文将空间注意力模块嵌入到卷积网络中,以使空域特征更加关注对表情识别重要的区域,将时间注意力模块嵌入到门控循环单元(gated recurrent units,GRU)后,使得时域特征更加关注信息丰富的视频帧。在RECOLA情感数据库上的实验表明,与一般的深度模型相比,该文的深度空时注意力网络显著提高了面部表情识别的性能。     

基于面部表情和双流网络的驾驶员疲劳检测

提出了一种基于面部表情的驾驶员疲劳检测方法,该方法结合了传统特征提取和双流卷积神经网络。首先,对采集的驾驶员图片进行预处理,使用Dlib进行人脸检测以及人脸特征点定位。然后,根据人脸特征点获取人脸表情感兴趣区域以及嘴部区域,并分别提取Gabor特征和局部二值模式(local binary patterns, LBP)特征。最后,利用设计的疲劳表情识别网络对获取的两种传统特征进行信息融合以及疲劳表情识别。结果表明,提出的方法具有较高准确率,能够适应驾驶室内不同光照条件的场景,具有较强的鲁棒性。     

基于3D梯度投影描述的微表情捕捉与识别

以3D梯度描述为依据,提出了一种基于3D梯度投影描述捕捉微表情关键帧的方法.首先,通过对视频流中面部特征区域的投影梯度方向直方图的直观描述来分析面部表情动作趋势,进而通过直方图的峰值区域捕捉微表情所在的关键帧;然后,运用多尺度多方向的Gabor滤波器组提取微表情特征区域的Gabor图谱,并引入局部二值模式进行特征降维;最后,通过基于梯度量级加权的最近邻算法进行微表情的识别与分类.实验结果表明:该方法摆脱了传统视频流表情分析系统对于动态图像序列进行逐帧检测识别的不足,较为有效地实现了图像序列中微表情关键帧的捕捉与识别,提高了系统的实时性与准确性,基本满足微表情对于系统强实时性的需求.     

基于随机增强Swin-Tiny Transformer的玉米病害识别及应用

针对图像识别中获取全局特征的局限性及难以提升识别准确性的问题,提出一种基于随机增强Swin-Tiny Transformer轻量级模型的图像识别方法.该方法在预处理阶段结合基于随机数据增强(random data augmentation based enhancement, RDABE)算法对图像特征进行增强,并采用Transformer的自注意力机制,以获得更全面的高层视觉语义信息.通过在玉米病害数据集上优化Swin-Tiny Transformer模型并进行参数微调,在农业领域的玉米病害上验证了该算法的适用性,实现了更精确的病害检测.实验结果表明,基于随机增强的轻量级Swin-Tiny+RDABE模型对玉米病害图像识别准确率达93.586 7%.在参数权重一致,与性能优秀的轻量级Transformer、卷积神经网络(CNN)系列模型对比的实验结果表明,改进的模型准确率比Swin-Tiny Transformer, Deit3＿Small, Vit＿Small, Mobilenet＿V3＿Small, ShufflenetV2和Efficientnet＿B1＿Pruned模型提高了...     

基于小数据集下贝叶斯网络建模的面部表情识别

针对面部表情识别过程中获得的特征样本稀少的问题,提出了一种基于小数据集下贝叶斯网络(BN)建模的面部表情识别方法。首先提取面部表情图像的几何特征和HOG特征,经特征融合和归一化等处理构成动作单元(AU)标签样本集;其次提出了用于面部表情识别的BN结构,并将定性专家经验转化为BN条件概率之间的约束集合,随后引入凸优化最大化求解完成BN模型参数的估算;最后利用联合树推理算法识别出面部表情。实验结果表明:在小数据集条件下,与支持向量机(SVM)、Adaboost和卷积神经网络(CNN)等人脸表情分类方法相比,该方法能够取得更准确的面部表情识别结果。     

基于区域块LBP特征的人脸表情识别

人脸表情识别是模式识别与人工智能领域的研究热点之一,针对传统LBP方法的不足,提出了一种基于区域块LBP的人脸表情识别方法:先在人脸面部分割出与表情相关的眉毛、眼睛、鼻子和嘴巴等关键区域;再从这些关键表情区域提取表情特征,避免了在整个面部提取特征耗时的缺陷,同时有效地降低了特征维数;最后利用最近邻分类器给出识别结果,通过实验验证了本文算法在识别性能和时间性能上的优势.     

基于小数据集下BN建模的面部表情识别

针对面部表情识别过程中获得的特征样本稀少的问题,提出了一种基于小数据集下贝叶斯网络(BN)建模的面部表情识别方法。首先提取面部表情图像的几何特征和HOG特征,经特征融合和归一化等处理构成动作单元(AU)标签样本集,其次提出了用于面部表情识别的BN结构,并将定性专家经验转化为BN条件概率之间的约束集合,随后引入凸优化最大化求解完成BN模型参数的估算,最后利用联合树推理算法识别出面部表情。实验结果表明：在小数据集条件下,与支持向量机(SVM)、Adaboost和卷积神经网络(CNN)等人脸表情分类方法相比,该方法能够取得更准确的面部表情识别结果。     

基于SVM的人脸表情识别

以人脸表情视频序列为研究对象,介绍了人脸表情识别的一般过程,给出了基于SVM的人脸表情识别方法,讨论了面部表情强度度量方法。通过分析人脸表情的变化,在L-K光流算法基础上应用修正的特征点跟踪方法提取面部特征信息,使用SVM建立人脸表情模型和强度模型,进行表情识别,并对高兴表情进行强度等级分类。实验结果证明了提出方法的有效性。     

基于视频图像的面部表情识别研究综述

面部表情识别是机器理解人类情感的前提,是改善人机交互关系的关键。首先,按照视频图像中面部表情识别的流程,综述了表情识别的3个阶段:人脸检测、表情特征提取、表情分类。重点介绍了表情特征提取和表情分类中所采用算法的原理、优缺点及应用场合,并给出了部分算法的识别率对比结果。其次,对人机交互中的微表情识别及表情识别的鲁棒性研究也做了介绍。最后总结了面部表情识别研究中存在的问题及难点,探讨了该领域值得进一步研究的问题。     

基于注意力机制的人脸表情识别网络

人脸表情识别一直是计算机视觉领域的一个难题.近年来,随着深度学习的飞速发展,一些基于卷积神经网络的方法大大提高了人脸表情识别的准确率,但未能充分利用人脸图像中的信息,这是由于对于面部表情识别有意义的特征主要集中在一些关键位置,例如眼睛、鼻子和嘴巴等区域,因此在特征提取时增加这些关键位置的权重可以改善表情识别的效果.为此...     

SFSR-Age:一种基于人脸强语义的年龄识别算法

针对因光照、拍摄角度及图片质量等因素导致的经典深度学习算法难以有效提取人脸特征、人物身份识别准确率难以达到理想精度的问题,提出一种基于人脸强语义的年龄识别算法.首先,通过注意力矩阵增强人脸区域的特征权重,达到提取特征区域的目的;其次,使用级联双向长短期记忆(Bi-LSTM)网络学习时序帧之间的特征依赖关系,弥补部分特征缺失对识别精度的影响.在人脸数据集IMDB-WIKI和数据集Adience上进行测试,该算法的年龄识别准确率分别达到78.34%和77.89%.实验结果表明,相比于其他基于深度学习算法的方法,该算法在基于图片数据集的人物年龄识别任务上具有更高的准确率.     

基于像素特征的微表情识别

微表情持续时间短、表达强度低,给训练有效模型带来了挑战。针对此问题,提出了一种基于像素特征的微表情识别方法。对图像序列的面部区域进行裁剪,消除背景噪声;将每一帧的像素矩阵与第一帧(中性表情)做差处理,提取面部变化;对做差的结果累加,进一步突出面部表情;使用搭建的浅层CNN网络进行分类。在3个公共微表情数据集组成的交叉数据集上进行K折(K-fold)交叉验证实验中,所提方法的3个评价指标ACC(accuracy)、UF1(unweighted F1-score)和UAR(unweighted Average Recall)分别达到了0.830 4、0.782 7和0.794 4,表明了该方法的有效性。与LBP-TOP等8个模型的对比实验中,所提方法的指标明显优于对比模型,验证了该方法的优越性。     

高风险场景下微表情高暴露的可能性实证研究

微表情是一种简短且微妙的面部表情。它可以帮助理解个体的意图和动机,反映真实的心理过程。近年来,微表情的自动化分析发展迅速,但对微表情认知机制的研究实际上仍十分缺乏。通过研究模拟犯罪范式下高低风险场景产生的表情,探讨高低风险场景产生微表情的差异,从而进一步研究微表情行为背后的生成机制。实验结果显示：(1)高风险场景下产生的微表情数量大于低风险场景下的数量。(2)皮肤电活动(EDA)在风险场景(高风险/低风险)和表情类型(微表情/宏表情)下都存在显著差异。(3) EDA在表情类型和风险场景之间存在交互作用。结果表明,相比低压场景,微表情更容易在高压下产生。研究首次为微表情产生机制提供了实证研究。     

基于关键子区域及特征提取的表情识别

针对传统表情识别系统不能充分提取关键子区域及有效特征的缺陷,设计了基于关键子区域及特征提取的表情识别系统。首先使用面部关键点检测技术及面部编码系统筛选出关键子区域;然后对其进行特征提取。提出一种改进的局部梯度编码算子(LGC)、局部均值梯度编码算子(LMGC-HD);改进的算子具有更低的维度,能够充分地描述局部形变;且受随机噪声及边缘变化影响小。最后使用支持向量机(SVM)进行分类识别。采用CK+数据集进行实验,结果证明该系统能够有效地提高人脸表情的识别率。     

基于稀疏Transformer的长短时序关联动作识别算法

针对主流的视频动作识别算法对时序信息的挖掘不充分,而Transformer能够更好地处理长序列和全局依赖性问题,本文将3DCNN和Transformer结合起来,提出了基于稀疏Transformer的长短时序关联动作识别算法,从而实现对视频的全局时序信息进行建模。该算法提取预训练视频模型各个片段特征,嵌入视频特征聚类模块降低输入特征的潜在噪声,并利用基于稀疏自注意力的Transformer长短时序关联模块,引入稀疏掩码矩阵,对相似度矩阵进行掩码操作,抑制较小的注意力权重,选择性地保留重要的长短时序信息,提高模型对全局上下文信息的注意力集中程度。本文在UCF101和HMDB51数据集上进行了大量的实验,验证了本文算法的有效性,在参数量和计算复杂度较小的情况下准确率高于同类权威算法。     

优化算法在人脸表情识别中的应用研究

在人脸表情识别任务中,适用的优化算法可以有效地提高表情识别的效率。针对人脸表情识别任务中的优化算法选择问题,比较研究了SGD、Momentum以及Adagrad、Adadelta、Adam 3种自适应学习率方法在人脸表情识别任务上的表现。特别是为了检验结果的可靠性,采用相同方法在MNIST数据集上进行手写数字识别测试。实验结果显示,在人脸表情识别与其他任务中,自适应学习率方法和动量法性能优于SGD方法,且自适应学习率方法在提高模型准确率上更为突出,Adadelta在表情识别和手写数字识别任务上的准确率达到了96.12%和99%。研究表明,在人脸表情识别任务中,自适应学习率的优化算法具有明显优势。