基于盒注意力机制和Transformer的人脸微表情识别方法

微表情是一种细微的能够体现人真实心理活动的面部运动,通常与真实情感直接相关,应用前景广阔。但由于微表情持续时间短暂、表情幅度低和特征难以提取等特点,因此其识别准确率较低。针对该问题,提出了基于盒注意力机制和Transformer的人脸微表情识别模型(vision transformer based on box-attention, ViT-Box)。该模型首先对人脸面部进行特征提取,利用盒注意力机制获得自适应的面部微表情关键区域：左眉眼、右眉眼和嘴巴;然后对非关键区域进行掩码遮盖,避免微表情无关信息干扰;最后基于Vision Transformer网络实现人脸微表情识别。ViT-Box模型在微-宏表情仓库(MMEW)数据集上取得了98.68%的平均准确率,实验结果表明该模型在微表情识别上能够获得优秀的识别效果。同时通过消融实验验证了ViT-Box模型的有效性。     

改进残差网络与峰值帧的微表情识别

目的 微表情(Micro Expression, ME)是人们流露内心情感时展现出的细微面部表情。针对微表情识别的样本较少且不同类别数量分布不均导致难以识别和识别准确率较低的问题,提出能够提高微表情识别准确率的模型框架。方法 提取微表情视频序列中含有更多关键表情信息的峰值帧;使用加入SE模块的改进残差网络SE-ResNeXt-50对微表情的峰值帧进行特征提取,其中SE模块可以更好地学习特征中的关键信息,ResNeXt通过分组卷积的方式用稀疏结构取代密集结构从而使结构更加简化,提升了识别效率。与此同时,使用Focal Loss损失函数可以更好地解决因微表情数据的不平衡带来的模型性能问题。结果 在微表情数据集CASMEⅡ上进行了仿真实验,可以发现改进的残差网络与峰值帧提高了微表情识别的准确率与F1值。结论 改进的残差网络与峰值帧可以降低数据集较少所带来的影响,使模型有着良好的拟合效果,同时改善了在不同类别上表现差异较大的问题,提升了微表情的识别准确率,对于微表情识别有着更好的识别性能。     

可解释时空卷积网络的微表情识别应用

面部微表情具有持续时间短、强度低等特点,因此微表情识别的准确率较低,且当前提出的基于深度学习的微表情识别方法难以理解网络模型的决策原因,以至于难以应用于实际.针对该问题提出一种基于残差单元的可解释时空卷积网络用于微表情识别的方法,该方法通过使用时空卷积网络,将微表情视频帧序列作为输入,并解释网络模型参数与特征,在实现模型可解释性的同时,提高了微表情识别的准确率.在CASME2、SMIC和SAMM数据集上对提出方法进行验证,实验结果表明,本文方法优于目前大部分基于深度学习的微表情识别方法.     

基于小数据集下贝叶斯网络建模的面部表情识别

针对面部表情识别过程中获得的特征样本稀少的问题,提出了一种基于小数据集下贝叶斯网络(BN)建模的面部表情识别方法。首先提取面部表情图像的几何特征和HOG特征,经特征融合和归一化等处理构成动作单元(AU)标签样本集;其次提出了用于面部表情识别的BN结构,并将定性专家经验转化为BN条件概率之间的约束集合,随后引入凸优化最大化求解完成BN模型参数的估算;最后利用联合树推理算法识别出面部表情。实验结果表明:在小数据集条件下,与支持向量机(SVM)、Adaboost和卷积神经网络(CNN)等人脸表情分类方法相比,该方法能够取得更准确的面部表情识别结果。     

基于多尺度特征选择网络的人脸表情识别

首先, 针对人脸表情识别问题提出一种新的多尺度特征选择网络识别方法, 该网络充分结合多尺度网络结构和特征选择结构的优点, 能更有效地提取面部静态图像中的空间信息. 其次, 为验证本文提出的多尺度特征选择网络的识别性能和泛化能力, 在两个经典的人脸表情识别数据集上与一些常用的方法进行对比和交叉验证实验. 实验结果表明, 该网络取得了更好的识别效果, 并且具有良好的泛化能力, 可以灵活地嵌入到人脸表情识别分析系统中.     

基于小数据集下BN建模的面部表情识别

针对面部表情识别过程中获得的特征样本稀少的问题,提出了一种基于小数据集下贝叶斯网络(BN)建模的面部表情识别方法。首先提取面部表情图像的几何特征和HOG特征,经特征融合和归一化等处理构成动作单元(AU)标签样本集,其次提出了用于面部表情识别的BN结构,并将定性专家经验转化为BN条件概率之间的约束集合,随后引入凸优化最大化求解完成BN模型参数的估算,最后利用联合树推理算法识别出面部表情。实验结果表明：在小数据集条件下,与支持向量机(SVM)、Adaboost和卷积神经网络(CNN)等人脸表情分类方法相比,该方法能够取得更准确的面部表情识别结果。     

基于卷积神经网络的微表情识别模型

由于微表情具有持续时间短、发生强度弱、动作幅度小等特点,这使微表情识别面临特征提取困难、识别精度低等挑战.针对其面临的数据样本数量少且不平衡、识别精度低等问题,该文提出了基于卷积神经网络的CNNMER(Convolutional Neural Network Micro-Expression Recognition)模型.CNNMER模型由2部分组成:微表情数据预处理和微表情识别,分别用于扩充并平衡微表情数据样本以及准确识别微表情.它克服了训练样本数量少、不平衡等缺点.通过在CASMEⅡ数据集上的实验,CNNMER模型获得了98.44%的识别精度,验证了此模型的有效性.     

基于视频图像的面部表情识别研究综述

面部表情识别是机器理解人类情感的前提,是改善人机交互关系的关键。首先,按照视频图像中面部表情识别的流程,综述了表情识别的3个阶段:人脸检测、表情特征提取、表情分类。重点介绍了表情特征提取和表情分类中所采用算法的原理、优缺点及应用场合,并给出了部分算法的识别率对比结果。其次,对人机交互中的微表情识别及表情识别的鲁棒性研究也做了介绍。最后总结了面部表情识别研究中存在的问题及难点,探讨了该领域值得进一步研究的问题。     

基于3D梯度投影描述的微表情捕捉与识别

以3D梯度描述为依据,提出了一种基于3D梯度投影描述捕捉微表情关键帧的方法.首先,通过对视频流中面部特征区域的投影梯度方向直方图的直观描述来分析面部表情动作趋势,进而通过直方图的峰值区域捕捉微表情所在的关键帧;然后,运用多尺度多方向的Gabor滤波器组提取微表情特征区域的Gabor图谱,并引入局部二值模式进行特征降维;最后,通过基于梯度量级加权的最近邻算法进行微表情的识别与分类.实验结果表明:该方法摆脱了传统视频流表情分析系统对于动态图像序列进行逐帧检测识别的不足,较为有效地实现了图像序列中微表情关键帧的捕捉与识别,提高了系统的实时性与准确性,基本满足微表情对于系统强实时性的需求.     

带边界项的结构敏感性超像素图像分割方法研究

针对结构敏感性超像素不能很好贴合边界的问题,提出了一种带边界项的结构敏感性超像素图像分割方法。该方法在考虑结构敏感性的同时引入边界项,通过边界项来计算当前像素落在图像真实边界上的可能性,重新分配和优化超像素边界,使得超像素分割边界和实际边界尽可能贴合,保证在结构敏感区域生成大的超像素,在稀疏区域生成小的超像素。实验采用Berkeley数据集,通过六种考核指标对分割图像进行分析对比,验证了所提方法在召回率、欠分割误差、可实现分割准确度等性能方面有良好的表现。     

Micro-expression recognition algorithm based on the combination of spatial and temporal domains

Aiming at the problem of unsatisfactory effects of traditional micro-expression recognition algorithms,an efficient micro-expression recognition algorithm is proposed,which uses convolutional neural networks(CNN) to extract spatial features of micro-expressions,and long short-term memory network(LSTM) to extract time domain features.CNN and LSTM are combined as the basis of micro-expression recognition.In many CNN structures,the visual geometry group(VGG) using a small convolution kernel is finally selected as the pre-network through comparison.Due to the difficulty of deep learning training and over-fitting,the dropout method and batch normalization method are used to solve the problem in the VGG network.Two data sets CASME and CASME II are used for test comparison,in order to solve the problem of insufficient data sets,randomly determine the starting frame,and a fixedlength frame sequence is used as the standard,and repeatedly read all sample frames of the entire data set to achieve trayersal and data amplification.Finallv.a hieh recognition rate of 67.48% is achieved.     

一种基于光流双输入网络的微表情顶点帧检测方法

微表情顶点帧蕴含着丰富的微表情信息，为了准确地检测出微表情顶点帧，本文提出了一种基于光流特征的神经网络分类，并利用先验知识规则进行取舍的检测方法. 该方法针对固定滑窗大小内的图像进行光流信息提取，利用双输入特征提取网络对x, y方向的光流信息进行时空特征提取，并进行分类，经根据微表情先验知识所设计的取舍规则后处理后，改善了检测准确度. 实验结果表明，在数据集CASMEⅡ上测试，顶点定位率（apex spotting rate，ASR）指标达到了0.945，F₁-score指标达到了0.925.      

单张人脸图像眼镜边框摘除方法

眼镜对人脸图像的特征提取和识别有重要的影响.本文提出了一个基于单张人脸图像的眼镜边框摘除方法.首先利用自适应双阈值Canny算法提取眼镜边框的准确边缘,以此确定待修复区域并构造修复模板,然后利用整体变分（TV）算法进行目标修复,从而得到没有眼镜边框的人脸图像.实验结果表明,本方法能够成功摘除眼镜边框,效果良好.     

一种深度自编码器面部表情识别新方法

为解决面部表情特征维度高的问题,该文提出了一种基于深度学习自编码器的表情识别新方法,该方法利用深度自编码器在多层隐层上进行特征选择,能够在较低维度上表示高维度的面部特征.首先采用定向梯度直方图从面部表情的选定区域提取特征,然后在多个层面上使用深度自编码器,得到最优编码特征,降低特征维度,最后使用支持向量机模型对降维特征进行分类.实验表明,与其他现有特征选择和降维技术相比,该文方法提取的特征优于其他特征,并能够有效实现面部表情识别.     

一种基于Fisher准则的二维主元分析表情识别方法

提出了一种基于Fisher准则进行特征选择的二维主元分析表情识别方法.首先对训练样本做二维主元分析,然后再根据Fisher准则,按Fisher比的大小选择特征向量作为投影轴,最后用最近邻方法进行分类.在JAFFE人脸表情静态图像库上进行实验,与按特征值的大小来选择特征向量相比,该方法更有效.     

基于时空域自回归模型的视频信号内插算法

研究视频帧的内插算法。首先,提出了一种新的时空域自回归模型,像素点由当前帧内的4个像素点和相邻帧内的4的像素点线性表示。然后,根据此时空域模型,利用软判决策略估计图像的内插像素值。实验结果表明,图像内插算法的PSNR值比其它算法提高0.27 dB～0.39 dB,同时得到了较好的主观视觉效果。     

一种基于帧间差分与背景差分的运动目标检测新方法

针对背景差分算法中在复杂背景下参考帧的提取问题,提出了一种新的运动目标检测方法.该方法基于帧间差分法检测出帧中的背景像素点后,再确立每个点的高斯模型,最后运用背景差分准确检测出场景中的运动目标.由于该方法提取的背景干净,故能有效克服以往检测算法存在的误检和空洞问题.试验结果表明,该方法快速、有效,能够满足运动目标的实时检测要求.     

CMAC Based Color Separation in Printing Images

To over come the drawbacks existing in current measurement methods for detecting and controlling colors in printing process, a new medal for color separation and dot recognition is proposed from a view of digital image processing and patter recognition. In this model, firstly data samples are collected from some color patches by the Fuzzy C-Means （FCM） method; then a classifier based on the Cerebellar Model Articulation Controller （CMAC） is constructed which is used to recognize color pattern of each pixel in a microscopic halftone image. The principle of color separation and the algorithm model are introduced and the experiments show the effectiveness of the CMAC-based classifier as opposed to the BP network.     

人脸表情识别的Gabor变换最优通道模糊融合方法

根据Gabor小波的多方向、多尺度性质,将其分成13个通道。利用各个通道对表情识别率贡献不同的特点,提出了一种最优通道模糊积分融合的人脸表情识别算法。首先,提出最优通道选取的三条原则,根据这三条原则选取出3个最优通道;然后,提取表情图像经过最优通道的Gabor特征,并进行降维处理;最后,将每个最优通道作为一个分类器,用基于模糊积分的多分类器联合的方法对它们进行融合处理。在JAFFE库上进行测试取得了94.41%的识别率,验证了该算法的有效性。