基于深度学习的图像人脸识别方法研究

使用计算机进行面部表情识别是当前人脸面部表情识别的热点,在深度学习技术的基础上,应用级联分类器对面部进行整体检测和分区定位后,提出并使用了一种基于自注意力机制的深度卷积神经网络,模型采用Mini-Xception为基本网络融合了注意力机制,再通过训练卷积神经网络构建表情分类模型,最后实现较为快速准确的表情识别。文中采用几种方法进行实验对比,并对最终的实验结果加以分析。结果表明,在相同的参数设置下提出的方法能明显提高分类性能、识别的精准度以及面部表情变化检测的实时速度。     

基于多任务深度卷积神经网络的人脸/面瘫表情识别方法

由于人类个体面部形态各种各样,使得不同人在表达同一感情时有可能产生较大的视觉差异,为了减弱这种内类视觉差异性对人脸表情识别产生的影响,该文提出一种分层多任务学习的人脸表情识别方法,该方法以现有深度卷积神经网络模型为基础,构造双层树分类器以替换输出层的平面softmax分类器,构建深度多任务学习框架,通过利用人脸表情标签和人脸标签共同学习更具辨识力的深度特征,将知识从相关人脸识别任务中迁移过来,从而减弱面部形态对表情识别的影响,提高表情识别性能。实验结果表明,相较于VGGnet,Googlenet和Resnet深度模型,文中提出的方法均提高了人脸表情识别率,且成功推广到面瘫表情识别问题中。     

基于深度时空域卷积神经网络的表情识别模型

基于特征抽取是表情识别算法中的重要步骤,但是现有算法依赖手工设计特征且适应性差等问题,提出基于深度时空域卷积神经网络的表情识别模型,采用数据驱动策略直接从表情视频中自动抽取时空域中的动静态特征。使用新颖的卷积滤波器响应积替代权重和,使得模型能同时抽取到动态特征和静态特征。引入深度学习的多层设计,使得模型能逐层学习到更抽象、更宏观的特征。采用端对端的有监督学习策略,使得所有参数在同一目标函数下优化。研究结果表明:训练后的卷积核类似于Garbor滤波器的形态,这与视觉皮层细胞对激励的响应相似;该模型能对表情视频进行更准确分类;通过与其他几种近年出现的算法进行比较,验证该算法的优越性。     

融合多尺度注意力和双向LSTM的行人重识别

将深度学习应用于行人重识别领域,嵌入多尺度注意力融合模块至神经网络中进行多尺度特征提取和表示,可有效提升注意力机制对深度学习网络的识别性能。提出了一种基于SE block的多尺度通道注意力融合模块,并结合ResNet50卷积神经网络提取特征;然后通过双向LSTM网络进一步提取特征序列上下文信息,在提高模型对图像重要特征的提取能力的同时,降低对图像冗余特征的关注度;最后使用级联难采样三元组损失函数和交叉熵损失函数共同训练网络模型,使样本能够在高维特征空间中实现聚类,进一步提升模型识别准确性。所提出算法在Market1501数据集和CUHK03数据集分别进行实验,并在同等条件下和其他注意力模块算法进行比较。为进一步验证各模块作用,对算法进行消融实验,以验证各模块的有效性,实验结果表明,所提出方法可有效应用于行人重识别     

基于多特征融合卷积神经网络的人脸表情识别

针对卷积神经网络特征提取不够充分且识别率低等问题,提出了一种多特征融合卷积神经网络的人脸表情识别方法。首先,为了增加网络的宽度和深度,在网络中引入Inception结构来提取特征的多样性;然后,将提取到的高层次特征与低层次特征进行融合,利用池化层的特征,将融合后的特征送入全连接层,对其特征进行融合处理来增加网络的非线性表达,使网络学习到的特征更加丰富;最后,输出层经过Softmax分类器对表情进行分类,在公开数据集FER2013和CK+上进行实验,并且对实验结果进行分析。实验结果表明:改进后的网络结构在FER2013和CK+数据集的面部表情上,识别率分别提高了0.06%和2.25%。所提方法在人脸表情识别中对卷积神经网络设置和参数配置方面具有参考价值。     

基于多尺度时序交互的第一人称行为识别方法

对于第一人称行为识别任务,现有方法大多使用了目标边界框和人眼视线数据等非行为类别标签对深度神经网络进行辅助监督,以使其关注视频中手部及其交互物体所在区域。这既需要更多的人工标注数据,又使得视频特征的提取过程变得更为复杂。针对该问题,提出了一种多尺度时序交互模块,通过不同尺度的3D时序卷积使2D神经网络提取的视频帧特征进行时序交互,从而使得单一视频帧的特征融合其近邻帧的特征。在只需行为类别标签作监督的情况下,多尺度时序交互能够促使网络更加关注第一人称视频中手部及其交互物体所在区域。实验结果表明,提出的方法在识别准确率优于现有第一人称行为识别方法。     

基于改进随机森林分类器在RGBD面部表情上的应用研究

面部表情识别是机器感知人类情绪变化的重要途径.利用面部RGB图像可以进行表情识别,但是容易受到光照变化影响,而且较难刻画细微表情变化.对采用RGBD面部图像识别6种基本面部表情(高兴、悲伤、愤怒、沮丧、恐惧以及惊讶)进行研究.首先利用深度图像鲁棒地检测面部;然后在面部灰度图像中检测并跟踪二维面部标记点,并添加对应的深度信息构造深度面部几何特征,从而有效识别细微表情变化;最后利用基于特征选择的随机森林分类器对不同面部表情进行识别.基准数据库上的对比实验结果表明本文算法的表情识别准确率高于主流基于手动提取特征的面部表情识别方法,接近基于卷积神经网络的识别算法性能.     

基于深度学习的人脸表情识别研究与应用

人脸面部表情是人机交互和非言语交际的有效方式,对面部表情进行识别并分析,可以获取很多信息,在安全监控、人工智能、军警、心理学等领域有着许多不同的应用。本研究基于深度学习对人脸表情识别进行深入研究,采用Open CV内置算法进行人脸检测,利用卷积神经网络进行面部表情识别,实现对人脸最基本的7种表情包括愤怒、厌恶、恐惧、快乐、悲伤、惊讶和中立分别进行识别。与传统的人脸表情识别方法相比较,卷积神经网络的识别精度高,训练参数少,在面部表情特征表现明显的情况下,对7种表情的识别精度都能超过70%以上。     

基于深度差异性网络的真假面瘫识别

现有的面瘫识别方法均基于面部异常或不对称进行判断,但存在面部异常或不对称并不意味着一定是面瘫患者,如:正常人的面部在做某种表情或静止时可能存在不对称;正常人模仿面瘫患者时,也会存在异常和不对称。当重复临床诊断性面部动作时,存在面部异常或不对称的正常人常比患者表现出更大的差异,这是由于正常人相比于面瘫患者具有更健全的面部肌肉运动功能。因此,该文提出了一种基于深度差异特征网络(deep differentiated network,DDN)的面瘫识别方法,该方法对高层特征提取和差异特征计算进行联合优化。首先,利用双数据流卷积神经网络(two-stream CNN)提取疑似患者不同时刻同一动作的面部状态特征;然后,通过单分支卷积网络提取two-stream CNN间的差异特征,并基于差异性特征进行面瘫识别。实验结果表明,DDN能够有效识别疑似患者是否患有面瘫且优于现有方法。     

结合注意力机制与时空特征融合的长时程行为识别方法

为了建立基于视频行为识别的长时程图像序列的时空信息模型,文章提出了一种嵌入注意力的时空特征融合网络(attention-embedded spatial-temporal feature fusion network, ASTFFN)的深度神经网络模型。ASTFFN将一个包含动作的长时程图像序列分割成多个重叠的片段,并使用一个注意力嵌入特征提取网络(attention-embedded feature extraction network, AFEN)从每个片段中的RGB图像或光流图像中提取经过注意力加权的时空特征,进而融合每个片段的时空加权特征,生成行为识别的视频级预测。基于UCF101和HMDB51行为识别数据库进行了大量的实验,验证了方法的有效性。与目前主流的行为识别算法相比,该文方法在识别精度上取得了较好的效果。     

一种新的基于注意力机制的细粒度视频分析神经网络结构（英文）

针对包含细微差异动作的视频数据集,提出了一种用于分辨细粒度差异动作的深度神经网络.该网络结构由一个三维卷积(C3D)网络的轻量化变体和一个基于注意力机制的长短时记忆网络组成,优化了三维卷积网络的深度和注意力机制的权重惩罚项.实验结果表明:该网络可以有效地关注视频中的重要信息,在平均准确率和检测准确率上均有所提升.     

一种新的基于注意力机制的细粒度视频分析神经网络结构

针对包含细微差异动作的视频数据集,提出了一种用于分辨细粒度差异动作的深度神经网络.该网络结构由一个三维卷积(C3D)网络的轻量化变体和一个基于注意力机制的长短时记忆网络组成,优化了三维卷积网络的深度和注意力机制的权重惩罚项.实验结果表明:该网络可以有效地关注视频中的重要信息,在平均准确率和检测准确率上均有所提升.     

基于Finger-mixNet的指纹识别算法研究

针对传统指纹识别方法存在准确率低、推理速度慢等问题,提出了一种应用于指纹识别和匹配的深度学习模型Finger-mixNet指纹识别算法。Finger-mixNet模型基于卷积神经网络和Transformer结构进行关联融合,包括两个核心模块共同表征指纹识别任务的深度特征。Network-C模块基于卷积神经网络获取浅层纹理特征,Network-TC模块基于自注意力机制和卷积共同捕捉指纹深度特征信息,在获得对重点区域注意力的同时,具有比传统卷积更小的计算开销。为证明模型的有效性,在自建的指纹数据集和公共数据集中对模型进行了测试,在自建数据集中Finger-mixNet达到了97.1%的识别准确率,在公共数据集中也取得了98.3%的识别准确率,除此之外Finger-mixNet在保持高识别率同时在上述两种数据集中均能保持200FPS的识别速度。     

基于LSTM和注意力机制的蛋白质-配体结合亲和力预测

蛋白质-配体的结合亲和力预测是药物重定位回归中具有挑战性的任务。深度学习方法可以有效预测蛋白质与配体相互作用的结合亲和力,减少药物发现的时间和成本。由此,基于长短期记忆模块(LSTM)和注意力机制模块(attention)提出了一种深度卷积神经网络模型(DLLSA)。模型由嵌入LSTM和空间注意力模块(spatial-attention)的卷积网络并行模块构建,其中LSTM模块针对蛋白质-配体接触特征的长序列信息,spatial-attention注意力模块聚集接触特征局部信息。采用PDBbind(v.2020)数据集进行训练,CASF-2013和CASF-2016数据集进行验证,模型的皮尔逊相关系数相比于PLEC模型分别提高了0.6%和3%,实验结果显著优于其他相关方法。     

基于多头注意力门控卷积网络的特定目标情感分析

在特定目标情感分析中,现有的循环神经网络模型存在训练时间长且获取目标相关信息困难的问题。针对该问题,利用注意力机制,提出一种带有位置嵌入的多头注意力门控卷积网络(PE-MAGCN)。首先,模型使用多头注意力层获取目标词与上下文词之间的信息,并额外加入文本和目标词的相对位置嵌入信息,然后采用带有门控机制的卷积神经网络提取与目标词有关的情感特征,最后通过Softmax分类器来识别情感极性倾向。使用SemEval 2014数据集与目前主要用于目标情感识别的模型进行实验对比,结果表明本模型的准确率和F1值较高,可以较好地完成特定目标情感分析任务。     

面向番茄病害识别的改进型SqueezeNet轻量级模型

针对番茄病害识别中深度神经网络参数过多、识别精度较低的问题,从网络轻量化和提取特征精准化的角度出发,对SqueezeNet结构进行改进.为精简fire模块,对其中Expand层的卷积核大小、网络层数以及通道数进行调整.同时,将模型与ECA模块结合,利用局部跨通道交互的方式获得各通道的注意力值,强化网络对关键特征的学习能...     

采用Transformer架构的长跨度视频压缩感知重构方法

深度学习的快速发展给视频压缩感知重构提供了新思路。受网络模型限制,现有的基于深度学习的压缩感知重构方法不能充分利用视频的空时特征,且对于超过16帧的视频段重构效果不够理想。采用Transformer网络构建压缩感知重构网络,利用Transformer网络在序列信号处理方面的优势构建空时注意力提取模块,学习视频帧间的空时注意力特征,更好地实现对视频连续帧的建模,从而解决长跨度视频段压缩感知重构问题。实验结果表明：所提方法在处理32张视频帧的视频分段时,能达到30 dB以上的重构精度,在处理96张视频帧的视频分段时,仍能达到27 dB以上的良好性能。     

基于注意力机制的人脸表情识别网络

人脸表情识别一直是计算机视觉领域的一个难题.近年来,随着深度学习的飞速发展,一些基于卷积神经网络的方法大大提高了人脸表情识别的准确率,但未能充分利用人脸图像中的信息,这是由于对于面部表情识别有意义的特征主要集中在一些关键位置,例如眼睛、鼻子和嘴巴等区域,因此在特征提取时增加这些关键位置的权重可以改善表情识别的效果.为此...     

基于二阶有效通道注意力网络的无约束人脸表情识别

现有基于卷积神经网络的无约束人脸表情识别方法侧重于网络结构的设计,对网络学习到的通道间深层特征相关性的研究较少,没有充分利用神经网络提取表达力较强的特征。为解决此问题,设计了一种基于二阶有效通道注意力网络(second-order efficient channel attention network, SECA-Net)的无约束人脸表情识别方法。该方法采用轻量级的网络提取表情图像的深层特征,使用二阶有效通道注意力模块统计深层特征的二阶信息并捕捉跨通道特征间的依赖关系来自适应地缩放通道特征,进而获得更具判别力的表情特征。SECA-Net利用Softmax损失和中心损失联合优化模型进行表情分类,该模块具有较少的参数量、较低的显存需求和计算量,并且没有使用额外的数据预训练模型。同时,所提出的模块还能提取到人脸表情微小变化的局部特征。在RAF-DB和FER-2013无约束人脸表情数据集上的实验结果表明,提出的方法是有效的。     

基于小数据集下贝叶斯网络建模的面部表情识别

针对面部表情识别过程中获得的特征样本稀少的问题,提出了一种基于小数据集下贝叶斯网络(BN)建模的面部表情识别方法。首先提取面部表情图像的几何特征和HOG特征,经特征融合和归一化等处理构成动作单元(AU)标签样本集;其次提出了用于面部表情识别的BN结构,并将定性专家经验转化为BN条件概率之间的约束集合,随后引入凸优化最大化求解完成BN模型参数的估算;最后利用联合树推理算法识别出面部表情。实验结果表明:在小数据集条件下,与支持向量机(SVM)、Adaboost和卷积神经网络(CNN)等人脸表情分类方法相比,该方法能够取得更准确的面部表情识别结果。