基于深度学习的人脸分析研究进展

近年来,基于深度学习的人脸分析取得了巨大的进步,成为计算机视觉领域最为活跃的研究方向之一.为了进一步推动深度学习和人脸分析的研究,结合近年已发表的相关文献,对基于深度学习的人脸分析技术进行综述.首先,简要概述深度学习及其发展历史,并分析深度学习有效性原因.然后,按照任务目的的不同,将人脸分析分成了人脸检测、人脸关键点检测、人脸识别、人脸属性识别等任务进行详细的介绍和讨论,重点分析各种任务现阶段存在的主要问题.接着,介绍人脸分析中常用的人脸数据库.最后,讨论深度学习和人脸分析面临的主要挑战,并给出结论.     

基于深度学习的大规模人脸图像检索

针对传统人工设计特征鲁棒性差、检索计算复杂等缺点,提出以深度特征表示人脸图像并采取由粗到细的人脸图像检索方法。首先,使用拥有近四百万张人脸图片的数据库训练卷积神经网络得到人脸特征提取模型;然后进行人脸特征提取、存储和聚类分析;最后,采用由粗到细地检索方式进行人脸检索。在LFW数据库上进行验证,基于深度学习的人脸特征的人脸检索准确率为99.1%,人脸检索时间约0.5s.实验结果表明,基于深度学习的人脸特征鲁棒性强、检索计算复杂度低。由粗到细的检索方法效率高,结果准确率高。     

基于深度学习的课堂教学行为评价方法

课堂是教学活动的主阵地,是教学质量的基础。当前,职业教育的课堂教学评价存在模式陈旧、指标单一、数据匮乏和算法灵活性差等问题,深度学习技术应用为解决这些问题提供了可能。基于深度学习的课堂教学行为评价方法（Class Learning Evaluation Method, CLEM）的第一步是利用智能设备获取课堂教学行为的视频信息,第二步是对视频中教师和学生的表情、姿态、语音等进行检测与教学行为识别,最后以某高职院校课堂教学视频为例开展教学行为统计分析和实证研究。实验表明,CLEM方法能够快速、准确地识别师生教学行为和开展课堂教学评价。     

基于深度学习模型的图像质量评价方法

为了有效提取与视觉感知质量高度相关的图像特征,改进图像质量评价方法,在深度学习的框架下,提出一个全新的卷积神经网络IQF-CNN结构,能自动学习判别性更强的图像质量特征,并利用学习的特征进行图像质量评价.同时,该算法采用局部亮度系数归一化、dropout等技术进一步提高网络学习能力.实验结果表明:该算法能较准确地评估五种常用的图像失真,尤其在JPEG压缩、JPEG2000压缩和高斯模糊图像失真上与人眼主观感知质量具有很高的一致性,整体性能比较优于其他经典评价方法.     

基于虚拟曝光融合的光照自适应人脸图像增强方法

为了提高复杂光照条件下的人脸识别性能,提出一种基于虚拟曝光融合的光照自适应人脸图像增强方法。该方法针对检测到的人脸图像,计算其平均亮度,并与经由统计学习得到的正常光照人脸图像的亮度区间进行比较,判定其光照水平,分为低光照、高光照或正常光照,然后基于相机响应模型采用虚拟曝光融合的方法对低光照和高光照人脸图像进行光照增强处理,此过程循环迭代处理直到增强的人脸图像平均亮度达到正常水平。这种光照自适应增强后的人脸图像可作为输入无缝接入现有的人脸识别算法中,从而改善人脸识别系统性能。在Extended Yale B和CMU_PIE人脸图像数据库上的实验结果表明,该方法能有效提高复杂光照下的人脸识别率。     

基于深度学习的人脸美丽预测模型及其应用

为了进一步提高人脸美丽预测精度,本文构建了一个多尺度图像输入的人脸美丽预测深度卷积神经网络模型(Deep Convolution Neural Network,DCNN),以增强对人脸图像空间结构特征的提取能力.采用深度可分离卷积层代替普通卷积层、Max-Feature-Max(MFM)激活函数代替修正线性单元(Rectified Linear Unit,Re LU)激活函数,可减少网络训练参数并提取具有竞争性的网络特征.基于大规模亚洲女性人脸美丽数据库(Large Scale Asian Female Beauty Database,LSAFBD)的实验结果表明,本文所构建的人脸美丽预测模型取得了59.75%的正确分类率,优于现有DCNN模型的分类结果.     

光照自适应的人脸肤色检测方法

从3个方面入手提出了一种抗光照噪声强的人脸肤色检测方法:①从常用的颜色空间中选择出对光照因素稳健的肤色子空间;②提出了基于该子空间的光照自适应的肤色检测方法;③进一步采用小波边缘检测的方法精确定位人脸区域.实验结果表明,该方法对抗灯光、太阳光、荧虹灯光,光的阴影等的影响都有好的效果.     

基于小波子带图像的人脸光照归一化方法

数字人像识别技术的研究成果有广泛的应用前景,但光照问题是影响人脸识别技术关键的因素之一。对未知光源参数且具有左右光照不均匀的正脸图像,根据小波不同子带图像上的频率特点,提出了一种小波子带图像上的人脸光照归一化方法。在Yale B人脸库上的实验表明,新方法能较有效的解决人脸识别中的左右不均匀光照恢复问题,使人脸识别率有显著提高。     

基于深度学习的人脸表情识别研究与应用

人脸面部表情是人机交互和非言语交际的有效方式,对面部表情进行识别并分析,可以获取很多信息,在安全监控、人工智能、军警、心理学等领域有着许多不同的应用。本研究基于深度学习对人脸表情识别进行深入研究,采用Open CV内置算法进行人脸检测,利用卷积神经网络进行面部表情识别,实现对人脸最基本的7种表情包括愤怒、厌恶、恐惧、快乐、悲伤、惊讶和中立分别进行识别。与传统的人脸表情识别方法相比较,卷积神经网络的识别精度高,训练参数少,在面部表情特征表现明显的情况下,对7种表情的识别精度都能超过70%以上。     

利用小波的人脸图像光照补偿方法

本文针对光照不均匀的人脸识别率低提出了利用小波对光照不均的人脸图像进行光照补偿的方法。该方法先将待处理人脸图像求对数,在对数域中进行小波分解,将低频部分逼近标准光照的人脸图像的低频部分,对高频部分进行拉普拉斯滤波,锐化边缘,然后进行逆小波变换,最后求其指数得到最后的处理结果。实验表明该方法能有效提高人脸图像的视觉效果,起到补偿光照不均匀的效果。     

基于深度学习与传统机器学习的人脸表情识别综述

新时期我国科学技术的快速发展及信息化产业规模的不断扩大,为人机交互领域发展带来了重要的保障作用,并提升了人脸表情识别研究水平。在此背景下,为了确保人脸表情识别有效性,需要注重与之相关的基于深度学习与传统机器学习的研究工作落实。在此基础上,计算机视觉领域的整体发展速度将逐渐加快,且人脸表情识别研究中也将得到更多的支持。因此,本文就基于深度学习与传统机器学习的人脸表情识别展开论述。     

基于深度学习与传统机器学习的人脸表情识别综述

现有的人脸表情识别技术基本局限于传统的机器学习算法,在光照强弱、有遮挡物、姿态变换等情况下,传统的机器学习算法鲁棒性差,难以运用到实际生活中。随着计算机GPU等硬件条件的发展、大数据时代的到来,深度学习在计算机视觉领域备受关注。本文从图像预处理、特征提取、特征分类等方面介绍了传统机器学习算法及其优缺点;从DBN、CNN等主流算法、发展方向、常用开发框架介绍了深度学习算法。最后总结和展望了传统机器学习与深度学习在人脸表情识别上的发展问题与趋势以及后续研究方向。     

基于深度学习与Dense SIFT融合的人脸表情识别

为了准确高效地实现人脸表情识别.提出将一种将卷积神经网络与Dense SIFT特征进行融合的混合模型,该混合模型所用的网络结构是在深度可分离的卷积神经网络MobileNet的思想上加以改进.在通道卷积(深度卷积)与空间卷积(点卷积)分离的基础上,将MobileNet结构的点卷积部分使用多尺度卷积核,保证了提取特征的丰富细微性,更加适用于人脸表情特征提取;同时引入DenseNet结构的思想,提升了网络的性能.利用Dense SIFT的128维描述子对特征描述较丰富的优势。将其与改进的MobileNet网络在全连接层进行融合,采用Eltwise层在全连接层元素之间做比较并取最大值,以保证特征的多样性,且更具代表性.在FER2013和JAFFE人脸表情数据集上运用该混合模型,识别率可以达到73.2%和96.5%.     

一种层级处理的人脸光照归一化方法

采用层级处理模式,提出了一种新的人脸光照归一化方法,先对图像光照进行自动判定,决定采用何种方法进行预处理,减小不同光照下人脸灰度的差异.再根据Gamma校正算法的特点,设计了一种更适应人脸图像校正的参数计算方法.本方法在样本归一化后,使得图像的本真信息不丢失,而且提高了图像对比度.大量的实验表明,该方法可以有效提高人脸识别功能的适用范围,能够在更远距离或复杂光照下进行识别.     

非均匀光照下人脸眼睛的定位方法

考虑非均匀光照下人脸眼睛的检测问题，提出了一种利用高频信息模板匹配方法从复杂图像中定位人脸眼睛的方法。选取80幅光线较好的人脸图像，对它们做光线规范化，提取Gabor高频特征，构造模板。利用统计模式识别的原理，在眼睛的大致区域进行模板匹配，突出眉毛与眼睛这一整体的大致位置，然后进行二值投影，最终确定人眼的准确位置。大量实验表明，该算法具有很高的精度和很强的鲁棒性。     

基于人脸轮廓的人脸归一化方法

人脸识别作为生物识别技术的一种,具有无接触、安全和方便的特点.人脸识别技术广泛应用于人机交互、交易认证及安防等领域,一直是生物识别技术研究的热点.人脸检测、特征定位、人脸归一化和特征提取是人脸识别研究的重点,决定着人脸识别系统的最终性能.设计了基于人脸轮廓的人脸归一化方法,根据归一化中出现的问题,进一步提出了人眼位置与人脸轮廓结合的人脸归一化方法.实验结果表明在Yale人脸图像库上人眼位置与人脸轮廓结合的人脸归一化方法具有更高的正确率.     

复杂光照场景下基于MTCNN的人脸检测

为了提高复杂光照条件下的人脸检测识别率,提出了一种基于Retinex图像增强技术应用于多任务卷积神经网络(multi-task cascaded convolutional networks,MTCNN)的人脸测算法.算法用Retinex理论对图像进行增强,能明显提高MTCNN在不同光照场景下的人脸检测精度,同时使面部...