多民族人脸和眼动情感数据库的构建

多民族情感计算和识别研究有利于分析和理解不同民族之间情感表达的差异性,而不同民族之间的情感分析和识别研究需要以多民族情感数据作为数据基础。利用情感诱导视频等方式采集人的面部表情和眼动数据,建立了包含5个民族6种基本表情的多民族情感数据库。其中包含11328幅表情图片和196个眼动轨迹信息。实验过程中对图像和数据文件名构建编码规则,对取得的表情图片数据进行灰度化、人脸关键部位截取等图像处理,同时提取眼动仪记录的眼动数据,将表情图片及眼动轨迹信息进行整理,进而组成多民族情感数据库。该数据库的建立对多民族情感识别和智能人机交互领域的发展起到一定促进作用。     

First congenital prosopagnosia case reported in China

Congenital prosopagnosia (CP) refers to the deficiency in recognizing faces without reportable brain damage. In this study we reported a CP patient (X.L.), the first CP case reported in China, and tested her with a battery of face recognition and visual cognition tasks to explore what aspects of face processing are impaired in CP individuals. Our results show that X.L. possesses a normal ability to detect the presence of faces yet her ability to discriminate between individual faces is significantly impaired compared to normal controls. In contrast, her ability to detect nonface objects is greatly preserved, suggesting that she suffers from a selective deficiency in face recognition. Further face tests reveal that she has intact feature-based analysis ability while configural and holistic processing are both impaired. We further evaluate her general capacity of holistic processing, and the results showed that her impairment in holistic processing is not restricted to faces, but to a more general level.     

First congenital prosopagnosia case reported in China

Congenital prosopagnosia (CP) refers to the deficiency in recognizing faces without reportable brain damage. In this study we reported a CP patient (X.L.), the first CP case reported in China, and tested her with a battery of face recognition and visual cognition tasks to explore what aspects of face processing are impaired in CP individuals. Our results show that X.L. possesses a normal ability to detect the presence of faces yet her ability to discriminate between individual faces is significantly impaired compared to normal controls. In contrast, her ability to detect nonface objects is greatly preserved, suggesting that she suffers from a selective deficiency in face recognition. Further face tests reveal that she has intact feature-based analysis ability while configural and holistic processing are both impaired. We further evaluate her general capacity of holistic processing, and the results showed that her impairment in holistic processing is not restricted to faces, but to a more general level.     

Deep Learning-Based Classification of the Polar Emotions of “Moe”-Style Cartoon Pictures

The cartoon animation industry has developed into a huge industrial chain with a large potential market involving games, digital entertainment, and other industries. However, due to the coarse-grained classification of cartoon materials, cartoon animators can hardly find relevant materials during the process of creation. The polar emotions of cartoon materials are an important reference for creators as they can help them easily obtain the pictures they need. Some methods for obtaining the emotions of cartoon pictures have been proposed, but most of these focus on expression recognition. Meanwhile, other emotion recognition methods are not ideal for use as cartoon materials. We propose a deep learning-based method to classify the polar emotions of the cartoon pictures of the "Moe" drawing style. According to the expression feature of the cartoon characters of this drawing style, we recognize the facial expressions of cartoon characters and extract the scene and facial features of the cartoon images. Then, we correct the emotions of the pictures obtained by the expression recognition according to the scene features. Finally, we can obtain the polar emotions of corresponding picture. We designed a dataset and performed verification tests on it, achieving 81.9% experimental accuracy. The experimental results prove that our method is competitive.     

基于生理信号的实时情感识别系统设计与实现

设计并实现基于生理信号的实时情感识别系统.以视频为刺激材料诱发受试者高兴、惊奇、悲伤、愤怒、恐惧、平静6种情感,通过MP160生理信号记录仪采集受试者相应情感下的心电、呼吸、脉搏波、皮肤温度、肌电、皮肤电导6种生理信号,采用PCA和SVM结合的算法实现情感的实时分类.最后,系统对4名在校学生进行了实验,6种情感的平均识别率为70%.     

基于MSVR和Arousal Valence情感模型的表情识别研究

通常的表情识别方法是对基本情绪进行表情分类,然而基本情绪对情感的表达能力有限。为了丰富情感的表达,研究采用Arousal-Valence情感模型,从心理学的角度对Arousal-Valence模型中Arousal维度和Valence维度之间的相关性进行了分析,并用统计学方法对AVEC2013,NVIE和Recola 3个数据集进行研究,实验结果表明它们之间具有正相关关系。为了利用Arousal-Valence 之间的相关性,采用多输出支持向量回归（multiple dimensional output support vector regression,MSVR）算法作为表情的训练和预测算法,并结合特征融合和决策融合提出了一种基于MSVR的两层融合表情识别方法。实验结果表明提出的表情识别方法比传统的方法能取得更好的识别效果。     

基于人脸运动单元及表情关系模型的自动表情识别

面部表情是人们表达情感和意向最有效、自然、快捷的方式. 表情的发生主体不同,程度不同,导致了表情的自发性. 基于这一难点,建立了一种人脸运动单元(action units,AUs)及面部表情间的概率关系模型,该模型将人脸分为眉眼区域和嘴巴区域两部分,采用Gabor小波提取区域特征,通过K临近(K nearest neighbor,KNN)与贝叶斯网络(Bayesian network,BN)相结合的机器学习算法进行自动AUs表情识别. 这种改进的机器学习算法,通过训练数据以及主观的先验知识进行模型学习,为AUs配以不同的权重,并且根据极大后验概率(maximum a posteriori probability,MAP)选取最优表情. 实验表明,本文所提出的模型对不同主体、不同程度的表情都表现出了较高的识别率,是一种高效且鲁棒性强的自动表情识别系统.      

基于决策树和改进SVM混合模型的语音情感识别

为有效提高语音情感识别的准确性,达到人机和谐交互的目的,本文提出了一种基于决策树和改进SVM混合模型的语音情感识别方法,有效地避免了无界泛化误差、分类器数目多、受限优化等问题,提高了悲伤、喜悦、愤怒、厌恶、惊讶、恐惧6种基本情感识别效率。实验结果表明,该方法识别准确率为87.58%,与传统的支持向量机和人工神经网络方法相比,有更高的抗噪声能力和稳定性,能得到更高的识别准确率,而且有较强的实用性和推广能力。      

基于表情及姿态融合的情绪识别

情绪识别指在使计算机拥有能够感知和分析人类情绪和意图的能力,从而在娱乐、教育、医疗和公共安全等领域发挥作用.与直观的面部表情相比,身体姿态在情绪识别方面的作用总是被低估.针对公共空间个体人脸分辨率较低、表情识别精度不高的问题,提出了融合面部表情和身体姿态的情绪识别方法.首先,对视频数据进行预处理获得表情通道和姿态通道的输入序列;然后,使用深度学习的方法分别提取表情和姿态的情绪特征;最后,在决策层进行融合和分类.构建了基于视频的公共空间个体情绪数据集(SCU-FABE),在此基础上,结合姿态情绪识别数据增强,实现了公共空间个体情绪的有效识别.实验结果表明,表情和姿态情绪识别取得了94.698%和88.024%的平均识别率;融合情绪识别平均识别率为95.766%,有效融合了面部表情和身体姿态表达的情绪信息,在真实场景视频数据中具有良好的泛化能力和适用性.     

基于区域块LBP特征的人脸表情识别

人脸表情识别是模式识别与人工智能领域的研究热点之一,针对传统LBP方法的不足,提出了一种基于区域块LBP的人脸表情识别方法:先在人脸面部分割出与表情相关的眉毛、眼睛、鼻子和嘴巴等关键区域;再从这些关键表情区域提取表情特征,避免了在整个面部提取特征耗时的缺陷,同时有效地降低了特征维数;最后利用最近邻分类器给出识别结果,通过实验验证了本文算法在识别性能和时间性能上的优势.     

基于RBF网络的人脸识别和表情分析方法研究

为解决人脸识别过程中出现的无法有效区分多姿态人脸的问题,进一步提高人脸表情识别率。本文在分析现有人脸表情识别方法的基础上,提出新的识别技术,即采用基于径向基函数(RBF)神经网络的方法,首先对图像皮肤和非皮肤像素进行分离,把人脸区域从检测到的皮肤区域中提取出来,然后以人脸表情数据库JAFFE为测试数据库,对人脸图像进行Gabor小波变换(GWT)和离散余弦变换(DCT),最后将该算法用于径向基函数神经网络的训练过程,建立相应优化模型,并将其应用到人脸表情的识别中,研究结果表明,具有收敛速度快、识别率高等优点,比文献中的方法提高了3%和8%的识别率。     

人脸识别系统中的特征提取

研究了人脸识别系统中正面人脸的特征提取 .通过区域增长从人脸图像中分割出人脸 ,再利用边缘检测、Hough变换、模板匹配和方差投影技术可以快速有效地提取出人脸面部器官眼睛、鼻子和嘴巴特征 .实验结果表明本文所采用的方法具有较高的准确率和光照鲁棒性 .     

基于粗糙集理论的表情识别研究

包括情感计算和情感识别在内,以人为中心,对人的情感和认知的研究是目前人工智能领域的一个热点研究方向。以粗糙集理论为基础,研究了粗糙集属性约简算法,并把粗糙集属性约简算法作为一种人脸表情识别系统的特征选择方法,对人脸表情识别的重要特征进行研究,并提出了一种RS+SVM的人脸表情识别方法。仿真实验结果表明,粗糙集属性约简算法能发现人脸表情的重要特征,并基于这些特征可以得到很好的表情识别结果。     

基于韵律语段的语音情感识别方法研究

语音情感识别领域提取情感特征时,普遍采用"不同情感类别,相同时长基准"的做法,忽略了人耳敏感的韵律段长会依情感不同而有所差异的现象。本文首先通过情感识别实验确定各类情感的最佳识别段长,作为人耳敏感韵律段长。并构造了基于韵律段特征的多重Elman网络模型,以期对不同情感基于特定敏感韵律段长进行识别和对多分类器识别结果进行有效融合,实现了对人耳情感辨识规律的模拟。结果表明,使用敏感韵律段特征的系统识别率达到67.9%,与使用定长语段特征相比有了很大的提高。     

李清照词中的情与景新论

李清照是中国南宋时期著名的女词人,被后人誉为词中皇后。李清照词是从其切身的生活感受出发,进行艰苦的艺术构思,抒发了自己的真情实感。借景抒情、寓情于景和情景融合是李清照词用以抒发情感的主要方式,由此可以感悟作者的心与志。     

The amygdala modulates prefrontal cortex activity relative to conditioned fear

Animals learn that a tone can predict the occurrence of an electric shock through classical conditioning. Mice or rats trained in this manner display fear responses, such as freezing behaviour, when they hear the conditioned tone. Studies using amygdalectomized rats have shown that the amygdala is required for both the acquisition and expression of learned fear responses. Freezing to a conditioned tone is enhanced following damage to the dorsal part of the medial prefrontal cortex, indicating that this area may be involved in fear reduction. Here we show that prefrontal neurons reduce their spontaneous activity in the presence of a conditioned aversive tone as a function of the degree of fear. The depression in prefrontal spontaneous activity is related to amygdala activity but not to the freezing response itself. These data indicate that, in the presence of threatening stimuli, the amygdala controls both fear expression and prefrontal neuronal activity. They suggest that abnormal amygdala-induced modulation of prefrontal neuronal activity may be involved in the pathophysiology of certain forms of anxiety disorder.     

基于粗糙集理论的表情识别研究

包括情感计算和情感识别在内,以人为中心,对人的情感和认知的研究是目前人工智能领域的一个热点研究方向.以粗糙集理论为基础,研究了粗糙集属性约简算法,并把粗糙集属性约简算法作为一种人脸表情识别系统的特征选择方法,对人脸表情识别的重要特征进行研究,并提出了一种RS+SVM的人脸表情识别方法.仿真实验结果表明,粗糙集属性约简算法能发现人脸表情的重要特征,并基于这些特征可以得到很好的表情识别结果.     

融合主动外观模型与局部二元模式的人脸识别

提出一种新的人脸识别算法.首先,利用主动外观模型(active appearance model,AAM)提取人脸五官特征点,进而获得人脸区域的全局纹理特征;然后对人脸区域中的若干个局部子块进行加权局部二元模式(local binary pattern,LBP)的特征组合;接着分别对这两类特征进行最近邻法则匹配;最后,采用基于模糊综合的原理对这两大类特征进行数据融合,给出最终识别结果.实验表明该算法的有效性,能够很好地结合人脸图像全局和局部的互补信息,识别效果优于各单一模块的分类性能.     

基于视频图像的眼动追踪系统算法

为了解决初步眼动追踪问题, 提出基于视频图像的实时性眼动追踪的快速算法。将RGB 色彩空间转换成YCbCr 空间, 利用肤色模型定位人脸。剪裁后, 用Sobel 算子边缘检测算法进行卷积处理, 对图像进行水平投影找到人眼大致位置, 对眼部进行粗定位。对该区域进行灰度投影, 分割左、右眼, 再分别对左、右眼进行定位, 从而得到人眼的精确定位。实验选取15 帧图片作为测试视频序列, 其结果表明, 该算法准确地解决了眼动追踪问题, 满足实时性要求。     

基于小波变换和独立成分分析的人脸识别

针对传统的独立成分分析算法对光照、表情、姿态等敏感的不足,提出了一种结合小波变换和独立成分分析的人脸识别方法.人脸图像首先经过小波变换后选取低频子图像进行独立成分分析,提取人脸图像特征,最后根据最近邻分类器分类.分析了样本数目、小波分解级数对平均识别率和识别时间的影响.基于ORL人脸数据库的实验结果证明了本方法在识别性能方面相对于单一方法的优越性.