基于感兴趣区域图像眼动数据库的建立

针对人眼对图像不同区域关注程度不同的现象,本论文设计眼动实验,由30名观察者自由观看55幅选自主流图像质量评价数据库以及印刷标准彩色图像数据库中的图像,建立了基于图像感兴趣区域的XROIEF数据库。该数据库中包含原图、蜂群图、注视图、热点图及集簇图各55幅,且包含其相应的数据信息,如注视顺序、各注视点位置信息、各感兴趣区域的眼动数据等,并通过对眼动数据分析得出了人眼对不同内容图像不同的感兴趣区域。     

一种识别微商商品评论中表情图片的方法

提出一种识别微商商品评论中表情图片的方法,使用手机对微信朋友圈中微商商品及评论信息截图,通过HOG-SVM模型定位表情图片;提出一种改进的LBP"等价模式"提取表情图片的纹理特征,提取出的纹理特征向量通过KNN分类器识别表情图片.通过实验证明,改进的方法在识别微信表情图片的速度和准确性方面均优于传统LBP方法.识别微商商品评论中表情图片的过程,是研究基于表情图片的商品评论情感倾向的重要部分,分析与挖掘商品评论的情感倾向对于研究商品口碑、进行商品推荐具有重要的价值.     

三维人脸表情识别研究与进展

随着人机交互与情感计算的快速发展,人脸表情识别已经成为研究热点.二维人脸表情图像对于姿态变化与光照变化不具备鲁棒性,为了解决这些问题,研究者们使用三维人脸表情数据进行表情分析研究.本文在前人工作的基础上,对三维人脸表情识别中的对齐与跟踪、表情数据库、特征提取等方面进行综述.指出人脸表情识别的热点与趋势以及存在的局限,并对未来发展进行了展望.     

网页交互任务的用户情感测量方法

针对网页交互过程用户情感难以客观衡量的问题,提出运用用户完成交互任务时的眼动数据来衡量用户情感的方法.首先,选择中文版PAD情感量表及初步眼动指标,通过问卷调查选择代表性网站,并确立交互任务;其次,通过实验获得不同网页交互任务下被试的眼动数据及PAD情感数据,以情感类别为影响因素对眼动数据做方差齐性检验和单因素方差分析,确定与情感变化有关的眼动指标;最后,采用偏最小二乘方法建立眼动指标与用户情感之间的关系模型,并对模型进行有效性和适应性验证.结果表明,该模型可很好地测量用户情感.     

网页交互任务的用户情感测量方法

针对网页交互过程用户情感难以客观衡量的问题,提出运用用户完成交互任务时的眼动数据来衡量用户情感的方法.首先,选择中文版PAD情感量表及初步眼动指标,通过问卷调查选择代表性网站,并确立交互任务;其次,通过实验获得不同网页交互任务下被试的眼动数据及PAD情感数据,以情感类别为影响因素对眼动数据做方差齐性检验和单因素方差分析,确定与情感变化有关的眼动指标;最后,采用偏最小二乘方法建立眼动指标与用户情感之间的关系模型,并对模型进行有效性和适应性验证.结果表明,该模型可很好地测量用户情感.     

基于MSVR和Arousal Valence情感模型的表情识别研究

通常的表情识别方法是对基本情绪进行表情分类,然而基本情绪对情感的表达能力有限。为了丰富情感的表达,研究采用Arousal-Valence情感模型,从心理学的角度对Arousal-Valence模型中Arousal维度和Valence维度之间的相关性进行了分析,并用统计学方法对AVEC2013,NVIE和Recola 3个数据集进行研究,实验结果表明它们之间具有正相关关系。为了利用Arousal-Valence 之间的相关性,采用多输出支持向量回归（multiple dimensional output support vector regression,MSVR）算法作为表情的训练和预测算法,并结合特征融合和决策融合提出了一种基于MSVR的两层融合表情识别方法。实验结果表明提出的表情识别方法比传统的方法能取得更好的识别效果。     

基于“眼动+面部表情”的航空公司官网用户体验分析与预测

针对低成本航空公司官网建设和优化需求,提出一种基于眼动和面部表情(AU)的用户体验分析与预测方法。首先,选择了6个具有代表性的低成本航空公司官网开展体验实验以采集体验过程中的眼动和AU数据。然后,从网页体验过程的眼动行为和情感角度分析官网的用户体验,并与用户的主观评价对比。最后,基于相关性分析提取与用户体验显著相关的眼动和面部表情指标。基于该指标组成的特征向量模式,利用支持向量机方法构建了用户体验的分类预测模型。研究结果表明低成本航空公司官网的建设应该在文字内容、功能区布局、色彩和操作性方面取得平衡才能获得好的用户体验,基于 “眼动+AU”的预测模型能支持用户体验的实时监测和动态评价。     

一种融合视觉和听觉信息的双模态情感识别算法

语音信号和面部表情是人们表达情感的主要途径,也被认为是情感表达的两个主要模态,即听觉模态和视觉模态.目前情感识别的研究方法大多依赖单模态信息,但是单模态情感识别存在信息不全面、容易受噪声干扰等缺点.针对这些问题,提出一种融合听觉模态和视觉模态信息的两模态情感识别方法 .首先利用卷积神经网络和预先训练好的面部表情模型,分别从语音信号和视觉信号中提取相应的声音特征和视觉特征;然后将提取的两类特征进行信息融合和压缩,充分挖掘模态间的相关信息;最后,利用长短期记忆循环神经网络对融合后的听觉视觉双模态特征进行情感识别.该方法能够有效地捕捉听觉模态和视觉模态间的内在关联信息,提高情感识别性能.利用RECOLA数据集对提出的方法进行验证,实验结果证明基于双模态的模型识别的效果比单个的图像或声音识别模型更好.     

情感语音数据库优化及PAD情感模型量化标注

情感语音数据库是情感语音识别研究的基础,建立包含认知心理因素在内的维度情感语音数据库对提高识别率、改善人机交互能力具有重要意义。笔者首先对前期建立的摘引型TYUT2.0数据库进行语音听辨筛选,根据认同率阈值进行数据库优化,得到的情感语音数据库包含四种情感的语句237句,其中"悲伤"62句,"愤怒"58句,"高兴"57句,"惊奇"60句。然后利用PAD三维情感模型对该数据库语音进行标注,得到维度情感语音数据库。该数据库中的每句语音都有对应的听辨认同率以及PAD值。对每句语音的PAD值进行统计分析,证明了该维度情感语音数据库的有效性,为今后研究维度情感识别奠定了基础。     

快乐与愤怒表情识别眼动研究

表情识别是人们进行人际交往的一种重要能力。本研究以大学生为被试,采用眼动实验研究技术,考察两种基本情绪,快乐、愤怒的眼动实验特征。结果发现:大学生在识别快乐、愤怒面部表情时,注视次数差异显著;最大瞳孔距离差异不显著;总注视时间差异显著。     

基于计算机视觉的未识别民族面部特征研究

基于计算机视觉通过特征点定位方法提取图像中的人脸特征点,利用其构建了眉间距、瞳孔间距、眼睛宽度等多项指标来刻画民族人脸特征,并分析了穿青人、南京人、蔡家人和革家人等未识别民族的特征,且与汉族、朝鲜族、藏族、蒙古族、壮族和维族等民族进行了相似性度量。实验表明未识别民族的面部特征分布存在一定规律,但受性别影响,不同民族面部之间的相似性也不尽相同。研究结果不仅证实了利用计算机视觉技术对多民族人脸特征进行分析的可行性,也为民族学人类学的相关研究提供了一种新途径。     

基于表情及姿态融合的情绪识别

情绪识别指在使计算机拥有能够感知和分析人类情绪和意图的能力,从而在娱乐、教育、医疗和公共安全等领域发挥作用.与直观的面部表情相比,身体姿态在情绪识别方面的作用总是被低估.针对公共空间个体人脸分辨率较低、表情识别精度不高的问题,提出了融合面部表情和身体姿态的情绪识别方法.首先,对视频数据进行预处理获得表情通道和姿态通道的输入序列;然后,使用深度学习的方法分别提取表情和姿态的情绪特征;最后,在决策层进行融合和分类.构建了基于视频的公共空间个体情绪数据集(SCU-FABE),在此基础上,结合姿态情绪识别数据增强,实现了公共空间个体情绪的有效识别.实验结果表明,表情和姿态情绪识别取得了94.698%和88.024%的平均识别率;融合情绪识别平均识别率为95.766%,有效融合了面部表情和身体姿态表达的情绪信息,在真实场景视频数据中具有良好的泛化能力和适用性.     

基于人脸运动单元及表情关系模型的自动表情识别

面部表情是人们表达情感和意向最有效、自然、快捷的方式. 表情的发生主体不同,程度不同,导致了表情的自发性. 基于这一难点,建立了一种人脸运动单元(action units,AUs)及面部表情间的概率关系模型,该模型将人脸分为眉眼区域和嘴巴区域两部分,采用Gabor小波提取区域特征,通过K临近(K nearest neighbor,KNN)与贝叶斯网络(Bayesian network,BN)相结合的机器学习算法进行自动AUs表情识别. 这种改进的机器学习算法,通过训练数据以及主观的先验知识进行模型学习,为AUs配以不同的权重,并且根据极大后验概率(maximum a posteriori probability,MAP)选取最优表情. 实验表明,本文所提出的模型对不同主体、不同程度的表情都表现出了较高的识别率,是一种高效且鲁棒性强的自动表情识别系统.      

A mechanism for impaired fear recognition after amygdala damage

Ten years ago, we reported that SM, a patient with rare bilateral amygdala damage, showed an intriguing impairment in her ability to recognize fear from facial expressions. Since then, the importance of the amygdala in processing information about facial emotions has been borne out by a number of lesion and functional imaging studies. Yet the mechanism by which amygdala damage compromises fear recognition has not been identified. Returning to patient SM, we now show that her impairment stems from an inability to make normal use of information from the eye region of faces when judging emotions, a defect we trace to a lack of spontaneous fixations on the eyes during free viewing of faces. Although SM fails to look normally at the eye region in all facial expressions, her selective impairment in recognizing fear is explained by the fact that the eyes are the most important feature for identifying this emotion. Notably, SM's recognition of fearful faces became entirely normal when she was instructed explicitly to look at the eyes. This finding provides a mechanism to explain the amygdala's role in fear recognition, and points to new approaches for the possible rehabilitation of patients with defective emotion perception.     

基于加权K近邻算法的抽象画图像情感分布预测

现有的大部分图像情感分类计算主要致力于预测图像情感的类别,没有考虑观察者对于图像情感不同的主观感受,因此仅对图像进行情感分类并不能满足现实需要.本文提出采用加权K 近邻算法对数据集中每幅抽象画图像进行离散情感的分布预测,首先提取图像的情感特征,不同的K 值,按照距离加权为每幅图像预测对应的情感分布情况,然后与数据集已知的情感分布进行比较.以Abstract 图像库作为数据集进行实验,并验证了算法的有效性.     

基于随机权重分配策略的面目表情识别

为了提高面部表情识别的精确度,提出了一种基于数据增强策略面部表情识别,区别于普通的在线随机数据增强,将实验用到的训练数据集采用附加不同的权重分配策略进行增强数据,并随机生成每次训练时的权重,保证其训练数据的多样性并通过比较实验结果得出哪种权重的分布策略适用于面部表情识别数据集的增强,同时解决了面部表情识别因数据集缺乏多样性识别精度不高等问题,提升了人脸表情识别的准确性和鲁棒性,此外还利用VGG19特征提取网络,通过从数据中学习鲁棒性和区分性特征,来实现高精度的面部表情识别。实验结果表明,使用该方式增强后的数据进行训练的模型在Fer2013和扩展Cohn-Kanade （CK+）数据库上对7种表情的识别率相比其原始数据集均有提升。     

贺州不同族群成员语言掌握情况的计量研究——贺州多族群语言与族群认同关系研究之一

贺州是典型的多族群、多语言地区,被知情的学者称为＂岭南族群博物馆＂。贺州的族群认同呈多样化态势,其中语言认同最为凸显。通过贺州不同族群成员语言掌握情况的计量统计与分析,得出以下基本结论：贺州各族群语言的自我认同度及相互认同度均相对较高,是贺州各族群族群意识及族群向心力强、族群边界相对明晰及族群关系良好的具体体现;贺州不同族群在对他族群语言的认同特征方面具有一定的差异性;贺州各族群及族群语言之间有一定程度的强势弱势之别。     

基于 SVM 新的情感计算方法

传统的情感计算方法主要基于面部表情和肢体动作的变化, 为解决此类方法存在的主观性问题, 以人在 正性和负性情感下的 EEG(Electroencephalagrams)信号作为研究对象, 使用中国情感图片系统, 设计了测试者 观看情感刺激图片的实验, 使用支持向量机算法对数据进行分析, 并根据实验的实际情况提出了将连续的 12 条数据分为一组, 采用其均值进行计算的方法。 实验结果表明, 该方法的识别准确率达到 73. 33%。 这不仅 提供了一种减少情感产生时延导致误差的方法, 同时也为脑电波的分析和优化提供了参考。     

基于粗神经网络的语音情感识别

语音情感识别是从语音信号中提取一些有效的声学特征,然后利用智能计算或者识别的方法对话者的情感状态进行识别。介绍了国内外在该领域中关于语音情感数据库、特征提取、识别方法的研究现状。基于对该领域现状的了解,发现特征提取对识别率有着非常大的影响。录制了1050句语音,每句语音提取了30个特征,从而形成了一个1050×30的数据库。提出了用粗糙集理论中的信息一致性对数据库中的30个特征进行化简,最后得到了12个特征。用神经网络中的BP网络对话者的情感状态进行识别,最高识别率达到了84%。从实验结果发现不同的情感用不同的方法识别结果更好。     

一种基于Fisher准则的二维主元分析表情识别方法

提出了一种基于Fisher准则进行特征选择的二维主元分析表情识别方法.首先对训练样本做二维主元分析,然后再根据Fisher准则,按Fisher比的大小选择特征向量作为投影轴,最后用最近邻方法进行分类.在JAFFE人脸表情静态图像库上进行实验,与按特征值的大小来选择特征向量相比,该方法更有效.