多民族人脸和眼动情感数据库的构建

多民族情感计算和识别研究有利于分析和理解不同民族之间情感表达的差异性,而不同民族之间的情感分析和识别研究需要以多民族情感数据作为数据基础。利用情感诱导视频等方式采集人的面部表情和眼动数据,建立了包含5个民族6种基本表情的多民族情感数据库。其中包含11328幅表情图片和196个眼动轨迹信息。实验过程中对图像和数据文件名构建编码规则,对取得的表情图片数据进行灰度化、人脸关键部位截取等图像处理,同时提取眼动仪记录的眼动数据,将表情图片及眼动轨迹信息进行整理,进而组成多民族情感数据库。该数据库的建立对多民族情感识别和智能人机交互领域的发展起到一定促进作用。     

视觉感兴趣区的提取及其在视频图像质量评估中的应用

通过主观眼动跟踪实验和客观Itti模型分别研究了视频图像的感兴趣区域提取问题.通过研究眼动跟踪实验数据与视频图像的时间同步问题和适当选取人眼在观察视频时所能接受的感兴趣区域个数,分别得出了主、客观实验的视频图像感兴趣区权重矩阵.在此基础上,在传统图像质量评估方法峰值信噪比(PSNR)中加入主观眼动跟踪实验和客观Itti模型得出的感兴趣区权重矩阵,分析和比较了2种感兴趣区权重矩阵对PSNR的影响.实验证明,通过参数设置,主观眼动跟踪实验和客观Itti模型提取的感兴趣区权重矩阵对 PSNR都有明显的改善,改善后的模型不但保持了传统方法的简易性,同时也提高了其与主观感知的相关性.     

校园二维广告兴趣度的眼动研究

目的:考察对广告感兴趣程度不同的个体在观看不同类型的校园广告时的加工情况。方法:利用眼动仪,采用二因素实验设计对40名大学生进行实验。结果:两种广告样式在注视时间、注视次数和感兴趣程度上的差异无统计学意义(P>0.05),而两种广告内容在两种主要眼动指标和感兴趣程度上差异有统计学意义(P<0.05)。结论:感兴趣程度不同的个体对纯文案广告中那些有关公司的区域更加关注。     

基于灰度信息和支持向量机的人眼检测方法

提出一种基于灰度信息和支持向量机的人眼检测方法.首先,利用人眼区域灰度变化比人脸其他部位灰度变化明显的特征,采用图像灰度二阶矩(方差)建立人眼方差滤波器,在固定人眼搜索区域内,应用人眼方差滤波器搜索候选人眼图像;然后,使用训练的支持向量机分类器精确检测人眼区域位置;最后,采用图像灰度信息率定位人眼中心(虹膜中心).该方法在BioID、FERET和IMM人脸数据库中的测试结果显示：没有佩戴眼镜人脸图像正确率分别为98.2%、97.8%和98.9%,406幅佩戴眼镜人脸图像正确率为94.9%;人眼中心定位正确率分别为90.5%、88.3%和96.1%.通过与目前方法比较,该方法获得较好的检测效果.     

基于信息隐藏的图像感兴趣区域保护算法

本文提出一种基于信息隐藏的图像感兴趣区域保护算法。该算法首先通过计算图像的显著图,对显著图进行分割,得到图像的感兴趣区域。然后求出感兴趣区域最小的外接矩形,外接矩形区域作为图像的保护区域。将保护区域内像素转换成二进制数据,根据二进制数据位数和图像的隐藏容量确定隐藏的备份数,将保护区域信息的多个备份隐藏在图像中,实现对图像感兴趣区域的保护。实验效果表明,当图像的保护区域被破坏时,通过提取隐藏的保护区域信息能较好地恢复图像。     

基于人眼特征信息的驾驶人眼视线估计

提出了一种新的基于人眼特征信息的驾驶人眼视线估计的算法,且研究使用普通的摄像头。采用Harris角点检测算法对驾驶人上、下眼睑外轮廓进行角点检测,拟合人眼轮廓曲线;再对人眼区域图像进行色彩空间转换提取灰阶值分量,图像亚像素下进行Hough边缘检测,设定相应的虹膜边缘曲率阈值,准确识别人眼虹膜边缘信息。算法结合虹膜和人眼轮廓信息对驾驶人眼视线进行估计。将提出的算法应用到实车试验中,采用facelab5眼动仪对驾驶人视线估计角度结果进行验证。试验结果表明,所采用的人眼视线角度估计算法在实际的驾驶环境中准确率较高。     

基于方向特征融合的感兴趣区域提取算法

针对图像底层特征对感兴趣区域（ROI）提取的影响程度问题,提出了一种方向特征融合的ROI提取算法.利用眼动实验数据得到实际的ROI图和方向叠加图计算相似度,融合方向叠加图和Stentiford视觉注意图,经反馈和权重调整后,得到不同图像类别的最佳权重和ROI图.根据该算法对图像ROI提取的结果,分析了平均反馈距离和图像位置等方向特征对提取ROI图的不同影响.实验结果表明：该算法的总体效果较好,特别是对于方向特征显著且物体较少的图像,能准确地提取图中ROI.     

视线跟踪技术在人机交互中的研究

人们在观察外部世界时眼睛总是与其它人体活动自然协调地工作,并且眼动所需的认知负荷很低,人眼的注视包含着当前的任务状况以及人的内部状态等信息,因此眼注视是一种非常好的能使人机对话变得简便、自然的候选输入通道。本文介绍了视线跟踪的基本原理、方法,对视线跟踪作为人机交互通道所具有的特点进行了讨论,并指出了其在人机交互领域中的应用及前景。     

视线跟踪技术在人机交互中的研究

人们在观察外部世界时眼睛总是与其它人体活动自然协调地工作,并且眼动所需的认知负荷很低,人眼的注视包含着当前的任务状况以及人的内部状态等信息,因此眼注视是一种非常好的能使人机对话变得简便、自然的候选输入通道.本文介绍了视线跟踪的基本原理、方法,对视线跟踪作为人机交互通道所具有的特点进行了讨论,并指出了其在人机交互领域中的应用及前景.     

人眼对标定界面的注视效果研究

通过眼动跟踪实现精确瞄准注视目标,将成为无人武器的重要操控方式.标定是眼动跟踪的重要环节,受人眼观察及眼动生理特性影响,不同的标定界面会使人眼产生不同的注视效果.通过改变标定界面的背景及标定点的颜色、形状、大小等要素,采用最小二乘回归的方法建立视线估计映射模型进行标定,进行5×5均匀分布25点注视测试,对比分析设计的27组标定界面的注视准确度和精密度,选出最佳标定界面,以此研究人眼对标定界面的注视效果.实验结果表明:27组标定界面中1号界面的注视准确度最好（0.69°±0.43°）,24号界面的注视精密度最好（0.27°±0.083°）;以注视准确度为主、兼顾精密度的准则,1号标定界面为最佳标定界面.      

基于马尔可夫链的驾驶人视觉转移特征

为了不割裂视觉转移过程的连续性,运用动态聚类方法,对驾驶人注视点的视野平面解析坐标进行聚类,实现驾驶人注视区域划分。在考虑驾驶人注视行为在时间轴上关联性的基础上,分析驾驶人注视行为在各注视区域间转移模式的齐次性,运用马尔可夫链理论,探讨各注视区域间视觉转移概率的求解方法,并对5名不同驾驶经验驾驶人的眼动数据进行统计,求得其一步转移概率矩阵和平稳分布,分析驾驶人视觉转移特征。分析结果表明：驾驶人对任一注视目标都需要多次重复注视才能获取足够的信息,且注视点主要集中在前方车道远处、前方车道近处、右侧车道和左侧车道4个区域。     

民航管制员的注视及遗忘特征研究

为了研究管制员在工作过程中的注视及遗忘特征,利用雷达管制模拟机模拟真实情况下的管制工作,设定不同的航空器数量,并利用Tobii X2—60眼动仪记录相关情况下管制员的眼动数据。在数据分析过程中,将航空器和跑道作为兴趣区,对兴趣区实行动态划分,并统计管制员在各区域的注视时长与遗忘时长。结果表明:被试在工作过程中对各兴趣区的注视时长分配不平均;但是对各兴趣区的注视时长分配与航空器出现的次序没有显著关系;而且随着航空器数目的变化,被试注视区域的位置分布也随之改变;且随着航空器数目的增加,被试遗忘的兴趣区数目增加,对兴趣区的总遗忘时长也随之增大。     

基于视频图像的眼动追踪系统算法

为了解决初步眼动追踪问题, 提出基于视频图像的实时性眼动追踪的快速算法。将RGB 色彩空间转换成YCbCr 空间, 利用肤色模型定位人脸。剪裁后, 用Sobel 算子边缘检测算法进行卷积处理, 对图像进行水平投影找到人眼大致位置, 对眼部进行粗定位。对该区域进行灰度投影, 分割左、右眼, 再分别对左、右眼进行定位, 从而得到人眼的精确定位。实验选取15 帧图片作为测试视频序列, 其结果表明, 该算法准确地解决了眼动追踪问题, 满足实时性要求。     

基于可见光源与独立成分分析法的实时人眼检测系统

提出一种基于特征与外貌混合检测确定人眼区域的实时人眼检测方法. 首先,依据可见光源在人眼角膜上反射形成耀点特性,通过图像处理算法提取潜在耀点位置,利用人眼几何特征的确定可能人眼候补区域;然后,提取人眼数据库中具有不同外貌特征的200幅人眼图像,采用FastICA算法估计出提取人眼图像的有效成分分析(ICA)基向量;最后,通过计算人眼候选区域在基向量上投影角度判断出左、右人眼区域准确位置. 实验结果表明,在人脸面部旋转、佩戴眼镜、大范围头部运动和不同光照强度下,实时人眼检测具有较高的检测正确率和较好的鲁棒性.      

基于感兴趣区域的图像检索方法

提出了一种基于感兴趣区域的图像检索方法。在显著度图和相对位置指示图的基础上结合图像的颜色纹理信息,采用基于子区域的区域生长法提取图像感兴趣区域,对图像的特征描述采用感兴趣区域特征和图像整体特征相结合的方法,加入了对图像背景信息的考虑,同时也削弱了分割不准确带来的影响。实验证明该方法对于前景较为清晰或背景具有较大面积单色的图像具有较好的检索效果。     

基于眼动实验的情绪对驾驶员注意力的影响

为预防和降低由于驾驶员不良情绪而引起的交通事故,开展情绪对驾驶员注意力的研究。首先诱发驾驶员产生良好情绪和不良情绪,基于眼动实验分析驾驶员在良好和不良情绪下的注意力状况,得到驾驶员不同情绪下的眼动指标、注视轨迹图和热图分析情绪对注意力的影响关系,最后将实验数据导入SVM进行机器学习。结果表明:良好情绪下驾驶员注视到AOI的人数更多且注视到的AOI区域数更多,在AOI注视的时间更长,注视点个数更多;同时良好情绪下驾驶员首次注视到AOI的时间更短,体现出驾驶员良好情绪下注意力水平优于不良情绪;利用SVM预测驾驶员情绪与注意力状况,测试正确率达到83.34%。本研究对驾驶员不安全驾驶行为的预测和预防具有一定指导作用,有助于减少驾驶员驾驶过程的不安全驾驶行为。     

敌对人群对虚拟攻击场面注意偏向的眼动研究

目的：探讨敌对人群对攻击场面的注意偏向.方法：挑选高敌对、低敌对大学生各16名,让他们观看48张人为布置的箱庭虚拟场面图片,其中包含攻击场面、和平场面的图片各24张,采用眼动追踪技术,采集被试观看图片的眼动数据.结果：两组大学生对攻击场面的注视时间、注视点数均显著多于和平场面,表现出对攻击场面的注意偏向;高敌对组在攻击场面上的首次注视时间显著高于低敌对组,表现出对攻击场面的注意偏向.结论：首次注视时间是鉴别敌对状态的有效指标.     

基于眼动实验的飞机座舱界面字符编码分析

驾驶舱是飞机的命令中枢,驾驶舱显示界面的信息设计质量直接影响到飞行任务的完成,大多数飞行相关信息都以字符形式展现在飞机座舱界面上。为探究飞行员对不同字符编码元素的识别效率,通过飞机座舱界面字符编码、眼动追踪法及行为绩效评估法研究了飞机座舱界面字符大小、笔画宽度、字符间距对飞行员认知效率的影响。结果表明：从行为数据来看,字符字高6.5 mm的字符反应时最短。从眼动实验数据来看,字符字高6.5 mm的字符注视时间最短、注视百分比最小、使受试者瞳孔直径最小;从行为数据来看,字符笔画宽度400W3C的字符反应时最短。从眼动实验数据来看,字符笔画宽度400W3C的字符注视时间最短、注视百分比最小、使受试者瞳孔直径最小;从行为数据来看,字间距100的字符反应时最短。从眼动实验数据来看,字间距100的字符注视时间最短、注视百分比最小、字间距0的字符使受试者瞳孔直径最小。可见不同字符编码识别效率不同,字高6.5 mm、笔画宽度400W3C、字间距100的字符编码识别效率最高,该结论可用于飞机座舱界面的设计中。     

高速公路和隧道交通标志位置有效性的眼动研究

交通标志是交通安全的重要保障,其位置的不同对驾驶员有效获取标志信息具有重要影响。为研究交通标志位置的有效性,选取驾驶员视角的高速公路和隧道交通标志图片制作模拟场景开展眼动实验;将场景中交通标志的区域划为兴趣区域;采集了30个被试的首个注视点的注视顺序、首次进入时间、首个注视点的注视时间、总的注视时间等指标数据;运用SPSS 24.0统计软件和假设检验方法分析实验采集的眼动数据。结果表明:在高速公路场景中交通标志显著有效位置为(3)(右上)和(6)(右中),在隧道内场景中交通标志显著有效位置为(6)(右中)和(4)(左中)。实验结果可以为高速公路、隧道等路段交通标志位置的设置提供一定的科学参考。     

基于感兴趣区域的H.265样点自适应补偿算法优化

针对目前H.265环路滤波器样点自适应补偿(sample adaptive offset,SAO)算法复杂度高、计算量大的问题,提出了一种基于人眼感兴趣区域的样点自适应补偿技术.人眼感兴趣区域在视频的空间域对应纹理复杂的区域,在时间域对应运动剧烈的对象.利用图像的时域和空域的二维信息,使用编码单元深度和运动矢量分别检测...