飞行员使用平视显示器的行为模式识别

为了研究飞行员在使用平视显示器(head up display,HUD)执行不同飞行任务时的行为模式,提出了一种包括飞行员眼动、头部运动和手部运动多种特征的行为识别框架。首先,开展行为模式研究实验,通过眼动仪获取眼部运动和头部运动,通过基于视频的手动跟踪获取手部运动。之后采用实验得到的结果对模型进行训练和测试。最后,对比了条件随机场和隐动态条件随机场在不同特征下的识别效果。结果表明,采用眼动特征加手部特征时,隐动态条件随机场模型对不同飞行任务的识别效果较好。     

基于核相关滤波的飞行员手势跟踪研究

结合飞行员操作过程中手部的运动特点,针对核相关滤波器跟踪算法在目标尺度变化和快速移动时存在的问题,提出了一种结合了手势检测与核相关滤波跟踪算法的飞行员手势跟踪方法。首先,将肤色分割与背景减除进行有效的融合,对静态手势进行快速检测。然后,使用KCF算法对定位的手势区域进行跟踪以获取手势实时位置和轨迹。跟踪过程中比较手势检测与手势识别所得到的手部信息,当出现偏差时对搜索框进行更新。从而实现有效的手势检测与跟踪。实验结果表明,该方法可以实现对飞行员变形手势快速、准确的实时跟踪,对部分遮挡和尺度变化有很好的适应性,能够满足后期飞行员手部行为分析的要求。     

基于眼动实验的飞机座舱界面字符编码分析

驾驶舱是飞机的命令中枢，驾驶舱显示界面的信息设计质量直接影响到飞行任务的完成，大多数飞行相关信息都以字符形式展现在飞机座舱界面上。为探究飞行员对不同字符编码元素的识别效率，通过飞机座舱界面字符编码、眼动追踪法及行为绩效评估法研究了飞机座舱界面字符大小、笔画宽度、字符间距对飞行员认知效率的影响。结果表明：从行为数据来看，字符字高6.5 mm的字符反应时最短。从眼动实验数据来看，字符字高6.5 mm的字符注视时间最短、注视百分比最小、使受试者瞳孔直径最小；从行为数据来看，字符笔画宽度400W3C的字符反应时最短。从眼动实验数据来看，字符笔画宽度400W3C的字符注视时间最短、注视百分比最小、使受试者瞳孔直径最小；从行为数据来看，字间距100的字符反应时最短。从眼动实验数据来看，字间距100的字符注视时间最短、注视百分比最小、字间距0的字符使受试者瞳孔直径最小。可见不同字符编码识别效率不同，字高6.5 mm、笔画宽度400W3C、字间距100的字符编码识别效率最高，该结论可用于飞机座舱界面的设计中。     

基于隐条件随机场的人体行为识别方法

提出了一种基于隐条件随机场的人体行为识别方法。首先,通过目标检测和目标跟踪提取图像序列中人体所在时空区域;其次,提取人体区域的 Gist 特征作为人体行为视觉描述子;最后,利用隐条件随机场模型对人体行为进行建模和识别。通过大规模试验证明了该方法的有效性,与其他方法的对比实验验证了该方法的优越性。     

基于眼动数据的民航飞行学员运动推断能力分析

为提高飞行安全水平,提升飞行学员运动推断能力,通过整合维也纳心理测试系统(Vienna psychological test system,VTS)和眼动仪,构建实验系统。选取民航飞行学员作为被试,获取飞行学员匀速直线、变速曲线运动实验过程中两种形式下的眼动数据,结合被试的不同经验水平,研究分析其在两种形式下的眼动特征数据。结果表明:匀速直线运动实验中,测试时长与平均扫视距离、平均扫视速度显著眼动数据存在负相关性;变速曲线运动实验中,测试时间偏差、距离偏差与平均扫视时间和平均扫视距离显著眼动数据相关性较弱。在现有选拔基础上可增加运动推断能力测试,同时结合显著眼动指标(平均扫视距离、平均扫视速度)进行飞行学员的选拔。     

基于条件随机场的中文科研论文信息抽取

科研论文头部信息和引文信息对基于域的论文检索、统计和引用分析是必不可少的.由于隐马尔可夫模型不能充分利用对抽取有用的上下文特征,因此文中提出了一种基于条件随机场的中文科研论文头部和引文信息抽取方法,该方法的关键在于模型参数估计和特征选择.实验中采用L-BFGS算法学习模型参数,并选择局部、版面、词典和状态转移4类特征作为模型特征集.在信息抽取时先利用分隔符、特定标识符等格式信息对文本进行分块,在分块基础上用条件随机场进行指定域的抽取.实验表明,该方法抽取性能明显优于基于隐马尔可夫模型的方法,且加入不同的特征集对抽取性能提升作用不同.     

基于核相关滤波和多特征融合的飞行员手势跟踪

结合飞行员操作过程中手部的运动特点,针对核相关滤波器跟踪算法在目标尺度变化和快速移动时存在的问题,提出了一种结合了手势检测与核相关滤波跟踪算法的飞行员手势跟踪方法。首先,将肤色分割与背景减除进行有效的融合,对静态手势进行快速检测。然后,使用KCF算法对定位的手势区域进行跟踪,以获取手势实时位置和轨迹。跟踪过程中比较手势检测与手势识别所得到的手部信息,当出现偏差时对搜索框进行更新,从而实现有效的手势检测与跟踪。实验结果表明,该方法可以实现对飞行员变形手势快速、准确地实时跟踪,对部分遮挡和尺度变化有很好的适应性,能够满足后期飞行员手部行为分析的要求。     

Web信息诉求与用户任务交互的眼动模式发现

眼球运动是人类心理与认知状态的外在表现,已有的研究大多分别考察外界信息表象或用户内源状态对眼动的影响,很少有人专注于外界信息的诉求方式与用户任务交互对眼动的影响.本文利用眼动跟踪技术,采用感性诉求与理性诉求两种信息表达方式,给参试者分配喜好任务和匹配任务,考察Web信息的诉求方式与用户任务的交互作用对眼动的影响.实验结果发现:参试者在不同任务条件下观察同一诉求方式的Web信息时,有着不同的眼动模式;且这种眼动模式的差异受到其所观察信息的诉求方式的影响.实验说明:参试者的眼动模式制约于内在任务的同时也受外界信息诉求方式影响,在充分考虑这两者交互作用的前提下,基于眼动数据进行用户分类是可行的.     

基于眼动指标的HUD字符颜色对HUD和HDD相容性影响研究

目的 为研究HUD（Head Up Display）字符颜色对飞行员进行HUD和HDD（Head Down Display）切换时观察信息的认知和扫视流畅性的影响,基于前期关于显示器字符颜色、认知绩效和扫视流畅性的相关研究,开展颜色编码对HUD和HDD相容性影响的评估。方法 设计眼动测量实验,通过模拟仿真平台,让20名被试驾驶模拟机完成进近过程,同时记录被试进行HUD和HDD仪表切换后在HUD界面的眼动数据,且在实验的过程中要求被试又快又准的回答有关仪表信息的提问。结果 相同的飞行任务和实验条件下,当HUD使用不同颜色编码时,被试进行显示器切换后,注视轨迹、注视时间、瞳孔直径和反应时的主效应显著,且不同颜色编码间存在显著性差异;采用绿色时效果最佳,青色编码次之,蓝色和黄色效果最差,说明HUD字符的颜色编码设计对HUD和HDD相容性有显著影响。结论 当颜色色相趋于缓和,视觉刺激较弱时,飞行员进行显示器切换后扫视模式较好,认知绩效水平得到提升,即HUD和HDD相容性较好。反之,则容易引起飞行员的紧张情绪,降低认知绩效,扫视轨迹混乱,搜集信息时视线的流畅性受阻。     

基于眼动指标的平视显示器字符颜色对平视显示器和下视显示器相容性影响分析

为研究平视显示器(head up display,HUD)字符颜色对飞行员进行HUD和下视显示器(head down display,HDD)切换时观察信息的认知和扫视流畅性的影响,基于前期关于显示器字符颜色、认知绩效和扫视流畅性的相关研究,开展颜色编码对HUD和HDD相容性影响的评估。设计眼动测量实验,通过模拟仿真平台,让20名被试驾驶模拟机完成进近过程,同时记录被试进行HUD和HDD仪表切换后在HUD界面的眼动数据,且在实验的过程中要求被试又快又准地回答有关仪表信息的提问。相同的飞行任务和实验条件下,当HUD使用不同颜色编码时,被试进行显示器切换后,注视轨迹、注视时间、瞳孔直径和反应时的主效应显著,且不同颜色编码间存在显著性差异;采用绿色时效果最佳,青色编码次之,蓝色和黄色效果最差,说明HUD字符的颜色编码设计对HUD和HDD相容性有显著影响。当颜色色相趋于缓和,视觉刺激较弱时,飞行员进行显示器切换后扫视模式较好,认知绩效水平得到提升,即HUD和HDD相容性较好。反之,则容易引起飞行员的紧张情绪,降低认知绩效,扫视轨迹混乱,搜集信息时视线的流畅性受阻。     

The influence of visual motion on fast reaching movements to a stationary object

One of the most important functions of vision is to direct actions to objects. However, every time that vision is used to guide an action, retinal motion signals are produced by the movement of the eye and head as the person looks at the object or by the motion of other objects in the scene. To reach for the object accurately, the visuomotor system must separate information about the position of the stationary target from background retinal motion signals-a long-standing problem that is poorly understood. Here we show that the visuomotor system does not distinguish between these two information sources: when observers made fast reaching movements to a briefly presented stationary target, their hand shifted in a direction consistent with the motion of a distant and unrelated stimulus, a result contrary to most other findings. This can be seen early in the hand's trajectory (approximately 120 ms) and occurs continuously from programming of the movement through to its execution. The visuomotor system might make use of the motion signals arising from eye and head movements to update the positions of targets rapidly and redirect the hand to compensate for body movements.     

Predictable eye-head coordination during driving.

Large changes in the direction of gaze are made with a combination of fast saccadic eye movements and rather slower head movements. Since the first study on freely moving subjects, most authors have agreed that the head movement component of gaze is very variable, with a high 'volitional' component. But in some circumstances head and eye movements can be quite predictable, for example when a subject is asked to shift gaze as quickly as possible. Under these conditions, laboratory studies have shown that the eye and head motor-systems both receive gaze-change commands, although they execute them in rather different ways. Here I reconsider the way gaze direction is changed during free movement, but in the performance of a task where the subject is too busy to exert conscious control over head or eye movements. Using a new portable and inexpensive method for recording head and eye movements, I examine the oculomotor behaviour of car drivers, particularly during the large gaze changes made at road junctions. The results show that the pattern of eye and head movements is highly predictable, given only the sequence of gaze targets.     

基于Kinect的人脸眼部状态实时检测

利用Kinect获取人脸红外图像数据及人脸网格信息,通过眼部区域的Haar-like特征值进行眼睛状态识别,研究不同Haar-like特征对人眼状态的敏感度,以及头部旋转时眼睛区域的选取范围进行分析。实验共采集39名测试者的765个眼睛状态作为训练集和测试集,通过实验列出不同特征和组合特征的识别结果,实验结果表明构建的系统可以检测眼睛的不同状态,达到实时检测人眼状态的要求。     

基于眼动交互的增强现实抬头显示系统

为了建立一个面向驾驶员的眼动交互增强现实抬头显示系统。首先给出了实时眼动数据的预处理与分析方法。为符合增强现实抬头显示系统的实际应用条件以及针对不同眼动跟踪设备存在的精度局限性的问题,提出了面向增强现实抬头显示系统的眼动交互界面与配套的眼动识别算法。该方法不仅保证了交互的易用性、准确性、高效性,同时也保证了交互的安全性。在此基础上,设计并实现了基于Tobii眼动仪的增强现实抬头显示交互系统。     

The perception of heading during eye movements.

When a person walks through a rigid environment while holding eyes and head fixed, the pattern of retinal motion flows radially away from a point, the focus of expansion (Fig. 1a). Under such conditions of translation, heading corresponds to the focus of expansion and people identify it readily. But when making an eye/head movement to track an object off to the side, retinal motion is no longer radial (Fig. 1b). Heading perception in such situations has been modelled in two ways. Extra-retinal models monitor the velocity of rotational movements through proprioceptive or efference information from the extraocular and neck muscles and use that information to discount rotation effects. Retinal-image models determine (and eliminate) rotational components from the retinal image alone. These models have been tested by measuring heading perception under two conditions. First, observers judged heading while tracking a point on a simulated ground plane. Second, they fixated a stationary point and the flow field simulated the effects of a tracking eye movement. Extra-retinal models predict poorer performance in the simulated condition because the eyes do not move. Retinal-image models predict no difference in performance because the two conditions produce identical patterns of retinal motion. Warren and Hannon observed similar performance and concluded that people do not require extra-retinal information to judge heading with eye/head movements present, but they used extremely slow tracking eye movements of 0.2-1.2 deg s-1; a moving observer frequently tracks objects at much higher rates (L. Stark, personal communication). Here we examine heading judgements at higher, more typical eye movement velocities and find that people require extra-retinal information about eye position to perceive heading accurately under many viewing conditions.     

基于机器视觉的婴儿全身运动质量智能评估

针对婴儿全身运动质量评估问题，本文基于姿势识别对婴儿运动特征进行提取与分析，提出基于ResNet和反卷积层的婴儿姿势热力图识别模型，平均识别率达到86.9%；利用婴儿的二维姿势坐标，建立基于DenseNet的3D人体姿势识别模型，使用1D卷积网络及1D连接层，实现婴儿的2D姿势坐标到3D姿势坐标的升维推算；使用四元数作为空间向量表示方式，对婴儿主要肢体运动的角度、角速度、角加速度进行提取，并提出基于SVM的由婴儿肢体运动角度特征进行判定的婴儿异常行为识别模型。针对模型参数过多的问题，在保证模型整体识别率的情况下，使用主成分分析的方式对模型进行特征降维，提高整体识别速度，将维度由18维度降低至8维度后，整体运行时间减少近50%，且对于不同的视频样品均能正确分类。     

多民族人脸和眼动情感数据库的构建

多民族情感计算和识别研究有利于分析和理解不同民族之间情感表达的差异性,而不同民族之间的情感分析和识别研究需要以多民族情感数据作为数据基础。利用情感诱导视频等方式采集人的面部表情和眼动数据,建立了包含5个民族6种基本表情的多民族情感数据库。其中包含11328幅表情图片和196个眼动轨迹信息。实验过程中对图像和数据文件名构建编码规则,对取得的表情图片数据进行灰度化、人脸关键部位截取等图像处理,同时提取眼动仪记录的眼动数据,将表情图片及眼动轨迹信息进行整理,进而组成多民族情感数据库。该数据库的建立对多民族情感识别和智能人机交互领域的发展起到一定促进作用。