基于穿戴视觉的人手跟踪与手势识别方法

为了解决人与穿戴计算机的自然交互问题,提出了一种基于穿戴视觉的人手跟踪与手势识别方法.该方法以Icondensation算法为基础,综合利用穿戴视觉系统输出的深度和灰度信息进行人手跟踪,并引入了手势变换模型.该模型可以在几种预先定义的手势之间进行动态变换.实验结果表明,该方法可以有效地实现动态和复杂背景下的人手跟踪与手势识别,为穿戴计算机系统提供自然友好的手势交互途径.     

多点触控手势在复杂系统数字界面中的应用优势

为将多点触控手势引入复杂系统数字界面,运用认知设计和认知评价对手势应用优势进行了论证.分析了手势交互改善大容量数字界面信息显示和用户自然交互行为的认知机理,在设计综合态势管理系统手势交互原型和手势定义的基础上,使用眼动追踪技术和用户体验评价方法,进行了鼠标和手势操作效率的对比测试.实验结果表明:手势操作的注视点数量、注视时间和操作时间3个眼动数据的平均值明显小于鼠标操作,且标准差较小;手势操作失误率为6%,略高于鼠标操作;用户选择手势操作倾向率高达86%.复杂系统数字界面中的手势操作虽然具有非精确性,但与鼠标操作相比,它在降低用户认知负荷、提升态势感知、提高操作效率和用户主观满意度上均具有明显优势.     

基于手势识别的虚拟环境体感交互控制

结合体感交互与虚拟环境技术,提出了一种基于手势识别的虚拟环境体感交互方法,采用Kinect体感设备,实时获取用户的手势数据,通过改进的动态时间规整算法,对所定义的手势语义进行识别,并根据识别结果,发出实时控制指令,实现与虚拟环境的自然交互.在此基础上,实现了基于Kinect手势识别的虚拟矿井交互系统,对交互方法进行测试.实验测试结果表明,手势识别正确率平均高达95.1%,实时性较好,所定义的虚拟矿井手势语义符合人们正常操作习惯,能实现与虚拟环境更加自然的人机交互,可以实现与虚拟矿井自然交互控制.     

基于体感交互的公路真三维设计与系统架构

引入自然交互这一人机交互领域的最新概念,基于Kinect传感器强大的人体识别与关节点空间运动跟踪及坐标定位能力,提出采用体感人机交互技术在三维虚拟空间中进行公路线形几何设计的方法,并给出了公路真三维设计系统架构.讨论了采用手势进行公路设计的流程以及手势识别、视角控制、线形实时动态交互优化编辑等功能模块的功能设计与相互关系.并采用微软SDK和Google Earth作为第三方软件,开发了系统原型并进行实验,实现了人机交互手段与公路设计平台由二维向三维转变,验证了基于体感交互的公路真三维设计方法的可行性.     

面向虚拟装配的层次化交互手势技术

针对目前虚拟装配系统存在的用户体验不足问题,文中将手势识别技术引入虚拟装配的人机交互中,提出了一种面向虚拟装配操作的层次化交互手势模型;根据装配任务和交互模式的特点,提出了二级手势分类策略:先对交互手势进行初步分类再利用情境感知技术判断手势的类型;然后利用运动感知技术对手势的交互语义进行识别;接着通过对用户作业空间的手功能区感知来实现不同交互模式的自然过渡,从而降低用户在交互过程中的认知负担;最后通过自主开发的虚拟装配原型系统对文中提出的交互手势技术进行验证.实验结果表明,文中的层次化交互手势建模与识别方法能有效地增加虚拟装配环境中的人机交互效率和用户体验.     

虚拟地理环境的智能交互研究进展及其耦合联动方案

虚拟地理环境是表示和模拟真实世界的有效工具，如何建立环境到人的刺激评估交互过程是需要考虑的问题.目前多维度、多模式地理环境可视化系统的交互和反馈方式比较割裂，整体认知耦合性仍存在不足.总结虚拟地理环境智能交互研究现状，并对二、三维地理环境联动耦合认知进行研究.提出使用3D打印技术、电子地图技术、二维条形码技术和图像识别技术等构建二、三维耦合模型，探索系统自适应匹配联动耦合认知方案；在模型中采用以眼动控制交互技术为主，辅以语音、手势等自然交互方式，优化资源分配和认知效果，提升地理信息传输和认知交互效率；然后，对虚实地理空间多通道认知负荷进行分析，通过眼动参数指标量化监控、分析和优化认知负荷，提出基于注视点渲染的认知效能优化理论模型，提升交互体验.     

基于手势识别的大屏幕文字输入系统

目前基于手势交互的系统应用越来越多,但都是简单的利用手势操作鼠标进行交互,没有向系统进行文字输入的功能。利用盲人字母手势作为输入手势,采用微软的体感设备Kinect获取深度图像,对其进行手势分割,再利用SIFT提取特征,得到手势字母,利用拼音输入法,提供了一种向系统输入汉字的功能。     

凌空手势识别综述

 普适计算技术和可穿戴设备的快速发展对自然的手势识别技术提出了新的挑战：应使用户尽可能摆脱对环境和输入设备的束缚,与环境进行自然而有效的手势交互。凌空手势（mid-air gestures）识别是应对新挑战的一类有效的手势识别技术。本文首先对凌空手势的定义进行描述,然后分析和总结现有的基于计算机视觉、超声波和电磁信号的三大类凌空手势识别技术,并指出凌空手势识别技术的应用领域、开放性问题及未来发展方向。     

面向三维场景造型的徒手手势交互方法

针对手势交互在场景造型应用中的问题,从3个层面分析并提出解决思路,意图建立一种面向三维场景造型的徒手手势交互方法.首先,在宏观上基于用户活动和系统任务,构造面向场景造型的手势交互框架;其次,在中观上提出完整实用的手势集构造方法,并用此方法为本文系统设计手势集;再次,在微观上针对场景造型中手势识别的"米达斯"接触问题,从时间、空间、手势辅助3方面提出优化方法;最后,通过实验验证了所提出方法的可用性并总结了未来的研究方向.      

基于自然用户界面的手势交互方式思考

随着技术的发展,CPU的处理能力已不是制约计算机应用和发展的障碍,关键的制约因素是人机交互技术,自然直观的人机交互方式成为用户体验设计发展的必然趋势。手势交互这一适应自然用户界面趋势的交互方式,正逐渐受到大家的重视。但在现实使用中,手势操作仍存在一些问题,如操作的不可见性、缺少统一的规范和标准、缺少反馈等。本文力求通过对自然用户界面的思考,对界面隐喻、操作反馈等的研究,找出使手势操作更加自然、更加易于理解的方法。     

基于手部运动交互娱乐设计

为了儿童能够在现有的条件下自然、灵活地利用计算机进行学习、娱乐,采用计算机视觉处理技术设计了一种基于手势的交互模式。该交互模式利用手部无规则的运动信息和人类特有的肤色信息作为计算机输入,用户可以方便地进行菜单选择、游戏设置以及游戏控制,从而可以有效地摆脱键盘、鼠标的束缚。该模式具有不需要手势训练、用户认知负担小、适应能力强等优点。最后基于该交互模式,开发了一个儿童益智学习系统和一个游戏系统。通过多人的参与评估,用户对这种交互模式较为满意。     

单手交互中手持设备正面和背面手势输入的对比研究

针对单手手持设备交互,对比了在设备正面进行手势输入(单手拇指方式)和在背面进行手势输入(单手食指方式)的表现异同。通过5种手势特征(绘制时间、手势尺寸比、闭合手势起点与终点的距离、形状距离、绘制手势与目标手势之间的指示角之差)对实验数据进行分析,结果表明正面拇指比背面食指输入手势要快而且准确。但在某些特征细节上,例如闭合手势起点与终点的距离和指示角差特征,表现相当。手势的输入方式(正面拇指与背面食指输入)与手势复杂度和目标手势尺寸在若干特征上(如绘制时间)有交互效应。这些研究结果为手持设备背面手势交互设计提供了相关指导。     

三维协同设计的多用户并发交互技术研究

三维协同设计是协同设计的一个重要研究方向,支持自然和谐的多用户并发交互是三维协同设计有待解决的重点内容之一。首先提出了三维协同设计的多用户并发交互方法总体框架,将一般意义上的多用户并发交互方法和三维协同设计应用语义紧密结合起来。然后就其中的一致性维护与并发控制、多版本感知及其界面支持、拓扑元素命名与辨识等关键问题进行了研究,提出了相应的解决方案和技术措施。最后就如何基于3D-CAD核心系统开发支持多用户并发交互的协同设计原型工具进行了讨论。     

面向手势交互的古建场景快速搭建方法

随着行业快速发展,虚拟现实应用对人机交互方式的要求越来越高,基于非接触手势控制的交互方式日益普及.针对虚拟环境下三维场景构建问题,提出一种面向Leap Motion体感交互设备的古建筑三维场景快速搭建方法.通过Leap Motion获取手部运动数据,实现物理空间与三维空间的实时映射,以及三维模型交互控制与编辑;提出一种基于概率图模型的古建筑构件推荐方法,通过构造贝叶斯网络,实现古建筑各构件之间的概率关系推理;推荐结果实时反馈用户,用户可通过手势选择相应部件,并在三维空间优化模型位置,最终实现古建筑场景的快速搭建.实验证明,相比二维交互方式,本文方法有效利用三维空间信息,并实现模型推荐,因此更加直观、便捷、高效.      

导弹飞行过程的虚拟现实

基于Vrmlpad软件平台,应用VRML开发导弹飞行过程仿真,通过交互界面的设计、三维对象的建模、模型的数据驱动以及视点的变化,建立了导弹的三维模型,制作了地形、天空等三维仿真场景,该系统能够实现导弹飞行的可视化仿真,可通过视景仿真终端从任意角度和距离观察导弹的飞行过程。     

界面隐喻元命令下的交互虚拟系统的实现

针对界面隐喻元命令下的交互虚拟现实系统,响应界面隐喻对虚拟现实系统发出相应的元命令,利用系统基础类库的消息响应通信机制,并生成用户界面线程.通过调用其单线程控制函数,来对三维场景进行实时控制,结合Vega仿真软件在生成虚拟场景上的优势,来控制与三维场景中对象的交互,实现了基于界面隐喻的虚拟系统的交互,该系统可广泛运用于需要控制各种参数的工程模拟中,具有一定的实用性.     

自然人机交互中实体局域固有频率识别方法

为了实现人-机-环的自然交互,解决按键以及图形界面等交互方法存在的用户学习成本高、操作不便等问题,提出了一种采用主动声传感系统的局域固有频率识别的实体交互方法。该方法首先运用主动声传感技术构造多频率恒频声源信号,以激励交互实体系统按固有频率产生振动响应;然后识别并提取局域固有频率特征,对不同时长和幅值进行参数组合,选择稳定性最佳的组合模式定义成不同交互手势;最后选择KNN算法进行特征分类和识别。设计了以木质台面控制雾化玻璃状态的交互实验,实验结果表明:所提局域固有频率识别方法能有效地过滤噪声,对交互过程中边界条件的改变响应迅速且结果准确;相较于传统操控方法,所提方法的最大优势在于运用了自然人机交互方式,能够有效降低用户的学习成本,使"物物皆界面,处处可交互"成为可能。     

虚拟现实中手的建模

基于手势的交互技术正在成为虚拟现实技术中的研究热点,为使人能通过手以自然直观的方式与虚拟环境进行交互,研究了基于手势的交互技术．人手的结构非常复杂,有２７个自由度．文中在分析了手的解剖结构和运动特点的基础上,将手指简化为连杆－关节操作器,建立了手的运动学模型和几何模型．     

排球扣球动作的三维手势重建系统设计

为了精确、快速、低成本地获得运动员的排球扣球动作三维手势模型并对其进行数字化模拟,需要对排球扣球动作的三维手势进行重建系统设计。传统的基于多台Kinect的排球扣球动作三维手势重建系统设计方法,首先使用两台Kinect分别采集运动员排球扣球动作二维手势图像的点云数据,通过标定得到两台Kinect采集到的排球扣球动作二维手势图像姿态关系;然后基于标定结果,使用迭代最近点算法对两部分排球扣球动作三维手势图像的点云数据进行配准得到完整的排球扣球动作三维模型。存在重建成本高,噪声干扰严重导致重建系统失真严重的问题。为了降低噪声干扰,提高重建精确度,降低成本,提出一种基于立体视觉的排球扣球动作三维手势重建系统设计方法,首先通过传感器或摄像机等设备获取排球扣球动作二维手势图像,并对其进行平滑去噪;然后采用基于2D平面标靶的标定原理,建立摄像机成像的排球扣球动作三维手势图像几何模型并获得其参数;最后利用双目立体视觉算法实现对排球扣球动作三维手势图像的特征提取与匹配,完成三维手势重建。实验结果分析证明,所提方法可以提高排球扣球动作三维手势重建效率,提高重建精确度,降低噪声影响,具有更加广泛的使用价值。     

交互三维速度模型建立方法及软件系统的实现

针对三维地震资料处理,尤其是三维叠前深度偏移处理,提出一套交互三维速度模型建立方法,并在工作站上设计与实现了这套交互三维速度模型建立系统。该系统可按交互方式进行叠加速度、偏移速度和层速度分析,有效地建立三维层位结构和速度模型,实现三维模型的可视化,提高速度模型精度,在实际的三维资料处理中效果良好。