虚拟装配环境中的人机交互技术研究

为了解决虚拟装配系统中的人机交互问题,结合虚拟装配环境,给出了数据手套和三维跟踪器的驱动类,阐述了数据手套和三维跟踪器的原始数据获取方法和处理策略.提出了综合使用数据手套和三维跟踪器数据进行手势识别与命令映射的方法;采用非模态的动态透明菜单和对话框作为数据手套和跟踪器的补充方式进行人机交互;讨论了通过虚拟手操作零部件模型的虚拟装配过程.通过开发基于三通道投影的虚拟装配环境,对数据手套、三维跟踪器以及头盔显示器等应用进行了实例验证,验证结果表明上述方法有效可行.     

液压挖掘机挖掘力计算新方法

以工作区域和挖掘点为对象,提出了一种研究理论挖掘力大小及其分布规律的新方法.首先求得挖掘点的空间位置,再利用逆运动学原理求解每个挖掘点对应的挖掘姿态,根据对应的限制不等式组求解每个挖掘姿态的理论挖掘力,最后得到每个挖掘点的理论挖掘力和整个挖掘区域的挖掘力分布规律.以某36t反铲液压挖掘机为例,验证了相邻挖掘点或相似挖掘姿态的理论挖掘力相近的假设.结果表明:在大多数挖掘点上新方法得到的理论挖掘力比传统方法有较大程度(20.2%)的提高,且更能准确地反映挖掘机在给定挖掘点上所能发挥的最大挖掘力.     

桌面虚拟现实系统中数据手套的应用研究

在人机交互中数据手套的引入,能够充分发挥手在交互过程中的自然性。介绍了数据手套在虚拟环境中进行交互的过程。在变电所培训系统中实现了基于5DT Data Glove 5的人机交互操作,并设计了数据手套校准函数和校准步骤,设计了在VRT场景中用手势进行漫游的程序,利用VRT SDK编制了获取数据手套传感器测量值的程序。上述方法对于其它虚拟系统引入数据手套的设计将具有一定的启发作用。     

虚拟现实中多通道实时手势绘图技术研究

主要阐述了如何将人物在现实世界的手部行为,用虚拟世界中的化身实时反映出来并产生真实的绘图效果,详细讨论了使用多通道的输入方式将手型识别和手部运动轨迹转化为虚拟世界的绘图元素,以及在虚拟世界中动态绘图的显示方式。最后给出一个演示程序,展示了本技术在虚拟现实绘图中的应用效果,增强操作者的沉浸感。     

多模态人机交互中基于笔输入的手势识别

为研究多模态人机交互系统的理论及构造方法 ,提出了一种快速的、单笔划手势识别方法 .该方法通过提取手势轨迹的关键点及各关键点的运移方向 ,形成特征码 ,然后与标准手势符号的各种可能的特征码进行匹配 .其中方向特征用于预分类 ,而关键点位置信息用于细分类 .实验结果表明该方法速度快、识别率高 .     

一种中国手语单手词汇识别系统

利用数据手套，视觉设备和肘部弯曲传感器作为输入设备，提出了一种基于特征匹配和信息融合的中国手语单手词汇识别系统，首先利用手姿信息和手势信息的类型判别来确定待识词所属类别，并选择相应的词库，然后根据所属类别将待识词和库中词的相应特征按一定的规则进行匹配；最后利用D-S证据理论将各特征的匹配结果进行融合，选择具有最大基本概率赋值的词汇作为输出，实验结果表明，该系统不但具有较好的实时性和灵活性，而且识别率比较高。     

基于特征联合和偏最小二乘降维的手势识别

针对以往手势识别研究中更关注识别率而弱化实时性的情况,首次将偏最小二乘降维思想引入手势识别领域,提出一种基于特征联合和偏最小二乘降维的手势识别方法。首先进行手势分割,在此基础上提取手势样本的梯度方向直方图和局部二值模式特征,并将二者进行联合。然后采用偏最小二乘法对手势联合特征进行降维,并将降维后的手势训练样本特征输入到支持向量机中进行分类训练。最后用训练好的支持向量机对降维后的手势测试样本进行识别测试。基于Jochen Triesch手势库及自制手势库的实验结果表明,同已有方法相比,本文所提方法在取得较高手势识别率的同时也取得了较好的实时性。     

多尺度模型与矩描绘子相结合的手势识别算法

提出了一种基于单目视觉的手势识别算法.通过用户初始化过程获取基本识别参数,结合视频跟踪的过程实时获取用户手势区域,在该区域内采用矩描绘子与多尺度模型相结合的方法进行特征提取,对于提取出的特征采用分类识别规则,实现对手势1～10的正确识别.经过试验证明,该算法可以适用于不同用户,识别正确率达到93.5%.     

基于傅立叶描述子-BP神经网络的手势识别方法

针对手势识别中人手是复杂变形体,手部特征描述容易受到环境因素影响的特点,提出了一种基于傅立叶描述子-BP神经网络的手势识别方法.首先根据YCbCr和Nrg肤色模型的互补性以及背景模型有效去除复杂背景中的类肤色的特点,利用多特征相融合的手势分割方法提取手势区域;然后结合傅立叶描述子具有较好的轮廓描述能力和BP神经网络较强的自学习能力,利用傅立叶描述子-BP神经网络方法对手势进行识别.实验结果表明此方法具有较好的鲁棒性和较高的识别率.     

A Hand Gesture Based Interactive Presentation System Utilizing Heterogeneous Cameras

In this paper, a real-time system that utilizes hand gestures to interactively control the presentation is proposed. The system employs a thermal camera for robust human body segmentation to handle the complex background and varying illumination posed by the projector. A fast and robust hand localization algorithm is proposed, with which the head, torso, and arm are sequentially localized. Hand trajectories are segmented and recognized as gestures for interactions. A dual-step calibration algorithm is utilized to map the interaction regions between the thermal camera and the projected contents by integrating a Web camera. Experiments show that the system has a high recognition rate for hand gestures, and corresponding interactions can be performed correctly.