一个虚拟手原型的实现

以５ＤＴ 公司生产的数据手套作为手势输入设备,开发了一个虚拟手原型．它以手的运动学模型为基础,采用层次结构法构造手的几何模型,极大地方便了虚拟手的图形显示和实时更新的实现．根据人手的运动约束关系得到各关节弯曲角度的相对比例关系,就能从数据手套得到的７ 个传感数据获得整个手的运动情况,并用静态碰撞检测法处理虚拟手与其他物体的碰撞检测,在运行期间不断地对用户手势进行手势映射计算找到最匹配的手势,执行与该手势对应的动作．本原型简单易行,便于增加手势,最后给出了实现结果．     

虚拟装配环境中的人机交互技术研究

为了解决虚拟装配系统中的人机交互问题,结合虚拟装配环境,给出了数据手套和三维跟踪器的驱动类,阐述了数据手套和三维跟踪器的原始数据获取方法和处理策略.提出了综合使用数据手套和三维跟踪器数据进行手势识别与命令映射的方法;采用非模态的动态透明菜单和对话框作为数据手套和跟踪器的补充方式进行人机交互;讨论了通过虚拟手操作零部件模型的虚拟装配过程.通过开发基于三通道投影的虚拟装配环境,对数据手套、三维跟踪器以及头盔显示器等应用进行了实例验证,验证结果表明上述方法有效可行.     

基于神经网络的手势识别技术研究

以数据手套为基础,分析了手形的几何关系,建立了虚拟手的模型,由数据手套的数据接口获取各指节的曲伸角度,建立手势标准样本库,并提出了基于BP神经网络的手势识别方法,用手势标准样本加以训练,使其具备识别手势的功能,并利用VC 编程实现BP神经网络,用Matlab验证实验结果的正确性.     

基于Quest3D的虚拟人机交互系统中5DT数据手套的应用研究

在基于虚拟现实的遥操作系统的开发中,在客户端的人机交互系统中,数据手套可以同时做为输入输出通道,能够充分发挥手在交互过程中的自然性,向虚实无缝结合跨进一大步。介绍了数据手套在虚拟环境中进行交互的过程。在基于虚拟现实的遥操作原型系统中实现了基于5DTData Glove 16-W的人机交互操作,并对数据手套校准,手势的匹配输入进行了研究,设计了在Quest3D场景中用数据手套进行漫游的程序,利用Quest3D SDK编制了数据手套与虚拟环境交互的接口程序。上述方法对于各种基于数据手套的虚拟人机交互应用程序的设计将具有一定的启发作用。     

机器人离线编程中虚拟现实人机接口研究

研究虚拟现实人机交互技术在机器人离线编程系统中的应用，以提高系统人机交互的自然性和效率。介绍了将六自由度输入设备FASTRAK跟踪系统用于机器人运动路径交互式生成的原理。提出一种场合相关的基于模板匹配的手势识别算法，通过手势向虚拟环境发送交互命令来对虚拟机器人进行离线编程，实现了数据手套在系统中的人机交互。算法简单、实时性好、识别率高、鲁棒性强。方法已在SGI工作站上实现，应用在自主开发的机器人虚拟示教编程系统中，大大提高了离线编程的效率。     

面向虚拟装配的层次化交互手势技术

针对目前虚拟装配系统存在的用户体验不足问题,文中将手势识别技术引入虚拟装配的人机交互中,提出了一种面向虚拟装配操作的层次化交互手势模型;根据装配任务和交互模式的特点,提出了二级手势分类策略:先对交互手势进行初步分类再利用情境感知技术判断手势的类型;然后利用运动感知技术对手势的交互语义进行识别;接着通过对用户作业空间的手功能区感知来实现不同交互模式的自然过渡,从而降低用户在交互过程中的认知负担;最后通过自主开发的虚拟装配原型系统对文中提出的交互手势技术进行验证.实验结果表明,文中的层次化交互手势建模与识别方法能有效地增加虚拟装配环境中的人机交互效率和用户体验.     

五指仿人灵巧手运动学与动力学模型

对气动人工肌肉驱动的五指仿人灵巧手进行了运动学及动力学分析. 在Matlab上进行了仿真计算,建立了灵巧手的运动学模型并求得其解析解;同时用Newton-Euler方法对灵巧手进行了逆动力学分析,得出了灵巧手的动力学方程.通过基于灵巧手动力学模型和气动人工肌肉静态模型的主从控制实验,结果表明,可以通过数据手套采集关节的角度变化信息控制灵巧手完成抓取物体的动作.     

虚拟现实中手的建模

基于手势的交互技术正在成为虚拟现实技术中的研究热点,为使人能通过手以自然直观的方式与虚拟环境进行交互,研究了基于手势的交互技术．人手的结构非常复杂,有２７个自由度．文中在分析了手的解剖结构和运动特点的基础上,将手指简化为连杆－关节操作器,建立了手的运动学模型和几何模型．     

基于BIM的三维仿真系统设计与实现

通过BIM技术能够对建筑物从设计建模到模型各类信息的抽取,虚拟建设,导入虚拟仿真引擎,建立仿真模拟系统,整体了解建筑物受力和碰撞检测,为建筑物的毁伤评估找到模拟仿真途径的证明方法。基于Unity3D引擎开发三维仿真平台,依靠仿真软件平台实现建筑物模型与仿真数据的三维展现。文章试图从研究虚拟仿真技术来解决建筑物设计和毁伤评估问题,探讨了这一新技术可能对建筑整体设计产生的影响,并展望了未来的发展方向。     

基于三维轨迹的相似手势识别研究

为解决动态手势识别中相似手势识别率不高的问题,本文开发了基于Leap Motion设备的动态手势识别系统,即对采集到的所有动态手势的三维运动轨迹数据预处理后,以运动角为固定特征通过HMM模型区分出非相似与相似手势;对于相似手势,设计了基于角点数、子区域百分比、角点序号百分比、轨迹区域长宽比的二次识别系统.验证试验表明,相似手势的最终识别率高达92.56%,二次识别的平均识别率比基于HMM一次识别的平均识别率提高了17%.     

排球扣球动作的三维手势重建系统设计

为了精确、快速、低成本地获得运动员的排球扣球动作三维手势模型并对其进行数字化模拟,需要对排球扣球动作的三维手势进行重建系统设计。传统的基于多台Kinect的排球扣球动作三维手势重建系统设计方法,首先使用两台Kinect分别采集运动员排球扣球动作二维手势图像的点云数据,通过标定得到两台Kinect采集到的排球扣球动作二维手势图像姿态关系;然后基于标定结果,使用迭代最近点算法对两部分排球扣球动作三维手势图像的点云数据进行配准得到完整的排球扣球动作三维模型。存在重建成本高,噪声干扰严重导致重建系统失真严重的问题。为了降低噪声干扰,提高重建精确度,降低成本,提出一种基于立体视觉的排球扣球动作三维手势重建系统设计方法,首先通过传感器或摄像机等设备获取排球扣球动作二维手势图像,并对其进行平滑去噪;然后采用基于2D平面标靶的标定原理,建立摄像机成像的排球扣球动作三维手势图像几何模型并获得其参数;最后利用双目立体视觉算法实现对排球扣球动作三维手势图像的特征提取与匹配,完成三维手势重建。实验结果分析证明,所提方法可以提高排球扣球动作三维手势重建效率,提高重建精确度,降低噪声影响,具有更加广泛的使用价值。     

基于核相关滤波的飞行员手势跟踪研究

结合飞行员操作过程中手部的运动特点,针对核相关滤波器跟踪算法在目标尺度变化和快速移动时存在的问题,提出了一种结合了手势检测与核相关滤波跟踪算法的飞行员手势跟踪方法。首先,将肤色分割与背景减除进行有效的融合,对静态手势进行快速检测。然后,使用KCF算法对定位的手势区域进行跟踪以获取手势实时位置和轨迹。跟踪过程中比较手势检测与手势识别所得到的手部信息,当出现偏差时对搜索框进行更新。从而实现有效的手势检测与跟踪。实验结果表明,该方法可以实现对飞行员变形手势快速、准确的实时跟踪,对部分遮挡和尺度变化有很好的适应性,能够满足后期飞行员手部行为分析的要求。     

Research on Virtual Object Tele-operation Based on Gesture

A tele-operation method of virtual environment based on gesture is presented.Firstly,the design block diagram and the information flow of the virtual environment tele-operation simulation system are given.Secondly,the coordination transformation between virtual gesture and the tele-operated aircraft is presented.Finally,a tele-operation simulation system based on gesture is developed.And the simulation results demonstrate that there is more consistency between the virtual gesture and the moving object.     

Research on Virtual Object Tele-operation Based on Gesture

A tele-operation method of virtual environment based on gesture is presented.Firstly,the design block diagram and the information flow of the virtual environment tele-operation simulation system are given.Secondly,the coordination transformation between virtual gesture and the tele-operated aircraft is presented.Finally,a tele-operation simulation system based on gesture is developed.And the simulation results demonstrate that there is more consistency between the virtual gesture and the moving object.     

基于Kalman滤波器与肤色模型的手势跟踪方法

有效和鲁棒的手势跟踪是动态手势识别的前提,针对手势及其运动的特点,提出了结合Kalman滤波器和肤色模型的手势运动目标跟踪方法.首先通过背景差法和YCb’Cr’空间上的椭圆肤色模型检测出手部运动目标,通过目标区域的空间结构参数来设置Kalman滤波器的各项运动参数,然后计算空间结构特征的跟踪匹配函数对目标预测位置进行修正,获得运动手势目标区域及其运动轨迹.实验结果表明,所提方法能有效地跟踪手势,并能较好地适应手势在运动过程中的手形变化、轨迹转弯等情况,检测准确,鲁棒性高.