灵巧手操作的可视化仿真系统

在将人手的抓取动作转化成灵巧手的抓取动作指令时,为快速验证手势识别和姿态转换模块的功能,同时避免由于指令的错误可能引起灵巧手的手指相互碰撞或对手指的驱动机构产生损害,特开发了灵巧手的三维仿真系统。采用3D图形软件包OpenInventor作为图形开发工具，实现了灵巧手的姿态模拟和碰撞检测功能。     

弧焊机器人焊枪姿态的自动规划

针对弧焊机器人离线编程中的关键问题，研究了在焊接过程中焊枪姿态的自动规划技术，提出了焊缝和工艺信息的定义与获取、焊枪所在的最佳工作平面、焊枪可行域及其姿态的自动规划等方面的新概念和方法．通过采用这种方法，将三维问题的焊枪姿态规划转化为焊枪工作平面的二维问题来处理，并方便地得到了满足焊接工艺要求、焊枪与工件无碰撞干涉的可行区域，最后结合焊接工艺专家系统就可以最终确定焊枪在每一焊接位置的空间姿态．     

面向手势交互的古建场景快速搭建方法

随着行业快速发展,虚拟现实应用对人机交互方式的要求越来越高,基于非接触手势控制的交互方式日益普及.针对虚拟环境下三维场景构建问题,提出一种面向Leap Motion体感交互设备的古建筑三维场景快速搭建方法.通过Leap Motion获取手部运动数据,实现物理空间与三维空间的实时映射,以及三维模型交互控制与编辑;提出一种基于概率图模型的古建筑构件推荐方法,通过构造贝叶斯网络,实现古建筑各构件之间的概率关系推理;推荐结果实时反馈用户,用户可通过手势选择相应部件,并在三维空间优化模型位置,最终实现古建筑场景的快速搭建.实验证明,相比二维交互方式,本文方法有效利用三维空间信息,并实现模型推荐,因此更加直观、便捷、高效.      

面向视觉手势交互的映射关系自适应调整

在基于机器视觉手势交互中经常需要大幅度手部移动,合适的映射关系对于用户在较舒适的操作范围内完成交互任务是十分必要的.文中结合用户的交互心理测试,提出一种基于用户操作特点的映射关系自适应调整方法:基于Borg's CR-10尺度心理感知实验测试用户的手部移动的感知,根据人体工程学建立一种基于速度调整的映射方程;根据交互过程中的用户手部移动情况,在每次连续交互操作结束后对映射方程进行调整.此外利用Kinect搭建用户测试系统测试该调整方法性能.实验结果表明,文中提出的映射关系调整方法能有效降低用户大幅度手部移动的几率,同时保持了用户的操作表现.     

基于Kinect深度图像信息的手势分割和指尖检测算法

为克服传统二维彩色图像处理算法易受周围环境、光照变化、背景等因素的影响,提出利用Kinect深度图像信息,实现一种快速鲁棒的手势分割与指尖检测算法。首先,根据Kinect得到的深度信息对非人体部分图像进行筛选,得到包含人手的人体图像;然后对当前得到的人体图像进行直方图分析,计算能够区分人手与非人手的阈值,并通过该阈值对人体图像进行分割得到人手图像;最后,对人手图像进行形态学处理,计算掌心位置,并提取手部轮廓,结合人手轮廓关键几何特征对指尖进行有效检测。实验表明,该方法能够实时、有效地对指尖进行检测。     

基于草绘和手势的着装系统

当前虚拟着装工具大多采用WIMP界面,操作复杂,难以学习.而手绘界面是一种更简单、快速的交互方式,更适合概念设计.本文设计并实现了基于草绘和手势的着装原型系统.用户通过手绘的方式直接在3D虚拟角色模型上勾画出衣服轮廓线.系统采用基于尺度空间的角点检测方法准确地预处理和分割轮廓线.利用衣服轮廓线到模型之间的距离推算衣服内部网格点到模型之间的距离信息,由此构建衣服曲面.为加速计算距离值,通过对距离场信息建立索引改进了其存储和访问效率.同时该原型系统允许用户使用手势对衣服轮廓线进行编辑,并且设计和实现了手势训练     

人机自然交互支持的3D虚拟教具设计

现有学习软件或虚拟教具存在交互方式不自然、抽象性差、不智能的缺点,应用基于自然的人机交互技术,以物理教学中的平抛运动教具作为实例,设计实现一种3D虚拟教具用以模拟教学过程中的真实教具。这种虚拟教具主要采用手势识别技术实现人和计算机的自然地交互,同时采用虚拟现实技术构建教具实体。应用人机自然交互技术支持的3D虚拟教具,具有交互方式自然、空间感强和抽象表现力强的特点,体现了和谐自然地人机交互方式在教育中的广泛应用前景。     

舰船姿态的GPS测定方法研究

水面的起伏不平使得舰船上下、左右晃动,从而影响了舰船上的仪器装置对其它目标的测量精度.本文提出了一种用GPS来测定舰船姿态的方法,可为舰船上仪器的精确测量提供必需的校正,从而提高其测量精度.     

Operational Gesture Segmentation and Recognition

Gesture analysis by computer is an important part of the human computer interface (HCI) and a gesture analysis method was developed using a skin-color-based method to extract the area representing the hand in a single image with a distribution feature measurement designed to describe the hand shape in the images. A hidden Markov model (HMM) based method was used to analyze the temporal variation and segmentation of continuous operational gestures. Furthermore, a transition HMM was used to represent the period between gestures, so the method could segment continuous gestures and eliminate non-standard gestures. The system can analyze 2 frames per second, which is sufficient for real time analysis.