多模态人机交互中基于笔输入的手势识别

为研究多模态人机交互系统的理论及构造方法 ,提出了一种快速的、单笔划手势识别方法 .该方法通过提取手势轨迹的关键点及各关键点的运移方向 ,形成特征码 ,然后与标准手势符号的各种可能的特征码进行匹配 .其中方向特征用于预分类 ,而关键点位置信息用于细分类 .实验结果表明该方法速度快、识别率高 .     

移动终端交互设计中手势指令识别方法改进研究

传统的手势指令识别在缩放、旋转、平移等转换过程中,一直存在手势图片出现形变使识别不准确。提出一种新的移动终端交互设计中手势指令识别改进方法。将质心距离函数看作全局特征对二维空间下的手势运动轨迹特征提取,对其进行改进,获取三维空间下手势轨迹特征,増加移动终端交互设计中第三维的手势轨迹信息,得到手势轨迹特征向量。将手势轨迹特征向量作为输入,通过随机森林方法对手势指令识别分类器进行训练,利用训练完成的分类器实现移动终端交互设计中手势指令的识别。实验结果表明,所提方法不仅能够保证移动终端交互设计中手势指令识别的实时性,而且识别精度高,认证效果好。     

移动单目相机下基于单应的动态手势轨迹识别

针对单目相机的移动会造成图像坐标系的全局运动,对手势识别中运动轨迹的观测产生影响,不能满足手势交互的应用需要的问题,建立并证明了一种基于单应的目标运动轨迹观测模型.该模型通过分析目标平面运动时相邻帧之间的射影关系,利用单应矩阵求解与特征点的重投影,求得相邻帧之间的目标相对运动矢量,得到世界坐标系下的目标运动轨迹.为验证该模型的有效性,基于该模型提出了一种利用移动相机进行动态手势轨迹识别的方法.实验结果表明:使用该方法进行动态手势轨迹识别的识别率为89%,处理速度达到72.28帧/s,在移动相机环境下保证了手势识别系统的识别率与实时性.     

基于手势识别的大屏幕文字输入系统

目前基于手势交互的系统应用越来越多,但都是简单的利用手势操作鼠标进行交互,没有向系统进行文字输入的功能。利用盲人字母手势作为输入手势,采用微软的体感设备Kinect获取深度图像,对其进行手势分割,再利用SIFT提取特征,得到手势字母,利用拼音输入法,提供了一种向系统输入汉字的功能。     

面向三维场景造型的徒手手势交互方法

针对手势交互在场景造型应用中的问题,从3个层面分析并提出解决思路,意图建立一种面向三维场景造型的徒手手势交互方法.首先,在宏观上基于用户活动和系统任务,构造面向场景造型的手势交互框架;其次,在中观上提出完整实用的手势集构造方法,并用此方法为本文系统设计手势集;再次,在微观上针对场景造型中手势识别的"米达斯"接触问题,从时间、空间、手势辅助3方面提出优化方法;最后,通过实验验证了所提出方法的可用性并总结了未来的研究方向.      

凌空手势识别综述

 普适计算技术和可穿戴设备的快速发展对自然的手势识别技术提出了新的挑战：应使用户尽可能摆脱对环境和输入设备的束缚,与环境进行自然而有效的手势交互。凌空手势（mid-air gestures）识别是应对新挑战的一类有效的手势识别技术。本文首先对凌空手势的定义进行描述,然后分析和总结现有的基于计算机视觉、超声波和电磁信号的三大类凌空手势识别技术,并指出凌空手势识别技术的应用领域、开放性问题及未来发展方向。     

基于Kalman滤波器与肤色模型的手势跟踪方法

有效和鲁棒的手势跟踪是动态手势识别的前提,针对手势及其运动的特点,提出了结合Kalman滤波器和肤色模型的手势运动目标跟踪方法.首先通过背景差法和YCb’Cr’空间上的椭圆肤色模型检测出手部运动目标,通过目标区域的空间结构参数来设置Kalman滤波器的各项运动参数,然后计算空间结构特征的跟踪匹配函数对目标预测位置进行修正,获得运动手势目标区域及其运动轨迹.实验结果表明,所提方法能有效地跟踪手势,并能较好地适应手势在运动过程中的手形变化、轨迹转弯等情况,检测准确,鲁棒性高.     

基于手势识别的智能输入系统

随着虚拟环境的发展,人机交互中键盘远远不能满足人们的要求,本文提出了一种基于手势识别方法的智能输入算法.该算法采用肤色分割提取出手部区域,检测大拇指和伸出的手指数目识别出手势的含义,把各种手势组合起来实现智能输入.该算法能够使用户根据自己的习惯来定义手势,更好的实现人机交互.实验结果表明该算法对获取手势图片时的外界干扰具有一定的鲁棒性,并能达到较高的成功率.     

机器人离线编程中虚拟现实人机接口研究

研究虚拟现实人机交互技术在机器人离线编程系统中的应用，以提高系统人机交互的自然性和效率。介绍了将六自由度输入设备FASTRAK跟踪系统用于机器人运动路径交互式生成的原理。提出一种场合相关的基于模板匹配的手势识别算法，通过手势向虚拟环境发送交互命令来对虚拟机器人进行离线编程，实现了数据手套在系统中的人机交互。算法简单、实时性好、识别率高、鲁棒性强。方法已在SGI工作站上实现，应用在自主开发的机器人虚拟示教编程系统中，大大提高了离线编程的效率。     

基于改进的SOM和ART的动态手势识别

提出一种动态手势识别算法,将动态手势识别问题转换为轨迹识别间题.首先以SOM算法作为分类器提取手势特征,将多维手势信息投影到二维平面中,根据每帧的顺序产生一平面轨迹,将产生的平面轨迹输人到改进的ART网络进行识别.实验结果表明,该算法用于动态手势识别是可行的且性能稳定.     

一种新的基于轮廓特征的指尖及手指指向检测方法

传统基于K-Curvature以及凸包理论的指尖识别算法往往存在严重漏检问题.针对此问题,提出一种新的基于手指轮廓特征的指尖及手指指向检测方法,关键步骤包括轮廓平滑、直线区域检测、手指指向及指尖定位三部分,可实现精确快速的指尖识别过程.通过对不同姿态手势进行实验验证,所提算法能在准确定位指尖位置的同时,得到手指指向信息.满足人机交互系统对指尖点及手指指向获取的实时性要求,并对不同手指指向具有较强的自适应性.     

基于光流及耦合隐马尔可夫模型的动态手势识别

基于块的相关算法来计算光流，并利用光流跟踪双手的运动．双手的运动轨迹取相邻两点的速度向量，经8方向链码量化后作为观察向量．和直接利用位置信息相比较，提高了识别的鲁棒性．采用耦合隐马尔可夫模型来识别双手动态手势，提出并实现了最大后验概率的训练．对6个双手动态手势的试验表明，耦合隐马尔可夫模型(CHMM)比常规隐马尔可夫模型(HMM)能更有效地对双手动态手势建模．     

复杂背景下实时运动手指与指尖提取

由于指势可作为理想人机交互模式,研究指势识别具有重要意义,其中手指分割是关键.该文根据场景中任何可察觉的目标运动,都会体现在场景图像序列的变化中及彩色图像中红、绿、蓝三分量光强度在阴影区域存在差异,提出基于长序列多帧差分融合RGB彩色信息,建立自适应背景建模方法,从复杂背景中提取运动目标.根据手指在视频图像中的空间位置关系,提出自适应矩形结构元素对运动目标区域开运算,实现水平分割,以提取手指区域并确定手指尖位置.通过对不同背景的运动手指与指尖分割与提取,证实文中所提方法的鲁棒性.     

排球扣球动作的三维手势重建系统设计

为了精确、快速、低成本地获得运动员的排球扣球动作三维手势模型并对其进行数字化模拟,需要对排球扣球动作的三维手势进行重建系统设计。传统的基于多台Kinect的排球扣球动作三维手势重建系统设计方法,首先使用两台Kinect分别采集运动员排球扣球动作二维手势图像的点云数据,通过标定得到两台Kinect采集到的排球扣球动作二维手势图像姿态关系;然后基于标定结果,使用迭代最近点算法对两部分排球扣球动作三维手势图像的点云数据进行配准得到完整的排球扣球动作三维模型。存在重建成本高,噪声干扰严重导致重建系统失真严重的问题。为了降低噪声干扰,提高重建精确度,降低成本,提出一种基于立体视觉的排球扣球动作三维手势重建系统设计方法,首先通过传感器或摄像机等设备获取排球扣球动作二维手势图像,并对其进行平滑去噪;然后采用基于2D平面标靶的标定原理,建立摄像机成像的排球扣球动作三维手势图像几何模型并获得其参数;最后利用双目立体视觉算法实现对排球扣球动作三维手势图像的特征提取与匹配,完成三维手势重建。实验结果分析证明,所提方法可以提高排球扣球动作三维手势重建效率,提高重建精确度,降低噪声影响,具有更加广泛的使用价值。     

一个虚拟手原型的实现

以５ＤＴ 公司生产的数据手套作为手势输入设备,开发了一个虚拟手原型．它以手的运动学模型为基础,采用层次结构法构造手的几何模型,极大地方便了虚拟手的图形显示和实时更新的实现．根据人手的运动约束关系得到各关节弯曲角度的相对比例关系,就能从数据手套得到的７ 个传感数据获得整个手的运动情况,并用静态碰撞检测法处理虚拟手与其他物体的碰撞检测,在运行期间不断地对用户手势进行手势映射计算找到最匹配的手势,执行与该手势对应的动作．本原型简单易行,便于增加手势,最后给出了实现结果．     

液压挖掘机挖掘力计算新方法

以工作区域和挖掘点为对象,提出了一种研究理论挖掘力大小及其分布规律的新方法.首先求得挖掘点的空间位置,再利用逆运动学原理求解每个挖掘点对应的挖掘姿态,根据对应的限制不等式组求解每个挖掘姿态的理论挖掘力,最后得到每个挖掘点的理论挖掘力和整个挖掘区域的挖掘力分布规律.以某36t反铲液压挖掘机为例,验证了相邻挖掘点或相似挖掘姿态的理论挖掘力相近的假设.结果表明:在大多数挖掘点上新方法得到的理论挖掘力比传统方法有较大程度(20.2%)的提高,且更能准确地反映挖掘机在给定挖掘点上所能发挥的最大挖掘力.     

Operational Gesture Segmentation and Recognition

Gesture analysis by computer is an important part of the human computer interface (HCI) and a gesture analysis method was developed using a skin-color-based method to extract the area representing the hand in a single image with a distribution feature measurement designed to describe the hand shape in the images. A hidden Markov model (HMM) based method was used to analyze the temporal variation and segmentation of continuous operational gestures. Furthermore, a transition HMM was used to represent the period between gestures, so the method could segment continuous gestures and eliminate non-standard gestures. The system can analyze 2 frames per second, which is sufficient for real time analysis.