基于深度数据的手势识别研究进展

手势是人机交互的重要手段之一。基于视觉的手势识别具有非接触式交互的特点,在人工智能领域得到越来越广泛的应用。然而,受到传统二维光学摄像头的限制,采集到的手势图像质量极易受到光照和杂散背景的影响,这给手势的提取带来了重大挑战,严重制约了基于视觉的手势识别的实用化进程。近年来,深度摄像技术的兴起,为解决上述问题带来了新的机遇。在深度数据的辅助下,基于视觉的手势识别新方法层出不穷,识别的准确度不断提升,有力地促进了基于视觉的手势识别系统的实用化进程。在此背景下,从数据的角度出发,分深度数据的获取、常用手势数据集和基于深度数据的识别方法 3个方面介绍目前基于深度数据的手势识别研究的最新进展,并对其未来发展做了进一步的展望。     

基于高斯混和模型与Blob分析的人手定位

在基于机器视觉的手势识别研究中,手势分割与定位是关键技术。本文在分析肤色的颜色特征和人手运动特性的基础上,提出了一种在视频图像序列中实现手势分割和定位的算法。首先结合肤色检测技术和基于高斯混合模型的运动目标检测技术,获得了图像序列的初始手势区域,之后利用Blob技术实现了最终手势的分割和定位。实验结果显示,该方法具有较高的分割和定位准确度。     

基于视觉的手势识别研究

在对基于视觉的手势识别的几个关键问题进行研究的基础上,尝试将高斯金字塔光流算法与DTW分类算法相结合,应用到动态手势识别中.实验表明,四个动态手势的平均识别率达到了94.5%.     

多尺度模型与矩描绘子相结合的手势识别算法

提出了一种基于单目视觉的手势识别算法.通过用户初始化过程获取基本识别参数,结合视频跟踪的过程实时获取用户手势区域,在该区域内采用矩描绘子与多尺度模型相结合的方法进行特征提取,对于提取出的特征采用分类识别规则,实现对手势1～10的正确识别.经过试验证明,该算法可以适用于不同用户,识别正确率达到93.5%.     

基于ICONDENSATION算法的人手跟踪与手势识别算法

为实现基于手势的智能人机交互,提出了一种基于视觉的人手跟踪与手势识别算法.该方法以ICONDENSATION算法为基础,融合颜色与深度信息进行重要采样,结合轮廓信息并通过ASM模型的能量函数进行观测,根据最大后验概率对几种预定义的手势进行识别.实验结果表明,该算法能够有效地实现复杂背景下的人手跟踪与手势识别,为进一步实现智能人机交互奠定了基础.     

基于HMM的手势识别研究

利用可穿戴式加速度传感器采集手势动作信息,研究了基于隐马尔可夫模型的手势识别技术.首先采集手势加速度数据,采用改进的SWAB算法进行自动端点检测,通过提取相应的手势特征,利用HMM对手势指令建模,并采用K-means算法矢量量化手势特征序列,以提高手势识别性能.实验表明,本文采用的方法能够有效识别手势动作.     

无线遥控车中的手势识别技术

人机交换技术已成为日常生活中一个重要部分。比如,汽车导航技术,医疗器械的设计,游戏娱乐,人脸识别,指纹识别等等技术都体现了人机交换的重要性。又由于手势是包含信息量最多的人体语言。因此,本文主要研究手势的识别,尤其是应用在无线遥控车中的手势识别技术。系统实现的重点和难点在于PC机的手势识别部分。基于遥控车的设计,本文对手势识别技术方案设计如下：在手势建模方面,采用基于表观的手势模型;在手势分析方面,从原始图像中抽取的轮廓、边界、图像矩确定采用的手势特征;在手势识别方面,采用模板匹配的方法进行识别。     

基于栈式稀疏自编码多特征融合的快速手势识别方法

针对复杂背景下手势分割提取效果不佳、图像识别率不高、识别困难等问题,研究多特征融合的快速手势识别方法.利用YCbCr颜色空间模型,构建肤色分布模型,从复杂背景中去除大部分非肤色的干扰,从而实现手势分割;接着采用5层栈式稀疏自编码网络框架,分别提取手势感兴趣区域（region of interest,ROI）的纹理图像、形状图像和显著视觉图像作为自编码网络输入,将提取到的不同类型的特征进行线性融合;最后使用基于径向基核函数（radial basis function,RBF）的支持向量机（support vector machine,SVM）分类器进行融合特征数据分类,从而实现不同类型的手势识别.实验结果表明,相比其他手势识别方法,本文方法识别率较高,提取特征更具有代表性,平均识别率可达95.05%.      

凌空手势识别综述

 普适计算技术和可穿戴设备的快速发展对自然的手势识别技术提出了新的挑战：应使用户尽可能摆脱对环境和输入设备的束缚,与环境进行自然而有效的手势交互。凌空手势（mid-air gestures）识别是应对新挑战的一类有效的手势识别技术。本文首先对凌空手势的定义进行描述,然后分析和总结现有的基于计算机视觉、超声波和电磁信号的三大类凌空手势识别技术,并指出凌空手势识别技术的应用领域、开放性问题及未来发展方向。     

基于深度图像的手势识别综述

手势是一种自然直观的人机交互方式,手势识别是新一代人机交互中的重要技术.深度图像可以方便的实现前景和背景的分割,提高手势识别的性能.从人手分割、特征提取和手势识别三个方面介绍了基于深度图像手势识别的研究现状及其应用,并对其中存在的难点展开讨论.     

基于穿戴视觉的人手跟踪与手势识别方法

为了解决人与穿戴计算机的自然交互问题,提出了一种基于穿戴视觉的人手跟踪与手势识别方法.该方法以Icondensation算法为基础,综合利用穿戴视觉系统输出的深度和灰度信息进行人手跟踪,并引入了手势变换模型.该模型可以在几种预先定义的手势之间进行动态变换.实验结果表明,该方法可以有效地实现动态和复杂背景下的人手跟踪与手势识别,为穿戴计算机系统提供自然友好的手势交互途径.     

基于核相关滤波的飞行员手势跟踪研究

结合飞行员操作过程中手部的运动特点,针对核相关滤波器跟踪算法在目标尺度变化和快速移动时存在的问题,提出了一种结合了手势检测与核相关滤波跟踪算法的飞行员手势跟踪方法。首先,将肤色分割与背景减除进行有效的融合,对静态手势进行快速检测。然后,使用KCF算法对定位的手势区域进行跟踪以获取手势实时位置和轨迹。跟踪过程中比较手势检测与手势识别所得到的手部信息,当出现偏差时对搜索框进行更新。从而实现有效的手势检测与跟踪。实验结果表明,该方法可以实现对飞行员变形手势快速、准确的实时跟踪,对部分遮挡和尺度变化有很好的适应性,能够满足后期飞行员手部行为分析的要求。     

基于傅立叶描述子-BP神经网络的手势识别方法

针对手势识别中人手是复杂变形体,手部特征描述容易受到环境因素影响的特点,提出了一种基于傅立叶描述子-BP神经网络的手势识别方法.首先根据YCbCr和Nrg肤色模型的互补性以及背景模型有效去除复杂背景中的类肤色的特点,利用多特征相融合的手势分割方法提取手势区域;然后结合傅立叶描述子具有较好的轮廓描述能力和BP神经网络较强的自学习能力,利用傅立叶描述子-BP神经网络方法对手势进行识别.实验结果表明此方法具有较好的鲁棒性和较高的识别率.     

A Hand Gesture Based Interactive Presentation System Utilizing Heterogeneous Cameras

In this paper, a real-time system that utilizes hand gestures to interactively control the presentation is proposed. The system employs a thermal camera for robust human body segmentation to handle the complex background and varying illumination posed by the projector. A fast and robust hand localization algorithm is proposed, with which the head, torso, and arm are sequentially localized. Hand trajectories are segmented and recognized as gestures for interactions. A dual-step calibration algorithm is utilized to map the interaction regions between the thermal camera and the projected contents by integrating a Web camera. Experiments show that the system has a high recognition rate for hand gestures, and corresponding interactions can be performed correctly.     

Hand Gesture Recognition Based on Improved FRNN

The trained Gaussian mixture model is used to make skincolour segmentation for the input image sequences. The hand gesture region is extracted, and the relative normalization images are obtained by interpolation operation. To solve the proem of hand gesture recognition, Fuzzy-Rough based nearest neighbour（RNN） algorithm is applied for classification. For avoiding the costly compute, an improved nearest neighbour classification algorithm based on fuzzy-rough set theory （FRNNC） is proposed. The algorithm employs the represented cluster points instead of the whole training samples, and takes the hand gesture data＇s fuzziness and the roughness into account, so the campute spending is decreased and the recognition rate is increased. The 30 gestures in Chinese sign language alphabet are used for approving the effectiveness of the proposed algorithm. The recognition rate is 94.96%, which is better than that of KNN （K nearest neighbor）and Fuzzy- KNN （Fuzzy K nearest neighbor）.     

基于ICODENSATION算法的人手跟踪与手势识别算法

为实现基于手势的智能人机交互，提出了一种基于视觉的人手跟踪与手势识别算法．该方法以ICON—DENSATION算法为基础，融合颜色与深度信息进行重要采样，结合轮廓信息并通过ASM模型的能量函数进行观测，根据最大后验概率对几种预定义的手势进行识别．实验结果表明，该算法能够有效地实现复杂背景下的人手跟踪与手势识别，为进一步实现智能人机交互奠定了基础．     

基于Kalman滤波器与肤色模型的手势跟踪方法

有效和鲁棒的手势跟踪是动态手势识别的前提,针对手势及其运动的特点,提出了结合Kalman滤波器和肤色模型的手势运动目标跟踪方法.首先通过背景差法和YCb’Cr’空间上的椭圆肤色模型检测出手部运动目标,通过目标区域的空间结构参数来设置Kalman滤波器的各项运动参数,然后计算空间结构特征的跟踪匹配函数对目标预测位置进行修正,获得运动手势目标区域及其运动轨迹.实验结果表明,所提方法能有效地跟踪手势,并能较好地适应手势在运动过程中的手形变化、轨迹转弯等情况,检测准确,鲁棒性高.     

基于计算机视觉技术的手形手位跟踪方法

研究一种实现手形手位跟踪方法的计算模型。方法基于计算机视觉技术,实现采集手的运动 图像,在手上设置标志使跟踪识别问题简化,读取图像像素的Ｒ,Ｇ,Ｂ值,根据红色和绿色标志点阈值判断标志点位置。结论与结论该方法降低了对硬件的要求,提高的实时性和可靠性,克服了现有虚拟现实手套的沉重,累赘运动不灵活等缺点,可作为人机互工具应用虚拟现实中。     

Active Appearance Model Based Hand Gesture Recognition

This paper addresses the application of hand gesture recognition in monocular image sequences using Active Appearance Model （AAM）, For this work, the proposed algorithm is composed of constricting AAMs and fitting the models to the interest region. In training stage, according to the manual labeled feature points, the relative AAM is constructed and the corresponding average feature is obtained. In recognition stage, the interesting hand gesture region is firstly segmented by skin and movement cues. Secondly, the models are fitted to the image that includes the hand gesture, and the relative features are extracted. Thirdly, the classification is done by comparing the extracted features and average features. 30 different gestures of Chinese sign language are applied for testing the effectiveness of the method. The Experimental results are given indicating good performance of the algorithm.