基于光流及耦合隐马尔可夫模型的动态手势识别

基于块的相关算法来计算光流，并利用光流跟踪双手的运动．双手的运动轨迹取相邻两点的速度向量，经8方向链码量化后作为观察向量．和直接利用位置信息相比较，提高了识别的鲁棒性．采用耦合隐马尔可夫模型来识别双手动态手势，提出并实现了最大后验概率的训练．对6个双手动态手势的试验表明，耦合隐马尔可夫模型(CHMM)比常规隐马尔可夫模型(HMM)能更有效地对双手动态手势建模．     

Hybrid Genetic Algorithm Based Optimization of Coupled HMM for Complex Interacting Processes Recognition

Coupled Hidden Markov Model (CHMM) is the extension of traditional HMM, which is mainly used for complex interactive process modeling such as two-hand gestures. However, the problems of finding optimal model parameter arc still of great interest to the researches in this area. This paper proposes a hybrid genetic algorithm (HGA) for the CHMM training. Chaos is used to initialize GA and used as mutation operator. Experiments on Chinese Tai‘Chi gestures show that standard GA (SC, A) based CHMM training is superior to Maximum Likelihood (ML) HMM training. HGA approach has the highest recognition rate of 98.0769%, then 96. 1538% for SGA. The last one is ML method, only with a recognition rate of 69.2308 %.     

一个虚拟手原型的实现

以５ＤＴ 公司生产的数据手套作为手势输入设备,开发了一个虚拟手原型．它以手的运动学模型为基础,采用层次结构法构造手的几何模型,极大地方便了虚拟手的图形显示和实时更新的实现．根据人手的运动约束关系得到各关节弯曲角度的相对比例关系,就能从数据手套得到的７ 个传感数据获得整个手的运动情况,并用静态碰撞检测法处理虚拟手与其他物体的碰撞检测,在运行期间不断地对用户手势进行手势映射计算找到最匹配的手势,执行与该手势对应的动作．本原型简单易行,便于增加手势,最后给出了实现结果．     

A Hand Gesture Based Interactive Presentation System Utilizing Heterogeneous Cameras

In this paper, a real-time system that utilizes hand gestures to interactively control the presentation is proposed. The system employs a thermal camera for robust human body segmentation to handle the complex background and varying illumination posed by the projector. A fast and robust hand localization algorithm is proposed, with which the head, torso, and arm are sequentially localized. Hand trajectories are segmented and recognized as gestures for interactions. A dual-step calibration algorithm is utilized to map the interaction regions between the thermal camera and the projected contents by integrating a Web camera. Experiments show that the system has a high recognition rate for hand gestures, and corresponding interactions can be performed correctly.     

基于穿戴视觉的人手跟踪与手势识别方法

为了解决人与穿戴计算机的自然交互问题,提出了一种基于穿戴视觉的人手跟踪与手势识别方法.该方法以Icondensation算法为基础,综合利用穿戴视觉系统输出的深度和灰度信息进行人手跟踪,并引入了手势变换模型.该模型可以在几种预先定义的手势之间进行动态变换.实验结果表明,该方法可以有效地实现动态和复杂背景下的人手跟踪与手势识别,为穿戴计算机系统提供自然友好的手势交互途径.     

一种基于改进结构的级联手势回归算法

基于手势特征和回归算法,通过改进传统的3D手势级联回归算法学习效率低的缺陷,提出一种新的基于手势变化特征的手部结构特征算子,有效减少了手部特征算子的维度,并对传统级联回归器进行了适应于手势变化的结构改进,使其针对手部结构的识别效率显著提高.在公开数据库及自建数据库分别进行实验,实验结果表明,该算法在保持手势识别准确度的同时,能有效提高执行效率.     

基于核相关滤波的飞行员手势跟踪研究

结合飞行员操作过程中手部的运动特点,针对核相关滤波器跟踪算法在目标尺度变化和快速移动时存在的问题,提出了一种结合了手势检测与核相关滤波跟踪算法的飞行员手势跟踪方法。首先,将肤色分割与背景减除进行有效的融合,对静态手势进行快速检测。然后,使用KCF算法对定位的手势区域进行跟踪以获取手势实时位置和轨迹。跟踪过程中比较手势检测与手势识别所得到的手部信息,当出现偏差时对搜索框进行更新。从而实现有效的手势检测与跟踪。实验结果表明,该方法可以实现对飞行员变形手势快速、准确的实时跟踪,对部分遮挡和尺度变化有很好的适应性,能够满足后期飞行员手部行为分析的要求。     

应用计算机视觉的动态手势识别综述

从手势识别系统框架模型、手势分割、手势建模与分析和手势识别等几个方向,系统地综述当前计算机视觉动态手势识别技术的研究现状,分析其存在的不足,提出了进一步研究的问题.结果表明:基于简易可穿戴设备的手势识别、基于深度视觉传感器的手势识别和多方法交叉融合的手势识别将是未来该领域的发展趋势.     

基于手势识别的智能输入系统

随着虚拟环境的发展,人机交互中键盘远远不能满足人们的要求,本文提出了一种基于手势识别方法的智能输入算法.该算法采用肤色分割提取出手部区域,检测大拇指和伸出的手指数目识别出手势的含义,把各种手势组合起来实现智能输入.该算法能够使用户根据自己的习惯来定义手势,更好的实现人机交互.实验结果表明该算法对获取手势图片时的外界干扰具有一定的鲁棒性,并能达到较高的成功率.     

基于模糊条件随机场的手势标注

在连续手势自动识别中,如果可以借助自然语言对手势进行描述,这将更接近于人们对手势认知的方法,这在一定程度上将有助于提高识别的准确性。通过使用模糊集与条件随机场相结合的方法实现了对连续手势的标注、分割。FCRF首先采用模糊集对手势进行描述,实现了自然语言对手势的描述,然后通过对条件随机场中状态和状态转移参数的修改实现了采用模糊特征的连续手势序列标注。实验结果显示,与现有的分割模型相比较,FCRF模型对手势序列标注具有较高的正确率,通过ROC特性曲线的分析,FCRF有较好的分类性能。     

基于傅立叶描述子-BP神经网络的手势识别方法

针对手势识别中人手是复杂变形体,手部特征描述容易受到环境因素影响的特点,提出了一种基于傅立叶描述子-BP神经网络的手势识别方法.首先根据YCbCr和Nrg肤色模型的互补性以及背景模型有效去除复杂背景中的类肤色的特点,利用多特征相融合的手势分割方法提取手势区域;然后结合傅立叶描述子具有较好的轮廓描述能力和BP神经网络较强的自学习能力,利用傅立叶描述子-BP神经网络方法对手势进行识别.实验结果表明此方法具有较好的鲁棒性和较高的识别率.     

基于方向链码的书空手势识别

介绍了Leapmotion交互设备的结构及运行机制,在该设备产生的交互空间中的x-y平面上定义8个方向的方向链码,通过该设备检测手指在空间中的位置变化,确定手指的移动方向,并结合方向链码定义动态书空手势。为了消除手指在空间运动的不稳定性而导致的噪声干扰,将手指在平面上的位置信息映射到计算机屏幕上显示出手指的移动轨迹,对轨迹进行分段处理,根据分段的比重提取主要移动方向描述输入手势,采用顺序匹配算法对输入手势与模板手势进行匹配,识别输入的书空手势。     

有限态文法引导的基于连续密度HMM的连续汉语语音识别

介绍了用有限态文法引导的基于连续密度隐马尔可夫模型(HMM)的连续汉语语音识别系统.分析了系统的组成,词语的HMM的训练方法和对识别系统的测试结果。实验表明,用有限态文法辅助进行连续语音识别是一种有效的策略;连续密度HMM与基于矢量量化的HMM/VQ相比需要较大的计算量,但可明显提高识别准确率。     

Hand Gesture Recognition Based on Improved FRNN

The trained Gaussian mixture model is used to make skincolour segmentation for the input image sequences. The hand gesture region is extracted, and the relative normalization images are obtained by interpolation operation. To solve the proem of hand gesture recognition, Fuzzy-Rough based nearest neighbour（RNN） algorithm is applied for classification. For avoiding the costly compute, an improved nearest neighbour classification algorithm based on fuzzy-rough set theory （FRNNC） is proposed. The algorithm employs the represented cluster points instead of the whole training samples, and takes the hand gesture data＇s fuzziness and the roughness into account, so the campute spending is decreased and the recognition rate is increased. The 30 gestures in Chinese sign language alphabet are used for approving the effectiveness of the proposed algorithm. The recognition rate is 94.96%, which is better than that of KNN （K nearest neighbor）and Fuzzy- KNN （Fuzzy K nearest neighbor）.     

基于栈式稀疏自编码多特征融合的快速手势识别方法

针对复杂背景下手势分割提取效果不佳、图像识别率不高、识别困难等问题,研究多特征融合的快速手势识别方法.利用YCbCr颜色空间模型,构建肤色分布模型,从复杂背景中去除大部分非肤色的干扰,从而实现手势分割;接着采用5层栈式稀疏自编码网络框架,分别提取手势感兴趣区域（region of interest,ROI）的纹理图像、形状图像和显著视觉图像作为自编码网络输入,将提取到的不同类型的特征进行线性融合;最后使用基于径向基核函数（radial basis function,RBF）的支持向量机（support vector machine,SVM）分类器进行融合特征数据分类,从而实现不同类型的手势识别.实验结果表明,相比其他手势识别方法,本文方法识别率较高,提取特征更具有代表性,平均识别率可达95.05%.      

Active Appearance Model Based Hand Gesture Recognition

This paper addresses the application of hand gesture recognition in monocular image sequences using Active Appearance Model （AAM）, For this work, the proposed algorithm is composed of constricting AAMs and fitting the models to the interest region. In training stage, according to the manual labeled feature points, the relative AAM is constructed and the corresponding average feature is obtained. In recognition stage, the interesting hand gesture region is firstly segmented by skin and movement cues. Secondly, the models are fitted to the image that includes the hand gesture, and the relative features are extracted. Thirdly, the classification is done by comparing the extracted features and average features. 30 different gestures of Chinese sign language are applied for testing the effectiveness of the method. The Experimental results are given indicating good performance of the algorithm.     

连续语音的三音子DDBHMM识别方法

针对目前连续语音识别中广泛使用的齐次HMM(hidden Markov model)模型识别精度低的现状,该文提出了三音子DDBHMM(duration distribution based HMM)识别方法。根据汉语的特点,设计了适用于连续语音识别的三音子。描述了识别中使用的MLSS(most likely statesequence)准则。设计了识别网络并阐明了用于三音子识别的帧同步识别算法。将三音子DDBHMM识别方法与三音子齐次HMM识别方法和双音子DDBHMM识别方法进行了实验对比,结果表明:采用三音子DDBHMM可以使得识别错误率分别下降0.95%和2.29%。说明该方法能够显著地改进连续语音识别性能。     

基于改进MMI的HMM训练算法及其在面部表情识别中的应用

提出一种改进的最大互信息(MMI)准则函数并把它应用于隐马尔可夫模型(HMM)的参数估计,重新推导了HMM的迭代公式. 该准则函数相对于原来准则函数定义更为合理,能有效利用训练样本集中的鉴别信息,使得训练数据得到充分利用,提高了HMM的性能. 把这种改进的HMM算法应用于面部表情识别,利用改进的光流算法提取面部表情特征向量序列,并利用改进HMM算法和BP神经网络构建了面部表情混合分类器. 实验结果表明了该方法能有效提高面部表情识别率,有效解决HMM参数估计问题.     

基于时频特征的Wi-Fi手势识别技术

随着人工智能的快速发展,手势识别已经成为重点关注和研究的对象,利用Wi-Fi信号进行手势识别的技术无需额外的设备以及光照的条件,逐渐成为手势识别的主流.针对传统基于时域统计特征的方法,将经过噪声抑制后的信号进行短时傅里叶变换(short-time Fourier transform,STFT)构建手势信号的频域特征,结合时域和频域特性选择动作持续时间、频谱熵等特征作为特征值,采用支持向量机(support vector machine,SVM)的分类方法对特征值进行训练并完成手势识别.实验结果表明,在复杂的室内环境与室外空旷环境均能有效对手势进行识别,手势的识别率达90％以上.