一种复杂背景下的手势提取方法

介绍了一种在一般复杂背景条件下将手势与背景分离的新方法.该方法首先在一般背景下对获得的手势图片进行卷积滤波处理,验证了肤色的聚类特性,然后综合利用手势的肤色特征和其特有的几何特征,成功地将手势与背景分离,最后通过不同背景、不同手势提取实验验证了该方法的有效性.将该手势分割方法用于8种于形手势识别实验,静态手势识别率能达到99%.     

基于点上下文描述子的三维手势轨迹识别

提出了一种基于曲率窗的点上下文描述子的三维手势轨迹识别方法,该方法通过采用曲率窗选取手势轨迹的上下文点,既有效地降低了描述子的维度,又提高了对三维手势轨迹的识别率.首先,计算三维手势轨迹上所有点的U弦长曲率;然后,选取曲率最大且相互分离的点作为手势轨迹的上下文点;最后,将每个轨迹点与上下文点之间的欧氏距离作为该点的特征向量.采用上述方法提取三维手势轨迹的形状特征,支持向量机(SVM)用于分类识别.实验结果表明:该方法对澳大利亚手语数据库(ASL)中任意8类三维手势轨迹的平均识别率达到92.98%,并且识别结果具有旋转、尺度、平移(RST)无关性.     

面向翻书机器人的手势控制指令的识别算法

所控制的翻书机器人是一种辅助特殊人群阅读的服务机器人,对其提出一种基于表观特征的手势控制指令识别算法.从Kinect(体感外设)获取的手部深度图像中利用最小深度点分割手势区域,用轨迹圆提取指尖个数及夹角等表观特征并通过决策树分类,同时利用手和肩膀的骨骼数据及其运动轨迹判定翻页方向.经过多次试验,手势控制指令识别率达到98.4%,该算法无需训练样本也能在复杂环境下快速准确地识别手势控制指令,完全可以应用于辅助特殊人群阅读时的翻书控制.     

基于方向链码的书空手势识别

介绍了Leapmotion交互设备的结构及运行机制,在该设备产生的交互空间中的x-y平面上定义8个方向的方向链码,通过该设备检测手指在空间中的位置变化,确定手指的移动方向,并结合方向链码定义动态书空手势。为了消除手指在空间运动的不稳定性而导致的噪声干扰,将手指在平面上的位置信息映射到计算机屏幕上显示出手指的移动轨迹,对轨迹进行分段处理,根据分段的比重提取主要移动方向描述输入手势,采用顺序匹配算法对输入手势与模板手势进行匹配,识别输入的书空手势。     

基于方差分类初始化码书的三维邻域SOM算法

针对自组织特征映射算法用于图像矢量量化存在的问题,为了提高矢量量化码书的性能,提出基于方差分类初始化码书的三维邻域SOM算法,通过对三维邻域SOM算法中的初始化码书算法进行改进,建立了基于方差分类的初始化码书算法.实验表明,用该算法设计图像矢量量化码书具有码矢利用率高、码书的性能好等优点.     

基于深度图像HOG特征的实时手势识别方法

手势识别是模式识别领域的一个热点研究方向。提出了一种利用Kinect传感器深度图像进行手势分割的方法,并研究了基于灰度图像HOG特征的手势识别模型;深入研究了HOG特征,分析其特征向量特点,探讨了不同特征维数对训练机的影响及处理效率;通过SVM机器学习方法实现手势的分类识别,经过对大量实验样本的优化训练,获得了最优SVM参数,并进行分析、对比识别率。本文方法维数少、识别率高、运行速度快、性能稳定,能满足实时性手势识别的要求。     

融合熵和势能的手绘草图特征描述方法

为更加深刻地刻画手绘草图中的形状主题,并使特征描述方法具有一定的平移、缩放和旋转不变性,提出了一种基于熵和势能的手绘草图特征描述方法.该方法首先提取手绘草图的关键点,并对每个关键点的周围区域进行分块,计算其信息熵;然后根据关键点像素在手绘草图对象中的位置,计算其像素势能,从而获得融合了熵和势能的关键点特征描述向量;最后将训练集中所有图像的全部关键点特征描述向量聚类形成视觉码书,每一幅手绘草图均表示成基于码书的特征描述向量.实验结果表明,文中方法能较好地描述手绘草图的形状特征.     

基于区域特征的图像分类技术

为解决自然图像的对象分类问题,提出了一种新的区域特征提取和表示方法. 该方法采用六边形近似区域边界,使用六边形的边长比和角度表示区域的形状特征,并采用简化的SIFT描述子描述区域的外貌特征. 将这种区域特征矢量量化后形成码书,用于基于特征包的识别模型,完成分类任务. 用PASCAL2007视觉竞赛数据集作为测试数据集,获得了较好的分类效果,结果表明,该区域特征表示法综合了外貌特征和形状特征,具有较高的分辨性能,同时还具有描述简洁、通用性强的特点.     

融合多特征和压缩感知的手势识别

基于压缩感知理论,提出了一种新的手势识别方法,考虑到单个特征的局限性,结合Zernike矩和HOG描述符从全局和局部角度描述手势外观和形状.训练阶段提取手势训练图像的Zernike矩和HOG特征构建字典,识别阶段提取待测样本特征,将其表示成相应训练字典的稀疏线性组合,采用求解l1范数的最优化问题实现分类.实验结果证明,和目前应用较广的手势识别方法相比,该方法具有较强的竞争性,而且通过融合两种形状特征,对光照、尺度、旋转等变化更具鲁棒性.     

基于肤色特征和卷积神经网络的手势识别方法

传统手势识别方法需要人工选取特征,选取的特征往往很难适应手势的多变性,从而极大地影响了手势的识别率;提出了一种基于肤色特征和卷积神经网络的手势识别方法;首先采用椭圆肤色模型对复杂背景下的手势样本进行分割,将分割出的手势区域进行二值化和归一化处理,然后构建了一种卷积神经网络对处理过的手势样本进行迭代训练,提取出各类手势关键的高维特征,进而得出手势识别模型;通过该方法训练出的手势模型能够自主地对给定的手势图像进行特征提取和手势分类;实验表明:该手势识别方法在测试集上具有较高的识别率;在现实场景的测试中,该方法也取得了良好的手势识别效果,且实时性和鲁棒性较好。     

基于实时手势识别与跟踪的人机交互实现

为了实现对手势目标的自动识别和连续跟踪,提出了一种手势识别与跟踪算法。首先,通过离线训练手势目标检测器来实现手势目标的自动识别。接着,通过改进的Shi-Tomisi算法,在目标区域提取可靠稳定的特征点。然后,通过KLT跟踪器对特征点进行跟踪。当特征点跟踪成功时,通过求解仿射变换矩阵确定手势目标的新位置;当目标出现遮挡和大尺度旋转时,特征点丢失,此时在KLT跟踪器中加入卡尔曼滤波器来预测手势目标的位置,实现对手势目标的连续跟踪。同时对手势目标可能存在的区域进行估计,缩小检测器的检测范围,提高检测速度。最后,将算法应用于人机交互系统中,实现了机器人的远程控制。实验结果显示,算法在简单背景下的跟踪正确率为99.54%,复杂背景下的跟踪正确率为98.24%。实验结果表明,算法能够快速准确地对手势目标进行检测和跟踪,满足了实时性、连续性以及抗干扰能力强等要求,对于旋转及遮挡均具有较强的鲁棒性,为实现基于手势控制的人机交互提供了一种有效方法。     

差分特征融合改进的动态手势识别分类网络模型

通过卷积神经网络和长短期记忆网络进行多模型结合,实现动态手势识别分类建模,并使用数据增强算法增加数据的多样性,通过差分特征融合改进网络。7种动态手势动作识别分类的实验结果显示,使用数据增强算法增加数据的多样性后,结合模型的识别率最佳可提升286%;通过差分算法改进网络,序列间差分特征融合模型识别率达到8381%,维度差分特征融合模型识别率达到8762%。表明多模型结合可解决单一模型的局限性,处理更加复杂的动态手势分类问题,两种不同形式的差分特征融合改进都可提升动态手势动作的识别率,从而验证了所设计的差分特征融合改进的动态手势识别分类网络模型的有效性和可行性。     

基于神经网络的旗语识别系统

视觉是人类从外界获取信息的主要途径，人们希望计算机视觉在人机交互技术中发挥重要的作用。介绍一个基于视觉的动作实时识别系统，该系统用于在门桥模拟训练中对旗语动作进行识别。与以往工作不同的是，该系统仅用一个摄像机来实现多个动作的识别与跟踪，避免了多目视觉的特征匹配问题，进而提高了系统的稳定性和识别速度。     

Active Appearance Model Based Hand Gesture Recognition

This paper addresses the application of hand gesture recognition in monocular image sequences using Active Appearance Model （AAM）, For this work, the proposed algorithm is composed of constricting AAMs and fitting the models to the interest region. In training stage, according to the manual labeled feature points, the relative AAM is constructed and the corresponding average feature is obtained. In recognition stage, the interesting hand gesture region is firstly segmented by skin and movement cues. Secondly, the models are fitted to the image that includes the hand gesture, and the relative features are extracted. Thirdly, the classification is done by comparing the extracted features and average features. 30 different gestures of Chinese sign language are applied for testing the effectiveness of the method. The Experimental results are given indicating good performance of the algorithm.     

基于YOLO算法的手势识别

研究YOLO算法在手势识别中的应用,提升在近肤色和光线明暗不一的背景下检测的速度和精度.YOLO算法是端到端的检测方法,通过卷积神经网络自动提取目标的特征,可以大幅度提高运算速度.鉴于YOLO算法在目标检测任务中的优良表现,将YOLO算法应用到手势识别问题中.通过对YOLO系列算法的研究对比表明,YOLO算法在手势识别中具有良好表现.同时,在YOLOv3算法的快速版本YOLOv3-tiny的基础上提出了YOLOv3-tiny-T算法.YOLOv3-tiny-T在包含5种手势的UST数据集上,平均精度均值为92.24%,较YOLOv3-tiny获得了5%左右的提升.      

基于栈式稀疏自编码多特征融合的快速手势识别方法

针对复杂背景下手势分割提取效果不佳、图像识别率不高、识别困难等问题,研究多特征融合的快速手势识别方法.利用YCbCr颜色空间模型,构建肤色分布模型,从复杂背景中去除大部分非肤色的干扰,从而实现手势分割;接着采用5层栈式稀疏自编码网络框架,分别提取手势感兴趣区域（region of interest,ROI）的纹理图像、形状图像和显著视觉图像作为自编码网络输入,将提取到的不同类型的特征进行线性融合;最后使用基于径向基核函数（radial basis function,RBF）的支持向量机（support vector machine,SVM）分类器进行融合特征数据分类,从而实现不同类型的手势识别.实验结果表明,相比其他手势识别方法,本文方法识别率较高,提取特征更具有代表性,平均识别率可达95.05%.      

一种快速手势识别算法的实现与验证

基于大多数的手势识别算法,需要提取高维度的特征,限制了手势识别在实时系统中的应用。文中针对这种问题,提出一种快速的手势识别算法。首先,在原始图像上提取轮廓块边缘对目标区域进行分割。其次,提取目标区域的形状特征。然后,在数据库中,对每种手势只记录一幅标准的参考图像。最后,通过比较参考图像与待检测图像中的手势特征,来匹配和标记手势的含义。实验结果表明,文中提出的快速算法能够准确地识别手势。     

车载手势识别中基于小波变换和双边滤波的图像去噪方法

手势识别是人机交互中的重要研究领域,车载手势识别系统可以减少驾驶员手动操作仪表导致的分心,提高驾驶安全性。受光照变化、汽车环境、摄像头成像质量等各因素的影响,车载手势图像中常会存在大量复杂噪声。这些噪声严重影响后续手势分割、特征提取和手势识别的准确性。针对手势图像中存在的噪声问题,本文提出了一种适用于车载手势图像处理的新方法。该方法先对小波分解后的各高频子带采用不同方向的一维非线性扩散滤波处理得到初步去噪手势图,在此基础上用多尺度双边滤波对图像再次处理。实验结果表明,本文方法可以较好地去除车载手势图中噪声,抑制车载手势图细节的模糊。      

基于姿态角的双Kinect数据融合技术及应用

针对单个Kinect深度图像传感器在人机交互时的骨骼自遮挡所导致的识别精度问题,提出了基于姿态角的双Kinect数据融合技术。首先,通过两台Kinect采集人体关节的数据信息;并做坐标统一化处理;其次,提出了基于姿态角的骨骼数据融合算法模型,同时依据Kinect SDK构建标准姿势特征向量集合;随后,根据骨骼活动度分配对应骨骼贡献度大小,进而计算融合后的姿势特征向量集合与标准姿势特征向量集合的余弦和,实时反馈两者姿势的匹配度,实现人体姿势的识别。通过构建数据融合处理平台,并应用于人体姿势识别,验证了该方法在不影响识别速率的前提下,提高了人体姿势识别的精准度。