面向手语自动翻译的基于Kinect的手势识别

提出了一种基于3D体感摄像机Kinect设备实现面向手语自动翻译的手势识别方法,利用Kinect体感外设提供的深度图像实现手的检测,并通过OpenNI+NITE框架中函数获得手掌质心在三维空间中的位置,然后通过等值线追踪算法(又称围线追踪算法)和三点定位算法识别出手指实现了手势跟踪,最后通过矢量匹配方法识别手指名字,并设计了三层分类器来实现静态手势语的识别.相较于传统的基于数据手套和单目摄像机的方法,本方法识别的更准确.基于上述方法,实现了一个手势识别系统.实验结果显示,本文提出的方法更加简洁且行之有效.     

Kinect骨骼信息下的动态手势识别研究

针对复杂环境中存在的手势识别问题,提出一种利用Kinect传感器获取深度信息并进行动态手势识别的方法。该方法通过对Kinect传感器获取的深度信息进行分析,获取人体主要骨骼点的3D坐标,从中选取六个点作为手部运动的特征参照;为提高手势识别系统的识别速度,提出了一种基于查表的DTW算法对得到的特征数据进行模板训练并实现动态手势识别。实验结果表明:该方法具有较高的识别速度和识别率,对复杂背景及光照强度变化具有较强的鲁棒性。     

面向手语识别的视频关键帧提取和优化算法

基于计算机视觉的手语识别技术可以为聋校的双语教学带来很大的便利,而手语识别技术的难点之一在于视频关键帧的提取.根据手语视频关键帧的特点和手语者的手语习惯,提出了一种面向手语识别的视频关键帧提取和优化算法.首先利用卷积自编码器提取视频帧的深度特征,对其进行K-means聚类,在每类视频帧中采用清晰度筛选取出最清晰的视频帧...     

基于Kinect 3D节点的连续HMM手语识别

文章提出了一种基于Kinect 3D节点的连续隐马尔科夫模型(hidden Markov model,HMM)手语识别方法。首先对Kinect 3D节点三维坐标采用距离换算的方法获取其骨架特征表达,转换后的特征维度减少为原来节点特征的2/3,降低了计算过程中的存储开销;再针对人体体型大小所带来的差异,设置最小-最大归一法及最大值归一化方法;在此基础上,为强化骨架特征变化的特征表达,文章进而提出了用来捕获对骨架动态变化度量的相对归一化法;最后,在最终所获得的骨架特征表达上,构建基于高斯混合的隐马尔科夫模型(hidden Markov model with Gaussian mixture models,GMM-HMM)进行手势识别。实验证明采用相对归一法能够消除原3D节点中坐标漂移、体型各异、动态手势变化导致难以表达的弊端,实现了有效的骨架特征表达,并在识别精度上有了较好的提升。     

骨架关节点跟踪的人体行为识别方法

基于彩色图像的运动检测和分割方法难以获取完整的人体骨架,并且只能提取关节点的二维坐标信息,而 Kinect 传感器能通过捕获深度图像来重建完整的人体骨架关节点三维模型,提高了骨架关节点模型的表示精度。本文通过 Kinect 的骨架跟踪模块对人体的骨架关节点模型进行提取;然后,提出一种坐标转换方法得到人体骨架关节点的三维坐标表示,利用 k 均值聚类将关节点坐标量化为符号序列;最后,建立离散隐马尔可夫模型来进行人体行为识别。通过自建的数据集进行实验,实验结果表明：本方法能取得94％的识别率。     

一种基于改进的SURF算法的静态手语字母识别方法

结合Kinect传感器提出一种改进的SURF(speeded up robust features)算法进行静态手语字母识别的方法。Kinect传感器采集深度图像进行手势分割可以克服光照变化、复杂背景带来的干扰;改进的SURF算法对实时图像与模板图像的积分图进行计算分析,提取两者的SURF关键点描述符,采用最近邻匹配算法对SURF算法自有的快速索引匹配的结果进行优化,克服了角度旋转变化对手语字母识别率的影响。实验证明,该方法在应对光照变化、复杂背景、角度旋转方面有很好的鲁棒性,平均识别率为97.7%。     

基于轻量3D CNNs和Transformer的手语识别

针对传统基于3D CNNs(三维卷积神经网络)的手语识别方法模型计算复杂度和内存占用较高,及基于RNNs(循环神经网络)的连续手语识别方法的长距离建模能力不足的问题,提出一种基于轻量3DCNNs和Transformer的手语识别方法．首先使用轻量3D CNNs进行孤立词手语识别的时空建模,然后提出RKD(随机知识蒸馏),从多个教师模型中提取知识以提高轻量三维卷积的特征提取能力;针对连续手语,在特征提取后使用完全基于自注意力的Transformer进行全局建模．实验结果表明：所提方法在CSL-500和CSL-continuous数据集上可以获得95.10%的识别率和1.9的WER(词错误率),证明了所提方法的有效性．     

融合Kinect与GVF Snake的手势轮廓提取方法

针对Kinect相机在人体骨骼点采集时无法获取手势信息的不足,提出一种融合Kinect和GVF Snake的手势轮廓提取算法,可以提取出完整清晰的手势轮廓。此算法利用Kinect相机在人体信息采集中的优势,获取深度图像,定位手掌点与手腕点,由这两点计算手的旋转修正角度。以手掌点向外做八向搜索获取手掌包围盒切分出手区域。最后在包围盒上放置Snake初始轮廓线,通过GVF Snake模型迭代搜索,获取目标准确完整边界。对于深度图像在边缘数据急剧变化时出现的抖动、凹陷等缺点,选择先构建轮廓线再收敛的GVF Snake算法保证手势轮廓完整平滑。实验结果表明,该方法能够自动放置GVF Snake初始轮廓,准确跟踪手位置、精确收敛到手势轮廓,抗噪效果明显。     

Kinect骨骼数据驱动的人体动作二维特征融合与动作识别

针对在高噪声环境中人体动作识别存在准确度和稳定性不高的问题,本文采用二维空间特征融合的方法,提出一种基于Kinect骨骼数据的人体动作识别算法。从人体三视图的投影来提取运动特征,可以消除人体自遮挡的影响。针对人体复杂动作,算法采用分层策略。利用Kinect获得的骨骼关节点坐标,根据人体三视图投影提取二维空间的人体关节角特征,并运用支持向量机(SVM)方法对动作进行粗分类;进一步提取二维投影平面内的关节位置矢量、角速度和加速度特征,运用隐马尔可夫模型(HMM)的方法对动作进行细分类。利用本文方法对公开数据集MSR Action 3D实验,平均识别率达93.37%,实验结果表明,该方法准确性较高,鲁棒性较强。     

基于编组拟合的合成孔径雷达图像线特征提取

为了从合成孔径雷达(SAR)遥感图像中高效率地提取线特征、满足目标识别与场景分析等应用的需要,采用曲线结构基元取代通用的直线结构基元,通过像素编组以及曲线拟合提取并连接,使得复杂的全局优化简化为基于连接关系和总长度的聚类和筛选,借助低分辨率图像对高分辨率图像的掩码操作先主后次地提取不同宽度的线特征。应用所提出的方法在实际SAR图像上进行了实验,获得了与观察相一致、具有单像素宽度的线特征二值图像。实验结果表明:所提出的方法可以快速准确地提取出场景中真实的线特征,采用曲线基元形式和编组拟合方法有利于降低问题复杂度、提高处理效率。     

人机交互过程中数字手势的识别方法

为了获得简单、高效的数字手势识别方法,增加使用者舒适的体验,提出一种基于Kinect融合深度信息和骨骼信息的数字手势识别方案.首先,使用Kinect进行深度数据的采集,建立深度图像;其次,结合骨骼追踪系统,提取人体轮廓,运用深度阈值法从轮廓中分割出手部区域,并进行二维图像的重建;再次,利用手腕和手掌骨骼点准确分割出手掌区域,并运用图像形态学开运算进行处理,得到不含手指的图像,进而提取掌心坐标;最后,计算半径,确定掌心圆,采用圆的边界和手指相交次数的方式识别手指个数.实验结果表明:数字手势识别方案能够准确、高效地识别数字手势.     

Hand Gesture Recognition Based on Improved FRNN

The trained Gaussian mixture model is used to make skincolour segmentation for the input image sequences. The hand gesture region is extracted, and the relative normalization images are obtained by interpolation operation. To solve the proem of hand gesture recognition, Fuzzy-Rough based nearest neighbour（RNN） algorithm is applied for classification. For avoiding the costly compute, an improved nearest neighbour classification algorithm based on fuzzy-rough set theory （FRNNC） is proposed. The algorithm employs the represented cluster points instead of the whole training samples, and takes the hand gesture data＇s fuzziness and the roughness into account, so the campute spending is decreased and the recognition rate is increased. The 30 gestures in Chinese sign language alphabet are used for approving the effectiveness of the proposed algorithm. The recognition rate is 94.96%, which is better than that of KNN （K nearest neighbor）and Fuzzy- KNN （Fuzzy K nearest neighbor）.     

基于改进凸分解的手势识别

提出了一种新的基于Kinect的实时静态手势识别方法,主要贡献包括:提出了一种简易可行的、结合图像深度信息与肤色信息的手势区域检测与分割方法;提出了一种改进的凸分解算法,对手势区域进行近似凸形状分解,以得到表征手势特征的骨架信息;采用基于路径相似性的骨架图匹配算法对手势进行匹配以实现识别.针对特定手势集进行了对比实验,实验结果表明,本文方法在识别结果的准确率以及算法的效率上都有着良好的表现.      

基于ARM的数据手套及其手语识别系统的设计与实现

文章介绍了以ARM9芯片S3C2440为平台的数据手套及其手语识别系统的设计与实现．首先给出了利用弯曲传感器和三轴加速传感器组成的数据手套的整体架构设计;其次,描述了采用FLX-03传感器的手指弯曲度模块、采用ADXL345传感器的手部动作模块、USB通讯模块的实现以及与Mini2440开发板的连接方法;最后,给出了基于该数据手套的一个手语识别系统,该系统界面友好,功能实用、扩展性强、手语识别效率高,可添加更多的手势语,能很好地识别简单的手语．     

基于Kinect的机器人臂手系统的目标抓取

为了实现机器人臂手系统的目标抓取, 采用Kinect对目标信息进行实时检测. 首先,采用张正友棋盘标定法完成对Kinect内外参数的标定. 其次, 利用深度信息进行深度分割, 滤除大部分干扰背景, 再通过颜色与形状特征实现目标的识别与定位. 将识别对象的3维坐标通过以太网发送至机械臂控制台, 随后机械臂移动至目标位置. 最后采用变积分PID算法控制灵巧手接触力, 保证响应的快速性及精密性, 实现灵巧手的精细抓取. 通过设计一套完整的实验系统验证了该方法的有效性.     

Active Appearance Model Based Hand Gesture Recognition

This paper addresses the application of hand gesture recognition in monocular image sequences using Active Appearance Model （AAM）, For this work, the proposed algorithm is composed of constricting AAMs and fitting the models to the interest region. In training stage, according to the manual labeled feature points, the relative AAM is constructed and the corresponding average feature is obtained. In recognition stage, the interesting hand gesture region is firstly segmented by skin and movement cues. Secondly, the models are fitted to the image that includes the hand gesture, and the relative features are extracted. Thirdly, the classification is done by comparing the extracted features and average features. 30 different gestures of Chinese sign language are applied for testing the effectiveness of the method. The Experimental results are given indicating good performance of the algorithm.     

基于RGB-D图像的手语识别算法研究

手语作为表达信息的一种方式,是聋哑人与外界交流的最主要途径。随着人工智能技术的发展,新型、自然、便捷的人机交互方式已经成为当今各行业交互方式的新趋势。传统手语识别方法普遍存在背景干扰严重、特征提取不完整及识别准确率低的缺点。针对以上问题进行研究,提出基于彩色-深度（RGB-D）图像的手语识别算法。在静态孤立词手语识别的基础上测试,实验对比结果表明,基于RGB-D的方法能得到比传统手语识别算法更好地性能;利用深度信息处理图像,有效地去除了场景中光照、背景的干扰,同时结合肤色信息去除非手形部分;采用概率神经网络（PNN）手语分类器对孤立词的识别准确率超过90%,取得了较高的识别率。     

一种用于手语识别的中国手语分类方法

从手语识别的角度出发对中国手语的特征进行了分析,对现有的手语识别方法－－基于计算机视觉的方法和基于佩带式输入设备的方法进行了分析和比较,并提出了一种新的手语分类方法。     

基于多尺度卷积神经网络的交通标志识别

针对自然场景中交通标志识别问题涉及的识别准确率和实时性改善需求,提出了一种改进的基于多尺度卷积神经网络(CNN)的交通标志识别算法.首先,通过图像增强方法比选实验,采用限制对比度自适应直方图均衡化方法作为图像预处理方法,以改善图像质量.然后,提出一种多尺度CNN模型,用于提取交通标志图像的全局特征和局部特征.进而,将组合后的多尺度特征送入全连接SoftMax分类器,实现交通标志识别.采用德国交通标志基准数据库(GTSRB)测试了所提算法的有效性,测试结果表明,算法在GTSRB基准数据集上获得98.82%的识别准确率以及每幅图像0.1ms的识别速度,本文算法具有一定的先进性.