面向手势交互的古建场景快速搭建方法

随着行业快速发展,虚拟现实应用对人机交互方式的要求越来越高,基于非接触手势控制的交互方式日益普及.针对虚拟环境下三维场景构建问题,提出一种面向Leap Motion体感交互设备的古建筑三维场景快速搭建方法.通过Leap Motion获取手部运动数据,实现物理空间与三维空间的实时映射,以及三维模型交互控制与编辑;提出一种基于概率图模型的古建筑构件推荐方法,通过构造贝叶斯网络,实现古建筑各构件之间的概率关系推理;推荐结果实时反馈用户,用户可通过手势选择相应部件,并在三维空间优化模型位置,最终实现古建筑场景的快速搭建.实验证明,相比二维交互方式,本文方法有效利用三维空间信息,并实现模型推荐,因此更加直观、便捷、高效.      

基于三维轨迹的相似手势识别研究

为解决动态手势识别中相似手势识别率不高的问题,本文开发了基于Leap Motion设备的动态手势识别系统,即对采集到的所有动态手势的三维运动轨迹数据预处理后,以运动角为固定特征通过HMM模型区分出非相似与相似手势;对于相似手势,设计了基于角点数、子区域百分比、角点序号百分比、轨迹区域长宽比的二次识别系统.验证试验表明,相似手势的最终识别率高达92.56%,二次识别的平均识别率比基于HMM一次识别的平均识别率提高了17%.     

基于现场评价的智能手机触摸手势工效学研究

为了提高触摸手势识别准确率,针对智能手机触摸手势工效学参数进行现场评价。首先,基于非理性用户模型提出了触摸手势现场评价因素框架;其次,设计现场评价实验,收集新手用户和经验用户在室内静坐、户外行走和公交静坐3种情境下的测试数据,得出基于使用情境修正的手势工效学参数,优化了手机触摸性能。研究表明,现场环境中用户运动状态和情绪警觉水平影响手机使用触摸性能,需采用现场情境测试修正触摸工效学参数,以提高手势识别准确率。     

多尺度模型与矩描绘子相结合的手势识别算法

提出了一种基于单目视觉的手势识别算法.通过用户初始化过程获取基本识别参数,结合视频跟踪的过程实时获取用户手势区域,在该区域内采用矩描绘子与多尺度模型相结合的方法进行特征提取,对于提取出的特征采用分类识别规则,实现对手势1～10的正确识别.经过试验证明,该算法可以适用于不同用户,识别正确率达到93.5%.     

基于Copula贝叶斯分类器与改进YOLOv5网络的手势识别研究

手势识别是通过识别人类手势并结合相关算法实现对手势语义分类的一项议题,在智能建筑、机器控制、新型人机交互、辅助驾驶等领域应用十分广泛,因此,手势识别具有重要研究意义。该文提出在YOLOv5目标检测网络引入注意力机制,以解决YOLOv5目标检测网络特征差异不敏感问题;此外,利用Copula模型改进朴素贝叶斯分类器,以解决图片分类精度缺失问题。实验结果表明：该文提出的Attention-YOLOv5检测网络比原网络在准确率和召回率上都有显著提升,基于Copula理论改进的贝叶斯分类器在准确率上显著高于朴素贝叶斯分类器。     

基于Unity和Leap Motion的国家动漫园虚拟漫游的研究与实现

近年来,利用Unity开发的Android、iOS、Xbox等不同类型的平台游戏发展迅猛,已成为带动游戏行业发展的新生力量。Leap Motion的出现,不仅改变了游戏世界的操控方式,也改变了许多产业的应用方式。以Unity为开发工具,利用Leap Motion硬件并结合C撑脚本语言,开发了国家动漫园虚拟漫游应用程序,使用户足不出户就能在国家动漫园里进行三维空间漫游,增添了用户的体验乐趣。     

智能空间下基于手势识别的人机交互

在智能空间框架下,提出了基于手势识别的人机交互。在基于手势识别的人机交互设计中,采用掩膜平滑滤波方法去除噪声。在HIS色彩空间中,通过非参数化的颜色直方图取得肤色范围,然后应用肤色阀值和面积几何特征对目标手势进行提取,最后通过最小欧氏距离分类方法进行模式识别得到用户的命令。经实验验证取得了良好的效果。     

基于车载毫米波雷达动态手势识别网络

基于Transformer提出一种车载毫米波雷达手势识别方法，可用于车内人员进行人机交互.毫米波雷达信号不受车内光照变化影响，同时能够保证乘客隐私.首先，毫米波雷达采样信号经过二维傅里叶变换和滤波获得距离—多普勒（RDM）和距离—角度图(RAM)；然后，将连续多帧RDM和RAM经过三维卷积网络后进行特征融合与拼接得到特征向量，利用Transformer模块进行位置和序列编码；最后通过全连接层获得手势概率分布向量.采集了基于实际路况和多种干扰环境下的雷达数据制作了手势识别分类的数据集，实验结果表明该方法可以有效的检测与识别多种典型手势，识别准确率可以达到97.14%以上.     

面向三维场景造型的徒手手势交互方法

针对手势交互在场景造型应用中的问题,从3个层面分析并提出解决思路,意图建立一种面向三维场景造型的徒手手势交互方法.首先,在宏观上基于用户活动和系统任务,构造面向场景造型的手势交互框架;其次,在中观上提出完整实用的手势集构造方法,并用此方法为本文系统设计手势集;再次,在微观上针对场景造型中手势识别的"米达斯"接触问题,从时间、空间、手势辅助3方面提出优化方法;最后,通过实验验证了所提出方法的可用性并总结了未来的研究方向.      

无线遥控车中的手势识别技术

人机交换技术已成为日常生活中一个重要部分。比如,汽车导航技术,医疗器械的设计,游戏娱乐,人脸识别,指纹识别等等技术都体现了人机交换的重要性。又由于手势是包含信息量最多的人体语言。因此,本文主要研究手势的识别,尤其是应用在无线遥控车中的手势识别技术。系统实现的重点和难点在于PC机的手势识别部分。基于遥控车的设计,本文对手势识别技术方案设计如下：在手势建模方面,采用基于表观的手势模型;在手势分析方面,从原始图像中抽取的轮廓、边界、图像矩确定采用的手势特征;在手势识别方面,采用模板匹配的方法进行识别。     

应用计算机视觉的动态手势识别综述

从手势识别系统框架模型、手势分割、手势建模与分析和手势识别等几个方向,系统地综述当前计算机视觉动态手势识别技术的研究现状,分析其存在的不足,提出了进一步研究的问题.结果表明:基于简易可穿戴设备的手势识别、基于深度视觉传感器的手势识别和多方法交叉融合的手势识别将是未来该领域的发展趋势.     

基于液态金属复合材料传感手环的手势意图识别系统

手势意图识别是人机交互领域的热门研究方向，然而现有手势的识别系统大多基于肌电信号，肌电信号不可避免的信号串扰、衰减、信噪比低等问题严重影响了手势识别的准确率.为了解决这一问题，研发了基于液态金属复合材料传感手环的可穿戴手势识别系统，液态金属复合材料灵敏的压阻效应使设计的传感手环获取的传感信号表现出稳定、灵敏度高、噪声低等优异特性.基于此传感信号的手势识别系统由数据采集和模式识别两个部分组成，其平均离线识别准确率高达97.19%.更重要的是，该系统无须在手部加装设备，通过前臂肌肉即可获取信号，因此可用于手部功能缺失的残疾群体，用户范围广泛，具有重要的社会和经济效益.     

基于肤色特征和卷积神经网络的手势识别方法

传统手势识别方法需要人工选取特征,选取的特征往往很难适应手势的多变性,从而极大地影响了手势的识别率;提出了一种基于肤色特征和卷积神经网络的手势识别方法;首先采用椭圆肤色模型对复杂背景下的手势样本进行分割,将分割出的手势区域进行二值化和归一化处理,然后构建了一种卷积神经网络对处理过的手势样本进行迭代训练,提取出各类手势关键的高维特征,进而得出手势识别模型;通过该方法训练出的手势模型能够自主地对给定的手势图像进行特征提取和手势分类;实验表明:该手势识别方法在测试集上具有较高的识别率;在现实场景的测试中,该方法也取得了良好的手势识别效果,且实时性和鲁棒性较好。     

基于Kinect传感器深度信息的动态手势识别

提出了基于Kinect传感器深度信息的动态手势识别方法,在预处理阶段通过OpenCV快速跟踪手部,有效分割手势.为改进动态手势轨迹的提取和分类,引入隐马尔可夫模型(HMM)对手势轨迹进行训练和识别.实验结果表明,基于HMM的识别方法对具有时空特性的动态手势有很高的识别率,在不同光照和复杂背景下有鲁棒性的结果.     

基于三维模型的双目手势特征提取

提出一种基于三维模型的双目手势特征提取算法.该算法使用双摄像头,在手势的三维几何模型基本框架下,将得到的几何体的旋转角度作为提取出的手势特征.使用图像的极半径不变矩对比图像之间的相似度,并用遗传算法逐代改变三维模型中几何体的旋转角度,使其最大程度地接近真实手势,克服三维重建中速度与精度之间的平衡问题.实验证明,在简单手...     

基于多路卷积神经网络的手势识别方法

为提高利用表面肌电信号(sEMG:Surface Electromyography)进行手势识别的准确率并解决其受不同提取特征影响的问题,提出了一种基于多路卷积神经网络(MB-CNN:Multi-Branch Convolutional Neural Networks)的手势识别方法.首先,使用MYO手环采集8种不同手势的sEMG信号;然后,利用滑动窗口法对sEMG信号进行活动段提取,生成大小为64×8的原始训练样本;其次,作为对比实验,提取7种不同的时域和频域特征,利用机器学习算法进行手势识别.最后,在避免常规特征提取的情况下,构建了一种多路卷积神经网络模型用于手势识别,测试集上准确率达97.89％.实验表明,针对手势识别问题,该方法高效可行.     

基于多传感技术相融合的手势交互系统研究

针对传统基于计算机视觉技术进行手势识别过程中存在极易受环境光照及遮挡等影响导致识别准确率和效率不高的问题,本文提出了基于MEMS传感器信号和视觉信号相融合的手势交互方法。该方法通过分别获取和处理视觉信号和MEMS传感器信号,独立计算出手势特征,最终根据不同的应用场景动态调整各种手势特征在融合模型中的权值,使其相互补充,相互修正,最终实现了根据手势特征实现人机交互的系统。实验表明,该方法的准确性和效率都很高,能够达到人机交互实时性及准确性的要求。     

WiGNet:一种适用于无线感知场景的手势识别模型

针对现有Wi-Fi感知技术的手势识别研究中存在因感知特征辨识度较低及难以提取而导致识别准确率不高的问题,在对感知数据进行多维重构并施以二维离散小波变换的基础上,提出了一种基于卷积神经网络的高精度手势识别模型WiGNet。首先,在对信道状态信息影响因子分析的基础上,提取振幅数据作为手势识别的基础数据;其次,将感知数据重构为多维矩阵形式,以充分提取手势动作的时空特征;然后,对重构数据在时间和空间维度上进行二维离散小波变换,以实现感知数据的降噪和平滑;最后,使用神经架构搜索技术优化网络深度以及卷积核个数的合理化配置,并提出较好适配重构数据的手势识别模型WiGNet。实验结果表明：对感知数据进行二维离散小波变换后,特征辨识度和模型整体运算速度均有显著提升;WiGNet在自建数据集上和公共数据集上的平均识别准确率分别达到98.1%和96.0%,均优于同类模型。此外,WiGNet在实现高精度手势识别的同时,还能保持较快运算速度,并兼具一定的鲁棒性。     

基于OPENCV的手势识别的实现与应用

本文主要对静态手势识别的技术存在的各种方法进行了相应的分析与探讨,而在这个基础之上实现与设计了一套先进的静态手势识别系统。而该系统主要分为手势的分类、图像的预处理、分类器的设计与样本的训练以及特征的提取四个模块。而该系用在运行时,首先从文件夹中读取图像部分,其次在经过图像的预处理模块得到手势的轮廓图像以及二值图像,最后在对轮廓图像与二值图像这两幅图对手势进行相应的特征提取,并且采用贝叶斯分类器对这个手势进行分类识别。     

基于混合高斯模型的非固定握持姿势手势识别

针对手势识别研究中普遍要求用户以严格固定方式握持数据采集设备,致使用户体验差的问题,使用混合高斯模型(Gaussian mixture model,GMM)对非固定握持姿势的手势识别算法进行改进,以提高手势人机交互时的舒适性.首先通过GMM从加速度传感器数据中提取用户握持姿势数据,然后借助握持信号实现手势命令数据提取与坐标转换,使识别系统能够自适应不同的握持姿势.为使GMM可以同时满足手势识别应用中对稳定性和适应速度的要求,优化了GMM的学习机制,包括增加备则模态和改善优先级计算.实验结果表明,所述系统在滚转角和俯仰角+60°~-60°、偏摆角+20°~-20°范围内,握持姿势对手势识别正确率没有明显影响,实现了非固定握持姿势的手势识别,起到了提高用户体验的作用.