基于多传感技术相融合的手势交互系统研究

针对传统基于计算机视觉技术进行手势识别过程中存在极易受环境光照及遮挡等影响导致识别准确率和效率不高的问题,本文提出了基于MEMS传感器信号和视觉信号相融合的手势交互方法。该方法通过分别获取和处理视觉信号和MEMS传感器信号,独立计算出手势特征,最终根据不同的应用场景动态调整各种手势特征在融合模型中的权值,使其相互补充,相互修正,最终实现了根据手势特征实现人机交互的系统。实验表明,该方法的准确性和效率都很高,能够达到人机交互实时性及准确性的要求。     

虚拟装配环境中的人机交互技术研究

为了解决虚拟装配系统中的人机交互问题,结合虚拟装配环境,给出了数据手套和三维跟踪器的驱动类,阐述了数据手套和三维跟踪器的原始数据获取方法和处理策略.提出了综合使用数据手套和三维跟踪器数据进行手势识别与命令映射的方法;采用非模态的动态透明菜单和对话框作为数据手套和跟踪器的补充方式进行人机交互;讨论了通过虚拟手操作零部件模型的虚拟装配过程.通过开发基于三通道投影的虚拟装配环境,对数据手套、三维跟踪器以及头盔显示器等应用进行了实例验证,验证结果表明上述方法有效可行.     

液压挖掘机挖掘力计算新方法

以工作区域和挖掘点为对象,提出了一种研究理论挖掘力大小及其分布规律的新方法.首先求得挖掘点的空间位置,再利用逆运动学原理求解每个挖掘点对应的挖掘姿态,根据对应的限制不等式组求解每个挖掘姿态的理论挖掘力,最后得到每个挖掘点的理论挖掘力和整个挖掘区域的挖掘力分布规律.以某36t反铲液压挖掘机为例,验证了相邻挖掘点或相似挖掘姿态的理论挖掘力相近的假设.结果表明:在大多数挖掘点上新方法得到的理论挖掘力比传统方法有较大程度(20.2%)的提高,且更能准确地反映挖掘机在给定挖掘点上所能发挥的最大挖掘力.     

桌面虚拟现实系统中数据手套的应用研究

在人机交互中数据手套的引入,能够充分发挥手在交互过程中的自然性。介绍了数据手套在虚拟环境中进行交互的过程。在变电所培训系统中实现了基于5DT Data Glove 5的人机交互操作,并设计了数据手套校准函数和校准步骤,设计了在VRT场景中用手势进行漫游的程序,利用VRT SDK编制了获取数据手套传感器测量值的程序。上述方法对于其它虚拟系统引入数据手套的设计将具有一定的启发作用。     

虚拟现实中多通道实时手势绘图技术研究

主要阐述了如何将人物在现实世界的手部行为,用虚拟世界中的化身实时反映出来并产生真实的绘图效果,详细讨论了使用多通道的输入方式将手型识别和手部运动轨迹转化为虚拟世界的绘图元素,以及在虚拟世界中动态绘图的显示方式。最后给出一个演示程序,展示了本技术在虚拟现实绘图中的应用效果,增强操作者的沉浸感。     

多模态人机交互中基于笔输入的手势识别

为研究多模态人机交互系统的理论及构造方法 ,提出了一种快速的、单笔划手势识别方法 .该方法通过提取手势轨迹的关键点及各关键点的运移方向 ,形成特征码 ,然后与标准手势符号的各种可能的特征码进行匹配 .其中方向特征用于预分类 ,而关键点位置信息用于细分类 .实验结果表明该方法速度快、识别率高 .     

基于肤色和运动检测技术的单目视觉手势分割

在分析肤色的信息特征和手势的运动特性基础上,构建了一种基于单目视觉的手势分割方法,可从视频图像序列中获取有意义的手势区域.针对确定的背景图像,以10帧的采样间隔采集手势图像,通过肤色信息特征来获得手势的肤色区域,同时通过差分法获得手势的运动区域,再将肤色区域与运动区域进行融合处理获得初始的手势区域,在此基础上,进一步研...     

一种中国手语单手词汇识别系统

利用数据手套，视觉设备和肘部弯曲传感器作为输入设备，提出了一种基于特征匹配和信息融合的中国手语单手词汇识别系统，首先利用手姿信息和手势信息的类型判别来确定待识词所属类别，并选择相应的词库，然后根据所属类别将待识词和库中词的相应特征按一定的规则进行匹配；最后利用D-S证据理论将各特征的匹配结果进行融合，选择具有最大基本概率赋值的词汇作为输出，实验结果表明，该系统不但具有较好的实时性和灵活性，而且识别率比较高。     

基于特征联合和偏最小二乘降维的手势识别

针对以往手势识别研究中更关注识别率而弱化实时性的情况,首次将偏最小二乘降维思想引入手势识别领域,提出一种基于特征联合和偏最小二乘降维的手势识别方法。首先进行手势分割,在此基础上提取手势样本的梯度方向直方图和局部二值模式特征,并将二者进行联合。然后采用偏最小二乘法对手势联合特征进行降维,并将降维后的手势训练样本特征输入到支持向量机中进行分类训练。最后用训练好的支持向量机对降维后的手势测试样本进行识别测试。基于Jochen Triesch手势库及自制手势库的实验结果表明,同已有方法相比,本文所提方法在取得较高手势识别率的同时也取得了较好的实时性。     

在线多线索动态手势识别

文章提出一种将运动和肤色特征相融合的多线索识别方法,利用差分运动检测降低复杂背景干扰,利用肤色在HSV空间中的聚类特性,采用多高斯模型,对每一个输入视频,将前50帧作为学习样本,在线学习出该视频的肤色分类器,解决了泛化性能低的问题;利用手势固有形状特征进行静态手势分割,采用基于仿射变换的块匹配法对动态手势进行跟踪。结果表明该算法能够较好地适应不同光照及复杂背景,同时满足实时要求。