基于ARM的数据手套及其手语识别系统的设计与实现

文章介绍了以ARM9芯片S3C2440为平台的数据手套及其手语识别系统的设计与实现．首先给出了利用弯曲传感器和三轴加速传感器组成的数据手套的整体架构设计;其次,描述了采用FLX-03传感器的手指弯曲度模块、采用ADXL345传感器的手部动作模块、USB通讯模块的实现以及与Mini2440开发板的连接方法;最后,给出了基于该数据手套的一个手语识别系统,该系统界面友好,功能实用、扩展性强、手语识别效率高,可添加更多的手势语,能很好地识别简单的手语．     

一个虚拟手原型的实现

以５ＤＴ 公司生产的数据手套作为手势输入设备,开发了一个虚拟手原型．它以手的运动学模型为基础,采用层次结构法构造手的几何模型,极大地方便了虚拟手的图形显示和实时更新的实现．根据人手的运动约束关系得到各关节弯曲角度的相对比例关系,就能从数据手套得到的７ 个传感数据获得整个手的运动情况,并用静态碰撞检测法处理虚拟手与其他物体的碰撞检测,在运行期间不断地对用户手势进行手势映射计算找到最匹配的手势,执行与该手势对应的动作．本原型简单易行,便于增加手势,最后给出了实现结果．     

手部姿态估计方法综述

手部姿态估计是计算机视觉领域的一项基础研究，在虚拟现实、增强现实、自动驾驶、虚拟手术等应用中发挥着重要的作用。实现手部姿态估计将使得计算机具备自动理解图像或者视频序列中蕴含信息的能力，有利于实现更自然的人机交互。随着计算理论与深度学习的发展，手部姿态估计领域已衍生出众多研究成果。文章首先介绍手部姿态估计的相关基础概念，然后按照手部姿态估计的应用场景，将现有方法分为徒手交互场景下的手部姿态估计方法和手物交互场景下的手部姿态估计方法，并分别介绍了这两类方法近几年的发展情况，归纳了未来的研究方向，最后作出总结。     

虚拟装配环境中的人机交互技术研究

为了解决虚拟装配系统中的人机交互问题,结合虚拟装配环境,给出了数据手套和三维跟踪器的驱动类,阐述了数据手套和三维跟踪器的原始数据获取方法和处理策略.提出了综合使用数据手套和三维跟踪器数据进行手势识别与命令映射的方法;采用非模态的动态透明菜单和对话框作为数据手套和跟踪器的补充方式进行人机交互;讨论了通过虚拟手操作零部件模型的虚拟装配过程.通过开发基于三通道投影的虚拟装配环境,对数据手套、三维跟踪器以及头盔显示器等应用进行了实例验证,验证结果表明上述方法有效可行.     

基于双姿态传感器的关节运动角度测量方法

针对单自由度关节运动角度测量精度制约于传感器安装姿态的问题,文章以肘关节相对运动角度为测量对象,提出了一种基于双姿态传感器的关节运动角度测量方法。通过欧拉角法建立相应的数学模型,详细阐述了运用双姿态传感器对关节运动角度进行测量的测量原理;并通过静态验证实验与动态对比实验对该测量方法进行了验证。实验结果表明:采用该方法对关节相对运动角度进行测量,于传感器安装姿态无任何特殊要求,测量精度可以达到±0.5°,在实际测量应用中切实可行。     

基于数据手套和神经网络的数字手势识别方法

针对使用数据手套进行数字手势识别时存在个体差异的问题,使用弯曲电阻片设计了数据手套并提出了基于神经网络的数字手势识别方法.首先,在分析测量电路原理的基础上结合弯曲电阻片的特性优选了电路参数,使手指弯曲角度测量的灵敏度最大化.其次,针对用户在手指长度、手势习惯上存在个体差异的情况,提出了一种基于弯曲信号自学习和广义回归神经网络(GRNN)的数字手势识别方法.数据手套信号测试及数字手势试验结果表明,采用优选的电路参数时测量电路的输出振幅最大;在全体评估试验和个体交叉评估试验中,经过自学习预处理后的数字手势识别平均准确率分别为99.2%和96.1%,与未进行自学习处理的识别结果相比分别提高了2.8%和10.7%.在全体评估试验和个体交叉评估试验中,GRNN的识别结果均优于决策树的识别结果.     

自发热针织手套的结构与性能

为满足低温环境工作及热舒适性的要求,针对人体手部易冷问题,采用镀银导电纤维作为发热元件,在全自动手套编织机上通过添纱、衬垫、衬纬的方式,将镀银导电纤维织入手套手掌部位,并配以适当的电池组成闭合电路,进行导电发热。测试不同组织结构手套的发热性能。结果表明,衬纬编织方式便于形成电路,且并联衬纬方式优于串联方式;实验初期手套温度与输入功率呈线性增加,之后达到稳定状态,表面温度分布较为均匀,从而起到保暖及改善人体手部温度的作用。     

手指运动姿态检测及假肢手指动作实时控制

设计了一种通过实时检测手指关节弯曲角度控制假肢手指动作的实验系统.系统主要由手指运动姿态实时检测、关节角度分析、控制与驱动电路、欠驱动机电假肢手4部分组成,假肢手包含拇指、食指、中指3个独立动作的手指;利用加速度传感器ADXL330实时检测手指运动姿态信息,由DSPTMS320F2812微处理器实时检测手指关节运动的瞬时角度变化并进行PWM脉冲编码,控制步进电机运动以驱动假肢手指关节转动.并分别对加速度传感器检测手指运动和假肢手指动作实时控制进行了实验测试;实验结果表明,系统采用的加速度传感器ADXL330能实时检测手指运动姿态,利用手指关节角度信息能有效驱动假肢手指屈伸,并通过三指配合完成抓握动作.     

基于同步姿态测量的地空三分量电磁接收系统设计

针对地空三分量电磁探测对接收信号高速、同步、大量存储、同时记录线圈姿态信息的需求,提出了带有高精度同步姿态测量的全波形地空电磁探测数字接收系统。设计了针对地空电磁法的模拟信号调理电路,通过两片同步驱动的高速24位AD芯片实现三通道高速采样,由FPGA实现了大量数据的实时传输。设计了同步姿态测量装置,可实时同步存储线圈姿态数据。实测结果表示,该数字采集系统能满足三个通道全速192 k Hz的采样率采集电磁数据、以100 Hz的采样率得到同步的线圈姿态数据,并通过实地野外实验证明了该系统可以完成含姿态测量的地空电磁三分量数据采集工作。     

磁阻传感器及其在飞行体姿态测试中的应用

介绍一种新型高灵敏度磁阻传感器的工作原理和使用方法,并用该传感器对飞行体的姿态进行了测量.根据线圈切割地磁场磁力线产生感应电动势的原理,通过理论推导得出飞行体姿态测试的计算方法,设计了一种基于磁阻传感器的姿态测量系统,并对其实验数据进行了分析和处理.     

基于陀螺仪及加速度计信号融合的姿态角度测量

针对在四旋翼飞行器姿态控制中传感器数据存在噪声干扰和测量误差,以致单独使用陀螺仪与加速度计不能得到最优姿态角度的问题,建立陀螺仪和加速度计误差的数学模型,采用卡尔曼滤波方法,实现数据融合,有效地提高了姿态检测系统的检测精度.该方法被成功应用于四旋翼飞行器的飞行姿态角度控制中,验证了其良好的噪声抑制能力,提高了系统对环境变化的适应性.     

一种用于手语识别的新型数据手套

介绍一种新型的用于手语识别的数据手套,这种数据手套与当今广泛应用的CyberGlove型号的数据手套相比,增加了新型的接触传感器,有效地利用了汉语手语中大量的接触信息,具有价格便宜、更适合中国手语的特点和识别精确度高等优点,将之种数据手套应用于新型汉语手语识别系统,与视觉部分相结合,可以更准确地识别汉语手语词汇。     

基于无线体域网的人体姿态多级分层识别算法

为解决无线体域网WBAN(Wireless Body Area Network)中人体姿态识别率低、算法复杂的问题, 设计了一种以多层分级理论为基础的人体姿态多级分层识别算法。考虑到使用者的舒适度, 将九轴加速度陀螺仪传感器(VG350) 做成腰带佩戴在腰部实时采集数据。运用加速度向量幅值(SVM: Signal Vector Magnitude)、角度、角加速度和位移等参量, 通过对实际测量数据的分析, 将坐、蹲、弯腰、慢走和跑等姿态进行识别。实验结果表明, 该算法简单, 姿态识别率高达96. 5%。     

基于神经网络的手势识别技术研究

以数据手套为基础,分析了手形的几何关系,建立了虚拟手的模型,由数据手套的数据接口获取各指节的曲伸角度,建立手势标准样本库,并提出了基于BP神经网络的手势识别方法,用手势标准样本加以训练,使其具备识别手势的功能,并利用VC 编程实现BP神经网络,用Matlab验证实验结果的正确性.     

基于深度图像预旋转的手势估计改进方法

基于深度图像的手势估计比人体姿势估计更加困难,部分原因在于算法不能很好地识别同一个手势经旋转后的不同外观样式.提出了一种基于卷积神经网络(Convolutional Neural Network, CNN)推测预旋转角度的手势姿态估计改进方法:先利用自动算法标注的最佳旋转角度来训练CNN;在手势识别之前,用训练好的CNN模型回归计算出应预旋转的角度,然后再对手部深度图像进行旋转;最后采用随机决策森林(Random Decision Forest, RDF)方法对手部像素进行分类,聚类产生出手部关节位置.实验证明该方法可以减少预测的手部关节位置与准确位置之间的误差,手势姿态估计的正确率平均上升了约4.69%.     

具有触觉视觉临场感的遥操作机器人

为有效控制机器人完成复杂、精巧的任务,提高机器人在非确定环境下的作业效率,提出了一种具有触觉和视觉临场感功能的遥操作机器人控制新方法。机械手抓握或触摸物体时产生触觉,触觉信号经处理后通过数据手套的震动来刺激操控人员,实现触觉临场感,操控者可根据触觉临场感来掌握自己的手部动作;视觉临场感以视频和3D虚拟工作场景的形式再现。实验表明,该方法能有效提高遥操作机器人的操作能力。     

肢体运动微型监测系统研究

人体肢体运动的动态检测和模拟具有极大的医学应用价值。介绍一种采用微机电传感器(加速度计和磁强计)集成制作的微型监测装置,可以用于人体姿态和运动的测量。在姿态和运动的表示方面,采用单次转动和空间转轴结合的方式,计算简便,姿态反映直观,运动特征突出。此外对人体头部运动进行了实际测量和运动模拟。实验证明:该装置能够动态检测肢体的姿态和速度等运动信息,并可快速地进行体态模拟。     

基于肌音信号的四种手部动作模式的识别方法

肌音（MMG）是指肌肉收缩时发出的2～100 Hz的低频＂声音＂。近年来,有研究将前臂肌音信号作为生理信号源应用于假肢手的控制,并取得了一定的进展。利用主成分分析法（PCA）对多通道采集的前臂肌音信号的18个时、频域特征的特征空间进行降维,并采用线性分类器对4种手部动作模式（手掌握紧、手掌张开、腕部弯曲、腕部伸直）进行...     

MPU9250传感器的姿态检测与数据融合

设计了基于MPU9250多轴姿态传感器和MSP430F149单片机的姿态检测系统。利用传感器内部的陀螺仪、加速度计和电子罗盘,可以对3个轴的角速度、加速度、磁感应强度进行测量,进而解算成角度姿态。利用优化的卡尔曼滤波算法对解算的姿态角度进行了融合处理,融合后的数据有效地抑制了噪声,提高了角度姿态检测的准确性。设计的姿态检测系统每秒钟可以完成100次姿态检测与计算,具有体积小、响应快等特点,并应用于自平衡小车的姿态检测。     

基于Virtools和5DT数据手套的手势仿真研究

基于数据手套的手势仿真是人机交互研究中的重要内容。首先,采用网格曲面的方法建立了虚拟手的几何模型,解决了简单几何体建模出现的指节断裂现象;其次,为了保证运动映射的精确度,建立了虚拟手的运动模型,针对虚拟手外展时的失真现象,提出了约束值的方法;最后,基于Virtools开发平台,使用数据手套的SDK开发了数据采集模块并给出了具体的方法,编写了手势仿真的脚本程序。实验结果表明,该方法较好地解决了仿真手势的失真问题。