基于ICONDENSATION算法的人手跟踪与手势识别算法

为实现基于手势的智能人机交互,提出了一种基于视觉的人手跟踪与手势识别算法.该方法以ICONDENSATION算法为基础,融合颜色与深度信息进行重要采样,结合轮廓信息并通过ASM模型的能量函数进行观测,根据最大后验概率对几种预定义的手势进行识别.实验结果表明,该算法能够有效地实现复杂背景下的人手跟踪与手势识别,为进一步实现智能人机交互奠定了基础.     

应用计算机视觉的动态手势识别综述

从手势识别系统框架模型、手势分割、手势建模与分析和手势识别等几个方向,系统地综述当前计算机视觉动态手势识别技术的研究现状,分析其存在的不足,提出了进一步研究的问题.结果表明:基于简易可穿戴设备的手势识别、基于深度视觉传感器的手势识别和多方法交叉融合的手势识别将是未来该领域的发展趋势.     

基于ICODENSATION算法的人手跟踪与手势识别算法

为实现基于手势的智能人机交互，提出了一种基于视觉的人手跟踪与手势识别算法．该方法以ICON—DENSATION算法为基础，融合颜色与深度信息进行重要采样，结合轮廓信息并通过ASM模型的能量函数进行观测，根据最大后验概率对几种预定义的手势进行识别．实验结果表明，该算法能够有效地实现复杂背景下的人手跟踪与手势识别，为进一步实现智能人机交互奠定了基础．     

基于摄像头的手势捕捉技术的研究

本文对手势动作捕捉技术进行了研究,提出了一种基于单个摄像头的手指触发人机交互方法。该方法使用固定的矩形面板作为交互界面,利用手指在面板上的移动和点击等动作完成与计算机的交互操作。它使用单个摄像头捕捉人手在面板上的运动和姿势,结合肤色和运动信息对手指进行实时定位,根据图像中指尖的位置和停留时间等参数来判断指尖是否触发。实验结果表明,该方法可以完成较好的手指定位和准确的触发检测,实现了手指绘图和点击按钮等自然友好的人机交互操作,可以运用于智能交互、数字娱乐、穿戴计算等多种应用场合。     

基于手部运动交互娱乐设计

为了儿童能够在现有的条件下自然、灵活地利用计算机进行学习、娱乐,采用计算机视觉处理技术设计了一种基于手势的交互模式。该交互模式利用手部无规则的运动信息和人类特有的肤色信息作为计算机输入,用户可以方便地进行菜单选择、游戏设置以及游戏控制,从而可以有效地摆脱键盘、鼠标的束缚。该模式具有不需要手势训练、用户认知负担小、适应能力强等优点。最后基于该交互模式,开发了一个儿童益智学习系统和一个游戏系统。通过多人的参与评估,用户对这种交互模式较为满意。     

基于多传感技术相融合的手势交互系统研究

针对传统基于计算机视觉技术进行手势识别过程中存在极易受环境光照及遮挡等影响导致识别准确率和效率不高的问题,本文提出了基于MEMS传感器信号和视觉信号相融合的手势交互方法。该方法通过分别获取和处理视觉信号和MEMS传感器信号,独立计算出手势特征,最终根据不同的应用场景动态调整各种手势特征在融合模型中的权值,使其相互补充,相互修正,最终实现了根据手势特征实现人机交互的系统。实验表明,该方法的准确性和效率都很高,能够达到人机交互实时性及准确性的要求。     

基于手势识别的虚拟环境体感交互控制

结合体感交互与虚拟环境技术,提出了一种基于手势识别的虚拟环境体感交互方法,采用Kinect体感设备,实时获取用户的手势数据,通过改进的动态时间规整算法,对所定义的手势语义进行识别,并根据识别结果,发出实时控制指令,实现与虚拟环境的自然交互.在此基础上,实现了基于Kinect手势识别的虚拟矿井交互系统,对交互方法进行测试.实验测试结果表明,手势识别正确率平均高达95.1%,实时性较好,所定义的虚拟矿井手势语义符合人们正常操作习惯,能实现与虚拟环境更加自然的人机交互,可以实现与虚拟矿井自然交互控制.     

凌空手势识别综述

 普适计算技术和可穿戴设备的快速发展对自然的手势识别技术提出了新的挑战：应使用户尽可能摆脱对环境和输入设备的束缚,与环境进行自然而有效的手势交互。凌空手势（mid-air gestures）识别是应对新挑战的一类有效的手势识别技术。本文首先对凌空手势的定义进行描述,然后分析和总结现有的基于计算机视觉、超声波和电磁信号的三大类凌空手势识别技术,并指出凌空手势识别技术的应用领域、开放性问题及未来发展方向。     

基于体感交互的公路真三维设计与系统架构

引入自然交互这一人机交互领域的最新概念,基于Kinect传感器强大的人体识别与关节点空间运动跟踪及坐标定位能力,提出采用体感人机交互技术在三维虚拟空间中进行公路线形几何设计的方法,并给出了公路真三维设计系统架构.讨论了采用手势进行公路设计的流程以及手势识别、视角控制、线形实时动态交互优化编辑等功能模块的功能设计与相互关系.并采用微软SDK和Google Earth作为第三方软件,开发了系统原型并进行实验,实现了人机交互手段与公路设计平台由二维向三维转变,验证了基于体感交互的公路真三维设计方法的可行性.     

多尺度模型与矩描绘子相结合的手势识别算法

提出了一种基于单目视觉的手势识别算法.通过用户初始化过程获取基本识别参数,结合视频跟踪的过程实时获取用户手势区域,在该区域内采用矩描绘子与多尺度模型相结合的方法进行特征提取,对于提取出的特征采用分类识别规则,实现对手势1～10的正确识别.经过试验证明,该算法可以适用于不同用户,识别正确率达到93.5%.     

基于光流及耦合隐马尔可夫模型的动态手势识别

基于块的相关算法来计算光流，并利用光流跟踪双手的运动．双手的运动轨迹取相邻两点的速度向量，经8方向链码量化后作为观察向量．和直接利用位置信息相比较，提高了识别的鲁棒性．采用耦合隐马尔可夫模型来识别双手动态手势，提出并实现了最大后验概率的训练．对6个双手动态手势的试验表明，耦合隐马尔可夫模型(CHMM)比常规隐马尔可夫模型(HMM)能更有效地对双手动态手势建模．     

健康医疗大数据与罕见病的精准用药

 药物治疗是罕见病的主要治疗方式,然而目前仅有1%的罕见病能够得到有效的药物治疗。不同来源的基因组、转录组等组学数据与临床表型数据融合起来形成的"健康医疗大数据",可以通过集中小规模罕见病临床数据的方式有效弥补罕见病样本量少的不足。大数据信息可用于研究罕见病新的药物靶点、探索成熟药物在罕见病领域新用法、分析药物不良反应实现个体化用药,并可进一步通过大数据技术建立本地化罕见病知识库,从而实现罕见病的精准诊断和治疗。随着大数据研究的不断深入,仍然需要突破多组学融合及分析技术、基于真实世界的知识提取技术、基于组学的临床决策支持等技术壁垒才能使大数据在罕见病的诊疗中得到最大应用。     

基于手势识别的智能输入系统

随着虚拟环境的发展,人机交互中键盘远远不能满足人们的要求,本文提出了一种基于手势识别方法的智能输入算法.该算法采用肤色分割提取出手部区域,检测大拇指和伸出的手指数目识别出手势的含义,把各种手势组合起来实现智能输入.该算法能够使用户根据自己的习惯来定义手势,更好的实现人机交互.实验结果表明该算法对获取手势图片时的外界干扰具有一定的鲁棒性,并能达到较高的成功率.     

基于核相关滤波的飞行员手势跟踪研究

结合飞行员操作过程中手部的运动特点,针对核相关滤波器跟踪算法在目标尺度变化和快速移动时存在的问题,提出了一种结合了手势检测与核相关滤波跟踪算法的飞行员手势跟踪方法。首先,将肤色分割与背景减除进行有效的融合,对静态手势进行快速检测。然后,使用KCF算法对定位的手势区域进行跟踪以获取手势实时位置和轨迹。跟踪过程中比较手势检测与手势识别所得到的手部信息,当出现偏差时对搜索框进行更新。从而实现有效的手势检测与跟踪。实验结果表明,该方法可以实现对飞行员变形手势快速、准确的实时跟踪,对部分遮挡和尺度变化有很好的适应性,能够满足后期飞行员手部行为分析的要求。     

基于模糊条件随机场的手势标注

在连续手势自动识别中,如果可以借助自然语言对手势进行描述,这将更接近于人们对手势认知的方法,这在一定程度上将有助于提高识别的准确性。通过使用模糊集与条件随机场相结合的方法实现了对连续手势的标注、分割。FCRF首先采用模糊集对手势进行描述,实现了自然语言对手势的描述,然后通过对条件随机场中状态和状态转移参数的修改实现了采用模糊特征的连续手势序列标注。实验结果显示,与现有的分割模型相比较,FCRF模型对手势序列标注具有较高的正确率,通过ROC特性曲线的分析,FCRF有较好的分类性能。     

排球扣球动作的三维手势重建系统设计

为了精确、快速、低成本地获得运动员的排球扣球动作三维手势模型并对其进行数字化模拟,需要对排球扣球动作的三维手势进行重建系统设计。传统的基于多台Kinect的排球扣球动作三维手势重建系统设计方法,首先使用两台Kinect分别采集运动员排球扣球动作二维手势图像的点云数据,通过标定得到两台Kinect采集到的排球扣球动作二维手势图像姿态关系;然后基于标定结果,使用迭代最近点算法对两部分排球扣球动作三维手势图像的点云数据进行配准得到完整的排球扣球动作三维模型。存在重建成本高,噪声干扰严重导致重建系统失真严重的问题。为了降低噪声干扰,提高重建精确度,降低成本,提出一种基于立体视觉的排球扣球动作三维手势重建系统设计方法,首先通过传感器或摄像机等设备获取排球扣球动作二维手势图像,并对其进行平滑去噪;然后采用基于2D平面标靶的标定原理,建立摄像机成像的排球扣球动作三维手势图像几何模型并获得其参数;最后利用双目立体视觉算法实现对排球扣球动作三维手势图像的特征提取与匹配,完成三维手势重建。实验结果分析证明,所提方法可以提高排球扣球动作三维手势重建效率,提高重建精确度,降低噪声影响,具有更加广泛的使用价值。     

Operational Gesture Segmentation and Recognition

Gesture analysis by computer is an important part of the human computer interface (HCI) and a gesture analysis method was developed using a skin-color-based method to extract the area representing the hand in a single image with a distribution feature measurement designed to describe the hand shape in the images. A hidden Markov model (HMM) based method was used to analyze the temporal variation and segmentation of continuous operational gestures. Furthermore, a transition HMM was used to represent the period between gestures, so the method could segment continuous gestures and eliminate non-standard gestures. The system can analyze 2 frames per second, which is sufficient for real time analysis.     

一个虚拟手原型的实现

以５ＤＴ 公司生产的数据手套作为手势输入设备,开发了一个虚拟手原型．它以手的运动学模型为基础,采用层次结构法构造手的几何模型,极大地方便了虚拟手的图形显示和实时更新的实现．根据人手的运动约束关系得到各关节弯曲角度的相对比例关系,就能从数据手套得到的７ 个传感数据获得整个手的运动情况,并用静态碰撞检测法处理虚拟手与其他物体的碰撞检测,在运行期间不断地对用户手势进行手势映射计算找到最匹配的手势,执行与该手势对应的动作．本原型简单易行,便于增加手势,最后给出了实现结果．     

基于神经网络的旗语识别系统

视觉是人类从外界获取信息的主要途径，人们希望计算机视觉在人机交互技术中发挥重要的作用。介绍一个基于视觉的动作实时识别系统，该系统用于在门桥模拟训练中对旗语动作进行识别。与以往工作不同的是，该系统仅用一个摄像机来实现多个动作的识别与跟踪，避免了多目视觉的特征匹配问题，进而提高了系统的稳定性和识别速度。