基于深度图像的手势识别综述

手势是一种自然直观的人机交互方式,手势识别是新一代人机交互中的重要技术.深度图像可以方便的实现前景和背景的分割,提高手势识别的性能.从人手分割、特征提取和手势识别三个方面介绍了基于深度图像手势识别的研究现状及其应用,并对其中存在的难点展开讨论.     

智能空间下基于手势识别的人机交互

在智能空间框架下,提出了基于手势识别的人机交互。在基于手势识别的人机交互设计中,采用掩膜平滑滤波方法去除噪声。在HIS色彩空间中,通过非参数化的颜色直方图取得肤色范围,然后应用肤色阀值和面积几何特征对目标手势进行提取,最后通过最小欧氏距离分类方法进行模式识别得到用户的命令。经实验验证取得了良好的效果。     

基于深度数据的手势识别研究进展

手势是人机交互的重要手段之一。基于视觉的手势识别具有非接触式交互的特点,在人工智能领域得到越来越广泛的应用。然而,受到传统二维光学摄像头的限制,采集到的手势图像质量极易受到光照和杂散背景的影响,这给手势的提取带来了重大挑战,严重制约了基于视觉的手势识别的实用化进程。近年来,深度摄像技术的兴起,为解决上述问题带来了新的机遇。在深度数据的辅助下,基于视觉的手势识别新方法层出不穷,识别的准确度不断提升,有力地促进了基于视觉的手势识别系统的实用化进程。在此背景下,从数据的角度出发,分深度数据的获取、常用手势数据集和基于深度数据的识别方法 3个方面介绍目前基于深度数据的手势识别研究的最新进展,并对其未来发展做了进一步的展望。     

多模态人机交互中基于笔输入的手势识别

为研究多模态人机交互系统的理论及构造方法 ,提出了一种快速的、单笔划手势识别方法 .该方法通过提取手势轨迹的关键点及各关键点的运移方向 ,形成特征码 ,然后与标准手势符号的各种可能的特征码进行匹配 .其中方向特征用于预分类 ,而关键点位置信息用于细分类 .实验结果表明该方法速度快、识别率高 .     

基于手势识别的智能输入系统

随着虚拟环境的发展,人机交互中键盘远远不能满足人们的要求,本文提出了一种基于手势识别方法的智能输入算法.该算法采用肤色分割提取出手部区域,检测大拇指和伸出的手指数目识别出手势的含义,把各种手势组合起来实现智能输入.该算法能够使用户根据自己的习惯来定义手势,更好的实现人机交互.实验结果表明该算法对获取手势图片时的外界干扰具有一定的鲁棒性,并能达到较高的成功率.     

基于ICONDENSATION算法的人手跟踪与手势识别算法

为实现基于手势的智能人机交互,提出了一种基于视觉的人手跟踪与手势识别算法.该方法以ICONDENSATION算法为基础,融合颜色与深度信息进行重要采样,结合轮廓信息并通过ASM模型的能量函数进行观测,根据最大后验概率对几种预定义的手势进行识别.实验结果表明,该算法能够有效地实现复杂背景下的人手跟踪与手势识别,为进一步实现智能人机交互奠定了基础.     

基于HMM的手势识别研究

利用可穿戴式加速度传感器采集手势动作信息,研究了基于隐马尔可夫模型的手势识别技术.首先采集手势加速度数据,采用改进的SWAB算法进行自动端点检测,通过提取相应的手势特征,利用HMM对手势指令建模,并采用K-means算法矢量量化手势特征序列,以提高手势识别性能.实验表明,本文采用的方法能够有效识别手势动作.     

基于深度学习的变电站巡检机器人道路场景识别

为了提升变电站巡检机器人对自身所处环境的理解能力,将深度学习技术应用于变电站巡检机器人对道路场景的识别中,提出了一种全卷积道路场景识别网络(road scene recognition net,RSRNet)。该网络主要由相对浅层的编码网络和镜像结构与跳层融合结构相结合的解码网络组成,通过编码网络提取图像特征后由解码网络识别出图像目标信息。通过实验表明,本文提出的网络在同类型网络中识别精度及效率更高,同时在实际变电站场景中也表现出了优良的场景识别性能。     

基于Transformer模型的手势脑电信号分类识别

基于无创脑电信号的精细手势动作识别是脑卒中患者运动功能康复的重要技术手段。本文通过设计实际手势动作,以手指精细运动时的运动功能区长时程脑电信号作为数据处理对象,改进了一种基于自我注意的Transformer模型识别方法,分别从时间维度和空间维度构建了基于自我注意模块的Transformer模型及其变体Top-k稀疏Transformer模型,并结合脑电数据结构特点设计了一种基于MEMD-CCA的混合去伪影方法,改进的Transformer模型取得了优异的分类识别结果。     

基于特征联合和偏最小二乘降维的手势识别

针对以往手势识别研究中更关注识别率而弱化实时性的情况,首次将偏最小二乘降维思想引入手势识别领域,提出一种基于特征联合和偏最小二乘降维的手势识别方法。首先进行手势分割,在此基础上提取手势样本的梯度方向直方图和局部二值模式特征,并将二者进行联合。然后采用偏最小二乘法对手势联合特征进行降维,并将降维后的手势训练样本特征输入到支持向量机中进行分类训练。最后用训练好的支持向量机对降维后的手势测试样本进行识别测试。基于Jochen Triesch手势库及自制手势库的实验结果表明,同已有方法相比,本文所提方法在取得较高手势识别率的同时也取得了较好的实时性。     

基于关键点的残差全连接网络动态手势识别方法

车载动态场景下,为了提高基于视频手势识别的准确率和鲁棒性,提出了一种基于关键点的残差全连接网络手势识别算法.对在不同车辆平台、不同运动条件下采集的不同光照强度的视频数据进行归一化等预处理后提取视频帧的关键点,以关键点个数为准则进行了关键帧选取以提高运算性能和降低算法复杂度,将从关键帧中所提取的关键点送入残差全连接网络实现连续手势的识别.在不同光线与车内环境下,所提算法对6类动态手势的平均识别准确率达到96.72%,相较3D卷积神经网络(C3D)、卷积神经网络(convolutional neural network,简称CNN)、长短时记忆网络(long short-term memory network,简称LSTM)和双流网络,其识别率分别提升了10.72%,6.40%,5.17%和4.50%.实验结果验证了所提算法在车载环境下连续手势识别的有效性.     

基于注意力机制多尺度网络的自然场景情绪识别

情绪识别作为计算机视觉的一项基本课题已经取得很大进展,然而在无约束自然场景中的情绪识别仍具挑战性.现有方法主要是利用人脸、姿态以及场景信息识别情绪,但是忽略了人物个体在场景中的不确定性,以及不能很好地挖掘场景中的情绪线索.针对现有研究存在的问题,提出了基于人物与场景线索的双分支网络结构,两个分支独立学习,通过早期融合得到情绪分类结果.对于人物在场景中的不确定性,引入身体注意力机制预判人物情绪置信度进而获得人体的特征表示,场景中引入空间注意力机制和特征金字塔以便充分获得场景中不同粒度的情绪线索.实验结果表明,此方法有效融合人物与场景信息,在EMOTIC数据集下能够明显提高情绪识别率.     

城市环境中箭头型交通信号灯的实时识别算法

提出一种检测和识别城市环境中箭头型交通信号灯的新方法.首先,用图像颜色分割和形态滤波来定位交通信号灯的灯板位置;其次,将交通信号灯的灯板区域彩色图像转换到YCbCr空间,对Cb和Cr通道进行阈值分割,判断形态及交通信号灯与灯板的相对位置来确定红色、黄色和绿色交通信号灯候选区域.然后,用二维Gabor小波变换和二维独立分量分析来提取交通信号灯候选区域的特征;最后,用最近邻分类器识别交通信号灯的箭头方向.实验结果表明:该算法的总体识别率超过91％,每帧图像的处理时间为152 ms,能够为行驶的车辆提供实时、稳定和准确箭头型交通信号灯信息.     

任意方向自然场景文本识别

自然场景文本识别是计算机视觉领域一项极具挑战性的任务,为此提出一种适用于任意方向的自然场景文本识别算法.使用高分辨分割网络作为基础框架提取文本的空间信息,利用卷积长短时记忆网络提取文本的时空序列信息,同时通过设计字符注意机制使模型专注于字符上,并采用可微分二值化函数进一步加大网络对前景的注意力,削弱对背景区域的关注,网...     

复杂场景下自适应视频前景提取算法

针对目前基于背景建模的前景提取算法在复杂场景中误检率高以及鬼影融入背景模型慢等问题,提出一种复杂场景下自适应视频前景提取算法。在前景检测阶段,利用背景模型中样本之间最小欧式距离的均值衡量背景动态波动程度,自适应调整像素点的半径阈值,从而抑制在光线变化,树叶晃动等场景中产生的拖影和噪声点;在更新背景模型阶段,根据物体的运动速度自适应选择一次更新背景模型中样本个数,加快因首帧存在运动目标和物体运动状态变更而产生的鬼影融入背景模型。实验表明,相比其他代表性算法,改进算法在加快鬼影融入背景模型和抑制背景动态干扰方面均有较好的表现,且提升了准确率、召回率,降低了假正率。     

基于深度学习的动态场景语义SLAM

提出一种利用深度学习提高动态环境下视觉语义即时定位与地图构建(SLAM)的方法.首先用实例分割网络对关键帧进行实例分割,建立先验语义信息;然后计算特征点光流场对物体进一步区分,识别出场景真正运动物体并将属于动态物体的特征点去除;最后进行语义关联,建立无动态物体干扰的语义地图.将本文方法在室内环境公开数据集中测试,结果表明该方法可有效消除动态物体对建图的影响,提高建图精度.     

智能车辆在城区交通场景中的多类障碍物识别

针对智能车辆在城区交通场景中的前向障碍物识别,提出了一种基于集成学习改进的二叉树支持向量机(BT-SVM)的多类分类方法。根据城区交通场景中各类障碍物的出现概率、模式类别差异,设计了适用于智能车辆障碍物识别的BT-SVM树型结构;对每个节点分类器,采用AdaBoost集成学习方法进行改进,有效减少了差错积累误差,提高了分类精度和泛化能力。试验表明该方法能有效地对城区交通场景中6类常规障碍物模式进行实时在线识别。     

基于时空融合的交通场景中运动行人检测算法

将视频监控技术应用于交通信息获取与处理,解决行人安全问题,已成为智能交通系统中的一项关键技术。为精准地提取交通场景语义信息,提出了融合时域和空域信息的行人检测算法。通过相邻多帧时域变化和Canny边缘检测算法得到初始检测掩模图像,解决差值局部化和噪声问题;提取空域信息时,引入二次重构和内外标记技术对梯度图像进行修正和分水岭变换,得到空域掩模图像,有效地提高空域分割精度,消除过分割现象;最后将两者结果进行融合和形态学修正,提取出交通场景图像中的运动行人。以北京南站为例进行实验分析,结果表明,该方法能快速准确地检测到较完整的目标信息,在动态场景的行人检测取得了较好的效果。