骨架关节点跟踪的人体行为识别方法

基于彩色图像的运动检测和分割方法难以获取完整的人体骨架,并且只能提取关节点的二维坐标信息,而 Kinect 传感器能通过捕获深度图像来重建完整的人体骨架关节点三维模型,提高了骨架关节点模型的表示精度。本文通过 Kinect 的骨架跟踪模块对人体的骨架关节点模型进行提取;然后,提出一种坐标转换方法得到人体骨架关节点的三维坐标表示,利用 k 均值聚类将关节点坐标量化为符号序列;最后,建立离散隐马尔可夫模型来进行人体行为识别。通过自建的数据集进行实验,实验结果表明：本方法能取得94％的识别率。     

基于累积运动能量图像的人体动作识别

指出了动作识别中的最大困难是难以提取有效的特征来准确描述人体的动作,动作模板是众多方法中的一种简单有效的方法,用来描述动作特征的经典动作模板是运动历史图像.由于受噪声的干扰,用运动历史图像描述复杂环境下的人体动作并不十分理想.为了得到比运动历史图像更加有效的动作模板,提出了将视频序列中的运动能量信息用一张图描述出来,称之为累积运动能量图像,提取其直方图特征来表征人体动作.经You Tube数据集上的实验表明:该累积运动能量图像的识别率比同类方法高.     

基于人体时空骨架特征的图卷积行为识别算法

【目的】为了充分利用动态的人体骨架特征，提高行为识别精度，提出一种基于人体时空骨架特征的图卷积行为识别算法。【方法】首先在空间上确定主关节点，再融合各关节点与主关节点之间的向量和关节点间的骨骼长度，获取瞬时状态下关节点的相对位置关系；然后计算相邻两帧之间由相同关节点构成的时序动作信息来描述运动状态；最后，将时空信息融合到时空图卷积网络中，进行端到端训练。【结果】与时空图卷积网络识别算法相比，在400分类Kinetics行为识别数据集上的Top-1和Top-5指标分别提升了1.78%和1.77%，在NTURGB+D数据集的两个基准上的Top-1分别提升4.13%和2.61%。【结论】提出的基于人体时空骨架特征的图卷积行为识别算法是有效实用的。     

基于混沌不变量和关联向量机的人体行为识别

提出了一种基于混沌不变量特征和关联向量机（RVM）的人体行为识别方法.提取人体关节点运动产生的轨迹代表人体动作行为的非线性系统,利用 C-C方法估计时延并且得到由每条运动轨迹重构的相空间维数,并从重构的相空间提取代表人体行为的混沌不变量,利用RVM算法识别人体行为.在KTH,Weizmann及ballet 数据库中进行测试,实验结果表明,使用该方法平均正确率达92.1%.     

非刚性人体运动动作图像姿态轮廓提取算法

针对人体运动动作图像提取传统方法仅能获取局部最佳解, 提取的特征序列不连续, 导致轮廓提取效果差的问题, 提出一种非刚性人体运动动作图像姿态轮廓提取算法. 首先, 对人体运动动作图像序列中的尺度不变特征变换(SIFT)进行提取预处理, 获取人体特征提取图, 设计一种人体运动序列顺序概率图模型, 以保证特征序列提取的连续性; 其次, 构建人体肢体外观模型, 基于该外观模型采用序列影像高精度轮廓提取算法提取当前人体运动动作帧的轮廓线. 实验结果表明, 该算法能提取连续的特征序列, 提取的人体姿态轮廓精确度较高, 且具有较高的效率和鲁棒性.     

基于Kinect 的康复训练系统设计与研究

针对运动功能障碍患者的康复训练需求,在使用Kinect 设备提取人体骨架拓扑结构的基础上,提出了一 种基于关节点角度序列提取人体运动特征的动作模型,并设计了一种基于Kinect 体感相机的康复训练系统。 该系统利用Kinect 设备实时采集人体骨骼数据,计算特征关节点间的角度,形成关节角度变化序列。利用动态 时间规整算法( DTW: Dynamic Time Warping ) 比较被测角度序列与动作库的标准动作序列的相似度,判断动作 是否标准并输出评估结果。该系统具有使用便捷、成本低的特点,提高了训练过程的趣味性。测试结果表明, 该系统通过人机交互实现了对运动障碍患者的康复训练指导,对康复训练过程具有积极影响。     

基于SAT-GCN的花样滑冰选手动作检测算法研究

针对花样滑冰运动人体运动轨迹复杂、动作类型多样、普通人肉眼难以区分且常规的行为识别方法识别准确率低的问题，提出了一种基于时空图卷积网络与多通道注意力机制融合方法 (SAT-GCN)的花样滑冰动作识别算法。该算法首先将视频提取成连续的单独帧，使用OpenPose算法提取人体骨骼关键点数据，降低背景噪声干扰；然后使用时空图卷积算法对骨骼关键点数据进行动作分类。算法对时空图卷积算法进行改进，加入了多通道时空注意力机制融合模块，使得模型更加关注重要的关键点、时间帧片段、特征；使用时序卷积网络(TCN)提取人体骨架关键点在时间序列上的特征；使用SoftMax对提取后的特征进行动作分类。在花样滑冰数据集FSD-10和公开的人类行为数据集Kinetics-Skeleton上进行训练和测试，与改进前的时空图卷积网络(ST-GCN)进行对比，本文所提算法的预测准确率在2个数据集上均有所提升，验证了多通道注意力机制融合方法在花样滑冰选手动作检测任务中的有效性。     

基于特征提取的健美操分解动作图像自适应识别方法

为了解决传统方法容易受运动速率、光照情况、遮挡、复杂背景等的影响,导致识别结果鲁棒性较差的问题,通过特征提取方法研究了健美操分解动作图像自适应识别问题。通过时间能量金字塔把视频序列划分成若干段,得到结果中动作并非全为健美操动作,含大量干扰信息,通过背景消减法对进行健美操运动的人体目标进行提取,进行进一步处理,得到人体轮廓的二值图像序列,求出轮廓外界矩形宽度和高度之比,依据宽高比获取关键帧,通过拉普拉斯法求解相邻差异帧与间的光流,降低背景杂波产生的影响。针对关键帧提取特征向量,通过相似性检测对待识别健美操分解动作图像和提取特征进行匹配,设定相似性阈值,将相似性高于阈值的图像作为识别结果。结果表明：所提方法对单人健美操视频数据库的识别准确率高,仅存在一定程度的混淆;所提方法对含不同场景的复杂数据库的识别准确性和其它方法相比最高。可见所提方法受外界环境干扰小,可保证高识别精度。     

基于关节点运动轨迹的人体动作识别

为了提高动作识别的准确率和实时性,提出一种基于关节点运动轨迹的动作识别方法.受心理物理学中关于人体运动实验的启发,使用人体骨架关节点的运动轨迹表示人体动作,它能够在时空维度上对动作进行完整表达.在此基础上,使用高斯混合模型对关节点运动轨迹进行聚类,进而通过Fisher向量进行特征量化.考虑到动作识别任务的实时性要求,提出基于核极限学习机的动作识别,以此提升动作识别任务的实时性和准确率.最后,在公开数据集UTD-MHAD和KARD上对提出的方法进行了验证,实验结果证明了该方法的有效性.     

基于骨骼信息的虚拟角色控制方法

针对当前动作捕捉方法中基于旋转矩阵的虚拟角色控制方法,虚拟角色模型运动还原度低、人体动作不能实时展现、抗光照干扰能力弱的问题,提出一种基于骨骼信息的四元向量控制方法。该方法以 Kinect 体感摄像机捕获的人体骨骼关节点数据为基础,计算并记录人体运动过程中关节点空间位移和关节点之间夹角的变化,根据相邻图像序列中的运动数据确定虚拟角色每个骨骼关节点的旋转角度,并将其转化为四元旋转向量。根据正向运动学原理,从根节点对虚拟角色模型进行调整并根据人体动作进行实时反馈。通过理论分析和仿真结果表明,与基于旋转矩阵的的虚拟角色控制方法相比,该方法的人体姿态还原度高,角度误差低,实时预览效果直观,实时性与抗光照干扰能力强。     

一种结合深度信息的人体行为识别方法

针对现有的人体行为识别方法中易受到噪声、光照以及复杂背景等因素的影响,同时,未充分考虑到人体交互区域的作用。提出一种结合普通彩色视频和深度信息的人体行为识别方法。首先,对于识别中提取人体运动目标时,利用深度图中物体表面法向量提取运动目标的边缘;同时结合加权累计帧差法获取运动模板。其次,结合深度连续性提取非人体区域(人体与动作的交互区域)并进行描述,作为人体行为表示的一部分。最后利用支持向量机(support vector machine)进行训练和识别。实验部分在CAD-120数据集中测试,通过与一些现有的人体行为识别方法相比较,动作识别准确率提高了5%左右。     

基于机器学习的人体动作深度信息识别方法研究

为了实现人体动作的准确检测识别,提出基于机器学习的人体动作深度信息识别方法,构建人体动作的三维图像采集模型,建立人体动作三维重建图像的表面结构重构模型,结合模糊度特征提取方法对人体动作三维重建图像进行多尺度分解,采用三维空间结构重组的方法进行人体动作细节特征识别,建立人体动作图像的多维分割模型;采用机器学习算法进行人体动作的细节特征分类识别,建立人体动作深度信息的提取和分类模型,在机器算法下实现人体动作的深度信息检测和多维识别。仿真结果表明,采用该方法进行人体动作深度信息识别的准确度较高,特征分辨力较好,具有很好的人体动作信息检测和辨识能力。     

Kinect骨骼数据驱动的人体动作二维特征融合与动作识别

针对在高噪声环境中人体动作识别存在准确度和稳定性不高的问题,本文采用二维空间特征融合的方法,提出一种基于Kinect骨骼数据的人体动作识别算法。从人体三视图的投影来提取运动特征,可以消除人体自遮挡的影响。针对人体复杂动作,算法采用分层策略。利用Kinect获得的骨骼关节点坐标,根据人体三视图投影提取二维空间的人体关节角特征,并运用支持向量机(SVM)方法对动作进行粗分类;进一步提取二维投影平面内的关节位置矢量、角速度和加速度特征,运用隐马尔可夫模型(HMM)的方法对动作进行细分类。利用本文方法对公开数据集MSR Action 3D实验,平均识别率达93.37%,实验结果表明,该方法准确性较高,鲁棒性较强。     

视频中人体行为分析

为实现机器视觉代替人眼观察、 认知世界以及减少背景和噪声对视频中人体特征提取的影响, 以提高识别效果, 在研究人体动作表征与识别的基础上, 充分考虑局部和全局特征的优缺点, 提出了基于局部时空兴趣点和全局累积边缘图像特征相结合的人体行为分析方法。首先, 从视频序列中提取局部时空兴趣点和全局累积边缘图像特征; 然后用加权字典向量法将两者有机地结合在一起; 最后利用最近距离法进行人体行为分析和识别。该方法可有效获得人体时空特征, 人体边缘轮廓
, 人的运动趋势和强烈程度。实验结果表明, 该方法快速, 相比其他算法识别率大致提高了2%~5%。     

一种基于多特征多分类器融合的人体行为识别方法

提出了一种基于多特征多分类器融合的人体行为识别方法。针对Kinect传感器提取的三维骨骼动作序列,采用身体部位的相对几何特征、关节点的相对位置特征、关节点的绝对位置特征对人体动作进行描述。将支持向量机和随机森林分类器作为成员分类器,对3种动作特征分别进行训练和测试,使用分类器融合算法对分类结果进行融合决策,实现最终的分类。在现有的人体动作数据集上进行验证,实验结果表明:本方法可取得95%的识别率。     

基于Adaboost关键帧选择的多尺度人体动作识别方法

针对手工制作关键帧检测器和最初“特征包”方法的局限性,提出一种基于Adaboost关键帧选择和多尺度运动特征表示的人体动作识别方法.首先,从视频序列中提取兴趣点,使用生物启发特征结合光流的多尺度方法提取运动特征;然后,利用Adaboost学习方法从一个大的特征池中选取最具辨识度的几帧图像,并将排列前十的Adaboost帧作为相应的关键帧;最后,利用相关图表示关键帧,由支持向量机(support vector machine,SVM)完成人体动作分类.在KTH、多视图IXMAS和TUM数据库上的实验结果显示,该方法在3个数据库上的识别精度可分别高达95.5％,93.7％和91.5％,识别性能明显优于其他几种较新的方法,表明利用Adaboost学习算法可有效选取每个视频动作序列的关键帧,并有效解决了“特征包”方法的局限性问题.     

基于3D骨架和MCRF模型的行为识别

针对目前行为识别方法的不足,提出一种基于人体3D骨架和多CRF模型(MCRF)的行为识别方法.3D骨架数据量少且保留了行为关键信息的优点,并具有融合多特征和上下文信息的优势.为此,首先基于3D骨架将人体动作划分为全局运动、手臂运动和腿部运动,通过对动作序列进行多类特征提取,形成多类特征集;然后利用CRF模型对每一特征集建模,再融合所有的CRF模型,得到MCRF模型;最后利用MCRF模型进行行为识别.实验结果表明,该方法具有较高检测率.     

一种时序边界注意力循环暴力行为检测神经网络

暴力行为检测是行为识别的一个重要研究方向,在网络信息审查和智能安全领域具有广阔的应用前景.针对目前的时序模型在复杂背景下不能有效提取人体运动特征和常规循环神经网络无法联系输入上下文的问题,本文提出一种时序边界注意力循环神经网络TEAR-Net.首先,以本文提出的一种全新的运动特征提取模块MOE为基础,在保留输入视频段序列背景信息的前提下加强运动边界区域.运动边界对于动作识别的作用要远大于图像其他区域,因此运动边界加强能够有效提高动作特征的提取效率,从而提升后续网络的识别精度.其次,引入了一种全新的结合上下文语境和注意力机制的循环卷积门单元(CSA-ConvGRU),提取连续帧之间的流特征以及不同帧的独立特征,并关注关键帧,能够极大提升动作识别的效率,以少量参数和较低计算量的代价掌握视频流的全局信息,从而有效提高识别准确率.本文提出的模型在目前最新的公开数据集RWF-2000和RLVS上进行了多种实验.实验结果表明,本文提出的网络在模型规模和检测精度上均优于目前主流的暴力行为识别算法.     

单像素人体轮廓提取方法研究

在步态识别中,常用轮廓信息来描述人体运动的细节,而单像素人体轮廓是决定步态识别精度的一个关键环节。提出了一种单像素人体轮廓提取方法。首先,使用灰度图像背景差法获取人体区域图像;然后利用数学形态学的方法对人体区域图像进行修复处理;最后,利用边缘像素邻域信息提取单像素的人体轮廓。仿真实验结果表明,提出的方法能够有效地提取不同步态图像的单像素人体轮廓。     

融合人体骨架和姿势信息特征的轻量级人体动作识别方法

针对人体动作识别任务中特征值选取不当导致识别率低、使用多模态数据导致训练成本高等问题,提出一种轻量级人体动作识别方法。首先使用OpenPose、PoseNet提取出人体骨架信息,使用BWT69CL传感器提取姿势信息;其次对数据进行预处理、特征融合,对人体动作进行深度学习分类识别;最后,为验证此方法的有效性,在公开数据集WISDM、UCIHAR、HASC和自建的人体动作数据集上进行实验验证,并使用改进的目标引导注意力机制(target-guided attention,TGA)–长短期记忆(long short term memory,LSTM)网络输出最终的分类结果。实验结果表明,在自建数据集下融合姿势和骨架特征达到99.87%准确率,相比于只使用姿势信息特征,识别准确率提高了约5.31个百分点;相比于只使用人体骨架特征,识别准确率提高了约1.87个百分点;在识别时间上相比于只使用姿势信息,识别时间降低了约29.73 s;相比于只使用人体骨架数据,识别时间降低了约9 s。使用该方法能及时有效地反映人体的运动意图,有助于提高人体动作和行为的识别准确率和训练效率。