基于Kinect的人体三维动作实时动态识别

针对传统的二维图片动作识别算法识别率相对不高、实时性不强的问题,文章提出一种三维的人体动作实时识别的方法。该方法首先通过Kinect获取人体三维骨骼数据,然后对骨骼数据信息采取归一化的方法进行数据对齐的预处理,使得与实时数据与标准数据的角度阈值和距离参考值统一。最后与标准动作采用多特征融合的识别算法对动作进行识别与匹配的方法,并在此基础上改进基于关节点角度的动作识别方法。实验结果表明,文章方法运行速度较快,可有效消除角度测量不稳定以及距离测量无法检测方向上的差异造成的动作匹配不准确。满足三维动作识别的实时性、鲁棒性强。     

一种基于Kinect的角色骨骼动画方法

针对当前骨骼动画制作方法存在实时性差?抗光照干扰能力弱?角色模型运动误差大的问题,提出了一种新的骨骼动画方法?采用微软Kinect设备获取人体三维骨骼坐标数据,用改进的D-H(denavit-hartenberg)描述法在关节点处建立虚拟坐标系,对捕捉对象单帧姿态进行抽象空间位形描述,再根据前后帧位形数据求解骨骼矩阵,对根节点进行位移调整形成骨骼动画?实验结果表明,该方法实时性与抗光照干扰能力强,角色动作与捕捉对象动作之间的相似度高?     

Kinect骨骼信息下的动态手势识别研究

针对复杂环境中存在的手势识别问题,提出一种利用Kinect传感器获取深度信息并进行动态手势识别的方法。该方法通过对Kinect传感器获取的深度信息进行分析,获取人体主要骨骼点的3D坐标,从中选取六个点作为手部运动的特征参照;为提高手势识别系统的识别速度,提出了一种基于查表的DTW算法对得到的特征数据进行模板训练并实现动态手势识别。实验结果表明:该方法具有较高的识别速度和识别率,对复杂背景及光照强度变化具有较强的鲁棒性。     

基于Kinect的双流时空卷积人体行为识别技术

针对原有双流时空卷积网络模型中网络深度不足,从而导致人体行为识别结果偏低的问题,针对该网络模型进行改进,且融入Kinect骨骼序列数据.对于输入数据,通过Kinect相机对人体动作转化为骨骼序列;改进双流卷积网络模型是在原有的模型框架下,用RestNet-50网络结构替代原VGG-16网络结构,再对数据进行一系列处理.在HMDB-51和UCF-101两个公开数据集上进行模型的训练和验证,其识别结果分别为70.8%和91.4%,通过对比结果表明,本文提出的改进双流卷积网络融合Kinect骨骼数据能够有效提升人体行为识别的正确率.     

使用Kinect深度图像的静态人体动作识别

为解决传统的使用视频彩色图像序列的智能监控容易受光照、颜色等因素影响的问题,提出结合Kinect深度图像和支持向量机的人体动作识别方法.利用Kinect在监控区域获得实时深度图像,并进行背景擦除,滤波处理和提取Haar特征.通过使用支持向量机的分类算法生成分类器,并对一组特定的静态动作识别结果进行分析.研究结果表明:使用深度图像对于静态动作有较好的识别率,并且与传统的基于彩色图像的智能监控相比,该方法不仅对于光照、颜色等因素不敏感,而且在识别的准确率和效率上均有提升.     

基于Kinect的运动学习系统的设计

运动学习系统设计旨在通过Kinect准确掌握运动员的身体轮廓和身体位置来确定运动员动作的标准程度.结合体育活动的特点为运动训练提供有效的解决方案,从而提高运动员的运动水平,并通过数据采集、数据处理与特征提取、人体姿态识别的方法辅助动作学习.系统使用Kinect进行数据采集,实时获取所检测到的用户人体的骨骼节点位置信息,...     

基于人体骨架特征学习的动作识别

动作识别是计算机视觉研究中的一个基本但具有挑战性的问题.在过去的几年中,许多基于RGB视频的识别技术已经得到了巨大的发展,并取得了显著的成果.但是,处理RGB视频可能非常耗时.其中,在动作识别领域,人体骨架数据具有轻量级的特点,同时对人体外观、环境背景等信息具有不变性,因此,这种数据模态受到了越来越多的关注.然而,基于人体骨架的动作识别面临两个问题:人体骨架数据的噪声问题和数据标注的依赖问题.噪声问题是指骨架数据中存在噪声影响数据的准确性,而数据标注依赖问题则是指在监督学习中,需要大量的标签数据进行训练.本文针对人体骨架数据在采集中的噪声问题,提出了一种基于噪声适应的动作识别模型,设计了回归模型和生成模型充分利用不同场景下的噪声数据特点.并且针对人体骨架数据过于依赖标签数据,利用自监督学习方法,提出了一个基于多任务自监督学习的动作识别方法.     

融合全局与局部特征的UWB雷达人体动作识别算法

为了消除雷达信号中杂波和噪声对人体动作识别的干扰,提高小样本数据下动作识别的精度,在去除杂波及噪声干扰的基础上,提出一种融合全局与局部特征的超宽带（ultra-wideband,UWB）雷达人体动作识别算法。用动目标指示（moving target indication,MTI）结合自适应中值滤波对雷达原始回波信号进行预处理,再对人体动作的雷达二维特征图像利用主成分分析（principal component analysis,PCA）提取主要分量作为全局特征表征,并用二维离散小波变换（2D discrete wavelet transform,2D-DWT）结合奇异值分解（singular value decomposition,SVD）获取特征图像在不同方向与尺度划分下动作的局部特征表征,并将全局与局部特征进行串联融合;根据融合特征,在网格搜索算法（grid search,GS）优化的支持向量机（support vector machines,SVM）模型中实现人体动作的识别分类。实验结果表明,该算法能有效获取雷达信号中的人体动作信息,平均识别准确率为95.63%,具有良好的识别性能。     

基于空间特征的BI-LSTM人体行为识别

随着微软Kinect等深度相机的出现,使用具有简洁性、鲁棒性和视图无关表示的3D骨架节点数据来识别人体行为的方法获得了很好的效果,但现有的针对骨骼序列数据的大多数学习方法缺少空间结构信息和详细的时空动态信息.利用双向长短期记忆网络(BI-LSTM)模型能长时间存储骨骼序列的特点获得丰富的双向时间信息对动作的顺序进行建模...     

融合形状和运动特征的动作识别计算模型

针对视觉系统在动作识别过程中如何利用形状与运动信息的问题,提出了一种融合形状特征和运动特征的人体动作识别方法.该方法模拟视觉皮层的背侧和腹侧通路,建立了基于双通道理论的人体动作特征计算模型.计算模型分别利用2D Gabor滤波器和3D时空滤波器模拟腹侧和背侧通路中视觉皮层简单细胞,提取动作的时空信息,通过采样、局部遍历、模板学习一系列操作分别提取动作的时空特征,并采用线性融合方法获取描述动作的特征向量,构建了采用支持向量机(SVM)进行动作分类的动作识别系统.实验结果表明:该方法的识别性能优于同类型的识别方法,取得了较好的识别效果.     

基于模糊积分融合的复杂场景下人体行为识别

利用局部特征描述符来表征视频中一系列关键点的方法已被广泛应用于识别复杂场景下的人体行为,但这些关键点之间隐含的结构化的位置关系目前并未得到有效表征.为此,文中首先采用尺度不变的关键点的检测子和3D-Harris检测子检测视频样本中的局部关键点,结合已有的局部特征描述符和形状描述符来表征关键点位置之间结构化的信息,然后利用bag-of-features模型来计算这些特征的分布,再通过模糊积分对这些局部特征进行有效融合,并给出具体的算法描述.在具有复杂场景的YouTube数据集下的实验表明,所提出的局部特征表征方法能够更有效地表征复杂场景中的人体行为,模糊积分融合方法可有效进行决策层融合.     

基于特征层融合和随机投影的行为识别算法

提出一种基于特征层融合和随机投影的行为识别算法;该方法提取视频序列的时空梯度特征和Gabor特征;然后进行特征层融合,得到分类能力更强的特征,有效地表征人体行为;同时,使用随机投影对融合后的特征进行降维;最后,为了解决主题模型参数估计迭代复杂的问题,将贝叶斯参数估计法应用于LDA(latent dirichlet allocation)主题模型中,对视频中的行为进行分类。在公开的KTH和Weizmann数据集上进行了实验,结果表明方法不仅比单一局部时空特征描述符识别性能好,而且在相同实验设置下,也优于其他基本分类器。     

基于多流融合网络的3D骨架人体行为识别

当前大多基于卷积神经网络的3D骨架人体行为识别模型没有充分挖掘骨架序列所蕴含的几何特征,为了弥补这方面的不足,文章在AIF-CNN模型的基础上进行改进,提出多流融合网络模型(MS-CNN)。在此模型中,新增一种几何特征(kernel特征)作为输入,起到了丰富原始特征的作用;新增多运动特征,使模型学习到更加健壮的全局运动信息。最后,在NTU RGB+D 60数据集上进行消融实验,分别在NTU RGB+D 60数据集、NTU RGB+D 120数据集上,将MS-CNN模型与19、8个行为识别模型进行对比实验。消融实验结果表明：MS-CNN模型采用joint特征与kernel特征融合,其识别准确率比与core特征融合的高;随着多运动特征的增多,MS-CNN模型的识别准确率有所提高。对比实验结果表明：MS-CNN模型在2个评估策略下的识别准确率超过了大部分对比模型(包括基准AIF-CNN模型)。     

基于轻量化二维人体姿态估计的小样本动作识别算法

动作识别是近年来时序数据挖掘领域的研究热点,具有广泛的应用前景。但是现阶段基于深度学习的动作识别算法需要大量的标记训练数据集,存在泛化性差、实时性差、场景受限的问题。为解决这些问题,本研究设计一种基于轻量化二维人体姿态估计的小样本动作识别算法。该算法基于YOLOv5算法构建轻量化的人体检测器HYOLOv5。基于轻量化二维姿态估计模型Lite-HRNet设计人体姿态特征描述算子,有效地去除背景对人体动作特征的干扰。为有效度量时序人体姿态特征描述算子间的相似度,本研究提出基于动态时间规整的人体姿态特征距离度量,并在此基础上设计基于类别中心选择的动作模板匹配算法。该算法通过少量的动作视频构建动作特征模板库,利用动作模板匹配算法可实现多类动作视频的精准识别。为验证算法,本研究在COCO 2017的Humans数据集上对HYOLOv5进行测试,人体检测识别精度mAP@0.5∶0.95可达50.7%。基于10种动作视频数据进行测试,结果表明,本研究所提算法可有效地识别视频序列中的姿态,在每个动作仅包含4个训练数据的情况下,动作识别准确率均可达到91.8%。     

基于人体时空骨架特征的图卷积行为识别算法

【目的】为了充分利用动态的人体骨架特征,提高行为识别精度,提出一种基于人体时空骨架特征的图卷积行为识别算法。【方法】首先在空间上确定主关节点,再融合各关节点与主关节点之间的向量和关节点间的骨骼长度,获取瞬时状态下关节点的相对位置关系;然后计算相邻两帧之间由相同关节点构成的时序动作信息来描述运动状态;最后,将时空信息融合到时空图卷积网络中,进行端到端训练。【结果】与时空图卷积网络识别算法相比,在400分类Kinetics行为识别数据集上的Top-1和Top-5指标分别提升了1.78%和1.77%,在NTU RGB+D数据集的两个基准上的Top-1分别提升4.13%和2.61%。【结论】提出的基于人体时空骨架特征的图卷积行为识别算法是有效实用的。     

基于时空域数据融合的Kinect深度图像修复算法

针对Kinect传感器获取的深度图像中存在大量噪声以及深度信息缺失导致的空洞问题,提出一种基于时空域数据融合的深度图像修复算法。首先,对配准后的深度图像利用卡尔曼滤波使跳变深度值趋于平稳,并采用阈值分割法得到待修复区域;其次,计算待修复边界所有像素点的时空域置信度,对时空域置信度最大的像素点计算其时域和空域深度数据,并根据时空域置信度为时空数据分配权值进行数据融合,实现像素点的修复;最后,待修复边界改变,迭代执行上一步直至图像修复完成。实验结果表明:与传统修复算法相比,基于时空域数据融合的Kinect深度图像修复算法的深度图峰值信噪比更高、均方根误差更小,图像质量更好。     

基于ICA多特征融合的人脸识别

提出了一种基于特征融合的人脸识别方法.该方法首先对预处理后的人脸图像进行全局特征及局部分量的提取,分别采用离散余弦交换(DCT)提取包含图像大量信息的低频部分特征和奇异值分解(SVD)抽取图像的代数特征作为图像的全局特征,采用非负矩阵分解(NMF)提取图像的局部分量特征,然后将此两类特征以独立成份分析(ICA)进行融合,获取用于人脸识别的特征向量.在本文的实验中,我们将此特征向量应用于支持向量机(SVM)进行分类训练及识别测试,并获得较好的结果.     

基于LMP-KCPA的人体动作识别方法

为解决人体动作识别中由于特征描述子的维数过高, 无法表征目标变化的本质运动变化信息的问题,给出了核主成分分析(KPCA: Kernel Principal Component Analysis)对局部运动模式描述子(LMP: Local Motion Pattern)降维方法。首先利用LMP 描述子对人体运动目标进行描述, 然后利用KPCA 算法对局部运动模式特征
描述子进行处理, 获取新的特征描述方式。通过MATLAB 仿真, 与Cuboids+SVM 和LMP+SR 两种算法对比结果表明, 基于LMP鄄KPCA 的人体动作识别, 特征描述子维数明显降低, 可以表征人体运动目标变化关键信息,识别率比Cuboids+SVM 算法提高1. 1%, 比LMP+SR 提高1%。     

基于Latent SVM的多视角行为识别方法

为了在静态图像中获取有效信息, 构建行为模型, 提出了行为覆盖区 ACA(Action Coverage Area)和行为核心 AC(Action Core)的概念, 基于 Latent SVM(Support Vector Machine)目标识别方法, 设计了一种多视角行为模型 MVAM(Multiple Viewpoint Action Model)。 建立了独立的用于行为模型训练和测试的行为数据库。 实验表明, 该表示法对静态图像中的人体行为能有效地进行分类和检测。