基于双流多关系GCNs的骨架动作识别方法

为了更好地提取并融合人体骨架中的时序特征和空间特征,文章构建了融合时空域注意力模块的多流卷积神经网络(AE-MCN)：针对目前大多数方法在建模骨架序列相关性时因忽略了人体运动特性而没有对运动尺度进行适当建模的问题,引入了自适应选取运动尺度模块,从原尺度动作特征中自适应地提取关键时序特征;为了更好地对特征进行时间维度和空间维度上的建模,设计了融合时空域的注意力模块,通过对高维时空特征进行权重分配,进而帮助网络提取更有效的动作信息。最后,在3个常用的人体动作识别数据集(NTU60、JHMDB和UT-Kinect)上进行了对比实验,以验证AE-MCN网络的有效性。实验结果表明：与ST-GCN、SR-TSL等网络相比,AE-MCN网络都取得了更好的识别效果,证明AE-MCN网络可以对动作信息进行有效的提取与建模,从而获得较好的动作识别性能。     

基于骨架的自适应尺度图卷积动作识别

基于骨架的动作识别任务中,一般将骨骼序列表示为预定义的时空拓扑图.然而,由于样本的多样性,固定尺度的拓扑图往往不是最优结构,针对样本特性构建自适应尺度的骨骼拓扑图能够更好地捕捉时空特征;另外,不同尺度的骨骼图能够表达不同粒度的人体结构特征,因此对多个不同尺度的拓扑图进行特征提取与融合是有必要的.针对这些问题,提出了一种自适应尺度的图卷积动作识别模型.该模型包含自适应尺度图卷积模块和多尺度融合模块两部分.自适应尺度图卷积模块基于先验与空间注意力机制,构建关键点的活跃度判决器,将活跃点细化为小尺度结构、非活跃点聚合为大尺度结构,在加速节点间特征传递的同时最小化特征损耗;多尺度融合模块基于通道注意力机制,动态融合不同尺度的特征,进一步提升网络的灵活性;最后,综合关键点、骨骼、运动信息实现多路特征聚合的动作判别,丰富模型的特征表达.结果表明:该算法在NTU-RGBD数据集的CS和CV子集上分别取得了89.7%和96.1%的分类准确率,显著提高了动作识别的准确性.     

基于高斯噪声与ST-GCN的人体骨架动作识别

针对基于ST-GCN的骨架动作识别中人工预定义的邻接矩阵结构单一、难以捕捉到非相邻关节点之间的相关性这一问题,提出了一种基于高斯噪声的扰动机制.在人工预定义的骨架图邻接矩阵上引入高斯噪声,利用该噪声扰动ST-GCN中固定的邻接矩阵,捕捉非相邻关节点之间的相关性,运用该方法在具挑战性的NTU RGB+D和Kinetics-Skeleton两个大规模数据集上进行了分类识别实验,结果表明：该方法在两大数据集上的识别精度高达95.34%和36.43%,在节约计算量的前提下有效地提高了动作识别的性能.     

基于人体时空骨架特征的图卷积行为识别算法

【目的】为了充分利用动态的人体骨架特征,提高行为识别精度,提出一种基于人体时空骨架特征的图卷积行为识别算法。【方法】首先在空间上确定主关节点,再融合各关节点与主关节点之间的向量和关节点间的骨骼长度,获取瞬时状态下关节点的相对位置关系;然后计算相邻两帧之间由相同关节点构成的时序动作信息来描述运动状态;最后,将时空信息融合到时空图卷积网络中,进行端到端训练。【结果】与时空图卷积网络识别算法相比,在400分类Kinetics行为识别数据集上的Top-1和Top-5指标分别提升了1.78%和1.77%,在NTU RGB+D数据集的两个基准上的Top-1分别提升4.13%和2.61%。【结论】提出的基于人体时空骨架特征的图卷积行为识别算法是有效实用的。     

基于图卷积神经网络的健美操难度动作识别方法

针对现有健美操难度动作识别方法中存在的识别效果差等问题,提出将图卷积神经网络应用到健美操难度动作识别中。将健美操视频划分为若干个图像,并消除健美操难度动作图像背景,设定灰度共生矩阵,估计难度动作图像局部区域模糊核,校正难度动作图像的视觉误差。在此基础上,对图卷积神经网络进行预训练,构建人体有向时空骨架图,对人体有向时空图表示与时序动态信息建模,实现健美操难度动作识别。实验结果表明,在复杂背景与简单背景下,基于图卷积神经网络的健美操难度动作识别方法识别的时间较短,并且错误识别的次数也较少,证明所提方法提高了健美操难度动作的识别效果。     

基于人体骨架特征学习的动作识别

动作识别是计算机视觉研究中的一个基本但具有挑战性的问题.在过去的几年中,许多基于RGB视频的识别技术已经得到了巨大的发展,并取得了显著的成果.但是,处理RGB视频可能非常耗时.其中,在动作识别领域,人体骨架数据具有轻量级的特点,同时对人体外观、环境背景等信息具有不变性,因此,这种数据模态受到了越来越多的关注.然而,基于人体骨架的动作识别面临两个问题:人体骨架数据的噪声问题和数据标注的依赖问题.噪声问题是指骨架数据中存在噪声影响数据的准确性,而数据标注依赖问题则是指在监督学习中,需要大量的标签数据进行训练.本文针对人体骨架数据在采集中的噪声问题,提出了一种基于噪声适应的动作识别模型,设计了回归模型和生成模型充分利用不同场景下的噪声数据特点.并且针对人体骨架数据过于依赖标签数据,利用自监督学习方法,提出了一个基于多任务自监督学习的动作识别方法.     

多时间尺度双流CNN与置信融合的视频动作识别

考虑视频采样的变化和目标主体运动速度的不同,针对目前深度网络学习的视频序列特征单一、多种动作分类器分类置信程度不同的问题,提出了一种多时间尺度双流CNN与置信融合的视频动作识别方法.对视频序列采用两流神经网络在多个时间尺度上学习,提取不同时间跨度的视频帧之间的上下文信息特征,并采用LSTM进行多种特征的动作类别预测.然...     

骨架自适应与关节增强图卷积网络的行为识别

针对仅依赖预定义骨架图对人体关节动作建模的不充分性及关节特征具有冗余性的问题,提出了一种基于骨架自适应与关节增强图卷积网络的行为识别方法.首先,利用嵌入式操作的高斯函数学习各关节点间的连接关系,根据输入的骨架数据自适应地调整关节结构;其次,引入软注意力机制,衡量各关节点贡献的差异,以此增强高贡献关节点的特征表达并削弱低...     

基于Adaboost关键帧选择的多尺度人体动作识别方法

针对手工制作关键帧检测器和最初“特征包”方法的局限性,提出一种基于Adaboost关键帧选择和多尺度运动特征表示的人体动作识别方法.首先,从视频序列中提取兴趣点,使用生物启发特征结合光流的多尺度方法提取运动特征;然后,利用Adaboost学习方法从一个大的特征池中选取最具辨识度的几帧图像,并将排列前十的Adaboost帧作为相应的关键帧;最后,利用相关图表示关键帧,由支持向量机(support vector machine,SVM)完成人体动作分类.在KTH、多视图IXMAS和TUM数据库上的实验结果显示,该方法在3个数据库上的识别精度可分别高达95.5％,93.7％和91.5％,识别性能明显优于其他几种较新的方法,表明利用Adaboost学习算法可有效选取每个视频动作序列的关键帧,并有效解决了“特征包”方法的局限性问题.     

基于Latent SVM的多视角行为识别方法

为了在静态图像中获取有效信息, 构建行为模型, 提出了行为覆盖区 ACA(Action Coverage Area)和行为核心 AC(Action Core)的概念, 基于 Latent SVM(Support Vector Machine)目标识别方法, 设计了一种多视角行为模型 MVAM(Multiple Viewpoint Action Model)。 建立了独立的用于行为模型训练和测试的行为数据库。 实验表明, 该表示法对静态图像中的人体行为能有效地进行分类和检测。     

基于流形假设的骨架序列动作识别算法

骨架数据是通过对动作的空间几何位置进行编码获取,可以避免冗余背景信息的干扰, 是动作识别领域常用的数据类型之一.现有骨架数据的动作识别主要分为经典的骨架数据表征和基于深度学习的骨架动作识别应用.相较于传统欧氏度量下的识别方法,流形为更好地研究非线性结构提供了重要数学工具. 然而,目前仍缺乏利用流形假设对骨架数据进行动作识别的相关总结. 因此,从骨架表示、轨迹时间对齐、动作序列表征以及动作分类 4 个关键步骤出发,系统地总结了基于流形假设的动作识别工作,对比了各项工作在基准数据集上的表现. 最后,根据当前动作识别工作的发展趋势,对流形假设在动作识别方向上的进一步改进进行了展望.     

基于主题迁移的跨视角动作识别

利用迁移学习的思想,提出了一个主题迁移模型(topic transfer model)用于跨视角的动作识别。借助源视角视频和目标视角视频,学习一个迁移模型,利用这个模型来实现对目标视角下视频的分类。具体方法是在源视角下训练一个主题模型,将反应源视角的语义信息传递到目标视角中,然后在目标视角中训练一个主题模型,实现跨视角的动作表示,利用支持向量机进行动作的训练和分类。实验结果验证了该方法的有效性。     

一种基于空 时快速鲁棒特征的视频词汇的人行为识别方法

提出了一种空 时快速鲁棒特征（SURF）描述子,并且结合视频词汇概念,应用于人行为识别.这种新的描述子在行为识别应用中能很好地体现视频的时空本质,通过词袋（Bag of Words）模型来表征视频,且在表征过程使用了非硬性权重.实验以瑞典皇家理工学院的行为识别数据集作为测试对象,使用了相关领域传统的分类策略,同时引入了包含二次判断的投票系统.实验结果证明,结合特征描述子和视频词汇的行为识别框架在速度和准确率上均优于已有的一些方法,同时该分类策略在某些行为类型上优于传统的分类方法,能有效地应用于行为识别领域.     

基于隐条件随机场的人体行为识别方法

提出了一种基于隐条件随机场的人体行为识别方法。首先,通过目标检测和目标跟踪提取图像序列中人体所在时空区域;其次,提取人体区域的 Gist 特征作为人体行为视觉描述子;最后,利用隐条件随机场模型对人体行为进行建模和识别。通过大规模试验证明了该方法的有效性,与其他方法的对比实验验证了该方法的优越性。     

基于LMP-KCPA的人体动作识别方法

为解决人体动作识别中由于特征描述子的维数过高, 无法表征目标变化的本质运动变化信息的问题,给出了核主成分分析(KPCA: Kernel Principal Component Analysis)对局部运动模式描述子(LMP: Local Motion Pattern)降维方法。首先利用LMP 描述子对人体运动目标进行描述, 然后利用KPCA 算法对局部运动模式特征
描述子进行处理, 获取新的特征描述方式。通过MATLAB 仿真, 与Cuboids+SVM 和LMP+SR 两种算法对比结果表明, 基于LMP鄄KPCA 的人体动作识别, 特征描述子维数明显降低, 可以表征人体运动目标变化关键信息,识别率比Cuboids+SVM 算法提高1. 1%, 比LMP+SR 提高1%。     

基于融合注意力机制与CNN-LSTM的人体行为识别算法

为解决单一的卷积神经网络（CNN）缺乏利用时序信息与单一循环神经网络（RNN）对局部信息把握不全问题,提出了融合注意力机制与时空网络的深度学习模型（CLA-net）的人体行为识别方法。首先,通过CNN的强学习能力提取局部特征;其次,利用长短时记忆网络（LSTM）提取时序信息;再次,运用注意力机制获取并优化最重要的特征;最后使用softmax分类器对识别结果进行分类。仿真实验结果表明,CLA-net模型在UCI HAR和DaLiAc数据集上的准确率分别达到95.35%、99.43%,F1值分别达到95.35%、99.43%,均优于对比实验模型,有效提高了识别精度。     

Action Recognition from Videos with Complex Background via Transfer Learning

Classifier learning methods commonly assume that the training data and the testing data are drawn from the same underlying distribution. However,in many practical situations,this assumption is violated. One example is the practical action videos with complex background and the universal human action databases of Kungliga Tekniska Hgskolan (KTH). When training data are very scarce,supervised learning is difficult. However,it will cost lots of human and material resources to establish a labeled video set which includes a large amount of videos with complex backgrounds. In this paper,we propose an action recognition framework which uses transfer boosting learning algorithm. By using this algorithm,we can train an action recognition model fitting for most practical situations just relaying on the universal action video dataset and a tiny set of action videos with complex background. And the experiment results show that the performance is improved.     

基于集成学习的束支传导阻滞识别方法

为提升基于心电图的左、右束支传导阻滞自动化诊断性能,提出了一种以多导联心电图卷积神经网络模型作为基学习器的集成学习诊断方法.首先从临床12导联同步静态心电图中提取出有效诊断导联数据并分割为若干个多导联单心搏数据切片.采用自助采样法抽取多个数据子集,并对每个子集以不同方式进行数据扰动后输入基学习器,得到相应的预测模型.然后以贝叶斯方法作为集成学习的结合策略融合多个模型进行预测.最后采用投票法结合1例心电图中的多个心搏分类结果给出诊断.实验结果表明,该方法具有较高的灵敏度和特异度,具有临床应用价值.     

基于运动矢量分析的动作识别技术

改进人体行为识别传统模板匹配方法的算法,提出一种基于运动矢量分析动作识别技术,并对其识别效果进行实验验证.该技术把标准人体动作的百分比运动矢量作为模板,将待识别动作的百分比运动矢量与已知的模板进行对比,从而得到动作识别结果.该技术可以正确识别摆头、点头和摇头动作,动作重复3次的识别率可以达到95%以上.该技术进行实时动作识别具有效果好、算法简单、识别速度快、抗干扰性强等优点.