融合形状和运动特征的动作识别计算模型

针对视觉系统在动作识别过程中如何利用形状与运动信息的问题,提出了一种融合形状特征和运动特征的人体动作识别方法.该方法模拟视觉皮层的背侧和腹侧通路,建立了基于双通道理论的人体动作特征计算模型.计算模型分别利用2D Gabor滤波器和3D时空滤波器模拟腹侧和背侧通路中视觉皮层简单细胞,提取动作的时空信息,通过采样、局部遍历、模板学习一系列操作分别提取动作的时空特征,并采用线性融合方法获取描述动作的特征向量,构建了采用支持向量机(SVM)进行动作分类的动作识别系统.实验结果表明:该方法的识别性能优于同类型的识别方法,取得了较好的识别效果.     

结合低秩分解与多流融合的行为识别方法

运动信息对行为识别任务至关重要。现有方法仅利用了局部运动信息,忽略了全局运动信息的重要作用。为解决该问题,提出了一种基于低秩分解与多流融合的行为识别方法。通过3条支路分别提取视频的特征,第1条支路利用低秩分解提取全局运动信息;第2条支路提取视频的光流特征以得到局部运动信息;第3条支路利用原始视频作为输入,以保留完整的空域信息。将3条支路的预测结果进行后融合,得到最终的行为识别结果。通过多流融合,充分利用视频的多尺度时域运动信息和丰富的空域信息,提高现有模型的行为识别能力。实验结果表明,提出的方法优于现有模型的多流融合行为识别方法。     

一种融合全局时空特征的CNNs动作识别方法

针对基于卷积神经网络(CNNs)的人体动作识别方法通常采用空域或时域局部特征的不足,提出一种融合人体动作全局时域和空间特征的双通道CNNs动作识别模型.空间通道对动作图像进行深度学习,采用多帧融合的方式提升准确率,全局时域通道对能量运动历史图(EMHI)进行深度学习,最后融合两个通道信息识别人体动作.利用现有的大型数据集进行预训练,以解决学习过程中训练样本不足问题.在UCF101数据集和该项目小样本数据集上进行实验,结果证明了该方法的有效性.     

基于多流融合网络的3D骨架人体行为识别

当前大多基于卷积神经网络的3D骨架人体行为识别模型没有充分挖掘骨架序列所蕴含的几何特征,为了弥补这方面的不足,文章在AIF-CNN模型的基础上进行改进,提出多流融合网络模型(MS-CNN)。在此模型中,新增一种几何特征(kernel特征)作为输入,起到了丰富原始特征的作用;新增多运动特征,使模型学习到更加健壮的全局运动信息。最后,在NTU RGB+D 60数据集上进行消融实验,分别在NTU RGB+D 60数据集、NTU RGB+D 120数据集上,将MS-CNN模型与19、8个行为识别模型进行对比实验。消融实验结果表明：MS-CNN模型采用joint特征与kernel特征融合,其识别准确率比与core特征融合的高;随着多运动特征的增多,MS-CNN模型的识别准确率有所提高。对比实验结果表明：MS-CNN模型在2个评估策略下的识别准确率超过了大部分对比模型(包括基准AIF-CNN模型)。     

基于骨骼投影信息的人体行为识别

针对复杂环境下深度相机提取人体骨骼信息失效的问题，利用RGB图像提取运动特征，提出结合人体部分重要关节点信息进行行为识别的方法。首先根据人体行为图片捕捉人体各关节点的空间位置信息，建立坐标系描绘出人体骨架，将三视图嵌入二值图像中；利用Lucas-Kanade光流算法得到关节点的运动信息，构成由张量表示的动作序列；估计动作特征描述序列，再映射到格拉斯曼流形上完成人体行为识别和分类。在MSRActinos3D、UCFKinect数据集上的实验结果表明，该方法能够有效识别各种人体行为。     

基于双流多关系GCNs的骨架动作识别方法

基于图卷积网络(graph convolutional networks,GCNs)的骨架动作识别方法只能对关节点间的单一关系进行建模,缺少描述多种关系的能力.借鉴知识图谱描述实体之间不同关系的思想,提出一种基于关节点流和肢体流的双流多关系GCNs人体骨架动作识别方法,对图结点间的自然连接关系、对称关系和全局关系进行建模,各种特征在网络中同步传输并有效融合.运动的全身协作过程中,每个部位的交互范围有限且依赖于具体动作,提出基于Non-local机制的topK全局邻接关系自适应计算方法,为每个结点动态选择交互强度较大的前K个结点作为全局关系邻接点.实验结果表明,所提出的双流多关系网络在Kinetics和NTU-RGB+D数据集上取得了较好的动作识别效果.     

基于人体骨架特征学习的动作识别

动作识别是计算机视觉研究中的一个基本但具有挑战性的问题.在过去的几年中,许多基于RGB视频的识别技术已经得到了巨大的发展,并取得了显著的成果.但是,处理RGB视频可能非常耗时.其中,在动作识别领域,人体骨架数据具有轻量级的特点,同时对人体外观、环境背景等信息具有不变性,因此,这种数据模态受到了越来越多的关注.然而,基于人体骨架的动作识别面临两个问题:人体骨架数据的噪声问题和数据标注的依赖问题.噪声问题是指骨架数据中存在噪声影响数据的准确性,而数据标注依赖问题则是指在监督学习中,需要大量的标签数据进行训练.本文针对人体骨架数据在采集中的噪声问题,提出了一种基于噪声适应的动作识别模型,设计了回归模型和生成模型充分利用不同场景下的噪声数据特点.并且针对人体骨架数据过于依赖标签数据,利用自监督学习方法,提出了一个基于多任务自监督学习的动作识别方法.     

基于关节点运动轨迹的人体动作识别

为了提高动作识别的准确率和实时性,提出一种基于关节点运动轨迹的动作识别方法.受心理物理学中关于人体运动实验的启发,使用人体骨架关节点的运动轨迹表示人体动作,它能够在时空维度上对动作进行完整表达.在此基础上,使用高斯混合模型对关节点运动轨迹进行聚类,进而通过Fisher向量进行特征量化.考虑到动作识别任务的实时性要求,提出基于核极限学习机的动作识别,以此提升动作识别任务的实时性和准确率.最后,在公开数据集UTD-MHAD和KARD上对提出的方法进行了验证,实验结果证明了该方法的有效性.     

基于机器学习的人体动作深度信息识别方法研究

为了实现人体动作的准确检测识别,提出基于机器学习的人体动作深度信息识别方法,构建人体动作的三维图像采集模型,建立人体动作三维重建图像的表面结构重构模型,结合模糊度特征提取方法对人体动作三维重建图像进行多尺度分解,采用三维空间结构重组的方法进行人体动作细节特征识别,建立人体动作图像的多维分割模型;采用机器学习算法进行人体动作的细节特征分类识别,建立人体动作深度信息的提取和分类模型,在机器算法下实现人体动作的深度信息检测和多维识别。仿真结果表明,采用该方法进行人体动作深度信息识别的准确度较高,特征分辨力较好,具有很好的人体动作信息检测和辨识能力。     

一种基于多特征多分类器融合的人体行为识别方法

提出了一种基于多特征多分类器融合的人体行为识别方法。针对Kinect传感器提取的三维骨骼动作序列,采用身体部位的相对几何特征、关节点的相对位置特征、关节点的绝对位置特征对人体动作进行描述。将支持向量机和随机森林分类器作为成员分类器,对3种动作特征分别进行训练和测试,使用分类器融合算法对分类结果进行融合决策,实现最终的分类。在现有的人体动作数据集上进行验证,实验结果表明:本方法可取得95%的识别率。     

基于多尺度3D卷积神经网络的行为识别方法

近年来卷积神经网络(convolutional neural network,CNN)在行为识别任务中取得了较大的进展.然而,现有的神经网络方法往往只注重高层语义信息的利用,对浅层特征信息挖掘利用不够.针对这一问题,提出一种基于3D卷积(convolution 3D,C3D)的多尺度3D卷积神经网络的行为识别方法.该方法受到特征金字塔结构的启发,在原C3D的基础上融合C3D的浅层特征信息,实现端到端的行为识别.同时该方法以现有的深度学习理论为基础,利用迁移学习的思想,将C3D和该方法中相同模块部分的参数迁移到本方法中,以降低模型的训练时间.通过在UCF101数据集上进行实验,实验结果表明,提出行为识别方法的分类精度达到84.56％,分类效果优于原C3D分类网络.     

骨架自适应与关节增强图卷积网络的行为识别

针对仅依赖预定义骨架图对人体关节动作建模的不充分性及关节特征具有冗余性的问题,提出了一种基于骨架自适应与关节增强图卷积网络的行为识别方法.首先,利用嵌入式操作的高斯函数学习各关节点间的连接关系,根据输入的骨架数据自适应地调整关节结构;其次,引入软注意力机制,衡量各关节点贡献的差异,以此增强高贡献关节点的特征表达并削弱低...     

一种基于属性贝叶斯网络的行为识别模型

针对传统行为识别方法仅利用底层特征识别的不足,提出了一种将动作属性与贝叶斯网络相结合的行为识别方法.首先,提取视频中的时空兴趣点及其3D-SIFT特征描述符,用词袋的方法建立时空词典对视频序列进行表示;然后,利用底层特征训练属性分类器,构造由底层特征到高层特征的映射,将底层特征样本经过属性分类器后得到行为—属性的样本信息,并采用MAP(最大后验概率)准则学习贝叶斯网络结构,从而建立一种基于属性贝叶斯网络的行为识别模型.实验结果表明该模型能有效地进行行为识别.     

基于轨迹能量扩散图的组行为识别方法

为解决基于轨迹的行为识别的轨迹时间信息丢失和轨迹噪声问题,提出了一种基于轨迹能量扩散图的组行为识别方法.轨迹能量块图可以有效地保存组行为轨迹的时间信息;轨迹能量扩散图可以平滑因运动不确定性产生的噪声.利用基于典型相关分析的特征融合算法实现多特征融合,保证了组行为特征信息的多样性.实验结果表明:对于包含7种组行为的567个视频序列,该方法的识别精度达87%以上.     

基于SAT-GCN的花样滑冰选手动作检测算法研究

针对花样滑冰运动人体运动轨迹复杂、动作类型多样、普通人肉眼难以区分且常规的行为识别方法识别准确率低的问题，提出了一种基于时空图卷积网络与多通道注意力机制融合方法 (SAT-GCN)的花样滑冰动作识别算法。该算法首先将视频提取成连续的单独帧，使用OpenPose算法提取人体骨骼关键点数据，降低背景噪声干扰；然后使用时空图卷积算法对骨骼关键点数据进行动作分类。算法对时空图卷积算法进行改进，加入了多通道时空注意力机制融合模块，使得模型更加关注重要的关键点、时间帧片段、特征；使用时序卷积网络(TCN)提取人体骨架关键点在时间序列上的特征；使用SoftMax对提取后的特征进行动作分类。在花样滑冰数据集FSD-10和公开的人类行为数据集Kinetics-Skeleton上进行训练和测试，与改进前的时空图卷积网络(ST-GCN)进行对比，本文所提算法的预测准确率在2个数据集上均有所提升，验证了多通道注意力机制融合方法在花样滑冰选手动作检测任务中的有效性。     

基于超限学习机的深度网络时间分组行为识别

为准确识别视频目标个体完整行为动作序列, 增强视频行为识别精度, 提出一种基于超限学习机的深度网络时间分组行为识别方法。 首先按照人体行为关键姿态个数明确行为识别模型的状态数量, 建立人体运动行为多尺度结构关联, 把运动轨迹及边缘轮廓小波矩的不同尺度特征引入行为模型中, 获取人体运动行为概略特征; 其次利用视频分组稀疏抽样法, 将视频分割成等时长分组, 运用标准反向传播法优化模型参数, 实现低成本视频级时间建模, 并确保建模过程信息完整性; 最后根据隐含层激活函数输出及对应输出层权重系数,得到灵敏度解析式, 按照灵敏度参数对隐含节点进行排序, 删除次要节点, 实现深度网络时间分组行为的精准识别。 仿真实验结果表明, 该方法具备较高水准的识别精度, 且耗时少, 拥有极强的鲁棒性。     

骨架关节点跟踪的人体行为识别方法

基于彩色图像的运动检测和分割方法难以获取完整的人体骨架,并且只能提取关节点的二维坐标信息,而 Kinect 传感器能通过捕获深度图像来重建完整的人体骨架关节点三维模型,提高了骨架关节点模型的表示精度。本文通过 Kinect 的骨架跟踪模块对人体的骨架关节点模型进行提取;然后,提出一种坐标转换方法得到人体骨架关节点的三维坐标表示,利用 k 均值聚类将关节点坐标量化为符号序列;最后,建立离散隐马尔可夫模型来进行人体行为识别。通过自建的数据集进行实验,实验结果表明：本方法能取得94％的识别率。     

基于骨架的自适应尺度图卷积动作识别

基于骨架的动作识别任务中,一般将骨骼序列表示为预定义的时空拓扑图.然而,由于样本的多样性,固定尺度的拓扑图往往不是最优结构,针对样本特性构建自适应尺度的骨骼拓扑图能够更好地捕捉时空特征;另外,不同尺度的骨骼图能够表达不同粒度的人体结构特征,因此对多个不同尺度的拓扑图进行特征提取与融合是有必要的.针对这些问题,提出了一种自适应尺度的图卷积动作识别模型.该模型包含自适应尺度图卷积模块和多尺度融合模块两部分.自适应尺度图卷积模块基于先验与空间注意力机制,构建关键点的活跃度判决器,将活跃点细化为小尺度结构、非活跃点聚合为大尺度结构,在加速节点间特征传递的同时最小化特征损耗;多尺度融合模块基于通道注意力机制,动态融合不同尺度的特征,进一步提升网络的灵活性;最后,综合关键点、骨骼、运动信息实现多路特征聚合的动作判别,丰富模型的特征表达.结果表明:该算法在NTU-RGBD数据集的CS和CV子集上分别取得了89.7%和96.1%的分类准确率,显著提高了动作识别的准确性.     

基于动作主视图和LSTM网络模型的人体行为识别

人体行为识别是计算机视觉领域的研究热点。针对传统行为识别算法具有计算复杂度较高的问题,提出一种基于动作主视图的长短时记忆模型人体动作识别方法。将三维空间中的动作正投影到二维的平面中,降低动作空间的维度和计算复杂度,利用长短时记忆神经网络处理时序数据的能力,对人体动作进行识别。选用MSRAction 3D公开数据集验证文中算法,采用十次十折交叉验证法,该方法平均识别率达93.06%。实验结果表明,本方法在降低算法复杂度的同时,识别效果较现有的其他算法好。     

一种结合深度信息的人体行为识别方法

针对现有的人体行为识别方法中易受到噪声、光照以及复杂背景等因素的影响,同时,未充分考虑到人体交互区域的作用。提出一种结合普通彩色视频和深度信息的人体行为识别方法。首先,对于识别中提取人体运动目标时,利用深度图中物体表面法向量提取运动目标的边缘;同时结合加权累计帧差法获取运动模板。其次,结合深度连续性提取非人体区域(人体与动作的交互区域)并进行描述,作为人体行为表示的一部分。最后利用支持向量机(support vector machine)进行训练和识别。实验部分在CAD-120数据集中测试,通过与一些现有的人体行为识别方法相比较,动作识别准确率提高了5%左右。