投影子空间下基于骨骼边信息的人体动作识别

近年来,基于骨骼数据的人体动作识别在计算机视觉、人机交互等领域受到了广泛的关注。现有的方法大多关注于在原始的3D坐标空间下对骨骼点进行建模。然而,骨骼点忽略了人体自身的物理链状结构,很难刻画人体运动的局部相关性;此外,由于相机视角的多样性,在原始的基于点的3D空间下难以探索动作在不同视角下的综合表征。鉴于此,提出了一种投影子空间下基于骨骼边信息的动作识别方法。定义了结合人体自身连接的骨骼边信息,用于捕获动作的空间特性;在骨骼边信息的基础上引入了骨骼边运动的方向与大小信息,用于获取动作的时间特性;采用2D投影子空间的方式在不同的子空间视角下进行动作表征;探索了合适的特征融合策略,通过改进的CNN框架对上述特征进行综合提取。在2个具有挑战性的大型数据集NTU-RGB+D 60(评价指标为cross-subject与cross-view)和NTU-RGB+D 120(评价指标为cross-subject与cross-set)上的实验结果表明,相比基准方法,所提方法在4个指标下精度分别提升了3.2%、2.4%、3.1%和5.8%。