投影子空间下基于骨骼边信息的人体动作识别

近年来，基于骨骼数据的人体动作识别在计算机视觉、人机交互等领域受到了广泛的关注。现有的方法大多关注于在原始的3D坐标空间下对骨骼点进行建模。然而，骨骼点忽略了人体自身的物理链状结构，很难刻画人体运动的局部相关性；此外，由于相机视角的多样性，在原始的基于点的3D空间下难以探索动作在不同视角下的综合表征。鉴于此，提出了一种投影子空间下基于骨骼边信息的动作识别方法。定义了结合人体自身连接的骨骼边信息，用于捕获动作的空间特性；在骨骼边信息的基础上引入了骨骼边运动的方向与大小信息，用于获取动作的时间特性；采用2D投影子空间的方式在不同的子空间视角下进行动作表征；探索了合适的特征融合策略，通过改进的CNN框架对上述特征进行综合提取。在2个具有挑战性的大型数据集NTU-RGB+D 60(评价指标为cross-subject与cross-view)和NTU-RGB+D 120(评价指标为cross-subject与cross-set)上的实验结果表明，相比基准方法，所提方法在4个指标下精度分别提升了3.2%、2.4%、3.1%和5.8%。