基于上下文感知空间坐标嵌入的时空图卷积网络

针对空间复杂的非欧几里得结构，图卷积网络不易通过欧氏距离构造输入图的问题，提出了上下文感知空间坐标嵌入的时空图卷积网络(STE-STA)模型，将空间背景和相关性明确地结合到模型中，并基于地理空间辅助任务学习、语义空间嵌入和动态图的时空注意力识别手势。首先从手骨架构造一个完全连接图，通过学习地理坐标的上下文感知向量编码，以及自我注意机制对节点特征和边缘进行自动学习；然后，与主任务并行预测数据中的空间自相关。实验结果表明，在DHG-14/28数据集上，STE-STA模型识别率分别达到92.40%与87.85%,均高于目前最优模型；在SHREC′17数据集上，比时空图卷积网络(ST-GCN)分别高0.60%和0.10%。     

基于骨骼投影信息的人体行为识别

针对复杂环境下深度相机提取人体骨骼信息失效的问题，利用RGB图像提取运动特征，提出结合人体部分重要关节点信息进行行为识别的方法。首先根据人体行为图片捕捉人体各关节点的空间位置信息，建立坐标系描绘出人体骨架，将三视图嵌入二值图像中；利用Lucas-Kanade光流算法得到关节点的运动信息，构成由张量表示的动作序列；估计动作特征描述序列，再映射到格拉斯曼流形上完成人体行为识别和分类。在MSRActinos3D、UCFKinect数据集上的实验结果表明，该方法能够有效识别各种人体行为。