基于多视图融合的3D人体姿态估计

针对自然场景中遮挡、检测姿势不准确以及建立的交叉视图不匹配等问题，在VoxelPose模型的基础上提出了一种基于heatmap的多视图融合网络来估计3D人体姿态.首先，改进高分辨率网络，添加反卷积模块生成更高分辨率的heatmap.取两个髋关节之间的关键点为人体中心点，引入对极约束模型匹配融合不同视角下人体中心点的heatmap信息；然后，将所有视角的heatmap投影到共同的3D空间，再经过3D CNN网络以中心点构建特征体积来估计所有关键点的位置；最后，回归准确的3D人体姿态.在公开的数据集Shelf和Campus中，评估指标PCP3D（正确估计关节位置的百分比）分别达到97.1%和96.7%.在CMU-Panoptic数据集中，MPJPE（关节位置误差的平均值）为16.80 mm，实验结果优于VoxelPose.