基于目标检测的单目视觉半稠密语义地图构建

传统的视觉SLAM系统在机器人定位和制图工作中取得了显著的成功，但存在着缺乏场景信息、地图过于稀疏、单目相机初始化困难等亟待解决的问题。本文提出了MNS-SLAM（Monocular-semantic SLAM），将目标检测算法与单目视觉SLAM（同时定位与地图构建）技术相结合，进而构建有助于环境理解的半稠密语义地图。首先，通过目标检测网络YOLOv4检测对象获取边界框和类别信息，通过消失点算法和二次曲面恢复算法由2D目标检测恢复出3D长方体及二次曲面，实现3D物体的位姿初始化。同时，引入了目标间相对位姿不变性的语义约束，构造了语义损失函数，将其添加到BA优化中，最后通过增量式3D线段提取，构建带有物体语义信息的半稠密地图。文中方法在TUM公开数据集和真实场景中进行试验，不仅构建了半稠密地图，同时添加了语义信息，为后端的优化提供了新的约束，相机的绝对和相对位姿误差表现出优于单目ORB-SLAM2的性能，有助于搭载单目相机的移动机器人感知和理解环境，执行更复杂的任务。