基于目标检测的室内动态场景SLAM

室内动态场景下的同步定位与地图构建(simultaneous localization and mapping, SLAM)系统容易受到运动障碍物的影响，从而导致其位姿估计精度和视觉里程计的稳定性降低。本文提出一种基于YOLOv4目标检测网络的视觉SLAM算法，获取语义信息，并利用LK光流法判断动态特征，在传统的ORB-SLAM2系统上将动态特征点剔除，只使用静态特征点来估计相机的位姿；建立稠密点云地图，并转化成节约内存空间的八叉树地图。在TUM公开数据集上对该方法进行测试和评估，实验结果表明：在动态环境下，该系统与ORB-SLAM2相比，相机位姿估计精度提高83%，且减少了生成的环境地图的存储空间，为后续实现机器人导航具有重要意义。     

动态环境下基于深度学习的视觉SLAM研究

由于传统的同步定位与建图(simultaneous localization and mapping, SLAM)中有很强的静态刚性假设，故系统定位精度和鲁棒性容易受到环境中动态对象的干扰。针对这种现象，提出一种在室内动态环境下基于深度学习的视觉SLAM算法。基于ORB-SLAM2进行改进，在SLAM前端加入多视角几何，并与YOLOv5s目标检测算法进行融合，最后对处理后的静态特征点进行帧间匹配。实验使用TUM数据集进行测试，结果显示：SLAM算法结合多视角几何、目标检测后，系统的绝对位姿估计精度在高动态环境中相较于ORB-SLAM2有明显提高。与其他SLAM算法的定位精度相比，改进算法仍有不同程度的改善。     

动态环境下改进ICP算法的RGB-D SLAM研究

针对传统的ICP(Iterative Closest Points)算法,无法满足室内动态环境下SLAM(Simultaneous Localization and Mapping)算法的准确性要求,提出了一种融合特征点结构相似性判断的ICP改进算法;通过在特征点集中引入三角形结构约束,实现两组点集中的动态匹配点与误匹配点的剔除,进而提高ORB特征点匹配的准确性;与传统的SLAM算法相比,改进后的算法对相机位姿的估计更加准确;通过在Linux系统下的仿真实验,结合特征点三角几何约束的ICP算法能够有效解决动态对象对相机位姿估计的影响,提高RGB-D SLAM在动态场景下的定位精度。     

基于卷积神经网络的语义同时定位以及地图构建方法

环境感知技术是智能车功能实现的前提,而在感知的基础上提高智能车对环境的认知能力是实现全自动驾驶的关键。本文针对室外交通场景,基于卷积神经网络提出了一种新的智能车同时定位以及语义地图构建方法,对智能车进行定位,并且构建稠密的3D语义地图,提高智能车的环境感知、认知能力。首先,基于双目ORB-SLAM提出了一种四线程的双目SLAM（Simultaneous Localization and Mapping）方法构建稠密的3D点云地图,四线程分别为追踪线程,局部地图构建线程,回环检测线程以及稠密地图构建线程;其次,为提高智能车的环境认知能力,使用端对端的方法对图像进行语义分割,并且为提高语义分割精确率,将环境的几何信息也作为卷积神经网络输入;最后,将感知的能力与认知的能力相结合构建语义地图,为智能车实现全自动驾驶奠定基础。本文将算法在KITTI数据集上进行测试,整体算法速度为10帧/秒,语义分割的全局精确率为73.1%,构建的语义地图显示本文提出算法能够在大规模室外场景下重构全局一致性地图,并且帮助智能车实现对环境的解析。     

面向动态环境的机器人同步定位与建图技术

传统的同步定位与建图(simultaneous localizition and mapping) SLAM算法采用了静态世界的强假设,这个假设限制了多数视觉SLAM算法在真实环境下的应用。针对这一问题,提出一种基于RGB-D传感器的动态SLAM算法。该方法是基于ORBSLAM2的改进,能够一致地映射包含多个动态元素的场景,并且增加了动态对象语义分割的能力。该方法结合深度语义网络与几何分割方法,对环境中的动态物体进行检测与分割,并去除对应的特征点,减少了动态物体的影响。TUM-RGB-D动态数据集序列中的实验结果表明,本文提出的系统大大提升了ORBSLAM2在动态环境下的定位精度,并且与其他先进的动态SLAM系统相比,精度有了一定程度的提升。     

基于RGB-D图像的视觉SLAM算法研究

针对主流的RGB-D SLAM系统精度较低并且仅生成稀疏点云地图的问题,提出一种改进的SLAM系统。前端采用改进的ORB特征提取算法,改进特征点簇集的问题;后端综合利用EPnP与ICP算法进行相机位姿优化,提高位姿估计精度;并增加稠密点云地图构建线程,得到场景的稠密点云地图,以用于机器人的导航与路径规划。在TUM数据集上,使用Kinect V2相机将改进的SLAM算法与ORB-SLAM2算法进行实验比对,验证了改进SLAM算法的综合性能优于ORB-SLAM2算法。     

基于目标检测的室内动态场景同步定位与建图

为了提高室内动态场景下定位与建图的准确性与实时性,提出了一种基于目标检测的室内动态场景同步定位与建图（simultaneous localization and mapping, SLAM）系统。利用目标检测的实时性,在传统ORB＿SLAM2算法上结合YOLOv5目标检测网络识别相机图像中的动态物体,生成动态识别框,根据动态特征点判别方法只将识别框内动态物体上的ORB特征点去除,利用剩余特征点进行相机位姿的估计,最后建立只含静态物体的稠密点云地图与八叉树地图。同时在机器人操作系统（robot operating system, ROS）下进行仿真,采用套接字（Socket）通信方式代替ROS中话题通信方式,将ORB＿SLAM2算法与YOLOv5目标检测网络相结合,以提高定位与建图的实时性。在TUM数据集上进行多次实验结果表明,与ORB＿SLAM2系统相比,本文系统相机位姿精确度大幅度提高,并且提高了每帧跟踪的处理速度。     

基于单目增量式稀疏SFM研究与实现

为研究视觉SLAM(Simutaneous Localization and Mapping)以及视觉SFM(Structure From Motion)领域中机器人能低成本重建出可进行语义识别三维场景的问题,借鉴Colmap算法,对重建过程中的部分步骤加以改进,对初始化图像的选择进行了精选,在重建出有误差的三维点云中进行多次基于光束平差法的优化,对无人机拍摄的图像进行重建分析,结果表明,图像在重建的完整度、鲁棒性、精确度以及效率等方面,均取得了较好的效果。     

一种基于光度信息和ORB特征的建图SLAM

针对同步定位与建图(Simultaneous Localization and Mapping,SLAM)系统经常因为相机抖动及场景结构单一等问题而导致跟踪失败的情况,以及重建三维地图的任务,提出了一种混合SLAM方法(R-ORB SLAM).该方法采用一种基于光度误差的位姿粗略估计作为特征视觉里程计的先验,在ORB-...     

室内剔除行人特征点的视觉SLAM算法

针对视觉SLAM系统在室内场景下易受行人干扰,导致定位精度和稳定性下降的问题,提出了一种室内剔除行人特征点的视觉SLAM算法,该算法在传统的ORB＿SLAM2算法中集成了一个新的动态目标检测线程,此线程使用YOLOV5s目标检测算法识别并剔除行人动态信息。首先,系统对YOLOV5s引入坐标注意力机制,提取图像中与目标相关的特征;其次,将彩色图像同时输入到ORB＿SLAM2算法和动态目标检测线程中,ORB＿SLAM2算法实时估计相机位姿,动态目标检测线程识别和剔除行人动态目标,从而减少其对ORB＿SLAM2算法的干扰;最后,将2个线程的输出融合至静态地图构建线程,生成无行人干扰的地图构建结果。针对文中算法,在不同数据集下开展试验验证。结果表明：相对于ORB＿SLAM2算法,改进算法在TUM的高动态数据集中绝对轨迹精度提高了96.51%,相对轨迹精度提高了96.57%,相对轨迹误差的旋转精度提高了96.47%。室内剔除行人特征点的视觉SLAM算法充分过滤了行人特征点,提高了SLAM系统的精度,为室内导航、建图等领域提供了一种新的解决方案。     

基于深度学习的动态场景语义SLAM

提出一种利用深度学习提高动态环境下视觉语义即时定位与地图构建(SLAM)的方法.首先用实例分割网络对关键帧进行实例分割,建立先验语义信息;然后计算特征点光流场对物体进一步区分,识别出场景真正运动物体并将属于动态物体的特征点去除;最后进行语义关联,建立无动态物体干扰的语义地图.将本文方法在室内环境公开数据集中测试,结果表明该方法可有效消除动态物体对建图的影响,提高建图精度.     

快速室内视觉同步定位与建图研究

家居机器人技术一般应用视觉同步定位与建图(SLAM,Simultaneous Localization and Mapping)来实现定位与构建导航地图,如何实现视觉SLAM系统快速准确定位和构建丰富环境信息的地图已经成为视觉SLAM研究的热点问题.本文将光流法与关键点结合,加快视觉SLAM的数据处理速度,并添加稠密点...     

基于目标检测的单目视觉半稠密语义地图构建

传统的视觉SLAM系统在机器人定位和制图工作中取得了显著的成功,但存在着缺乏场景信息、地图过于稀疏、单目相机初始化困难等亟待解决的问题。本文提出了MNS-SLAM（Monocular-semantic SLAM）,将目标检测算法与单目视觉SLAM（同时定位与地图构建）技术相结合,进而构建有助于环境理解的半稠密语义地图。首先,通过目标检测网络YOLOv4检测对象获取边界框和类别信息,通过消失点算法和二次曲面恢复算法由2D目标检测恢复出3D长方体及二次曲面,实现3D物体的位姿初始化。同时,引入了目标间相对位姿不变性的语义约束,构造了语义损失函数,将其添加到BA优化中,最后通过增量式3D线段提取,构建带有物体语义信息的半稠密地图。文中方法在TUM公开数据集和真实场景中进行试验,不仅构建了半稠密地图,同时添加了语义信息,为后端的优化提供了新的约束,相机的绝对和相对位姿误差表现出优于单目ORB-SLAM2的性能,有助于搭载单目相机的移动机器人感知和理解环境,执行更复杂的任务。     

基于RGB-D相机的点线特征融合SLAM算法

针对大场景、弱纹理环境下ORB-SLAM算法特征点采集困难和精度低的问题,提出一种基于RGB-D相机的点线特征融合SLAM算法——PAL-SLAM。在ORB-SLAM算法基础上设计点线特征融合新框架,通过研究点特征与线特征的融合原理来推导点线融合的重投影误差模型,进而得到该模型的雅可比矩阵解析形式,以此为基础提出PAL-SLAM算法的框架。利用TUM数据集对PAL-SLAM和ORB-SLAM算法进行对比实验,结果表明PAL-SLAM算法在室内大场景中的定位精度更高,标准误差仅为ORB-SLAM算法的18.9%。PAL-SLAM算法降低了传统视觉SLAM在大场景、弱纹理环境中的定位误差,有效提升了系统的准确性。文中还搭建了基于Kinect V2的实验平台,实验结果表明,PAL-SLAM算法能与硬件平台较好结合。     

ORBTSDF-SCNet：一种动态场景在线三维重建方法

传统的三维重建技术在面对移动物体干扰时难以有效完成场景重建任务。针对该问题，本文提出一种基于SLAM(Simultaneous Localization and Mapping）、TSDF(Truncated Signed Distance Function）和SCNet(Sample Consistency Networks）实例分割网络的三维重建方法ORBTSDF-SCNet。该方法采用深度相机或双目相机获取重建物体及场景的深度图与RGB图，且基于ORB＿SLAM2实时获取位姿信息；采用基于结构化点云数据的表面重建算法TSDF与深度图相结合，实现在线三维模型重建；为了消除场景中移动物体对场景三维重建的干扰，提出采用SCNet实例分割网络检测和分割移动物体，并结合优化策略减小检测和实例分割误差以及深度图和RGB图对准误差。通过抠除移动物体，保证了重建场景的完整性。在ICL-NUIM、TUM数据集上的实验表明了本文所提方法的有效性。     

商汤科技:面向增强现实的视觉定位技术的创新突破与应用

<正>"增强现实"是一种将虚拟景物或信息无缝地融入现实物理环境中的技术,相比传统的文字、图像和视频,能更高效、直观地呈现信息,有着非常广泛的应用。同时定位与地图构建技术(Simultaneous Localization and Mapping,简称SLAM)可以在未知环境中定位自身方位,并同时构建环境的三维地图,从而保证叠加的虚拟物体与现实场景在几何上的一致性。它不仅是增强现实的关键基础技术,也是无人机、自动驾驶、机器人领域的基础技术。随着视觉传感器的普及和计算机视觉技术的飞速发展,视觉SLAM因为无需预先布置场景、适用范围广     

强照度鲁棒的SLAM算法

ORB-SLAM算法通过ORB(oriented FAST and rotated BRIEF)描述子匹配特征点,其光照强度鲁棒性不足,难以在光照条件较差时应用。对此,利用HSV空间中色调(Hue)光照强度鲁棒性较强的特点,提出通过高斯混合模型于前端匹配时将色调加入ORB特征匹配的方法,以解决特征匹配时光照强度鲁棒性不足的问题。通过光束平差法(bundle adjustment)进行位姿优化后,基于贝叶斯滤波模型,根据当前场景构建视觉字典以完成回环检测,提高SLAM算法精度。实验结果表明,相比ORB-SLAM算法,在保证实时性不变的情况下,本文算法精度与光照强度鲁棒性有明显提升。     

动态环境下基于时序滑动窗口的鲁棒激光SLAM系统

无人驾驶场景中的动态物体会影响同时定位与建图（SLAM）系统的整体精度和鲁棒性，针对现有多数激光SLAM系统在动态环境下易出现里程计漂移、定位失败和建图重影问题，本文融合轻量级PointPillars目标检测网络和多目标跟踪方法，构建了一种面向动态场景的语义激光SLAM系统.该系统首先利用PointPillars网络获取潜在动态目标检测框并过滤检测框内特征点，以获取里程计初始位姿.其次基于匀速卡尔曼滤波器的多目标跟踪算法获取跟踪结果，以构建时序滑动窗口，实现鲁棒、高效的目标级数据时空关联，以去除动态物体和恢复静态目标，进一步优化里程计.最后在包含动态场景的KITTI和NUSCENES公开数据集上与主流激光SLAM方法进行对比实验，结果表明本系统在里程计和全局地图的准确性和鲁棒性方面有显著的提高，同时系统保持了实时性，可满足动态场景下自主机器人系统和智能交通应用.     

基于视觉SLAM的物体实例识别与语义地图构建

针对目前面向语义同步定位与地图构建(SLAM)研究大多需要已知三维对象模型作为先验知识,或者只对有限的几种物体的类别进行语义分割,而没有区分对象的个体的问题,结合目前先进的基于深度学习的实例分割算法和视觉SLAM算法提出了一种面向实例个体的物体识别和语义地图构建方法,使得机器人不仅获得了面向导航的环境几何信息,而且掌握了面向物体个体的属性和位置信息.该方法利用由视觉SLAM算法获得的图像帧间几何一致性约束来促进连续图像帧中物体匹配与识别结果,提高物体实例识别的精度,同时结合实例识别结果完成语义建图的任务.最后实现了基于视觉SLAM算法的物体实例识别与语义地图构建系统,并在ICL-NUIM数据集上进行实验,实验结果表明该系统能够基本完整地识别场景中的各种物体并生成环境的语义地图,验证了本方法的有效性.     

深度补全的无动态对象单目视觉SLAM研究

现有的单目视觉SLAM方案为了提高精度，大多都是通过增加各种传感器来实现的，这并没有将单目相机的表现发挥到极致。文章提出了一个基于ORB-SLAM3的视觉SLAM系统，旨在最大化地利用单目资源，在单目相机的基础上通过增加深度预测网络来模拟深度相机，利用CNN和ORB融合的方法进行特征点提取，并结合深度图进行特征过滤，旨在提高驾驶场景单目相机位姿预测精度，同时为避免动态对象对SLAM系统造成的干扰，文章引入了图像的实例分割网络。