视觉与惯性传感器融合的SLAM技术综述

同时定位与建图(SLAM)是指当机器人在未知的环境中运行时能够自动绘制环境地图,同时确定自身在地图中的位置。融合视觉和惯性传感器获取的数据来实现实时的高精度和鲁棒的SLAM,是当前智能机器人领域的研究热点。为了全面深入地认识VI-SLAM系统,首先,分析了4种典型的VI-SLAM系统;其次,综述了视觉惯性里程计、定位和建图技术方面的最新成果;再次,比较分析了VI-SLAM研究平台;最后,总结展望了未来的发展趋势。     

一种融合视觉与IMU信息的车载激光雷达三维地图构建与定位方法

针对激光雷达非匀速运动畸变问题,提出一种融合视觉惯性里程计和激光雷达里程计,进行三维地图构建与定位(simultaneous localization and mapping, SLAM)方法.经预处理和时间戳对齐后的数据,应用视觉估计和惯性测量单元(inertial measurement unit, IMU)预积分对视觉进行初始化,通过约束的滑窗优化和视觉里程计的高频位姿,将传统雷达匀速运动模型改进为多阶段匀加速模型,从而降低点云畸变.同时,利用列文伯格-马夸尔特(Levenberg-Marquardt, LM)方法优化激光里程计,提出一种融合词袋模型的回环检测方法,最终实现三维地图构建.基于实车试验数据,通过与LEGO-LOAM(lightweight and ground-optimized lidar odometry and mapping on variable terrain)方法的结果对比,本文方法在平均误差和误差中位数上分别提升了16%和23%.     

基于异质传感器信息融合的移动机器人SLAM研究

针对采用单一传感器在移动机器人同步定位与构图(SLAM)中存在定位精度低、构图不完整等问题,提出一种基于Kinect视觉传感器和激光传感器信息融合的SLAM算法。首先将Kinect传感器获取的深度图像经过坐标系转换得到三维点云、通过限制垂直方向滤波器过滤三维点云的高度信息、再将剩余三维点云投影到水平面并提取边界点云信息转化为激光扫描数据;然后与激光传感器的扫描数据进行数据级的信息融合;最后输出统一数据实现移动机器人的构图及自主导航。实验结果表明,该方法能够准确的检测小的及特征复杂的障碍物,能够构建更精确、更完整的环境地图,且更好地完成移动机器人自主导航任务。     

一种融合单目信息的RGB-D SLAM优化方法

由于RGB-D传感器本身存在的局限性,其在实际应用中会有深度信息不存在或者不完整的情况,这使得多数依赖于深度信息工作的RGB-D SLAM系统的精度会受到影响.提出了一种融合单目信息的RGB-D SLAM优化方法.通过对深度图像进行分析,从深度信息的存在性、准确性和离散性分别提出三个判断条件,作为选择单目或者RGB-D处理方式的依据.该系统使得用RGB-D相机工作的SLAM系统更具精确性与鲁棒性.最后通过运行数据集将系统与其他SLAM系统进行比较,实验结果验证了本系统的可行性.     

融合车辆动力学的双目视觉惯性SLAM研究

针对地下车库环境中无人驾驶汽车视觉同时定位和建图(SLAM)定位精度低的问题,提出一种融合惯性测量单元(IMU)角速度信息和车辆动力学信息的预积分方法．以IMU频率进行旋转预积分,以车辆动力学频率进行平移预积分．在平移预积分的计算中引入角速度信息,使其可以表达非平面运动．首先使用李代数和旋转群推导了相关的预积分公式、雅可比及噪声状态转移方程;然后以此预积分为基础将车辆动力学信息融合到双目视觉惯性SLAM中,以提高定位精度．地下车库实车实验表明：该方法将双目视觉惯性ORB-SLAM3的平均定位精度提高了32%.     

一种基于激光雷达和视觉的行人检测方法

针对一般城市环境的道路交通安全问题,提出了一种联合激光雷达和视觉的行人检测方法.利用激光雷达和摄像头坐标之间的透视变换关系,将环境的深度信息映射到图像中,并使用航位角推算方法同步激光雷达和摄像头,然后提取兴趣区域.在激光雷达聚类过程中,提出了一种基于行人宽度信息的目标分割方法,能有效分割并排行人.在基于视觉的行人检测中,首先根据行人边缘对称性的特点,预处理兴趣区域,然后采用基于Hausdorff距离的模板匹配方法,根据激光雷达的深度信息匹配行人上半身模板.实验结果表明,该方法可以取得较理想的效果.     

基于RGB-D图像的视觉SLAM算法研究

针对主流的RGB-D SLAM系统精度较低并且仅生成稀疏点云地图的问题,提出一种改进的SLAM系统。前端采用改进的ORB特征提取算法,改进特征点簇集的问题;后端综合利用EPnP与ICP算法进行相机位姿优化,提高位姿估计精度;并增加稠密点云地图构建线程,得到场景的稠密点云地图,以用于机器人的导航与路径规划。在TUM数据集上,使用Kinect V2相机将改进的SLAM算法与ORB-SLAM2算法进行实验比对,验证了改进SLAM算法的综合性能优于ORB-SLAM2算法。     

基于改进随机抽样一致算法的视觉SLAM

同时定位与地图构建(SLAM)在智能驾驶和机器人技术中发挥着重要的作用.针对传统随机抽样一致(RANSAC)算法对噪声敏感的问题,提出了一种改进的RANSAC算法,命名为LORANSAC,简称LO*.该算法包含内点筛选和非线性优化两部分.首先,在传统RANSAC算法估计出较好的模型后,保存在这个模型下得到的内点,在这些内点中随机选出一个子集,以进一步缩小内点的选择范围,迭代地进行模型估计.然后,对估计的模型进行捆集调整,通过最小化误差优化模型.实验使用公开的TUM RGBD数据集和KITTI数据集中的共10个序列进行评估,每个序列至少存在一个闭环,数据集涵盖小型和大型、室内和室外环境.从定性角度验证该算法删除误匹配的特征点的有效性,从定量角度验证使用该算法的定位精度.实验结果显示,与传统的RANSAC算法相比,改进的算法可以提高SLAM的定位精度.此外,实验结果与4个流行的SLAM系统对比,精度平均最高提高60.82%,最低提高12.16%.实验结果证明,该方法可以有效提高SLAM的定位精度.     

基于视觉的多机器人协作SLAM 问题

 视觉SLAM 仅采用图像作为外部信息,用于估计机器人位置的同时构建环境地图。SLAM 是机器人自主性的基本前提,如今在小动态环境采用激光或者声呐传感器构建2D 地图得到较好地解决。然而动态、复杂和大范围下的SLAM 仍存在问题,使用视觉作为基本的外部传感器是解决问题的一个新颖热门的研究方法。在视觉SLAM 中使用计算机视觉技术,如特征检测、特征描述和特征匹配,图像识别和恢复,还存在很多改善的空间。本文在视觉SLAM 领域的最新技术的基础上,对基于视觉的多机器人协作SLAM 领域的前沿技术进行综述。     

基于视觉-IMU-编码器的SLAM新算法

VINS-Mono算法应用于轮式机器人时,由于惯性测量单元(inertial measurement unit, IMU)加速度计信噪比较小,观测尺度不准确,会出现定位精度下降。对此,提出了一种融合单目相机、惯性测量单元和编码器的改进算法。在VINS-Mono初始化和后端优化的目标函数中,增加编码器测量残差项,直接融合由编码器数据计算的速度,增强尺度的可观性,降低定位累积误差,提高了定位精度。另外,针对车轮打滑造成编码器速度测量不准的问题,利用IMU角速度计测量值计算打滑因子,自适应调整编码器残差项在目标函数中的权重及其鲁棒核函数的阈值,减小车轮打滑对定位结果的影响。在两轮移动机器人上的实验表明,改进算法具有较强的鲁棒性,定位精度比VINS-Mono提高了一个数量级。     

基于动态语义特征的视觉SLAM系统

针对视觉SLAM(Simultaneous Localization and Mapping)在真实场景下出现动态物体(如行人,车辆、动物)等影响算法定位和建图精确性的问题,基于ORB-SLAM3(Oriented FAST and Rotated BRIEF-Simultaneous Localization and Mapping 3)提出了YOLOv3-ORB-SLAM3算法。该算法在ORB-SLAM3的基础上增加了语义线程,采用动态和静态场景特征提取双线程机制：语义线程使用YOLOv3对场景中动态物体进行语义识别目标检测,同时对提取的动态区域特征点进行离群点剔除;跟踪线程通过ORB特征提取场景区域特征,结合语义信息获得静态场景特征送入后端,从而消除动态场景对系统的干扰,提升视觉SLAM算法定位精度。利用TUM(Technical University of Munich)数据集验证,结果表明YOLOv3-ORB-SLAM3算法在单目模式下动态序列相比ORB-SLAM3算法ATE(Average Treatment Effect)指标下降30%左右,RGB-D(Red, Gree...     

基于视觉SLAM的物体实例识别与语义地图构建

针对目前面向语义同步定位与地图构建(SLAM)研究大多需要已知三维对象模型作为先验知识,或者只对有限的几种物体的类别进行语义分割,而没有区分对象的个体的问题,结合目前先进的基于深度学习的实例分割算法和视觉SLAM算法提出了一种面向实例个体的物体识别和语义地图构建方法,使得机器人不仅获得了面向导航的环境几何信息,而且掌握了面向物体个体的属性和位置信息.该方法利用由视觉SLAM算法获得的图像帧间几何一致性约束来促进连续图像帧中物体匹配与识别结果,提高物体实例识别的精度,同时结合实例识别结果完成语义建图的任务.最后实现了基于视觉SLAM算法的物体实例识别与语义地图构建系统,并在ICL-NUIM数据集上进行实验,实验结果表明该系统能够基本完整地识别场景中的各种物体并生成环境的语义地图,验证了本方法的有效性.     

基于贪心策略的视觉SLAM闭环检测算法

动态环境与视觉混淆严重影响视觉闭环检测性能.基于贪心策略,提出了一种在线构建视觉词典的闭环检测算法.算法优先处理Surf描述与已有单词Surf描述欧式距离最大的特征点,改进特征点与单词Surf描述最近邻的约束条件,生成了表征性能强、量化误差小的视觉词典,算法具备实时性,并在动态环境图像集与视觉混淆多发生的图像集上,在确保100%,准确率的条件下,最大召回率分别提升了5%,与4%,.     

基于传感器信息融合的机器视觉检测系统

为了满足插接件高速流水生产线质量控制要求，受人眼立体视觉机理的启发，提出了一种相应的机器视觉系统模型及一种基于加权平均的信息融合方法，并采用激光扫描测量技术，实现了用两个激光传感器快速在线测量插接簧片的二维偏移量。     

基于传感器信息融合的机器视觉检测系统

为了满足插接件高速流水生产线质量控制要求，受人眼立体视觉机理的启发，提出了一种相应的机器视觉系统模型及一种基于加权平均的信息融合方法，并采用激光扫描测量技术，实现了用两个激光传感器快速在线测量插接簧片的二维偏移量     

模糊化多视觉信息融合的视觉跟踪策略

为了提高视觉跟踪系统在空间环境对外界变化的适应能力,提出一种模糊化多视觉信息融合的视觉跟踪策略.该策略综合了多个反映目标特征的视觉信息,通过对选择的每一项子特征集进行模糊化处理,提高了识别的智能化程度.针对运动物体分割阈值受噪声干扰的问题,提出一种结合人口统计与区域生长的区域分割方法,实现了运动区域特征的稳定聚类.相对于传统的局部特征识别方法,这种多特征融合技术适合应用于复杂的动态环境,冗余信息间的互相补充可确保特征在不确定环境中的识别.试验结果表明,该策略能够实现鲁棒的特征提取和跟踪,尤其当出现被跟踪物体部分遮挡以及外界发生光线变化时,视觉跟踪系统仍能够实现稳定、快速的识别.     

基于滑窗非线性优化的双目视觉SLAM算法

针对双目基于ORB特征的即时定位与地图构建(ORB-SLAM)算法位姿估计精度较低的问题,对其进行了改进,提出了一种基于滑窗非线性优化的双目视觉SLAM算法。该算法引入了滑窗思想,在状态估计过程中对最新多帧图像对应系统的状态进行了解算;重构了位姿估计过程中的代价函数,通过高斯牛顿法优化状态变量;采用边缘化策略,有效限制了待求解状态量的数目,并将其余状态量及与其相关的视觉测量转换为求解当前滑窗内状态的先验约束。通过在公开数据集上测试,验证了算法的精确性和有效性,实验结果表明:该算法能有效估计相机位姿且不发生显著漂移,与双目ORBSLAM算法相比,位姿估计精度有了显著提高。     

动态环境下基于深度学习的视觉SLAM研究

由于传统的同步定位与建图(simultaneous localization and mapping, SLAM)中有很强的静态刚性假设,故系统定位精度和鲁棒性容易受到环境中动态对象的干扰。针对这种现象,提出一种在室内动态环境下基于深度学习的视觉SLAM算法。基于ORB-SLAM2进行改进,在SLAM前端加入多视角几何,并与YOLOv5s目标检测算法进行融合,最后对处理后的静态特征点进行帧间匹配。实验使用TUM数据集进行测试,结果显示：SLAM算法结合多视角几何、目标检测后,系统的绝对位姿估计精度在高动态环境中相较于ORB-SLAM2有明显提高。与其他SLAM算法的定位精度相比,改进算法仍有不同程度的改善。     

基于RGB-D相机的点线特征融合SLAM算法

针对大场景、弱纹理环境下ORB-SLAM算法特征点采集困难和精度低的问题,提出一种基于RGB-D相机的点线特征融合SLAM算法——PAL-SLAM。在ORB-SLAM算法基础上设计点线特征融合新框架,通过研究点特征与线特征的融合原理来推导点线融合的重投影误差模型,进而得到该模型的雅可比矩阵解析形式,以此为基础提出PAL-SLAM算法的框架。利用TUM数据集对PAL-SLAM和ORB-SLAM算法进行对比实验,结果表明PAL-SLAM算法在室内大场景中的定位精度更高,标准误差仅为ORB-SLAM算法的18.9%。PAL-SLAM算法降低了传统视觉SLAM在大场景、弱纹理环境中的定位误差,有效提升了系统的准确性。文中还搭建了基于Kinect V2的实验平台,实验结果表明,PAL-SLAM算法能与硬件平台较好结合。