基于目标检测的室内动态场景SLAM

室内动态场景下的同步定位与地图构建(simultaneous localization and mapping, SLAM)系统容易受到运动障碍物的影响，从而导致其位姿估计精度和视觉里程计的稳定性降低。本文提出一种基于YOLOv4目标检测网络的视觉SLAM算法，获取语义信息，并利用LK光流法判断动态特征，在传统的ORB-SLAM2系统上将动态特征点剔除，只使用静态特征点来估计相机的位姿；建立稠密点云地图，并转化成节约内存空间的八叉树地图。在TUM公开数据集上对该方法进行测试和评估，实验结果表明：在动态环境下，该系统与ORB-SLAM2相比，相机位姿估计精度提高83%，且减少了生成的环境地图的存储空间，为后续实现机器人导航具有重要意义。     

基于目标检测的室内动态场景同步定位与建图

为了提高室内动态场景下定位与建图的准确性与实时性,提出了一种基于目标检测的室内动态场景同步定位与建图（simultaneous localization and mapping, SLAM）系统。利用目标检测的实时性,在传统ORB＿SLAM2算法上结合YOLOv5目标检测网络识别相机图像中的动态物体,生成动态识别框,根据动态特征点判别方法只将识别框内动态物体上的ORB特征点去除,利用剩余特征点进行相机位姿的估计,最后建立只含静态物体的稠密点云地图与八叉树地图。同时在机器人操作系统（robot operating system, ROS）下进行仿真,采用套接字（Socket）通信方式代替ROS中话题通信方式,将ORB＿SLAM2算法与YOLOv5目标检测网络相结合,以提高定位与建图的实时性。在TUM数据集上进行多次实验结果表明,与ORB＿SLAM2系统相比,本文系统相机位姿精确度大幅度提高,并且提高了每帧跟踪的处理速度。     

基于RGB-D图像的视觉SLAM算法研究

针对主流的RGB-D SLAM系统精度较低并且仅生成稀疏点云地图的问题,提出一种改进的SLAM系统。前端采用改进的ORB特征提取算法,改进特征点簇集的问题;后端综合利用EPnP与ICP算法进行相机位姿优化,提高位姿估计精度;并增加稠密点云地图构建线程,得到场景的稠密点云地图,以用于机器人的导航与路径规划。在TUM数据集上,使用Kinect V2相机将改进的SLAM算法与ORB-SLAM2算法进行实验比对,验证了改进SLAM算法的综合性能优于ORB-SLAM2算法。     

基于视觉SLAM的物体实例识别与语义地图构建

针对目前面向语义同步定位与地图构建(SLAM)研究大多需要已知三维对象模型作为先验知识,或者只对有限的几种物体的类别进行语义分割,而没有区分对象的个体的问题,结合目前先进的基于深度学习的实例分割算法和视觉SLAM算法提出了一种面向实例个体的物体识别和语义地图构建方法,使得机器人不仅获得了面向导航的环境几何信息,而且掌握了面向物体个体的属性和位置信息.该方法利用由视觉SLAM算法获得的图像帧间几何一致性约束来促进连续图像帧中物体匹配与识别结果,提高物体实例识别的精度,同时结合实例识别结果完成语义建图的任务.最后实现了基于视觉SLAM算法的物体实例识别与语义地图构建系统,并在ICL-NUIM数据集上进行实验,实验结果表明该系统能够基本完整地识别场景中的各种物体并生成环境的语义地图,验证了本方法的有效性.     

室内环境下结合里程计的双目视觉SLAM研究

针对视觉SLAM要解决的定位精度低和鲁棒性低的问题,提出一种基于双目视觉传感器与里程计信息的扩展卡尔曼滤波SLAM方法,应用改进的SIFT算子提取双目视觉图像的环境特征获得特征点,并构建出视觉特征地图;应用扩展卡尔曼滤波算法融合视觉信息与机器人位姿信息,完成同时定位与地图创建。这种方法既可以解决单目视觉利用特殊初始化方法获取特征点信息不准确的问题,也可以避免双目视觉里程计利用图像信息恢复运动带来的计算量极大和运动估计不鲁棒的缺点。仿真实验表明,在未知室内环境下,算法运行稳定,定位精度高。     

基于卷积神经网络的语义同时定位以及地图构建方法

环境感知技术是智能车功能实现的前提,而在感知的基础上提高智能车对环境的认知能力是实现全自动驾驶的关键。本文针对室外交通场景,基于卷积神经网络提出了一种新的智能车同时定位以及语义地图构建方法,对智能车进行定位,并且构建稠密的3D语义地图,提高智能车的环境感知、认知能力。首先,基于双目ORB-SLAM提出了一种四线程的双目SLAM（Simultaneous Localization and Mapping）方法构建稠密的3D点云地图,四线程分别为追踪线程,局部地图构建线程,回环检测线程以及稠密地图构建线程;其次,为提高智能车的环境认知能力,使用端对端的方法对图像进行语义分割,并且为提高语义分割精确率,将环境的几何信息也作为卷积神经网络输入;最后,将感知的能力与认知的能力相结合构建语义地图,为智能车实现全自动驾驶奠定基础。本文将算法在KITTI数据集上进行测试,整体算法速度为10帧/秒,语义分割的全局精确率为73.1%,构建的语义地图显示本文提出算法能够在大规模室外场景下重构全局一致性地图,并且帮助智能车实现对环境的解析。     

深度补全的无动态对象单目视觉SLAM研究

现有的单目视觉SLAM方案为了提高精度，大多都是通过增加各种传感器来实现的，这并没有将单目相机的表现发挥到极致。文章提出了一个基于ORB-SLAM3的视觉SLAM系统，旨在最大化地利用单目资源，在单目相机的基础上通过增加深度预测网络来模拟深度相机，利用CNN和ORB融合的方法进行特征点提取，并结合深度图进行特征过滤，旨在提高驾驶场景单目相机位姿预测精度，同时为避免动态对象对SLAM系统造成的干扰，文章引入了图像的实例分割网络。     

快速室内视觉同步定位与建图研究

家居机器人技术一般应用视觉同步定位与建图(SLAM,Simultaneous Localization and Mapping)来实现定位与构建导航地图,如何实现视觉SLAM系统快速准确定位和构建丰富环境信息的地图已经成为视觉SLAM研究的热点问题.本文将光流法与关键点结合,加快视觉SLAM的数据处理速度,并添加稠密点...     

基于深度学习的动态场景语义SLAM

提出一种利用深度学习提高动态环境下视觉语义即时定位与地图构建(SLAM)的方法.首先用实例分割网络对关键帧进行实例分割,建立先验语义信息;然后计算特征点光流场对物体进一步区分,识别出场景真正运动物体并将属于动态物体的特征点去除;最后进行语义关联,建立无动态物体干扰的语义地图.将本文方法在室内环境公开数据集中测试,结果表明该方法可有效消除动态物体对建图的影响,提高建图精度.     

室内剔除行人特征点的视觉SLAM算法

针对视觉SLAM系统在室内场景下易受行人干扰,导致定位精度和稳定性下降的问题,提出了一种室内剔除行人特征点的视觉SLAM算法,该算法在传统的ORB＿SLAM2算法中集成了一个新的动态目标检测线程,此线程使用YOLOV5s目标检测算法识别并剔除行人动态信息。首先,系统对YOLOV5s引入坐标注意力机制,提取图像中与目标相关的特征;其次,将彩色图像同时输入到ORB＿SLAM2算法和动态目标检测线程中,ORB＿SLAM2算法实时估计相机位姿,动态目标检测线程识别和剔除行人动态目标,从而减少其对ORB＿SLAM2算法的干扰;最后,将2个线程的输出融合至静态地图构建线程,生成无行人干扰的地图构建结果。针对文中算法,在不同数据集下开展试验验证。结果表明：相对于ORB＿SLAM2算法,改进算法在TUM的高动态数据集中绝对轨迹精度提高了96.51%,相对轨迹精度提高了96.57%,相对轨迹误差的旋转精度提高了96.47%。室内剔除行人特征点的视觉SLAM算法充分过滤了行人特征点,提高了SLAM系统的精度,为室内导航、建图等领域提供了一种新的解决方案。     

基于视觉的多机器人协作SLAM 问题

 视觉SLAM 仅采用图像作为外部信息,用于估计机器人位置的同时构建环境地图。SLAM 是机器人自主性的基本前提,如今在小动态环境采用激光或者声呐传感器构建2D 地图得到较好地解决。然而动态、复杂和大范围下的SLAM 仍存在问题,使用视觉作为基本的外部传感器是解决问题的一个新颖热门的研究方法。在视觉SLAM 中使用计算机视觉技术,如特征检测、特征描述和特征匹配,图像识别和恢复,还存在很多改善的空间。本文在视觉SLAM 领域的最新技术的基础上,对基于视觉的多机器人协作SLAM 领域的前沿技术进行综述。     

单目视觉SLAM车载摄像机快速位姿估计及景物重构

针对单目视觉同时定位与地图构建(simultaneous localization and mapping, SLAM)应用,提出一种快速车载摄像机位姿估计及景物结构3D重构算法。在无具体标定物的情况下,利用移动机器人二自由度运动导致摄像机采集视图中对应极点的特殊性质,标定出真实摄像机与虚拟摄像机间的相对姿态,并利用主动视觉方法进一步标定出移动机器人坐标系与虚拟摄像机坐标系间的相对位移;构造无穷单应变换,将真实视图中通过SIFT算法得到的假设欧氏匹配点集转换为对应虚拟摄像机的虚拟假设欧氏匹配点集,并利用基于RANSAC的归一化三点算法快速地对本质矩阵进行估计和分解;利用已观测到的路标三维信息,递归地剔除本质矩阵分解出的平移量的尺度不确定性,并利用线性三角形法重构出景物结构。实验结果表明:该算法在保证运算精度的同时,具有更快的运算速度。     

基于半稠密COLMAP自监督单目内窥镜深度估计

在单目内窥镜场景下人体内组织表面纹理稀疏,视野受限给图像的深度估计带来了一定的困难。针对以上问题,提出了一种基于半稠密COLMAP(structure-from-motion and multi-view stereo generation pipeline)结合动态卷积注意力机制的自监督单目深度估计方法。通过改进的COLMAP进行图像序列预处理,产生加权半稠密深度图作为监督信号,该过程引入加权可靠度对半稠密深度图中的干扰点和不准确点进行丢弃或抑制操作,在训练网络中加入了具有动态卷积的注意力机制模型(Selective Kernel Networks, SKNet),这种注意力机制模型可以对输入的特征图进行动态卷积以获得更多感受野的信息,加强网络对特征的提取能力。在肝脏数据集上进行试验,结果表明,绝对相对差为0.135,阈值T<1.25³时,准确率为0.985,对监督数据、SKNet模型进行了消融实验,证明了半稠密重建、SKNet模型以及加权半稠密深度图的有效性。     

基于多源融合式SLAM的机器人三维环境建模

为有效处理移动机器人三维环境地图创建过程的不确定误差,提高所建地图的准确性、完整性和一致性,本文提出了一种基于传感器信息融合和Rao-Blackwellised粒子滤波(RBPF)的移动机器人三维同时定位与地图创建 (SLAM)方法. 在建立传感器不确定性概率模型的基础上,通过贝叶斯滤波实现传感器数据的去噪,将激光与视觉传感器获取的环境信息在一定的规则下融合,在SLAM框架下实现具有纹理映射的三维环境地图创建. 实验结果表明所用方法的有效性. 多源融合式自主SLAM提供了更为丰富、完备、准确的环境模型.      

基于多通道融合和极线约束的道路检测与定位

计算机双目视觉道路检测及定位在实现无人运动平台自主导航中具有重要意义.根据双目摄像机系统模型,提出基于多通道阈值融合的车道线检测方法,融合车道线边缘和色彩信息进行图像阈值分割,采用透视变换和自适应动态滑窗法提取车道线像素,采用最小二乘法拟合道路模型并依据极线约束关系进行定位,投影至SLAM地图中.实验结果表明,算法在光照变化、阴影遮挡等场景中均能精确检测车道线,将车道线信息投影至三维地图可以有效地将车道信息与地图信息进行融合,提高了道路感知能力.      

基于异质传感器信息融合的移动机器人SLAM研究

针对采用单一传感器在移动机器人同步定位与构图(SLAM)中存在定位精度低、构图不完整等问题,提出一种基于Kinect视觉传感器和激光传感器信息融合的SLAM算法。首先将Kinect传感器获取的深度图像经过坐标系转换得到三维点云、通过限制垂直方向滤波器过滤三维点云的高度信息、再将剩余三维点云投影到水平面并提取边界点云信息转化为激光扫描数据;然后与激光传感器的扫描数据进行数据级的信息融合;最后输出统一数据实现移动机器人的构图及自主导航。实验结果表明,该方法能够准确的检测小的及特征复杂的障碍物,能够构建更精确、更完整的环境地图,且更好地完成移动机器人自主导航任务。     

融合边缘语义信息的单目深度估计

单目深度估计研究是许多视觉任务的基础,从图像中得到边缘清晰,细节丰富的深度图对于后续任务具有重要的作用.针对当前单目深度估计模型中不能深度融合图像语义信息以及不能较好地利用图像对象的边缘信息问题,首先构建了超像素拓扑关系图,使用图神经网络提取局部边缘信息之间的相互关系,得到以超像素为节点的拓扑关系图,其次构建了基于编解...     

移动机器人同时定位与建图室内导航地图研究

针对当前视觉同时定位与建图(simultaneous localization and mapping,SLAM)生成的点云地图不能满足路径规划和导航的需要,提出一种室内移动机器人的导航地图制备方法.首先,通过SLAM估计相机位姿,后端优化后生成室内场景的三维点云地图;其次,根据地面移动机器人的运动约束及结构特点分情况讨论,推导点云相对于地面的二维坐标,同时对点云进行地面与障碍的分离、截取与筛选;最后,根据栅格占据状况有序构建出导航地图.实验结果表明,基于点云坐标的障碍物截取准确度高于地面拟合截取方法,所建地图精度与完整度均高于传统方法.室内移动机器人能基于该地图进行路径规划与导航.     

一种新的图像感兴趣区域的提取方法

对于Itti的显著图模型的感兴趣区域检测方法中,存在的检测结果与视觉感知有差异以及转移过程中同一目标内出现多个感兴趣区域检测结果等问题,引入灰度尺度变化特征和CV模型,以使感兴趣区域检测结果更符合人的视觉感知。实验结果表明,该算法检测到的感兴趣区域与人的视觉感知结果吻合率为77.6%,高于Itti模型的72.8%。