深度补全的无动态对象单目视觉SLAM研究

现有的单目视觉SLAM方案为了提高精度，大多都是通过增加各种传感器来实现的，这并没有将单目相机的表现发挥到极致。文章提出了一个基于ORB-SLAM3的视觉SLAM系统，旨在最大化地利用单目资源，在单目相机的基础上通过增加深度预测网络来模拟深度相机，利用CNN和ORB融合的方法进行特征点提取，并结合深度图进行特征过滤，旨在提高驾驶场景单目相机位姿预测精度，同时为避免动态对象对SLAM系统造成的干扰，文章引入了图像的实例分割网络。     

基于深度学习的动态场景语义SLAM

提出一种利用深度学习提高动态环境下视觉语义即时定位与地图构建(SLAM)的方法.首先用实例分割网络对关键帧进行实例分割,建立先验语义信息;然后计算特征点光流场对物体进一步区分,识别出场景真正运动物体并将属于动态物体的特征点去除;最后进行语义关联,建立无动态物体干扰的语义地图.将本文方法在室内环境公开数据集中测试,结果表明该方法可有效消除动态物体对建图的影响,提高建图精度.     

基于目标检测的室内动态场景同步定位与建图

为了提高室内动态场景下定位与建图的准确性与实时性,提出了一种基于目标检测的室内动态场景同步定位与建图（simultaneous localization and mapping, SLAM）系统。利用目标检测的实时性,在传统ORB＿SLAM2算法上结合YOLOv5目标检测网络识别相机图像中的动态物体,生成动态识别框,根据动态特征点判别方法只将识别框内动态物体上的ORB特征点去除,利用剩余特征点进行相机位姿的估计,最后建立只含静态物体的稠密点云地图与八叉树地图。同时在机器人操作系统（robot operating system, ROS）下进行仿真,采用套接字（Socket）通信方式代替ROS中话题通信方式,将ORB＿SLAM2算法与YOLOv5目标检测网络相结合,以提高定位与建图的实时性。在TUM数据集上进行多次实验结果表明,与ORB＿SLAM2系统相比,本文系统相机位姿精确度大幅度提高,并且提高了每帧跟踪的处理速度。     

基于RGB-D图像和深度学习的场景语义分割网络

近年来,深度卷积神经网络应用于图像语义分割领域并取得了巨大成功。本文提出了一个基于RGB-D(彩色-深度) 图像的场景语义分割网络。该网络通过融合多级RGB网络特征图和深度图网络特征图,有效提高了卷积神经网络语义分割的准确率。同时,本文利用带孔的卷积核设计了具有捷径恒等连接的空间金字塔结构来提取高层次特征的多尺度信息。在SUN RGB-D数据集上的测试结果显示,与其它state-of-the-art的语义分割网络结构相比,本文所提出的场景语义分割网络性能突出。     

动态环境下基于时序滑动窗口的鲁棒激光SLAM系统

无人驾驶场景中的动态物体会影响同时定位与建图（SLAM）系统的整体精度和鲁棒性，针对现有多数激光SLAM系统在动态环境下易出现里程计漂移、定位失败和建图重影问题，本文融合轻量级PointPillars目标检测网络和多目标跟踪方法，构建了一种面向动态场景的语义激光SLAM系统.该系统首先利用PointPillars网络获取潜在动态目标检测框并过滤检测框内特征点，以获取里程计初始位姿.其次基于匀速卡尔曼滤波器的多目标跟踪算法获取跟踪结果，以构建时序滑动窗口，实现鲁棒、高效的目标级数据时空关联，以去除动态物体和恢复静态目标，进一步优化里程计.最后在包含动态场景的KITTI和NUSCENES公开数据集上与主流激光SLAM方法进行对比实验，结果表明本系统在里程计和全局地图的准确性和鲁棒性方面有显著的提高，同时系统保持了实时性，可满足动态场景下自主机器人系统和智能交通应用.     

基于彩色-深度图像和深度学习的场景语义分割网络

近年来,深度卷积神经网络应用于图像语义分割领域并取得了巨大成功。提出了一个基于RGB-D(彩色-深度)图像的场景语义分割网络;该网络通过融合多级RGB网络特征图和深度图网络特征图,有效提高了卷积神经网络语义分割的准确率。同时,利用带孔的卷积核设计了具有捷径恒等连接的空间金字塔结构来提取高层次特征的多尺度信息。在SUN RGB-D数据集上的测试结果显示,与其他state-of-the-art的语义分割网络结构相比,所提出的场景语义分割网络性能突出。     

基于多RGBD摄像机的动态场景实时三维重建系统

使用多台基于FPGA嵌入立体计算的RGBD摄像机搭建动态场景实时三维重建系统. RGBD摄像机能够以视频速度输出场景的彩色(RGB)图像及对应的稠密视差(disparity)图像,由视差图像可进一步得到场景的深度图. 多台RGBD摄像机运行在统一的外部时钟和控制信号下,可实现对目标场景数据的同步采集. 为了提高各视点所获取的场景深度图质量,根据多RGBD摄像机系统视点分布较为稀疏的特点,使用概率密度函数估计的方法进行多视点深度图的融合. 融合后的深度图由PC集群进行处理,可实时生成所拍摄场景的三维空间点云. 实验结果表明,本文系统可以有效地重建包含多个运动目标的大型动态场景.      

基于视觉SLAM的物体实例识别与语义地图构建

针对目前面向语义同步定位与地图构建(SLAM)研究大多需要已知三维对象模型作为先验知识,或者只对有限的几种物体的类别进行语义分割,而没有区分对象的个体的问题,结合目前先进的基于深度学习的实例分割算法和视觉SLAM算法提出了一种面向实例个体的物体识别和语义地图构建方法,使得机器人不仅获得了面向导航的环境几何信息,而且掌握了面向物体个体的属性和位置信息.该方法利用由视觉SLAM算法获得的图像帧间几何一致性约束来促进连续图像帧中物体匹配与识别结果,提高物体实例识别的精度,同时结合实例识别结果完成语义建图的任务.最后实现了基于视觉SLAM算法的物体实例识别与语义地图构建系统,并在ICL-NUIM数据集上进行实验,实验结果表明该系统能够基本完整地识别场景中的各种物体并生成环境的语义地图,验证了本方法的有效性.     

MDF-ANet:低光照环境下的无人驾驶视觉融合分割方法

为解决低光照条件下已有图像分割模型性能降低的问题,提出了一个基于RGB和深度图特征融合网络的MDF-ANet图像分割方法.为了对原始数据进行充分的特征学习,采用两路特征提取网络分别提取RGB和深度图特征;设计了一个特征融合模块,分别将两路特征提取网络对应尺度下的输出特征图通过融合模块进行融合,并作为RGB网络下一层的输入,通过不受光照条件影响的深度图来辅助RGB的特征提取;将各个尺度输出的特征图输入多尺度上采样融合模块,进行不同感受野间的信息互补,再上采样至原始输入图像大小,得到分割图像.在Cityscapes及其转化后的低光照图像上进行了一系列实验,在其验证集上取得了62.44%的均交并比（mean intersection over union,mIOU）,相比只使用RGB输入的模型,性能提高了9.1%,达到了在低光照条件下提高图像分割性能的目的.      

基于关键点滤波的深度图提取

基于单帧视频2D/3D转换,深度估计是关键。提出一种在伴有相机移动情况下,基于运动的深度估计新方法,采用关键点滤波获取每帧视频像素级的运动矢量。由于相机的移动会引起伪运动矢量,从而导致深度信息模糊,为解决这一问题,采用鲁棒的RANSAC算法估计相机移动模型。首先,通过无相机移动的运动矢量来估计初始深度图。然后,利用基于同类点的后置滤波修正运动物体边缘像素的深度信息。实验结果表明,在有相机移动情况下,该方法对深度图的估计可以取得较好效果。     

基于RGB-D摄像机的室内三维彩色点云地图构建

创建室内环境的三维地图可以使用RGB-D摄相机获取多帧率的彩色图和深度图,结合视觉SLAM算法,完成彩信息与深度信息的结合并构建真实三维环境地图数据是常用的一种方法.通过Kinect传感器采集室内环境的RGB图和Depth图,改进了ORB算法并进行特征提取和基于FLANN搜索的图像匹配算法匹配图像特征,使用PNPRANSAC方法估计图像的运动,为抑制在点云配准过程中累积误差造成的位姿漂移采用g2o图优化,实现探索室内未知环境的三维彩色点云空间,完成周围环境地图的创建.实验结果表明,以Kinect传感器实现视觉SLAM的方法对于室内三维点云数据创建有较好的效果,具有一定的理论和实际应用价值.     

面向动态环境的机器人同步定位与建图技术

传统的同步定位与建图(simultaneous localizition and mapping) SLAM算法采用了静态世界的强假设,这个假设限制了多数视觉SLAM算法在真实环境下的应用。针对这一问题,提出一种基于RGB-D传感器的动态SLAM算法。该方法是基于ORBSLAM2的改进,能够一致地映射包含多个动态元素的场景,并且增加了动态对象语义分割的能力。该方法结合深度语义网络与几何分割方法,对环境中的动态物体进行检测与分割,并去除对应的特征点,减少了动态物体的影响。TUM-RGB-D动态数据集序列中的实验结果表明,本文提出的系统大大提升了ORBSLAM2在动态环境下的定位精度,并且与其他先进的动态SLAM系统相比,精度有了一定程度的提升。     

基于目标检测的单目视觉半稠密语义地图构建

传统的视觉SLAM系统在机器人定位和制图工作中取得了显著的成功,但存在着缺乏场景信息、地图过于稀疏、单目相机初始化困难等亟待解决的问题。本文提出了MNS-SLAM（Monocular-semantic SLAM）,将目标检测算法与单目视觉SLAM（同时定位与地图构建）技术相结合,进而构建有助于环境理解的半稠密语义地图。首先,通过目标检测网络YOLOv4检测对象获取边界框和类别信息,通过消失点算法和二次曲面恢复算法由2D目标检测恢复出3D长方体及二次曲面,实现3D物体的位姿初始化。同时,引入了目标间相对位姿不变性的语义约束,构造了语义损失函数,将其添加到BA优化中,最后通过增量式3D线段提取,构建带有物体语义信息的半稠密地图。文中方法在TUM公开数据集和真实场景中进行试验,不仅构建了半稠密地图,同时添加了语义信息,为后端的优化提供了新的约束,相机的绝对和相对位姿误差表现出优于单目ORB-SLAM2的性能,有助于搭载单目相机的移动机器人感知和理解环境,执行更复杂的任务。     

多视图几何轻量级三维重建算法

针对现有深度学习三维重建网络内存消耗严重、效率低下的问题，提出了高效的多视图几何三维重建网络(high efficiency multi-view stereo network,H-MVSNet)模型，将原始图片序列和预测的粗略深度图融合，进一步提高最终深度图的质量;构建轻量级的特征提取模块和正则化模块，减少提取冗余度;采用由粗到精的策略，建立高效的深度图细化模块，减少计算量。实验表明，H-MVSNet模型在DTU数据集中的精度误差可达0.327mm，计算一张分辨率为640×480的深度图仅需0.44s，内存消耗可低至2.46GB，显著提高了三维重建的精度和准确度。     

基于分割的立体匹配法提取光场视差图

为了解决从光场相机采集的图像中提取物体深度信息的问题,提出一种利用Lytro光场相机设备,基于图像分割的立体匹配方法估计光场图像深度。首先对Lytro相机采集的原始灰度图进行解码和颜色校正,提取相应的子光圈图像;在Matlab环境下,结合图像颜色分割、自适应立体匹配对子图像进行处理,通过平面拟合技术和BP优化得到相应的深度估计图。实验结果表明,该方法提取到深度图在视觉精度上有了明显的提高。     

基于深度学习SCNet的钢筋混凝土锈蚀裂缝识别

为提高钢筋混凝土锈蚀裂缝检测分类的效率和精度，提出了一种基于深度学习卷 积神经网络（Convolutional Neural Network，CNN）的钢筋混凝土锈蚀裂缝识别模型 SCNet（Steel Corrosion Net）. 首先通过原始数据采集和数据增强构建了39 000张图片的裂缝数据集，然后利 用 TensorFlow 学习框架和 Python构建神经网络模型并进行训练测试，根据模型的训练精度和 测试精度进行网络结构和网络参数的优化，最终将 SCNet识别模型与两种传统检测方法进行 对比 . 结果表明：文中所建立的 SCNet三分类神经网络模型达到了 96.8%的分类准确率，可以 有效识别分类钢筋混凝土锈蚀裂缝，并且具有较高的准确率和可测性；在图像数据有阴影、扭 曲等噪声干扰的条件下，两种传统检测方法已不能达到理想的分类效果，SCNet模型仍能表现 出相对稳定的分类性能.     

改进的空间体素融合方法及其在线重建

目前,随着深度传感器的更新发展,使得三维重建的在线方法得以实现.在线重建的难点在于如何能够在保证较好的重建效果和重建规模的前提下,实时地将多个动态重叠深度图转化成一个三维模型.针对这一问题,本文算法基于空间索引策略构建了一种存取高效的空间体素数据结构,改进了传统体积融合方法中的规则分层网格数据结构,对隐含表面数据进行实时存取与更新的同时,实现大尺度的在线三维重建.这些表面数据仅在观测时存储,并且高效地流入和流出索引表,实现了传感器运动过程中的在线场景重建.算法通过在GPU(Graphics Processing Pipeline)上完成深度图预处理,摄像姿态估计,深度图融合和表面绘制几个核心阶段,实现对细粒度的细节和大尺度的环境进行交互式实时重建.通过实验表明,改进后的重建系统能够在保证重建质量与重建性能的同时,平均重建时间为21.6ms,ICP姿态估计15次,用时8.0ms,平均帧绘制速率提高13.3%,实现了对大尺度场景的实时三维重建.     

双目立体视觉系统的研究

随着视觉神经学、计算机技术、图像处理技术以及人工智能技术等的发展,使得机器人模仿人的视觉系统成为可能。为了重建三维场景,研究了基于双目摄像机的双目立体视觉系统。融合人的眼睛处理视觉景物的方式,获取三维场景的深度信息。通过双目摄像头获取了被测物体不同位置的两幅图像,通过采集卡将图像信息传输给计算机,计算机通过图像预处理、选取颜色空间、图像分割、特征提取、立体匹配、三维重建等图像处理,真实再现了三维场景的几何信息。     

基于HOG的物体分类方法

研究了利用梯度方向直方图(HOG)特征实现物体分类的方法,并且将该特征结合深度图像分割和支持向量机(SVM)分类器,实现了一个物体分类系统.该系统基于新型传感器Kinect,可以提供实时的彩色图和高精度的深度图.利用其深度图做图像分割并且还原物体的三维信息,提出了依据物体距离自适应放缩分割出的物体区域窗口尺寸的方法,解...     

基于RGB-D的室内场景实时三维重建算法

针对基于视觉的室内场景三维重建过程中存在三维点云匹配不准确、过程耗时和深度信息部分缺失的问题,提出一种带有深度约束和局部近邻约束的基于RGB-D的室内场景实时三维重建算法.该算法首先利用RGB-D相机采集到的RGB图像做哈里斯角点检测,再用SURF特征点描述方法对检测到的特征点生成64维特征描述子.接着利用特征点集合的深度信息和局部近邻特征点信息作为约束,初步筛选出相邻帧间正确的匹配点对,再结合随机抽样一致性(RANSAC)算法去除外点,以此得到相机的姿态估计.最后利用RGB-D的深度图像,在图优化方法(g2o)的基础上生成三维点云,实现室内场景的三维重建.实验中,RGB-D摄像头装载在自主移动导航的小车上,实时重构的三维场景验证了所提算法的可行性和准确性.