快速室内视觉同步定位与建图研究

家居机器人技术一般应用视觉同步定位与建图(SLAM,Simultaneous Localization and Mapping)来实现定位与构建导航地图,如何实现视觉SLAM系统快速准确定位和构建丰富环境信息的地图已经成为视觉SLAM研究的热点问题.本文将光流法与关键点结合,加快视觉SLAM的数据处理速度,并添加稠密点...     

基于视觉的虚拟现实与增强现实融合技术

 基于视觉的虚拟现实（VR）和增强现实（AR）的融合发展是不可避免的趋势,定位与地图构建（SLAM）是虚拟现实与增强现实融合应用的主要组成部分,但在鲁棒性等方面仍存在很多具有挑战性的问题。本文提出了一种基于视觉的虚拟现实与增强现实融合技术,总结了室内场景三维重建过程中设备选择、追踪和运动干扰、平面识别等问题,并分析了当前SLAM中存在的5个具有挑战性的问题。     

基于视觉的多机器人协作SLAM 问题

 视觉SLAM 仅采用图像作为外部信息,用于估计机器人位置的同时构建环境地图。SLAM 是机器人自主性的基本前提,如今在小动态环境采用激光或者声呐传感器构建2D 地图得到较好地解决。然而动态、复杂和大范围下的SLAM 仍存在问题,使用视觉作为基本的外部传感器是解决问题的一个新颖热门的研究方法。在视觉SLAM 中使用计算机视觉技术,如特征检测、特征描述和特征匹配,图像识别和恢复,还存在很多改善的空间。本文在视觉SLAM 领域的最新技术的基础上,对基于视觉的多机器人协作SLAM 领域的前沿技术进行综述。     

基于目标检测的单目视觉半稠密语义地图构建

传统的视觉SLAM系统在机器人定位和制图工作中取得了显著的成功,但存在着缺乏场景信息、地图过于稀疏、单目相机初始化困难等亟待解决的问题。本文提出了MNS-SLAM（Monocular-semantic SLAM）,将目标检测算法与单目视觉SLAM（同时定位与地图构建）技术相结合,进而构建有助于环境理解的半稠密语义地图。首先,通过目标检测网络YOLOv4检测对象获取边界框和类别信息,通过消失点算法和二次曲面恢复算法由2D目标检测恢复出3D长方体及二次曲面,实现3D物体的位姿初始化。同时,引入了目标间相对位姿不变性的语义约束,构造了语义损失函数,将其添加到BA优化中,最后通过增量式3D线段提取,构建带有物体语义信息的半稠密地图。文中方法在TUM公开数据集和真实场景中进行试验,不仅构建了半稠密地图,同时添加了语义信息,为后端的优化提供了新的约束,相机的绝对和相对位姿误差表现出优于单目ORB-SLAM2的性能,有助于搭载单目相机的移动机器人感知和理解环境,执行更复杂的任务。     

自主移动机器人视觉SLAM技术研究

同时定位与地图构建(simultaneous localization and mapping,SLAM)是自主移动机器人导航的一个重要研究方向.视觉SLAM是一种使用相机作为主要信息来源的SLAM技术.与较为成熟的基于激光测距的SLAM相比,视觉SLAM还有许多问题亟待研究解决.近年来,随着人工智能、机器学习、图像处...     

基于视觉SLAM的物体实例识别与语义地图构建

针对目前面向语义同步定位与地图构建(SLAM)研究大多需要已知三维对象模型作为先验知识,或者只对有限的几种物体的类别进行语义分割,而没有区分对象的个体的问题,结合目前先进的基于深度学习的实例分割算法和视觉SLAM算法提出了一种面向实例个体的物体识别和语义地图构建方法,使得机器人不仅获得了面向导航的环境几何信息,而且掌握了面向物体个体的属性和位置信息.该方法利用由视觉SLAM算法获得的图像帧间几何一致性约束来促进连续图像帧中物体匹配与识别结果,提高物体实例识别的精度,同时结合实例识别结果完成语义建图的任务.最后实现了基于视觉SLAM算法的物体实例识别与语义地图构建系统,并在ICL-NUIM数据集上进行实验,实验结果表明该系统能够基本完整地识别场景中的各种物体并生成环境的语义地图,验证了本方法的有效性.     

移动机器人VSLAM和VISLAM技术综述

同时定位与地图构建(SLAM)技术是指移动机器人通过自身搭载的传感器以实现同时定位与地图构建。视觉传感器与惯性测量单元极强的互补性使得视觉SLAM(VISLAM)成为SLAM研究中的热点方向。分别介绍了VSLAM技术中具有代表性的算法、特征提取方法以及卡尔曼滤波和非线性优化方法的应用,并对惯性导航系统做了简短阐述。当前VSLAM系统中往往存在光照变化剧烈、图像模糊、特征不明显等问题,将对SLAM系统造成严重后果。进而引出了多传感器融合SLAM中具有代表性的VISLAM技术,并介绍了VISLAM技术中视觉传感器和惯性测量单元的松耦合、紧耦合2种信息融合方法以及卡尔曼滤波和光束平差法在后端优化上的应用,对其未来的发展方向也做了展望。     

基于智能空间的家庭服务机器人SLAM

提出了基于智能空间的家庭服务机器人同步定位与地图构建(SLAM)方法.利用双目立体视觉传感器提取环境特征,获取环境中物体的Harris角点,通过立体匹配算法获取角点的三维几何信息,同时获取环境中这些几何特征对应的图像特征信息,并将混合信息进行绑定,作为实时更新信息存入智能空间信息库中,构建出三维立体混合特征地图.在SLAM实现过程中,首先建立系统模型并对该模型进行重构以实现线性化;其次移动机器人与智能空间实时地进行交互,实现快速数据关联;最后利用卡尔曼滤波算法处理信息的不确定性,估计出机器人的位姿,同时保存环境特征,逐步构建出环境地图.实验表明,该方法实时性好、精确度高.     

室内环境下结合里程计的双目视觉SLAM研究

针对视觉SLAM要解决的定位精度低和鲁棒性低的问题,提出一种基于双目视觉传感器与里程计信息的扩展卡尔曼滤波SLAM方法,应用改进的SIFT算子提取双目视觉图像的环境特征获得特征点,并构建出视觉特征地图;应用扩展卡尔曼滤波算法融合视觉信息与机器人位姿信息,完成同时定位与地图创建。这种方法既可以解决单目视觉利用特殊初始化方法获取特征点信息不准确的问题,也可以避免双目视觉里程计利用图像信息恢复运动带来的计算量极大和运动估计不鲁棒的缺点。仿真实验表明,在未知室内环境下,算法运行稳定,定位精度高。     

基于视觉识别技术的机车定位系统研究

本文通过视觉SLAM技术,设计一套视觉图像采集处理系统,利用摄像机视觉定位方式,实现机车在站场股道的精确定位。系统首先通过图像采集装置,实现站场大量数据采集,并将该数据用于站场高精地图构建基础。将构建高精地图植入车载主机,在实际机车站场运行中,根据采集的实时图像数据与高精地图数据做学习对比,最终实现机车站场高精度定位,并根据位置信息实现机车操纵指导提醒。     

基于目标检测的室内动态场景SLAM

室内动态场景下的同步定位与地图构建(simultaneous localization and mapping, SLAM)系统容易受到运动障碍物的影响，从而导致其位姿估计精度和视觉里程计的稳定性降低。本文提出一种基于YOLOv4目标检测网络的视觉SLAM算法，获取语义信息，并利用LK光流法判断动态特征，在传统的ORB-SLAM2系统上将动态特征点剔除，只使用静态特征点来估计相机的位姿；建立稠密点云地图，并转化成节约内存空间的八叉树地图。在TUM公开数据集上对该方法进行测试和评估，实验结果表明：在动态环境下，该系统与ORB-SLAM2相比，相机位姿估计精度提高83%，且减少了生成的环境地图的存储空间，为后续实现机器人导航具有重要意义。     

基于多源融合式SLAM的机器人三维环境建模

为有效处理移动机器人三维环境地图创建过程的不确定误差,提高所建地图的准确性、完整性和一致性,本文提出了一种基于传感器信息融合和Rao-Blackwellised粒子滤波(RBPF)的移动机器人三维同时定位与地图创建 (SLAM)方法. 在建立传感器不确定性概率模型的基础上,通过贝叶斯滤波实现传感器数据的去噪,将激光与视觉传感器获取的环境信息在一定的规则下融合,在SLAM框架下实现具有纹理映射的三维环境地图创建. 实验结果表明所用方法的有效性. 多源融合式自主SLAM提供了更为丰富、完备、准确的环境模型.      

面向无人平台的室内精密定位与构图技术

针对无人作战平台在室内等复杂环境下的高精度定位与地图构建问题,提出了一种利用信标锚节点辅助的单目视觉同步定位与地图构建方法,该方法通过WLAN锚节点估计出单目视觉尺度因子并结合视觉传感参数,获取真实尺度空间下的定位位置,并利用因子图模型对WLAN定位和单目视觉定位结果进行最大后验概率准则下数据融合,从而获得精确的位置和构图信息。实验表明：文中所提出的方法较好地解决了传统单目视觉定位中的尺度不确定问题,定位精度达到分米级,扩展了单目视觉SLAM在真实尺度空间中的应用,在复杂环境下的无人侦察、搜救和打击等应用领域具有重要的工程和实践意义。     

基于卷积神经网络的语义同时定位以及地图构建方法

环境感知技术是智能车功能实现的前提,而在感知的基础上提高智能车对环境的认知能力是实现全自动驾驶的关键。本文针对室外交通场景,基于卷积神经网络提出了一种新的智能车同时定位以及语义地图构建方法,对智能车进行定位,并且构建稠密的3D语义地图,提高智能车的环境感知、认知能力。首先,基于双目ORB-SLAM提出了一种四线程的双目SLAM（Simultaneous Localization and Mapping）方法构建稠密的3D点云地图,四线程分别为追踪线程,局部地图构建线程,回环检测线程以及稠密地图构建线程;其次,为提高智能车的环境认知能力,使用端对端的方法对图像进行语义分割,并且为提高语义分割精确率,将环境的几何信息也作为卷积神经网络输入;最后,将感知的能力与认知的能力相结合构建语义地图,为智能车实现全自动驾驶奠定基础。本文将算法在KITTI数据集上进行测试,整体算法速度为10帧/秒,语义分割的全局精确率为73.1%,构建的语义地图显示本文提出算法能够在大规模室外场景下重构全局一致性地图,并且帮助智能车实现对环境的解析。     

面向室内环境的主动视觉即时定位与地图构建系统

提出了一个主动视觉即时定位与地图构建(SLAM)系统,能够避开障碍物,预测行人运动方向并且躲避行人,同时能够在未知环境中获得有效路径和进行稀疏三维点云地图构建.该系统由机器人平台、RGB-D摄像机和双目摄像机构成.RGB-D摄像机基于RGB-D上半身探测器进行行人检测与跟踪,同时使用RGB-D摄像机进行三维地图构建.双目摄像机通过获取深度信息寻找可通行路径.该系统实现了主动地图构建并且避免了由传统方法构建的静态地图包含行人的情况.实验验证了该系统的有效性.     

基于点线特征的视觉同时定位与地图构建综述

同时定位与地图构建(simultaneous localization and mapping, SLAM)作为计算机视觉中的热门方向,在无人驾驶、移动机器人等领域中发挥着重要的作用。由于线特征在低纹理环境下的优势,越来越多的研究人员利用点线特征融合的方法提高SLAM系统的精度和鲁棒性。文中首先简要阐述了传统的点特征SLAM系统在低纹理环境下的局限性,并对现有的视觉SLAM综述文献进行了总结;随后,对经典的点线SLAM方案进行了介绍,并总结了点线特征融合在前端、后端、闭环检测中的研究进展;最后,对点线SLAM未来的发展方向进行了展望。     

基于混合模型的移动机器人同时定位与环境建模

提出一种基于混合地图模型的融合声纳传感器观测信息与里程计信息的同时定位与环境建模(SLAM)方法.该方法用混合模型即栅格地图模型和直线特征地图模型表示环境地图.首先,采用三区域声纳模型以及贝叶斯法则构建栅格地图,并通过在空间和时间上融合不同时刻多个声纳传感器的信息提高地图精度.然后,引入霍夫变换提取直线特征,创建直线特征地图,并通过比较地图中直线段的方向相似性、共线性与交叠性,确定全局与局部地图是否匹配.最后,利用直线特征以及扩展卡尔曼滤波器(EKF),通过状态预测、观测预测、位姿更新3个阶段估计出机器人更新的位姿信息,校正构建的地图模型,从而实现机器人的同时定位与环境地图构建.仿真实验和真实环境实验验证了该算法的可行性与有效性.     

一种融合点线特征的视觉里程计架构设计与定位实现

基于视觉的同时定位与地图构建（SLAM）技术是实现移动机器人自主导航的关键.当机器人处在陌生环境中时,通常会利用周围目标的点特征来估计导航相机的位姿,并利用光束法平差来估计相机位姿和特征空间位置.但如果环境中的特征信息不丰富,则无法准确估计相机轨迹,且欧式坐标与反深度信息下的光束法平差部分条件下不收敛.为此,提出了一种在缺少特征点的环境下通过收集深度相机信息,同时利用点特征与线特征融合的视觉里程计,构建了融合视差角光束法平差与基于线特征的光束法平差的策略,从而使重投影误差达到最小化.最后与其他基于特征的SLAM系统进行比较,实验结果表明,在缺少特征点的真实环境中,系统位姿估计的性能与准确度得到提升.      

未知环境下移动机器人的同时定位和地图构建

针对未知室内环境下的自主移动机器人的同时定位和地图构建(SLAM)问题,通过激光测距仪来获取环境信息,采用室内环境直线特征的提取和匹配方法,使移动机器人能够自主定位,解决了里程计传感器在移动中所带来的不确定性误差,同时采用移动栅格法对全局地图更新,提高了系统运行速度.利用Pioneer-3移动机器人平台进行实验,得到了较完整的环境地图.实验结果表明了基于环境特征的移动机器人同时定位和地图构建方法的有效性和实用性.     

基于图优化的单目线特征SLAM算法

提出了基于图优化的单目线特征同时定位和地图构建(SLAM)的方法.首先,针对主流视觉SLAM算法因采用点作为特征而导致构建的点云地图稀疏、难以准确表达环境结构信息等缺点,采用直线作为特征来构建地图.然后,根据现有线特征的SLAM算法都是基于滤波器的SLAM框架、存在线性化及更新效率的问题,采用基于图优化的SLAM解决方案以提高定位精度及地图构建的一致性和准确性.将线特征的Plücker坐标和Cayley参数化方式相结合,一方面采用Plücker坐标便于线性投影计算,另一方面采用Cayley参数化方式有利于线特征参数的非线性优化.仿真实验结果显示:所提出算法的位姿估计误差平方和与均方根误差分别是里程计位姿估计的2.5%和10.5%,是基于EKF线特征SLAM算法估计位姿误差的22.4%和33%,重投影误差仅为45.5像素;实际图像实验中的位姿估计误差平方和为958 cm~2,均方根误差为3.9413 cm,从而证明了所提出算法的有效性和准确性.