基于激光雷达和摄像机融合的智能车障碍物识别方法研究

针对智能车环境感知中单一传感器所存在的局限性问题,本文提出一种通过激光雷达融合摄像机来感应识别智能车前方障碍物的方法。首先,通过激光雷达与摄像机之间的校准,来实现目标的三维数据的图像投影,并进行视觉图像与目标的三维雷达数据的融合,以提取障碍物候选区域。其次,提出了一种基于卷积神经网络和SVM的障碍物识别模型,用于训练KITTI数据库中的数据,检测视觉图像中的行人和车辆目标,以此来得到所需要的单帧下各传感器的目标检测数据。实验结果表明,所提出的模型在KITTI中选择的小数据集上获得的模型在实际测试中具有良好的性能,具有可靠的识别能力和良好的分类结果。     

激光雷达和相机的决策级融合目标检测方法

【目的】激光雷达与相机这两类传感器检测数据格式不统一、分辨率不同,且数据级和特征级的融合计算复杂度高,故提出一种决策级的目标融合检测方法。【方法】对激光雷达与相机的安装位置进行联合标定,实现这两类传感器检测结果的坐标系转换;利用匈牙利算法将激光雷达点云检测目标框和相机图像检测目标框进行匹配,设定目标框重合面积阈值,检测获得目标物的位置、类型等。【结果】实车测试结果表明,根据检测目标检测框长宽比选取不同交并比阈值的方法使得车辆和行人的目标识别准确率分别提升了3.3%和5.3%。利用公开数据集KITTI对所提融合方法进行验证,结果表明,在3种不同难度等级场景下,所提融合方法的检测精度分别达到了75.42%、69.71%、63.71%,与现有常用的融合方法相比,检测精度均有所提升。【结论】这两类传感器的检测目标框重合面积阈值对决策级融合检测结果影响较大,根据检测目标检测框长宽比选取不同阈值可有效提升车辆和行人的目标识别准确率。决策级融合方法能准确匹配雷达和相机的检测目标,有效提升目标检测精度。     

图像和惯性传感器相结合的摄像机定位和物体三维位置估计

为解决无人驾驶中车辆定位与周围场景中物体三维位置估计,采用卷积神经网络(CNN)检测图像中的物体,用扩展卡尔曼滤波(EKF)方法融合惯性传感器测量得到的加速度和角速度,同时估计摄像机位置和物理世界中物体三维位置.图像结合惯性传感器(IMU)信息,克服了单目摄像机估计得到的摄像机位置和物体三维位置的尺度不确定性;结合卷积神经网络检测物体提高特征点匹配准确度,实现对物体在三维世界中的位置通用的估计.在实验部分用Matlab分别模拟仿真场景和现实场景的数据库KITTI,有效估计摄像机运动和场景中物体三维位置估计.     

基于改进DBSCAN算法的激光雷达车辆探测方法

结合车辆行驶的实际环境,提出了一种基于改进DBSCAN快速聚类算法的激光雷达车辆探测方法.建立激光雷达与摄像机传感器坐标与车辆坐标之间的转换模型,进行数据融合,通过改进DBSCAN算法对雷达数据进行去噪声和聚类处理,根据车辆在激光雷达探测中的形状特征模型进行形状匹配,实时完成车辆探测,并将探测结果投影至图像上.实车实验结果证明,改进的DBSCAN算法在车辆探测应用中具有良好的准确性和实时性.     

联合多视角互投影融合的三维目标检测方法

针对当前智能车辆目标检测时缺乏多传感器目标区域特征融合问题,提出了一种基于多模态信息融合的三维目标检测方法. 利用图像视图、激光雷达点云鸟瞰图作为输入,通过改进AVOD深度学习网络算法,对目标检测进行优化;加入多视角联合损失函数,防止网络图像分支退化. 提出图像与激光雷达点云双视角互投影融合方法,强化数据空间关联,进行特征融合. 实验结果表明,改进后的AVOD-MPF网络在保留AVOD网络对车辆目标检测优势的同时,提高了对小尺度目标的检测精度,实现了特征级和决策级融合的三维目标检测.      

基于俯视角融合的多模态三维目标检测

三维目标检测中图像数据难以获得目标距离信息,点云数据难以获得目标类别信息,为此提出一种将图像转为俯视角特征的方法,将多尺度图像特征按水平维度展平,通过稠密变换层转变为多尺度图像俯视角特征,最终重塑为全局图像俯视角特征.在此基础上,提出一种基于俯视角融合的多模态三维目标检测网络,利用特征拼接或元素相加的方法融合图像俯视角特征与点云俯视角特征.在KITTI数据集上的实验表明,提出的基于俯视角融合的多模态三维目标检测网络对于车辆、行人目标的检测效果优于其他流行的三维目标检测方法 .     

面向智能船舶的水面小目标检测算法

针对智能船舶中基于视觉传感器的水面小目标识别具有识别区域分辨率低、图像模糊、信噪比低等问题,提出了一种新的基于卷积神经网络的水面小目标检测算法——自注意力特征融合检测算法.首先,为了提高视觉信息处理的效率与准确性,在网络模型中引入了自注意力模块,更多关注小目标的细节信息.其次,在网络模型中采用了结构化的特征融合算法,通...     

基于激光雷达里程计的高速公路三维建模方法

构建三维道路数字模型对智能车服务和道路管理具有重要意义。文中针对高速公路不同路段应用场景下车辆运行速度快、干扰噪声多、特征少和无回环检测辅助等一系列问题，提出一种以激光雷达信息为建模基础数据、激光雷达里程计与LOAM技术等多传感器融合的高速公路三维建模方法。首先，通过车载激光雷达获取道路场景的激光点云数据，使用激光雷达图像分割技术赋予每一个点有关构造物的标签，剔除道路上其他运动车辆的信息，减少建模噪声；其次，制定了一个精确的同步策略来对GNSS、IMU和激光雷达等传感器进行集成；在此基础上，结合惯性导航预积分结果、基于特征点云的位姿约束和RTK数据构建因子图，消除激光雷达里程计的累积误差，从而构建全局一致性的高速公路三维数字模型。为了保持姿态估计的有限数量，文中还引入了基于关键帧的滑动窗口优化策略。最后，分别采集高速公路场景中常见的3种路段（一般路段、桥梁和隧道路段）进行建模分析，结果表明，在具有挑战性的高速公路场景建模中，文中方法能够有效提高建模鲁棒性、精度以及模型有效性。     

基于激光雷达与毫米波雷达融合的车辆目标检测算法

针对仅基于单一传感器的目标检测算法存在检测精度不足及基于图像与激光雷达的多传感器融合算法检测速度较慢等问题,提出一种基于激光雷达与毫米波雷达融合的车辆目标检测算法,该算法充分利用激光雷达点云的深度信息和毫米波雷达输出确定目标的优势,采用量纲一化方法对点云做预处理并利用处理后的点云生成特征图,融合毫米波雷达数据生成感兴趣...     

复杂道路环境中前方车辆检测方法

为提高前方车辆检测在不同道路环境中的鲁棒性和实时性,提出一种基于支持向量机的多传感器融合前方车辆检测方法。系统工作前利用多传感器数据融合建立雷达坐标与图像坐标的转化关系,以毫米波雷达在各种复杂道路环境中前方障碍物的检测数据为基础,利用支持向量机(SVM)训练分类器构建车辆与非车辆识别系统,最终根据车辆宽高比的统计规律,建立前方车辆识别窗口。道路试验结果表明该方法前方车辆识别准确率为89.2%,单帧图像的处理速度为31 ms。对于不同道路环境中的前方车辆检测表现出了良好的稳定性和准确性,总体性能取得较为显著的提高。     

复杂道路环境中前方车辆检测方法研究

为提高前方车辆检测在不同道路环境中的鲁棒性和实时性,提出一种基于支持向量机的多传感器融合前方车辆检测方法。系统工作前利用多传感器数据融合建立雷达坐标与图像坐标的转化关系,以毫米波雷达在各种复杂道路环境中前方障碍物的检测数据为基础,利用支持向量机(SVM)训练分类器构建车辆与非车辆识别系统,最终根据车辆宽高比的统计规律建立前方车辆识别窗口。道路试验结果表明该方法前方车辆识别准确率为90.7%,单帧图像的处理速度为35ms,对于不同道路环境中的前方车辆检测表现出了良好的稳定性和准确性,总体性能取得较为显著的提高。     

基于证据理论的AUV目标识别研究

根据D2S证据理论能很好表示“不确定性”和“不知道”的特点,对比不同的数据融合算法,在分析D2S证据理论的性能特点基础上,提出了一种基于自主式水下航行器的扫描声纳和水下摄像机两种视觉传感器采集信息的基本概率分配函数的方法和规则,并且分析了自主式水下航行器上的扫描声纳和水下摄像机这两种视觉传感器的信息在目标位置求解中的应用,同时利用Dempster合并规则,分析计算这两种视觉传感器在自主式水下航行器进行目标类别识别时的合成融合值.通过列表分析,表明增加了目标识别的可信度,减少了目标的不确定性.     

用于盲人视觉辅助的多目标快速识别并同步测距方法

提出一种以摄像头实现的可用于盲人视觉辅助的多运动目标快速识别并同步测距方法.该方法以深度学习多目标检测算法(single shot multibox detector,SSD)识别各类目标,并通过SSD输出的目标类别及检测框(bounding box)高度来提出测距模型,从而同步地获取多个目标的测量距离.本方法仅通过普通摄像头便能识别较多类物体且识别类别数量可拓展,能够将测距模块和障碍物识别模块同步执行,从而可对多个物体实时识别并同步测距.实验结果表明,本方法能有效地识别障碍物,具有良好的测距精度,为盲人视觉辅助的一种有效探索.     

基于异质传感器信息融合的移动机器人SLAM研究

针对采用单一传感器在移动机器人同步定位与构图(SLAM)中存在定位精度低、构图不完整等问题,提出一种基于Kinect视觉传感器和激光传感器信息融合的SLAM算法。首先将Kinect传感器获取的深度图像经过坐标系转换得到三维点云、通过限制垂直方向滤波器过滤三维点云的高度信息、再将剩余三维点云投影到水平面并提取边界点云信息转化为激光扫描数据;然后与激光传感器的扫描数据进行数据级的信息融合;最后输出统一数据实现移动机器人的构图及自主导航。实验结果表明,该方法能够准确的检测小的及特征复杂的障碍物,能够构建更精确、更完整的环境地图,且更好地完成移动机器人自主导航任务。     

基于卷积神经网络的壁面清洗机器人障碍物检测识别算法

结合机器人的工作原理以及卷积神经网络(CNN)在图像分类中的应用,提出了一种基于卷积神经网络的壁面障碍物检测识别算法.首先,以壁面障碍物准确识别为目标,构建壁面障碍物图像库;然后,通过对VGG-16网络简化后进行优化,得到适合壁面障碍物准确识别的卷积神经网络模型.在此基础上,设计该网络由输入层、4层卷积层、2层池化层、1层全连接层以及输出层组成,进一步利用3×3卷积核对训练样本进行卷积操作,并将所获取的特征图以2×2领域进行池化操作.重复上述操作后,通过学习获取并确定网络模型参数,得到最佳网络模型.实验结果表明,障碍物的识别准确率可达99.0%,具有良好的识别能力.     

基于改进YOLOv5s和传感器融合的目标检测定位

针对无人车环境感知过程中相机无法提供道路目标的位置信息,激光雷达点云稀疏以致检测方面难以达到很好效果的问题,提出一种通过融合两者信息进行目标检测和定位的方法。采用深度学习中YOLOv5s算法进行目标检测,通过联合标定进行相机与激光雷达外参的获取以转换传感器之间的坐标,使雷达点云数据能投影到相机图像数据中,得到检测目标的位置信息,最后进行实车验证。结果表明,所提算法能在搭载TX2嵌入式计算平台的无人车自动驾驶平台上拥有27.2 Hz的检测速度,并且在一段时间的检测环境中保持12.50%的漏检率和35.32 m的最远识别距离以及0.18 m的平均定位精度。将激光雷达和相机融合,可实现嵌入式系统下的道路目标检测定位,为嵌入式平台下环境感知系统的搭建提供了参考。     

基于多帧信息的多传感器融合三维目标检测

为提高三维目标检测中多传感器融合的效果,并利用前后帧之间的特征关联,提高目标检测的准确率,提出了一种基于多帧信息的多传感器特征融合三维目标检测网络.首先通过基于指导点的特征映射模块,将图像相机视角特征转换为鸟瞰图特征,并通过自适应融合模块对点云特征和图像特征进行融合;之后利用历史帧跟踪信息,融合多帧特征;最后采用基于CenterPoint检测头进行目标检测.在nuScenes数据集和实车上对三维目标检测网络进行了测试,试验结果表明该网络具有更高的精度和实时性.     

基于3D激光雷达点云的车辆目标识别算法

针对结构化道路环境中智能车识别周围360°范围内的车辆目标问题,基于车载3D激光雷达采集的道路环境中车辆目标点云数据投影特征,提出识别车辆目标新算法。算法首先识别结构化道路边界,进而排除道路边界两旁障碍物的干扰和减少点云数据量;其次基于雷达点云数据扫描和分布特征,利用改进K-means算法对道路区域内点云数据聚类。最后提取聚类目标内部特征点,并通过计算特征点构成向量的夹角或模的长度准确识别车辆目标。实验验证表明,该算法有效抑制了道路边界两旁障碍物的干扰,可以准确识别结构化道路区域内的车辆目标。     

基于车载32线激光雷达点云的车辆目标识别算法

针对结构化道路环境中智能车识别周围360°范围内的车辆目标问题,由车载3D激光雷达采集的道路环境中车辆目标点云数据投影特征,提出识别车辆目标新算法。算法首先识别结构化道路边界,进而排除道路边界两旁障碍物的干扰和减少点云数据量;其次按雷达点云数据扫描和分布特征,利用改进K-means算法对道路区域内点云数据聚类。最后提取聚类目标内部特征点,并通过计算特征点构成向量的夹角或模的长度准确识别车辆目标。实验验证表明,该算法有效抑制了道路边界两旁障碍物的干扰,可以准确识别结构化道路区域内的车辆目标。     

基于异质传感器信息融合的移动机器人同步定位与构图

针对采用单一传感器在移动机器人同步定位与构图(SLAM)中存在定位精度低、构图不完整等问题,提出一种基于Kinect视觉传感器和激光传感器信息融合的SLAM算法。首先将Kinect传感器获取的深度图像,经过坐标系转换得到三维点云、通过限制垂直方向滤波器过滤三维点云的高度信息;再将剩余三维点云投影到水平面并提取边界点云信息转化为激光扫描数据;然后与激光传感器的扫描数据进行数据级的信息融合;最后输出统一数据实现移动机器人的构图及自主导航。实验结果表明,该方法能够准确地检测小的,及特征复杂的障碍物,能够构建更精确、更完整的环境地图;且更好地完成移动机器人自主导航任务。