基于激光雷达和摄像机融合的智能车障碍物识别方法

针对智能车环境感知中单一传感器所存在的局限性问题,提出一种通过激光雷达融合摄像机来感应识别智能车前方障碍物的方法。首先,通过激光雷达与摄像机之间的校准,实现目标的三维数据的图像投影,并进行视觉图像与目标的三维雷达数据的融合,以提取障碍物候选区域。其次,提出了一种基于卷积神经网络(convolutional neural network,CNN)和支持向量机(support vector machines,SVM)的障碍物识别模型,用于训练KITTI数据库中的数据,检测视觉图像中的行人和车辆目标,以此来得到所需要的单帧下各传感器的目标检测数据。实验结果表明,所提出的模型在KITTI中选择的小数据集上获得的模型在实际测试中具有良好的性能,具有可靠的识别能力和良好的分类结果。     

激光雷达和相机的决策级融合目标检测方法

【目的】激光雷达与相机这两类传感器检测数据格式不统一、分辨率不同,且数据级和特征级的融合计算复杂度高,故提出一种决策级的目标融合检测方法。【方法】对激光雷达与相机的安装位置进行联合标定,实现这两类传感器检测结果的坐标系转换;利用匈牙利算法将激光雷达点云检测目标框和相机图像检测目标框进行匹配,设定目标框重合面积阈值,检测获得目标物的位置、类型等。【结果】实车测试结果表明,根据检测目标检测框长宽比选取不同交并比阈值的方法使得车辆和行人的目标识别准确率分别提升了3.3%和5.3%。利用公开数据集KITTI对所提融合方法进行验证,结果表明,在3种不同难度等级场景下,所提融合方法的检测精度分别达到了75.42%、69.71%、63.71%,与现有常用的融合方法相比,检测精度均有所提升。【结论】这两类传感器的检测目标框重合面积阈值对决策级融合检测结果影响较大,根据检测目标检测框长宽比选取不同阈值可有效提升车辆和行人的目标识别准确率。决策级融合方法能准确匹配雷达和相机的检测目标,有效提升目标检测精度。     

图像和惯性传感器相结合的摄像机定位和物体三维位置估计

为解决无人驾驶中车辆定位与周围场景中物体三维位置估计,采用卷积神经网络(CNN)检测图像中的物体,用扩展卡尔曼滤波(EKF)方法融合惯性传感器测量得到的加速度和角速度,同时估计摄像机位置和物理世界中物体三维位置.图像结合惯性传感器(IMU)信息,克服了单目摄像机估计得到的摄像机位置和物体三维位置的尺度不确定性;结合卷积神经网络检测物体提高特征点匹配准确度,实现对物体在三维世界中的位置通用的估计.在实验部分用Matlab分别模拟仿真场景和现实场景的数据库KITTI,有效估计摄像机运动和场景中物体三维位置估计.     

基于改进DBSCAN算法的激光雷达车辆探测方法

结合车辆行驶的实际环境,提出了一种基于改进DBSCAN快速聚类算法的激光雷达车辆探测方法.建立激光雷达与摄像机传感器坐标与车辆坐标之间的转换模型,进行数据融合,通过改进DBSCAN算法对雷达数据进行去噪声和聚类处理,根据车辆在激光雷达探测中的形状特征模型进行形状匹配,实时完成车辆探测,并将探测结果投影至图像上.实车实验结果证明,改进的DBSCAN算法在车辆探测应用中具有良好的准确性和实时性.     

联合多视角互投影融合的三维目标检测方法

针对当前智能车辆目标检测时缺乏多传感器目标区域特征融合问题,提出了一种基于多模态信息融合的三维目标检测方法. 利用图像视图、激光雷达点云鸟瞰图作为输入,通过改进AVOD深度学习网络算法,对目标检测进行优化;加入多视角联合损失函数,防止网络图像分支退化. 提出图像与激光雷达点云双视角互投影融合方法,强化数据空间关联,进行特征融合. 实验结果表明,改进后的AVOD-MPF网络在保留AVOD网络对车辆目标检测优势的同时,提高了对小尺度目标的检测精度,实现了特征级和决策级融合的三维目标检测.      

基于俯视角融合的多模态三维目标检测

三维目标检测中图像数据难以获得目标距离信息,点云数据难以获得目标类别信息,为此提出一种将图像转为俯视角特征的方法,将多尺度图像特征按水平维度展平,通过稠密变换层转变为多尺度图像俯视角特征,最终重塑为全局图像俯视角特征.在此基础上,提出一种基于俯视角融合的多模态三维目标检测网络,利用特征拼接或元素相加的方法融合图像俯视角特征与点云俯视角特征.在KITTI数据集上的实验表明,提出的基于俯视角融合的多模态三维目标检测网络对于车辆、行人目标的检测效果优于其他流行的三维目标检测方法 .     

基于激光雷达里程计的高速公路三维建模方法

构建三维道路数字模型对智能车服务和道路管理具有重要意义。文中针对高速公路不同路段应用场景下车辆运行速度快、干扰噪声多、特征少和无回环检测辅助等一系列问题，提出一种以激光雷达信息为建模基础数据、激光雷达里程计与LOAM技术等多传感器融合的高速公路三维建模方法。首先，通过车载激光雷达获取道路场景的激光点云数据，使用激光雷达图像分割技术赋予每一个点有关构造物的标签，剔除道路上其他运动车辆的信息，减少建模噪声；其次，制定了一个精确的同步策略来对GNSS、IMU和激光雷达等传感器进行集成；在此基础上，结合惯性导航预积分结果、基于特征点云的位姿约束和RTK数据构建因子图，消除激光雷达里程计的累积误差，从而构建全局一致性的高速公路三维数字模型。为了保持姿态估计的有限数量，文中还引入了基于关键帧的滑动窗口优化策略。最后，分别采集高速公路场景中常见的3种路段（一般路段、桥梁和隧道路段）进行建模分析，结果表明，在具有挑战性的高速公路场景建模中，文中方法能够有效提高建模鲁棒性、精度以及模型有效性。     

面向智能船舶的水面小目标检测算法

针对智能船舶中基于视觉传感器的水面小目标识别具有识别区域分辨率低、图像模糊、信噪比低等问题,提出了一种新的基于卷积神经网络的水面小目标检测算法——自注意力特征融合检测算法.首先,为了提高视觉信息处理的效率与准确性,在网络模型中引入了自注意力模块,更多关注小目标的细节信息.其次,在网络模型中采用了结构化的特征融合算法,通...     

基于激光雷达与毫米波雷达融合的车辆目标检测算法

针对仅基于单一传感器的目标检测算法存在检测精度不足及基于图像与激光雷达的多传感器融合算法检测速度较慢等问题,提出一种基于激光雷达与毫米波雷达融合的车辆目标检测算法,该算法充分利用激光雷达点云的深度信息和毫米波雷达输出确定目标的优势,采用量纲一化方法对点云做预处理并利用处理后的点云生成特征图,融合毫米波雷达数据生成感兴趣...     

复杂道路环境中前方车辆检测方法研究

为提高前方车辆检测在不同道路环境中的鲁棒性和实时性,提出一种基于支持向量机的多传感器融合前方车辆检测方法。系统工作前利用多传感器数据融合建立雷达坐标与图像坐标的转化关系,以毫米波雷达在各种复杂道路环境中前方障碍物的检测数据为基础,利用支持向量机(SVM)训练分类器构建车辆与非车辆识别系统,最终根据车辆宽高比的统计规律建立前方车辆识别窗口。道路试验结果表明该方法前方车辆识别准确率为90.7%,单帧图像的处理速度为35ms,对于不同道路环境中的前方车辆检测表现出了良好的稳定性和准确性,总体性能取得较为显著的提高。     

暗夜下基于激光辅助的路面障碍物视觉识别方法

为了解决现有视觉识别易受天气、时间等因素干扰的问题,通过交互矩阵和投影原理提出了一种暗夜下单线激光辅助的单目视觉识别方法。首先对相机进行标定,并利用交互矩阵建立并描述相机运动与图像特征变化之间的关系。然后利用投影原理进行一般障碍物特征提取和轮廓提取,最后通过试验对算法进行验证。利用激光光线的错位作为障碍物的识别标志,试验结果表明该方法克服了视觉识别对特殊环境适应性差、识别效果不好的问题,得到了比较准确的障碍物轮廓和距离,有效扩大了视觉识别的工作时间范围。     

一种基于深度特征的室外环境下激光地图辅助视觉定位方法

针对无GPS或弱GPS信号下的室外环境中的车辆无法定位问题,提出了一种利用激光地图辅助视觉定位方法。首先利用双目相机的视差图的深度与三维激光雷达地图进行匹配,然后通过最小化深度残差来估计六自由度相机位姿,接着利用视觉跟踪产生的良好的初始估计和提出的深度残差方法可有效地估计相机的位姿,最终通过估计相机的位姿完成定位。通过对比多个公开数据集,验证所提方法的准确性和有效性,最后利用实验小车采集校园数据,仿真和实验结果都证明利用此方法的有效性和在室外环境下的视觉定位的准确性。     

基于改进YOLOv5s和传感器融合的目标检测定位

针对无人车环境感知过程中相机无法提供道路目标的位置信息,激光雷达点云稀疏以致检测方面难以达到很好效果的问题,提出一种通过融合两者信息进行目标检测和定位的方法。采用深度学习中YOLOv5s算法进行目标检测,通过联合标定进行相机与激光雷达外参的获取以转换传感器之间的坐标,使雷达点云数据能投影到相机图像数据中,得到检测目标的位置信息,最后进行实车验证。结果表明,所提算法能在搭载TX2嵌入式计算平台的无人车自动驾驶平台上拥有27.2 Hz的检测速度,并且在一段时间的检测环境中保持12.50%的漏检率和35.32 m的最远识别距离以及0.18 m的平均定位精度。将激光雷达和相机融合,可实现嵌入式系统下的道路目标检测定位,为嵌入式平台下环境感知系统的搭建提供了参考。     

基于3D激光雷达点云的车辆目标识别算法

针对结构化道路环境中智能车识别周围360°范围内的车辆目标问题,基于车载3D激光雷达采集的道路环境中车辆目标点云数据投影特征,提出识别车辆目标新算法。算法首先识别结构化道路边界,进而排除道路边界两旁障碍物的干扰和减少点云数据量;其次基于雷达点云数据扫描和分布特征,利用改进K-means算法对道路区域内点云数据聚类。最后提取聚类目标内部特征点,并通过计算特征点构成向量的夹角或模的长度准确识别车辆目标。实验验证表明,该算法有效抑制了道路边界两旁障碍物的干扰,可以准确识别结构化道路区域内的车辆目标。     

基于深度学习的无人驾驶汽车车道线检测方法

车道线检测是实现当前汽车辅助驾驶和未来无人驾驶汽车的关键,深度学习技术在近年来迅猛发展,在图像识别、图像分割、语音识别及数据预测等方面都取得了出色成绩。结合深度学习技术对无人驾驶汽车环境感知中的车道线检测进行了相应的研究,提出一种基于深度学习的车道线识别算法。对比研究已有算法,针对其中的信息融合问题,提出了一种新的特征图上下文信息融合方法,将该方法与VGG(Visual Geometry Group)网络相结合提出融合上下文信息的车道线识别网络VGG-FF,进一步加入空洞卷积提出融合空洞卷积及上下文信息的车道线识别网络VGG-FFD。将该网络模型在公开数据集以及自制数据集上进行了性能测试,实验结果表明该模型具有良好的识别效果。     

基于RCBAM和SSD的特征融合低照度环境目标检测算法研究

针对低光照、雨雾等恶劣场景对智能驾驶视觉系统检测能力的影响,提出了一种雷达与相机特征融合的网络模型. 基于毫米波雷达信息和注意力模型构建了雷达注意力机制特征模块,该模块可以为特征融合网络提供一个先验信息和增加算法在目标候选区域权重. 测试结果表明,引入雷达注意力机制模块后,特征融合网络的目标检测性能要比仅依赖计算机视觉的检测性能有了明显的提升,并且在复杂场景下的目标检测鲁棒性更强.      

信息融合下的无标定视觉伺服

本文在理论推导的基础上,针对手眼系统无标定视觉伺服,提出一种信息融合方法.由超声测距得到机械手末端与目标间的距离,在基于伪逆估计的信息融合无标定视觉伺服完成平面视觉伺服的同时,向目标靠近,实现单摄像机系统在三维空间的视觉伺服.仿真研究验证了文中提出的信息融合方法的有效性.     

机载双频激光雷达样机设计与水陆联测试验

为了识别水下目标和获取水陆一体的三维地形数据,运用机载双频激光探测的原理,建立了水陆联测数学模型,设计了机载双频激光雷达样机,进行了水陆联测试验。运用蓝绿激光扫描技术以实现水下地形的实时测绘,运用红外激光扫描技术以实现陆地目标的快速精细探测,采用机载双频激光雷达技术把蓝绿激光扫描技术与红外激光扫描技术进行结合,先后产生两个激光脉冲回波,结合飞行平台的一维运动,共同构建地表和海底表面的三维坐标点云,获取地表和海底的三维地形,实现水下目标的识别和水陆一体化量测。试验结果显示,每平方米地面点云数量达到12个,水下勘测点云数量达到2~4个,水下测深达到5~7米,既提高了陆地目标的探测精度又实现了水下目标的探测,验证了水陆联测系统的可行性。     

基于环绕数约束模型的轮廓识别算法研究

为了解决当前图像轮廓识别算法中由于区域标记和轮廓标记性质不同,导致难以将多标记融合识别技术应用于图像轮廓识别中的问题,本文提出了一种基于环绕数约束的能量最小化模型,用以精确识别目标轮廓.在这种模型中,区域标记(如颜色和纹理均匀性)和轮廓标记(如局部对比度和连续性)通过一个目标函数进行描述,实现多标记融合识别.首先,将环绕数作为约束,将其引入到能量最小化模型中,得到区域标记与轮廓标记的线性约束;然后,对区域标记、轮廓标记以及曲率标记进行融合,实现对图像中目标轮廓的识别;最后,将能量最小化模型与标记相结合,通过比率能量函数对算法进行实例应用分析,验证算法的有效性.实验结果表明:与传统轮廓识别算法相比,所提算法具有更高的轮廓识别精度.     

基于贝叶斯数据融合的多尺度目标识别

针对红外电厂目标识别问题，提出了基于贝叶斯数据融合的多尺度目标识别方法．该方法研究了前视成像末制导过程中图像目标尺度变化引起的视点角度和特征尺度变化规律，建立了分层次的时空特征模型，根据显著性选取目标特征，采用贝叶斯网络把不同尺度下的显著性特征进行融合，得到正确的识别结果．实验表明，该方法能将多尺度目标的不精确、不完整的特征进行融合处理，从而完成了目标的可靠识别．