基于RGB-D相机和激光雷达的传感器数据融合算法

常用的环境探测传感器中,二维激光雷达扫描角度广,测量精度高,但数据量较少,RGB-D相机成本低,能获取环境三维信息,但视角小.在此基础上,提出一种改进的RGB-D相机和二维激光雷达数据融合算法,本算法首先将RGB-D相机获取的深度图像转换为三维点云,剔除地面点云后进行投影得到模拟2D激光数据,然后与二维激光雷达数据进行...     

基于点云与图像决策级融合的道路行人检测

现有基于点云与图像融合的行人检测要求高算力的处理平台,应用于低算力低功耗的嵌入式平台时,无法满足行人检测的准确率和实时性.基此提出一种融合点云与图像的道路行人检测方法,该方法采用DBSCAN算法对点云进行聚类,然后,运用概率数据关联算法将行人点云与图像的行人检测结果进行决策级融合,最后,在嵌入式计算平台上进行软硬件集成与测试验证.实验结果表明,相比于其他目标检测算法,设计的融合点云与图像的道路行人检测方法,不仅提高了道路行人方位的检测精度,而且检测用时降低了46.6％以上.     

地下车库的雷达与相机融合即时定位与建图

为解决智能车在未知地下车库环境,由于单独使用二维激光雷达点云信息的数量有限,当存在动态障碍物时位姿匹配容易产生误匹配导致定位与建图精度降低的问题,提出了一种根据光照加权的扩展卡尔曼滤波算法将RGB-D相机的视觉信息和二维激光雷达的点云信息进行融合.首先,采用改进的IMLS-ICP(implicit moving lea...     

基于激光雷达与毫米波雷达融合的车辆目标检测算法

针对仅基于单一传感器的目标检测算法存在检测精度不足及基于图像与激光雷达的多传感器融合算法检测速度较慢等问题,提出一种基于激光雷达与毫米波雷达融合的车辆目标检测算法,该算法充分利用激光雷达点云的深度信息和毫米波雷达输出确定目标的优势,采用量纲一化方法对点云做预处理并利用处理后的点云生成特征图,融合毫米波雷达数据生成感兴趣区域,设计了多任务分类回归网络实现车辆目标检测.在Nuscenes大型数据集上进行训练验证.结果表明:检测精度可达60.52％,每帧点云检测耗时为35 ms,本算法能满足智能驾驶车辆对车辆目标检测的准确性和实时性要求.     

车载雷达点云的结构化道路边界提取方法

为了提高结构化道路边界检测的准确性与鲁棒性,结合非参数变点统计方法,提出了一种基于32线激光雷达三维点云的道路边界提取算法。基于结构化道路区域和非道路区域存在一定高程跳变特征,该算法利用非参数变点统计,对激光雷达扫描的道路环境三维点云数据中突变的z坐标值进行标记,并提取对应的候选道路边界点(x,y)。利用道路边界方向的最大期望(EM)聚类算法,对候选道路边界点进行聚类去噪。利用最小二乘法拟合道路边界,在不同光照条件下的校园结构化直、弯道路环境进行实车实验,统计直道1 030帧数据和弯道650帧数据。仿真结果表明:算法识别准确性较高且检测距离达18 m,耗时约28 ms,可满足智能车实时性要求。     

激光雷达和相机的决策级融合目标检测方法

【目的】激光雷达与相机这两类传感器检测数据格式不统一、分辨率不同,且数据级和特征级的融合计算复杂度高,故提出一种决策级的目标融合检测方法。【方法】对激光雷达与相机的安装位置进行联合标定,实现这两类传感器检测结果的坐标系转换;利用匈牙利算法将激光雷达点云检测目标框和相机图像检测目标框进行匹配,设定目标框重合面积阈值,检测获得目标物的位置、类型等。【结果】实车测试结果表明,根据检测目标检测框长宽比选取不同交并比阈值的方法使得车辆和行人的目标识别准确率分别提升了3.3%和5.3%。利用公开数据集KITTI对所提融合方法进行验证,结果表明,在3种不同难度等级场景下,所提融合方法的检测精度分别达到了75.42%、69.71%、63.71%,与现有常用的融合方法相比,检测精度均有所提升。【结论】这两类传感器的检测目标框重合面积阈值对决策级融合检测结果影响较大,根据检测目标检测框长宽比选取不同阈值可有效提升车辆和行人的目标识别准确率。决策级融合方法能准确匹配雷达和相机的检测目标,有效提升目标检测精度。     

基于3D激光雷达点云的道路边界识别算法

针对结构化道路环境中道路边界存在不连续、被遮挡及易受路内障碍物干扰情况下的识别问题,利用车载激光雷达获取的结构化道路环境三维点云数据的高程信息,结合局部均值变点统计方法,提出了一种用于激光雷达帧数据的道路边界识别算法。该算法首先利用局部均值变点统计对结构化道路环境三维点数据中突变的z坐标值进行标记并提取其对应的(x,y)数据点,即道路边界点数据粗提取;然后基于分段双阈值对粗提取的道路边界点数据滤波处理;最后利用最小二乘法拟合道路边界点数据。基于实车实验分别采集的不同道路环境条件下结构化直道1 450帧、弯道935帧数据,算法识别准确率均高于80%,且识别道路宽度误差小于0.14 m。实验结果表明,该算法不仅能够自动识别结构化道路边界,而且有效抑制了路面障碍物的干扰,验证了算法的有效性。     

一种基于IEKF的轮式移动机器人自定位算法

为使移动机器人在导航时能满足定位要求,提高其定位精度,提出一种将里程计、相机传感器和激光雷达信息进行融合的自定位算法。根据机器人的机械结构和运动方式对其建立运动学模型,由里程计推算出机器人在不同时刻的位置估计;利用相机传感器对环境中的路标特征进行识别并计算出两者之间的距离和夹角;将激光雷达所获得的机器人相对路标特征的距离和角度与相机传感器的信息进行匹配,并利用迭代扩展卡尔曼滤波(iterated extended Kalman filter, IEKF)算法融合里程计信息,最终得到较为精确的机器人的位置估计。仿真试验结果表明,该多传感器融合算法相对传统的定位方法具有更高的定位精度。     

基于目标检测的激光雷达道路边缘检测算法

道路边缘检测是自动驾驶车辆环境感知的重要组成部分,有效地从点云数据中提取道路边缘信息,有利于进行目标检测以及可行驶区域检测。针对点云道路边缘检测问题,提出了一种考虑车辆等道路参与者对道路边缘检测带来干扰的解决方案。首先,采用地面点云分割算法,将原始点云分割成地面点云和非地面点云;其次,根据车辆等道路参与者的固有特性,采用点云聚类算法对点云进行聚类,并将符合车辆等道路参与者特性的非地面点云进行滤除;再次,根据道路边缘点云在二维平面内,能够有效地遮挡激光发射中心点与非道路边缘点之间的连线,从而提取道路边缘点云;最后,采用随机抽样一致性(random sample consensus, RANSAC)算法对道路边缘点云进行多项式拟合,并使用扩展卡尔曼滤波器对道路边缘进行跟踪。实验结果表明,所提点云道路边缘检测算法能够消除车辆等道路参与则对点云道路边缘检测的影响,且算法满足实车实时性和鲁棒性要求。     

基于激光雷达和摄像头的FSAC赛车锥桶感知算法研究

针对赛场环境下无人驾驶方程式赛车感知系统中锥桶检测准确率较低的问题，提出了一种基于激光雷达和摄像头标定融合的锥桶检测算法。首先，对激光雷达采集的点云进行滤波、地平面滤除、欧式聚类，得到感兴趣区域内锥桶的空间位置信息；其次，通过标定后得到的摄像头的内外参矩阵将锥桶空间位置信息投影到像素平面内，并在HSV颜色空间下对锥桶空间位置周围一定区域内H通道的像素点进行颜色判断，从而获得锥桶的颜色信息；最后，将得到的锥桶颜色信息附加在锥桶的空间位置上以实现信息融合，在校园内模仿赛场环境进行实验验证。结果表明，标定融合算法能够满足赛场上不同项目的比赛要求，避免了使用单一传感器算法时出现对锥桶漏检误检的情况。因此，标定融合算法可实现对锥桶的有效检测，丰富了检测目标的信息，提高了检测锥桶的准确性，为方程式大赛中使用传感器融合进行锥桶检测提供了参考。     

基于Android平台的障碍物检测系统的设计与实现

为了提高视觉导盲仪障碍物检测系统的便携性,建立了基于Android平台的障碍物检测系统。对该系统所采用的Android平台采集双目图像、路面平面提取和障碍物检测等算法进行研究。首先,根据Android平台的USB HOST API介绍了Android平台以非ROOT的方式采集双目图像数据;然后,提取并匹配双目图像的特征点得到稀疏的三维点云,在三维点云中用随机抽样一致性算法(random sample consensus,RANSAC)来提取路面平面;最后,在利用双目图像路面平面单应性来区分路面与障碍物的基础上,说明了采用半全局块匹配(semi-global block matching,SGBM)进行障碍物检测的算法。实验结果表明:系统5 m以内的障碍物检测准确率达到90%;检测时间达到1 s/帧。完全满足视觉导盲仪障碍物检测系统的检测准确率高、实时性高、易便携等要求。     

复杂干扰下配电线路无人机巡视目标检测方法研究

配电线路所处环境复杂,传统配电线路无人机巡视目标检测方法无法有效去除外界环境干扰,导致检测结果不可靠。为此,提出一种新的基于视觉感知的配电线路无人机巡视目标检测方法。通过可见光相机与紫外相机对无人机巡线图像进行采集,分析了紫外相机采集原理。通过直方图均衡化处理对采集图像进行增强处理,选用高斯滤波器对采集的配电线路无人机巡视图像进行滤波处理。对配电线路密集度区域和偏心度区域进行提取,获取配电线路无人机巡视目标特征向量。依据得到的特征向量确定无人机巡视目标,求出目标质心坐标,从而实现配电线路无人机巡视目标检测。实验结果表明,所提方法能够在干扰环境下有效实现配电线路无人机巡视目标的检测,检测结果可靠性高。     

基于K210的火点检测与喷头定向控制

无人机在执行灭火任务时,喷头喷射方向固定且无法自动寻找火点方向,通过人工操纵手柄控制无人机高度及俯仰角来尝试不断调整其喷射方向,以保证灭火剂喷射在火焰上实现有效灭火。针对依靠人工进行火点检测与定向喷射这一过程效率低和准确率不高等问题,提出一种可以在低成本、低功耗硬件中实现实时目标检测,进而控制喷头定向火点的方法。该方法将训练好的YOLOv2-Tiny目标检测模型部署到可移动平台K210上,内部的卷积神经网络硬件加速器快速检测视频中是否存在火点并输出目标的位置信息,根据位置信息使用PID控制算法调节二维旋转喷头定向火点。本文使用监控摄像头拍摄及网上下载等方式构造的数据集对模型进行训练,训练后模型的检测精确率达到94.60%,将模型下载至K210开发板上能达到每秒14帧的速度,检测精度达到96.5%,落点位置平均误差为3.7 cm,具有很高的实用价值。     

基于多通道融合和极线约束的道路检测与定位

计算机双目视觉道路检测及定位在实现无人运动平台自主导航中具有重要意义.根据双目摄像机系统模型,提出基于多通道阈值融合的车道线检测方法,融合车道线边缘和色彩信息进行图像阈值分割,采用透视变换和自适应动态滑窗法提取车道线像素,采用最小二乘法拟合道路模型并依据极线约束关系进行定位,投影至SLAM地图中.实验结果表明,算法在光照变化、阴影遮挡等场景中均能精确检测车道线,将车道线信息投影至三维地图可以有效地将车道信息与地图信息进行融合,提高了道路感知能力.      

电动小车自动变道环境感知系统

构建了电动小车自动变道环境感知系统.介绍了自动变道实车平台和转向系统结构改造方案,并设计了低成本、可靠的环境感知方案.对于同车道前车,采用加权融合算法对24 Ghz毫米波雷达和前视摄像头进行数据融合,通过实车采集,拟合了两种传感器在不同距离上的理想权重曲线,提高了环境感知的精度和稳定性.最后通过避障变道工况的试验,验证了自动变道环境感知系统的适用性.     

无人艇航迹跟踪控制系统设计与验证

针对复杂湖面环境干扰下的无人艇自主航行控制问题,设计了一种有效的无人艇航迹跟踪控制系统。该系统从航迹跟踪控制算法、数据融合处理、上位机监控三个部分展开设计。在算法设计层面,将航迹跟踪控制问题分为外环和内环两部分,外环部分提出了一种自适应视线(Line of sight,LOS）制导算法,以求解目标航向角作为航向控制器的输入;内环部分设计了无模型自适应PID航向控制器,以实现无人艇稳定的航行。在数据处理层面,采用卡尔曼滤波算法对传感器信息进行融合,实现了对无人艇位置和姿态信息的准确估计。在监控层面,设计了一种可视化上位机软件,实时监测无人艇航行状态,保证航行安全。最后,利用实艇进行湖测实验,验证了该控制系统的有效性,结果表明该系统具备在内湖执行任务的能力以及应对复杂环境干扰的能力。     

基于3D激光雷达点云的车辆目标识别算法

针对结构化道路环境中智能车识别周围360°范围内的车辆目标问题,基于车载3D激光雷达采集的道路环境中车辆目标点云数据投影特征,提出识别车辆目标新算法。算法首先识别结构化道路边界,进而排除道路边界两旁障碍物的干扰和减少点云数据量;其次基于雷达点云数据扫描和分布特征,利用改进K-means算法对道路区域内点云数据聚类。最后提取聚类目标内部特征点,并通过计算特征点构成向量的夹角或模的长度准确识别车辆目标。实验验证表明,该算法有效抑制了道路边界两旁障碍物的干扰,可以准确识别结构化道路区域内的车辆目标。     

基于相关滤波的绝缘子跟踪与测距算法

针对旋翼无人机进行输电线路巡检的应用场景,通过基于相关滤波的跟踪算法,实现绝缘子的跟踪并适应尺度的变化。在滤波器的训练过程引入核函数,构建出更加鲁棒的滤波模板。通过gabor滤波器,在HSV颜色空间提取绝缘子的纹理特征。采用两个并行的相关滤波器,分别用于位置和尺度的定位。在此基础上,通过最大类间方差法,对图像中绝缘子进行分割,按照相机成像原理,计算绝缘子与无人机之间的相对距离。算法能够实现绝缘子的实时跟踪并适应尺度变化,以及计算无人机与绝缘子之间的相对距离,为无人机智能化巡线提供技术支持。