基于改进YOLOv5s和传感器融合的目标检测定位

针对无人车环境感知过程中相机无法提供道路目标的位置信息,激光雷达点云稀疏以致检测方面难以达到很好效果的问题,提出一种通过融合两者信息进行目标检测和定位的方法。采用深度学习中YOLOv5s算法进行目标检测,通过联合标定进行相机与激光雷达外参的获取以转换传感器之间的坐标,使雷达点云数据能投影到相机图像数据中,得到检测目标的位置信息,最后进行实车验证。结果表明,所提算法能在搭载TX2嵌入式计算平台的无人车自动驾驶平台上拥有27.2 Hz的检测速度,并且在一段时间的检测环境中保持12.50%的漏检率和35.32 m的最远识别距离以及0.18 m的平均定位精度。将激光雷达和相机融合,可实现嵌入式系统下的道路目标检测定位,为嵌入式平台下环境感知系统的搭建提供了参考。     

基于激光雷达与毫米波雷达融合的车辆目标检测算法

针对仅基于单一传感器的目标检测算法存在检测精度不足及基于图像与激光雷达的多传感器融合算法检测速度较慢等问题,提出一种基于激光雷达与毫米波雷达融合的车辆目标检测算法,该算法充分利用激光雷达点云的深度信息和毫米波雷达输出确定目标的优势,采用量纲一化方法对点云做预处理并利用处理后的点云生成特征图,融合毫米波雷达数据生成感兴趣区域,设计了多任务分类回归网络实现车辆目标检测.在Nuscenes大型数据集上进行训练验证.结果表明:检测精度可达60.52％,每帧点云检测耗时为35 ms,本算法能满足智能驾驶车辆对车辆目标检测的准确性和实时性要求.     

融合人脸与步态周期模式的行人检测

提出多自由度的多核跟踪MeanShift算法,其在运动人体目标与背景图像的颜色信息较为接近时仍能鲁棒地跟踪.将所提出的跟踪算法用于融合人脸与步态周期模式的行人检测新算法,将闭环的控制思想引入到行人检测中,即通过步态周期和相应的跟踪反馈验证的理论方法来解决行人检测中误报率高的问题;还对行人部分轮廓存在遮挡的情况提供行人检测的新思路,即通过检测人脸来确定检测对象是否是行人,以解决当前行人检测算法检测率低的问题.     

联合多视角互投影融合的三维目标检测方法

针对当前智能车辆目标检测时缺乏多传感器目标区域特征融合问题,提出了一种基于多模态信息融合的三维目标检测方法. 利用图像视图、激光雷达点云鸟瞰图作为输入,通过改进AVOD深度学习网络算法,对目标检测进行优化;加入多视角联合损失函数,防止网络图像分支退化. 提出图像与激光雷达点云双视角互投影融合方法,强化数据空间关联,进行特征融合. 实验结果表明,改进后的AVOD-MPF网络在保留AVOD网络对车辆目标检测优势的同时,提高了对小尺度目标的检测精度,实现了特征级和决策级融合的三维目标检测.      

基于DM642的双目视觉系统和角点检测算法研究

本文分析了平行双目视觉测量技术中的角点检测算法,针对DM642嵌入式平台进行了相应改进.为了提高算法的简便性,减少人工干预,提出了自适应的Harris角点检测阈值设定算法,并针对DM642在算法实现时做了优化.经过实验,该方法可以准确地自动提取角点,比传统Harris角点检测算法更加适合嵌入式平台应用.     

基于嵌入式平台实现的遥感图像城区检测算法

提出了一种城区区域实时检测算法及基于嵌入式平台的实现方式.根据城区是由人造建筑的离散特征聚合而成的特点,城区检测算法划分为原始图像预处理、城区特征点的提取与筛选和基于特征点区域化的城区提取3个环节.通过分析所提出原型算法中各关键环节的处理时间及运算特点,将其分解映射在FPGA+DSP并行异构的嵌入式板卡上,通过流水并行的方式实现.本文提出的城区检测算法已移植于嵌入式板卡在某机载平台上进行了成功的搭载实验,满足实时的城区自动检测需求.      

视觉和毫米波雷达信息融合行人识别算法

提出了一种在主动防碰撞系统中采用视觉和毫米波雷达数据融合来识别行人的算法.在基于单目视觉获取的图像中提取HOG特征,采用支持向量机的分类方法检测行人,获取行人信息,通过快速容差中频匹配算法快速地检测目标,并获取目标信息,将基于视觉的行人信息传递给毫米波雷达;根据视觉检测的行人信息与毫米波雷达检测的目标信息进行比对,将匹配通过的目标识别为行人;将基于视觉的行人特征信息与毫米波雷达检测的行人特征信息进行融合,得到行人目标的新特征信息.通过采集道路环境的视频和雷达数据对行人正确识别率进行验证.验证结果表明,采用所提出的算法进行行人识别,在获取更加精确的行人特征信息的前提下,正确识别率较高.     

基于目标检测的激光雷达道路边缘检测算法

道路边缘检测是自动驾驶车辆环境感知的重要组成部分,有效地从点云数据中提取道路边缘信息,有利于进行目标检测以及可行驶区域检测。针对点云道路边缘检测问题,提出了一种考虑车辆等道路参与者对道路边缘检测带来干扰的解决方案。首先,采用地面点云分割算法,将原始点云分割成地面点云和非地面点云;其次,根据车辆等道路参与者的固有特性,采用点云聚类算法对点云进行聚类,并将符合车辆等道路参与者特性的非地面点云进行滤除;再次,根据道路边缘点云在二维平面内,能够有效的遮挡激光发射中心点与非道路边缘点之间的连线,从而提取道路边缘点云;最后,采用随机抽样一致性(random sample consensus,RANSAC)算法对道路边缘点云进行多项式拟合,并使用扩展卡尔曼滤波器对道路边缘进行跟踪。实验结果表明,所提点云道路边缘检测算法能够消除车辆等道路参与则对点云道路边缘检测的影响,且算法满足实车实时性和鲁棒性要求。     

基于多模态特征融合的无人驾驶系统车辆检测

针对无人驾驶系统环境感知中的车辆检测精度低的问题,本文提出一种基于多模态特征融合的三维车辆检测算法.该算法通过毫米波雷达与摄像机联合标定,匹配2个传感器间的坐标关系并减小采样误差;采用统计滤波剔除毫米波雷达数据冗余点,减少离群点干扰;构造多模态特征融合模块,利用逐像素平均融合点云与图像信息;加入特征金字塔提取融合后的高...     

基于视频图像的行人检测系统的设计与实现

设计一种基于视频图像的行人检测系统,系统基于ARM和Linux操作系统搭建嵌入式平台,通过构建视频流服务器将网络视频流传输至PC端,利用Haar-like特征和Adaboost算法框架训练分类器,用分类器进行行人检测.详细描述系统的设计实现方案,对其中的关键点进行阐述.实验结果表明,系统性能稳定、识别精度较高.