基于点云与图像决策级融合的道路行人检测

现有基于点云与图像融合的行人检测要求高算力的处理平台,应用于低算力低功耗的嵌入式平台时,无法满足行人检测的准确率和实时性.基此提出一种融合点云与图像的道路行人检测方法,该方法采用DBSCAN算法对点云进行聚类,然后,运用概率数据关联算法将行人点云与图像的行人检测结果进行决策级融合,最后,在嵌入式计算平台上进行软硬件集成与测试验证.实验结果表明,相比于其他目标检测算法,设计的融合点云与图像的道路行人检测方法,不仅提高了道路行人方位的检测精度,而且检测用时降低了46.6％以上.     

联合多视角互投影融合的三维目标检测方法

针对当前智能车辆目标检测时缺乏多传感器目标区域特征融合问题,提出了一种基于多模态信息融合的三维目标检测方法. 利用图像视图、激光雷达点云鸟瞰图作为输入,通过改进AVOD深度学习网络算法,对目标检测进行优化;加入多视角联合损失函数,防止网络图像分支退化. 提出图像与激光雷达点云双视角互投影融合方法,强化数据空间关联,进行特征融合. 实验结果表明,改进后的AVOD-MPF网络在保留AVOD网络对车辆目标检测优势的同时,提高了对小尺度目标的检测精度,实现了特征级和决策级融合的三维目标检测.      

具有全局特征的空间注意力机制

为了获得卷积神经网络特征图中不同特征点之间的长距离依赖关系,使卷积神经网络更好地区分前景目标和背景信息,提出了一种具有全局特征的空间注意力机制。通过通道融合层将多通道的原始特征图组合成单通道的特征融合图,消除了通道间信息分布对获取空间注意力权重的影响;将特征融合图经过全局特征获取处理,获得能够反应特征融合图中某个特征点与特征融合图中所有点之间相关性的全局特征图;全局特征图与初始值为0的可学习变量相乘,并且通道域复制自身大小为原始特征图大小,扩展后的全局特征图与原始特征图对应元素相加,获得具有注意力机制的特征图。在不同卷积神经网络中加入具有全局特征的空间注意力机制后,实验结果：在脑电波二分类任务中,算法分类准确率最高提升了0.839%;在CIFAR-10数据集多分类任务中,算法分类准确率最高提升了0.484%;在夜间车辆单类别检测中,在交并比阈值大于0.5的平均精度值评判标准下算法最高提升了3.860%,在交并比阈值大于0.75的平均精度值评判标准下算法最高提升了11.726%;在voc2007数据集多类别检测中,在交并比阈值大于0.5的平均精度值评判标准下算法最高提升了0.778%,在交并比阈值大于0.75的平均精度值评判标准下算法最高提升了1.232%。     

分区DBSCAN算法在激光雷达行人检测系统中的应用

摘要 行人检测过程中原始DBSCAN算法不能正确地对密度不均匀的激光点云聚类,产生错误的聚类结果导致行人检测系统出现误检和漏检。为解决这一问题,基于激光雷达的行人检测系统在原始密度聚类算法DBSCAN的基础上提出了分区DBSCAN算法。该算法将密度不均匀的点云数据划分为若干个密度相对均匀的分区,从而能实现对行人的快速准确检测。实验结果表明原始DBSCAN算法行人检测率为62.47%,使用分区DBSCAN算法的激光雷达行人检测系统行人检测率达到82.21%,相对于原始DBSCAN算法检测精度提高了19.74%;而且在时间消耗上也比原始DBSCAN算法降低了16.22%。     

分区基于密度的聚类算法在激光雷达行人检测系统中的应用

行人检测过程中原始DBSCAN算法不能正确地对密度不均匀的激光点云聚类,产生错误的聚类结果导致行人检测系统出现误检和漏检。为解决这一问题,基于激光雷达的行人检测系统在原始密度聚类算法DBSCAN的基础上提出了分区DBSCAN算法。该算法将密度不均匀的点云数据划分为若干个密度相对均匀的分区,从而能实现对行人的快速准确检测。实验结果表明原始DBSCAN算法行人检测率为62.47%,使用分区DBSCAN算法的激光雷达行人检测系统行人检测率达到82.21%,相对于原始DBSCAN算法检测精度提高了19.74%;而且在时间消耗上也比原始DBSCAN算法降低了16.22%。     

基于机器视觉的珐琅搪瓷盘缺陷检测方法

【目的】为实现珐琅搪瓷盘表面缺陷的自动化检测并提高检测效率与准确率,提出一种珐琅搪瓷盘缺陷机器视觉检测方法。【方法】首先对灰度图像阈值分割,采用最小二乘拟合法提取出感兴趣区域来消除背景干扰;然后根据缺陷图像的特点设计基于图像融合的迭代算法,并提出一种改进的去伪影算法以消除伪影影响,进而提高检测准确率;最后通过搭建的硬件平台对本方法的检测性能进行验证。【结果】采用本方法对缺陷珐琅搪瓷盘的检测准确率能达到92%,对缺陷的平均漏检率仅为8.8%,且对伪影的去除能力也优于传统方法。【结论】本研究方法检测准确率高,为珐琅搪瓷盘缺陷的自动化检测提供了一种可行方案。     

自动驾驶中基于深度学习的3D目标检测方法综述

随着激光雷达传感器和深度学习技术的快速发展,针对自动驾驶3D目标检测算法的研究呈现爆发式增长。为了探究3D目标检测技术的发展和演变,对该领域中基于深度学习的3D检测算法进行了综述。根据车载传感器的不同,将当前基于深度学习的自动驾驶3D目标检测算法分为基于相机RGB图像、基于激光雷达点云、基于RGB图像–激光雷达点云融合的3D目标检测3种类型。在此基础上,分析了各类算法的技术原理及其发展历程,并根据平均检测精度（mAP）指标,对比了它们的性能差异与模型优缺点。最后,总结和展望了当前自动驾驶3D目标检测中仍然面临的技术挑战及未来发展趋势。     

基于改进YOLOv5s和传感器融合的目标检测定位

针对无人车环境感知过程中相机无法提供道路目标的位置信息,激光雷达点云稀疏以致检测方面难以达到很好效果的问题,提出一种通过融合两者信息进行目标检测和定位的方法。采用深度学习中YOLOv5s算法进行目标检测,通过联合标定进行相机与激光雷达外参的获取以转换传感器之间的坐标,使雷达点云数据能投影到相机图像数据中,得到检测目标的位置信息,最后进行实车验证。结果表明,所提算法能在搭载TX2嵌入式计算平台的无人车自动驾驶平台上拥有27.2 Hz的检测速度,并且在一段时间的检测环境中保持12.50%的漏检率和35.32 m的最远识别距离以及0.18 m的平均定位精度。将激光雷达和相机融合,可实现嵌入式系统下的道路目标检测定位,为嵌入式平台下环境感知系统的搭建提供了参考。     

煤矿井下钻孔裂隙识别技术

为研究采区煤岩体中裂隙、断裂、破碎带等结构面的自动检测技术,解决现有人工智能技术中迭代次数大、检测框准确度低等问题,采用YOLOv5算法融合注意力机制、损失函数、多尺度检测的方法,对煤矿巷道上顶板5种不同地质钻孔进行裂隙检测试验。结果表明：将注意力机制SENet引入YOLOv5模型框架,避免了图像背景区域与裂隙区域相似度较高问题;采用有效交并比损失函数代替完全交并比损失函数,使得预测框能够更加有效拟合真实目标框;对YOLOv5模型增添3种不同尺寸的锚定框并添加160×160特征层,实现检测更小的目标。该方法与SSD、YOLOv5等检测算法在同样条件下相比,其检测精度分别提升了18.9%,2.1%,召回率提升了39.5%,1.6%,平均精度提升了28.1%,1.0%。改进后的模型将三尺度检测变为四尺度检测,提升了算法的多尺度目标检测性能,能够对钻孔裂隙进行高精度检测,满足钻孔裂隙实时检测需求。     

基于激光雷达与毫米波雷达融合的车辆目标检测算法

针对仅基于单一传感器的目标检测算法存在检测精度不足及基于图像与激光雷达的多传感器融合算法检测速度较慢等问题,提出一种基于激光雷达与毫米波雷达融合的车辆目标检测算法,该算法充分利用激光雷达点云的深度信息和毫米波雷达输出确定目标的优势,采用量纲一化方法对点云做预处理并利用处理后的点云生成特征图,融合毫米波雷达数据生成感兴趣区域,设计了多任务分类回归网络实现车辆目标检测.在Nuscenes大型数据集上进行训练验证.结果表明:检测精度可达60.52％,每帧点云检测耗时为35 ms,本算法能满足智能驾驶车辆对车辆目标检测的准确性和实时性要求.     

基于改进YOLOv5的车辆目标检测研究

针对现有目标检测算法在自动驾驶等领域的车辆目标检测中存在检测精度不高,实时性和鲁棒性较差等问题,本文提出一种基于YOLOv5的车辆目标检测方法.本文在YOLOv5s网络模型框架下,引入一次性聚合（OSA）模块优化主干网络结构,提升网络特征提取能力;并采用非局部注意力机制进行特征增强;同时利用加权非极大值抑制方法实现检测框筛选.实验结果表明,在自制车辆检测数据集上,改进网络模型与原YOLOv5s模型相比,平均准确率均值（mAP）提升3%,不同目标类检测的平均准确率（AP）均得到提升,且检测速度满足实时性要求,对于密集车辆和不同光照条件下均能较好实现车辆目标检测.     

一种基于RCRF+BCH算法的NAND FLASH纠错方案的FPGA设计与实现

针对可见光图像和红外图像的融合目标检测问题,提出了一种基于决策级融合的目标检测算法。通过建立带标注的数据集对YOLOv3网络进行重新训练,并在融合之前,利用训练好的YOLOv3网络对可见光图像和红外图像分别进行检测。在融合过程中,提出了一种新颖的检测融合算法,首先,保留只在可见光图像或只在红外图像中检测到的目标的准确结果;然后,对在可见光图像和红外图像中同时检测到的同一目标的准确结果进行加权融合;最后,将所得的检测结果进行合并,作为融合图像中所有对应目标的检测结果,进而实现基于决策级融合的快速目标检测。实验结果表明：各项指标在建立的数据集上均有较好的表现。所提算法的检测精度达到了84.07%,与单独检测可见光图像和红外图像的算法相比,检测精度分别提升了2.44%和21.89%,可以检测到更多的目标并且减少了误检目标的情况;与3种基于特征级图像融合的检测算法相比,算法的检测精度分别提升了4.5%,1.74%和3.42%。     

基于区域候选的粗-精行人检测方法

为了解决行人检测过程中漏检的问题,提出一种将传统检测方法与区域候选网络相结合的方法。运用局部无关通道特征(LDCF)方法对图片进行粗检测,筛选出在训练集上漏检的窗口。采用k均值(k-means)算法对数据集中漏检的目标框进行聚类,得到合适的尺度与长宽比。针对相应的尺度与长宽比训练区域候选网络(RPN),提高粗检测阶段的召回率。利用改进的颜色自相似特征以及简化的卷积网络结构对窗口特征进行更为准确的描述。使用改进的深度网络提取特征,并训练级联分类器,对粗检窗口进行精细判断。在行人检测数据集TUD-Brussels和Caltech上进行实验,得到的平均对数漏检率分别为46%和9%。     

基于光流重构和深度姿态特征的行人跌倒检测方法

随着我国老龄化人群数量的增长,老年人实时行为轨迹的跟踪检测成为当前智慧社区研究的热点。本文针对现有行人跌倒检测算法在面临电动车流和行人影子的干扰而导致识别准确率不高的问题,提出了一种基于优化yolov5的路边行人跌倒检测方法。首先基于视频抽帧的方式将原始数据输入到yolov5网络进行监控行人视频数据的预处理,实现行人背景重构;然后提取光流和anchor框作为其运动特征;最后对此特征进行判定,进行信息融合的跌倒检测网络进行跌倒特征识别,并在不同帧序列和不同背景下进行对比试验。本文所提出的方法在行人跌倒数据集Multiple cameras fall和Le2i上进行了实验,结果表明本文的算法在基于电动车流和行人影子干扰场景下较传统方法在准确率和召回率上分别提升了9%和10%。     

基于视觉加强注意力模型的植物病虫害检测

【目的】植物病虫害准确检测是病虫害精准化防治的关键，笔者构建准确高效的植物病虫害监测模型，为病虫害的早期诊断与预警提供重要依据。【方法】针对现有植物病虫害检测模型泛化能力弱、小目标漏检率高等问题，提出一种基于视觉加强注意力改进的植物病虫害检测模型——YOLOv 5-VE(vision enhancement)。为方便检测实验样本中的小目标采用Mosaic 9数据增强方法；设计出基于视觉注意力的特征加强模块CBAM(convolutional block attention module);为确定不同目标重叠在一起和被遮挡的定位损失引入边界框定位损失函数DIoU。【结果】YOLOv 5-VE模型在实验数据集上的识别精度和检测平均准确率达到65.87%和73.49%,比原模型提高了1.07%和8.25%,在型号为1 080 Ti的GPU上检测速度可达35帧/s。【结论】该方法可以在背景复杂的野外场景快速有效地检测和识别种类多样的病害和虫害，可以提高检测的鲁棒性能，提升模型对病虫害目标的特征提取能力，降低野外复杂场景对检测带来的干扰，表现出良好的应用潜力，可广泛运用于大规模的植物病虫害检测。     

鲁棒车载热成像行人检测的感兴趣区域提取方法

现有的感兴趣区域(RoI)提取方法很难兼顾较高召回率和较少的RoI数量.为了降低计算开销和RoI数量,提高召回率,文中提出了适合车载热成像行人检测的RoI提取方法:首先,根据行人边缘特征存在的方向差异性判断图像中可能的行人竖直边缘,增强其幅值;接着,级联行人尺寸约束和自适应局部双阈值分割方法过滤滑窗产生的边界框,滤除大量的非行人边界框;然后,根据行人的轮廓特征,采用T型模板对过滤后的边界框进行得分评估,在保留可能的行人腿部信息的同时去除边界框内部的无关边缘;最后,利用行人的强尺寸约束重新排序RoI,以便在提取固定数量的RoI时能提高召回率.在热成像行人检测数据集SCUT DataSet上进行对比实验,结果表明:当每幅图像提取400个RoI时,文中方法的召回率达92%,比EdgeBox方法的召回率提高21%,计算时间减少了10%.     

基于重叠视域的跨相机多目标跟踪

针对短道速滑运动员检测难度大,难以准确进行跨相机目标交接等问题,提出了基于重叠视域的跨相机多目标跟踪算法.通过使用Global context network(GCnet)注意力模块、Funnel ReLU(FReLU)激活函数和DistanceIoU非极大值抑制（DIoU-NMS）改进YOLOXs算法,提高对粘连目标的检测精度.依据平面单应性原理将相机图像坐标映射至统一世界坐标以关联相邻相机,提出基于目标质心位置相似性与检测框空间相似性关联权重的改进型匈牙利匹配算法,实现跨相机目标一致性判定.实验结果表明：YOLOXs-GFD算法的平均准确率在Skater数据集和INRIA数据集上分别提升2%、1.1%.MOT-skater数据集上,跨相机多目标跟踪指标MCTA和IDF1分别为80.6%、83.7%.所提出的算法对短道速滑运动员的跨相机跟踪具有更优的准确性与鲁棒性.     

非结构化环境下无人驾驶车辆跟驰方法

提出一种基于多传感器融合的用于非结构化环境下无人驾驶车辆跟驰应用的方法,旨在解决无人驾驶车辆跟驰任务中对引导车辆的局部定位问题,实时获取引导车辆的相对位置和速度.首先以任务需求为导向,通过实车实验结果完成针对非结构化环境特点的传感器选型工作.对所选毫米波雷达和相机设计联合标定流程,实现数据空间融合.设计与目标距离相关的横向距离约束阈值,以及基于历史帧数据变化可靠性分析,解决非结构化环境下雷达数据跳变和虚检现象,实现雷达有效目标提取;考虑相机小孔成像原理,提出大小可变候选车辆检测框生成.最后基于主流的目标检测深度学习框架,设计跟车应用中信息输出流程.实车测试结果表明,该方法可以满足非结构化环境下车辆跟驰应用的基本需求,输出结果有一定的稳定性和精度.      

基于多帧信息的多传感器融合三维目标检测

为提高三维目标检测中多传感器融合的效果,并利用前后帧之间的特征关联,提高目标检测的准确率,提出了一种基于多帧信息的多传感器特征融合三维目标检测网络.首先通过基于指导点的特征映射模块,将图像相机视角特征转换为鸟瞰图特征,并通过自适应融合模块对点云特征和图像特征进行融合;之后利用历史帧跟踪信息,融合多帧特征;最后采用基于CenterPoint检测头进行目标检测.在nuScenes数据集和实车上对三维目标检测网络进行了测试,试验结果表明该网络具有更高的精度和实时性.     

基于深度卷积网络的工程车辆检测算法

为了解决传统的小尺度密集工程车辆检测算法存在检测速度慢、鲁棒性差、识别准确率低等问题,采用基于改进型YOLO v3的卷积神经网络工程车辆检测算法,使用目标框与真实框交并比作为损失函数替代聚类算法中的欧式距离,同时结合工程车辆检测时标注真实框的特点,对候选框进行聚类;改进评估模型的损失函数,构建适合小尺度密集车辆的网络结构.在自制数据集上进行试验,结果表明,该方法对小尺度密集工程车辆的检测精度明显提高,准确率能够达到81.1%,召回率能达到95.9%.