基于RGB-D图像和深度学习的场景语义分割网络

近年来,深度卷积神经网络应用于图像语义分割领域并取得了巨大成功。本文提出了一个基于RGB-D(彩色-深度) 图像的场景语义分割网络。该网络通过融合多级RGB网络特征图和深度图网络特征图,有效提高了卷积神经网络语义分割的准确率。同时,本文利用带孔的卷积核设计了具有捷径恒等连接的空间金字塔结构来提取高层次特征的多尺度信息。在SUN RGB-D数据集上的测试结果显示,与其它state-of-the-art的语义分割网络结构相比,本文所提出的场景语义分割网络性能突出。     

基于彩色-深度图像和深度学习的场景语义分割网络

近年来,深度卷积神经网络应用于图像语义分割领域并取得了巨大成功。提出了一个基于RGB-D(彩色-深度)图像的场景语义分割网络;该网络通过融合多级RGB网络特征图和深度图网络特征图,有效提高了卷积神经网络语义分割的准确率。同时,利用带孔的卷积核设计了具有捷径恒等连接的空间金字塔结构来提取高层次特征的多尺度信息。在SUN RGB-D数据集上的测试结果显示,与其他state-of-the-art的语义分割网络结构相比,所提出的场景语义分割网络性能突出。     

三维点云室内场景的语义实例联合分割网络

针对点云分割网络无法在复杂的室内场景中实现高精度分割的问题,本文设计了一种基于深度学习的语义实例联合分割网络,同时完成三维点云数据的语义分割和实例分割任务,主要包含多任务学习主干网络、特征融合模块和语义实例特征联合模块等。特征融合模块通过跳跃连接融合多个网络层,分别融合2个任务各自不同级别的特征,加强网络对数据中包含的信息的整合,并选取大型室内场景数据集S3DIS和部件分割数据集ShapeNet进行对比实验。实验结果显示,网络在数据集S3DIS的语义分割的总体准确率为86.5%,在数据集ShapeNet的语义分割类别交并比为83.1%,在数据集S3DIS的实例分割的平均精度为60.8%。语义实例特征联合模块通过多任务级的特征联合增加语义和实例的判别特征,提高了点云的语义分割和实例分割的准确率。     

基于改进YOLOv5s的道路场景多任务感知算法

针对单一任务模型不能同时满足自动驾驶多样化感知任务的问题，提出了一种基于改进YOLOv5s的快速端到端道路多任务感知方法。首先，在YOLOv5s网络输出端设计两个语义分割解码器，能够同时完成交通目标检测、车道线和可行驶区域检测任务。其次，引入Rep VGG block改进YOLOv5s算法中的C3结构，借助结构重参数化策略提升模型速度和精度。为了提升网络对于小目标的检测能力，引入位置注意力机制对编码器的特征融合网络进行改进；最后基于大型公开道路场景数据集BDD100K进行实验验证该算法在同类型算法的优越性。实验结果表明，算法车辆平均检测精度为78.3%，车道线交并比为27.2%，可行驶区域平均交并比为92.3%，检测速度为8.03FPS，与同类型算法YOLOP、Hybrid Nets对比，该算法综合性能最佳。     

基于FF R-CNN钢材表面缺陷检测算法

针对深度学习算法检测钢材表面缺陷时,结构信息减少导致检测精度低的问题,提出一种特征融合和级联检测网络的Faster R-CNN钢材表面缺陷检测算法。首先利用主干网络提取特征图,通过融合特征图的方式,达到减少结构信息丢失的目的;进一步将生成的特征图输入RPN网络生成区域建议框;最后利用检测网络对区域建议框进行分类与回归,通过级联2个检测网络,实现精确检测结果的目标。对模型进行对比性实验分析,找出检测精度最优的算法模型。在NEU-DET数据集上对提出的算法进行了检验,主干网络采用VGG-16比采用Resnet-50的检测精度提高了2.40%;通过融合特征,检测精度提高了11.86%;通过检测网络的级联,检测精度提高了2.37%.通过对算法模型的不断改进和优化,检测精度达到了98.29%.与传统的钢材表面检测方法相比,改进算法能够更准确地检测出钢材表面缺陷的种类和位置,提升对钢材表面缺陷的检测精度。     

基于2D先验的3D目标判定算法

提出一种基于2D先验的3D目标判定算法.首先用轻量级MobileNet网络替换经典SSD的VGG-16网络，构建出MobileNet-SSD目标检测模型；其次，通过改进网络结构，提高模型对小目标的检测能力，并引入Focal Loss函数来解决正负样本不均衡和易分样本占比较高的问题；在相同数据集上，将改进算法与Faster R-CNN、 YOLOv3及MobileNet-SSD进行对比测试，其平均精度mAP分别提高了7.2%、 8.8%和10.6%;最后，通过改进算法获取ROI,利用深度相机将二维ROI转换为ROI点云，并借助直通滤波来判断目标物体是否为真实场景物体，既省去了传统点云识别中的诸多步骤又避免了点云深度学习中三维数据集制作难度较大的问题，在识别速度和识别精度上达到了较好的平衡.     

基于深度相机的室内障碍物检测算法

常用的背景差分法、GrabCut等图像分割算法存在分割效率较低且易受环境噪声干扰等问题,导致室内移动机器人对障碍物的检测精度不高,为此本文提出一种融合深度信息的目标分割算法,并在此基础上实现较高精度的障碍物尺寸测量.首先通过SSD网络模型得到障碍物的检测框,将检测框中图像转换到H SI颜色空间,并根据得到的饱和度和亮度...     

基于优化DeepLabv3+的混凝土梁裂缝分割及特征量化

目前基于深度神经网络的裂缝分割模型存在着训练参数多、裂缝边缘分割粗糙、分割精度不足、缺少深度特征语义信息等问题。为解决以上问题,对分割性能较好的DeepLabv3+模型进行研究,嵌入Non-local注意力机制,并改进了主干网络ResNet101得到优化模型DeepLabv3+(N-S),最后基于优化模型的输出并使用裂缝骨架提取的方法来量化裂缝特征参数。使用的数据集为自制的混凝土梁裂缝图像数据集,并对优化前后模型作对比实验,分析了模型在各项性能上优化的有效性,并使用实测数据来验证评估裂缝各项特征参数量化方法。实验结果表明,DeepLabv3+(N-S)网络在数据集上的平均像素准确率(mean pixel accuracy, mPA)、平均交并比(mean intersection over union, mIoU)分别达到了88.86%、82.04%,较于原模型分别提高2.21%、2.54%,裂缝分割效果优于原模型,且裂缝样本各项特征参数量化的平均误差为+8.7%,低于原模型,可满足工程上的检测精度需求。     

基于Ghost卷积和通道注意力机制级联结构的车辆检测方法研究

为了降低YOLOv3算法的计算量和模型体积，提高对小目标的检测能力，本文提出一种基于Ghost卷积和通道注意力机制级联结构，将其作为YOLOv3算法的特征提取网络，以减少网络计算量；在小目标预测支路引入S-RFB模块，扩大模型的感受野，更好地利用上下文信息，以提高对小目标的检测能力；使用CIOU损失作为边界框位置损失项，以加速模型的收敛．利用高斯噪声对训练样本进行数据增强，提高模型的鲁棒性．在UA-DETRAC数据集上进行实验，实验结果表明，相比于YOLOv3算法，基于Ghost卷积和通道注意力机制级联结构的G-YOLO算法的平均精度提高了2.7%，模型体积减小了67%，在复杂道路交通环境中具有良好的检测效果．     

基于多尺度复合卷积和图像分割融合的车道线检测算法

在车道线检测任务中，由于车道线的特点和获取更大范围感受野的需求，空洞卷积被广泛使用.然而，为了获取大范围信息，空洞卷积会造成卷积点附近信息的丢失.针对以上问题，提出了一种基于多尺度复合卷积和图像分割融合的车道线检测算法.首先将不同尺寸的空洞卷积、全卷积和标准卷积结合以弥补空洞卷积造成的信息丢失；然后通过语义分割和实例分割融合的图像分割融合模块来增强实例分割网络对全局特征的关注；最后，设计一个加权交叉熵损失函数对网络进行训练和优化.实验结果表明，算法在CULane数据集中的整体F1measure取得74.9%，整体性能优于比较算法，在多种挑战性环境中均有所提升.     

融合边缘检测的 3D 点云语义分割方法研究

针对点云分割中分割目标不明确,边缘不清晰,全局特征与边缘特征未能有效融合等问题,提出 了一种融合边缘检测的 3D 点云语义分割算法。 首先,通过 3D 点云语义分割网络对点云数据进行初步提取 区域内的全局语义特征;然后,采用引入了注意力机制的语义边缘检测网络,能够更好地对点云数据中的物 体进行特征提取增强,抑制非边缘信息的产生,得到了具有丰富的语义信息的边缘特征;最后,通过融合模块 将属于同一物体的语义特征融合起来进行分割细化处理,使得分割目标更精确;此外,使用了双重语义损失 函数,使网络产生具有更好边界的语义分割结果。 通过搭建实验平台和使用 S3DIS 标准数据集进行测试,改 进后的算法在数据集上的平均交互比为 70. 21%,在精度上较 KPConv 语义分割算法有所提高。 实验结果表 明:该算法能够有效改善物体边界分割不清晰、边缘信息模糊等问题,总体分割性能良好。     

基于深度学习的驾驶场景关键目标检测与提取

包含目标识别与边界框选定的目标检测是无人驾驶视觉感知中的关键技术之一。采用基于深度计算机视觉组网络(VGGNet)的新型单次多框检测算法(SSD)进行驾驶环境中的关键目标检测、语义标注和目标框选;同时,针对具体驾驶场景,提出了改进的SSD_ARS算法。通过优化梯度更新算法、学习率下降策略和先验框生成策略,在提高平均检测精度的同时使得小目标类别的检测精度得到明显提升。在实际驾驶场景中9类关键目标的检测实验上验证了本文算法的有效性,实验结果表明,检测速度满足实时检测需求。     

基于M-DCGAN的缺陷检测数据集增广方法

针对智能制造中表面缺陷检测数据集不足问题，提出基于M-DCGAN的数据集增广方法。首先，向判别器添加上采样模块，搭建类U-Net结构并提升判别器与生成器的网络深度；设计基于Canny边缘检测的缺陷位置二值化掩膜提取方法；定义图像掩膜依赖的损失函数，建立缺陷目标位置关注引导机制；插入谱归一化层和Dropout层以提高训练稳定性，保持生成图像数据多样性。带钢缺陷数据集实验结果表明，该模型生成图片质量高于DCGAN、WGAN-GP和InfoGAN。采用本文M-DCGAN算法增广训练数据，能够显著提升并超过传统增广算法在YOLOv5、SSD、Faster R-CNN、YOLOv3等八种经典方法中的缺陷检测精度，验证了本文算法的有效性。     

基于改进YOLOv3的输送带纵向撕裂多视角检测方法

针对输送带纵向撕裂检测中存在的检测视角单一、速度慢、精度低等问题，文章提出一种基于改进YOLOv3算法的输送带纵向撕裂多视角检测方法。首先对原始YOLOv3网络结构进行优化设计，采用29层网络模型(Darknet-29)作为特征提取网络，将原有的3种不同尺度锚点改用为2种不同尺度(26×26,52×52)锚点；将位于多视角检测点的工业相机所采集的纵向撕裂图像制作成数据集，使用K-means算法对输送带纵向撕裂标签进行维度聚类分析，确定先验框参数；最后将改进的YOLOv3算法在数据集上进行测试与训练，并与其他几种算法进行比较。实验结果表明：该检测方法不仅可以较好地检测出输送带纵向撕裂，还可以分类识别出大裂纹或完全撕裂情形；相较于原始YOLOv3算法，改进后的YOLOv3算法平均检测精度均值提高0.4%,达到98.7%,检测速度提高60.6%,达到53帧/s,模型占用内存减少93 Mb,仅为141 Mb,优于YOLOv2和YOLOv3-Tiny算法。该文提出的输送带纵向撕裂检测方法具有模型占用内存低、检测精度高及速度快等优点，为输送带纵向撕裂提供了一种新的检测方案。     

基于RGB-D图像的具有滤波处理和位姿优化的同时定位与建图

RGB-D相机能够同时获得彩色图像和深度图像,广泛用于同时定位与建图(SLAM)的研究.本研究针对RGB-D SLAM方法进行了两方面的改进:一方面,改进点云滤波方法,从而更有效地去除RGB-D相机数据中的噪声和冗余;另一方面,采用ICP算法提高相机位姿估计的精度,从而提高估计的相机运动轨迹的精度.在公开的数据集上对提出的RGB-D SLAM方法进行实验验证,结果表明,该方法能够有效提高移动机器人自主定位与建图的精度.     

基于BA优化和KL散度的RGB-D SLAM系统

针对深度相机采集深度图像的噪声对位姿估计精度的影响,以及误差随时间累积的严重问题,设计了一种改进的基于RGB-D相机的视觉SLAM系统.首先,建立重投影误差模型,通过最小化重投影误差,对位姿和特征点进行非线性优化.此外,提出了一种闭环检测的算法,建立字典模型,用频率-逆文档频率计算权重,用Kullback-Leibler散度计算相似度,并使用相对相似度机制检测闭环,减少了累积误差.使用15个公开的图像序列对算法进行评价,同3个流行的RGB-D SLAM系统对比,精度平均最高提高119. 07%,最低提高4. 24%.实验结果证明,提出的方法比目前流行的RGB-D SLAM系统具有更好的精度.     

基于语义分割的桥梁锈蚀病害识别对比分析

针对桥梁锈蚀数据难获取、锈蚀病害数据集小的问题，基于生成对抗网络(GAN)对桥梁锈蚀数据集进行扩增，并采用IS和K均值聚类算法验证其有效性.采用扩增后的数据集，按4∶1的比例划分为训练集和验证集，分别对U-Net网络和DeepLab-V3+网络进行训练，对比分析2种网络对于锈蚀分割的精度、召回率及F₁分数.结果表明，采用深度卷积生成对抗网络(DCGAN)生成虚拟数据集的IS值达到2.41,分类肘形图类别数为5,与原数据集吻合，可作为扩增数据集以提升模型泛化性；DeepLab-V3+网络模型在验证集上的精度为0.935,召回率为0.952,F₁分数为0.943,均显著高于U-Net网络模型.DeepLab-V3+网络在点状锈蚀区域连通与分割方面优于U-Net网络，并实现了片状锈蚀区域分割，为桥梁锈蚀精准识别与分割提供了技术支撑.     

一种改进yolox_s的火焰烟雾检测算法

针对目前在火灾预警方面还存在火焰烟雾检测效果差、误报率高等问题,在YOLOX框架下提出改进YOLOX＿S目标检测算法。首先在数据集建立方面,采用的数据集包括Bilkent University公开的数据集和部分自建数据集,共计9 621张图片。并且通过对数据集采用Mosaic数据增强的方式,增加数据的多样性。其次对backbone部分采用swin-T骨干网络来代替原来的CSPDarkNet骨干网络,能够更好的捕捉不同尺度下的特征,有效地提升了目标检测的精度。然后对网络模型引入加权双向特征金字塔网络(bidirectional feature pyramid network, BiFPN)特征融合网络,提高检测的效率和网络模型的适应性,在复杂背景下同样可以保持较高的检测精度。最后引入CA注意力机制来加强此算法的特征提取能力。经过对比实验表明,改进后的YOLOX＿S的火焰烟雾检测算法具有较高准确性,其mAP@0.5(预测框与真实框重合程度的阈值为0.5时的平均检测精度)达到81.5%,相比原网络提高了5.3%。改进后的YOLOX＿S网络模型在火焰烟雾检测方面具有更高准确性和更低的误报率。     

士兵和装甲车目标多尺度检测方法

针对士兵和装甲车目标的尺度差异大以及目标距离远近造成的目标多尺度问题,以YOLOv4深度学习算法为基础,提出了一种多尺度目标检测方法. 通过针对性的数据增强方法丰富小目标样本的多样性,对输入图像进行分割预处理以提高网络输入小目标的分辨率,并基于特征金字塔网络实现大、中、小目标的分离检测,最后匹配检测结果并进行NMS处理去除冗余检测框,从而实现多尺度目标检测. 实验结果表明,本文方法在保持大目标检测效果的情况下,中、小目标的平均检测精度分别提升了1.20%和5.54%,有效提高了中、小目标的检测效果.      

基于双编码路径融合和双向ConvLSTM的神经元图像分割

目标分割是神经元图像分析中必不可少的步骤之一，分割的准确性会直接影响到神经元图像分析和重建的质量。在面对结构边界模糊、存在弱噪声或弱纤维信号的神经元图像时，已有的分割方法依然存在误差较大、识别信号不准等问题。为了解决这些问题，基于神经元的特征，本文提出一种基于双编码路径融合和双向ConvLSTM的深度学习网络(DFC-Net)用于神经元图像分割。首先，网络在编码器阶段采用双编码路径提取特征，其中第一路编码路径采用基于空洞卷积的密集连接网络作为固定特征提取器，第二路编码器采用深度残差网络作为特征提取网络；接着，使用密集连接ASPP网络作为桥梁连接编码器和解码器；最后，在跳跃连接中使用双向ConvLSTM结合编码器和解码器，在解码器阶段引入融合网络以融合2个编码器提取的特征，从而增强空间信息的传播。多组对比实验结果显示，本文提出的网络有效地提高了电子显微镜神经元图像的分割精度，在ISBI-2012和SNEMI3D数据集上的Sen、Dice分别达到0.952 7、0.958 9和0.941 6、0.912 7,平均准确率相比于其他U-Net变体网络提高2.93%。