融合几何特征与全局关系的室内点云语义分割

为充分提取3D点云的深层特征以提高复杂室内点云场景的语义分割精度，提出一种结合局部特征和全局特征的室内点云语义分割网络GSFNet.在局部特征部分，加入几何特征信息，并设计几何与语义特征信息编码模块，以更好地捕获室内点云局部信息.对全局特征部分，在编码解码器结构中间层加入全局关系依赖模块，构建不同邻域对象之间的关系提取有效分割信息.使用斯坦福大规模室内数据集(S3DIS)进行实验验证，在测试数据集上测试的总体精度(OA)和平均交并比(mIoU)分别为87.2%和61.1%,实验结果表明，GSFNet对复杂室内环境有较好的语义分割效果.     

特征更新的动态图卷积表面损伤点云分割方法

针对金属部件表面损伤点云数据对分割网络局部特征分析能力要求高,局部特征分析能力较弱的传统算法对某些数据集无法达到理想的分割效果问题,选择采用相对损伤体积等特征进行损伤分类,将金属表面损伤分为6类,提出一种包含空间尺度区域信息的三维图注意力特征提取方法。将得到的空间尺度区域特征用于特征更新网络模块的设计,基于特征更新模块构建出了一种特征更新的动态图卷积网络(Feature Adaptive Shifting-Dynamic Graph Convolutional Neural Networks)用于点云语义分割。实验结果表明,该方法有助于更有效地进行点云分割,并提取点云局部特征。在金属表面损伤分割上,该方法的精度优于PointNet++、 DGCNN(Dynamic Graph Convolutional Neural Networks)等方法,提高了分割结果的精度与有效性。     

融合边缘检测的 3D 点云语义分割方法研究

针对点云分割中分割目标不明确,边缘不清晰,全局特征与边缘特征未能有效融合等问题,提出 了一种融合边缘检测的 3D 点云语义分割算法。 首先,通过 3D 点云语义分割网络对点云数据进行初步提取 区域内的全局语义特征;然后,采用引入了注意力机制的语义边缘检测网络,能够更好地对点云数据中的物 体进行特征提取增强,抑制非边缘信息的产生,得到了具有丰富的语义信息的边缘特征;最后,通过融合模块 将属于同一物体的语义特征融合起来进行分割细化处理,使得分割目标更精确;此外,使用了双重语义损失 函数,使网络产生具有更好边界的语义分割结果。 通过搭建实验平台和使用 S3DIS 标准数据集进行测试,改 进后的算法在数据集上的平均交互比为 70. 21%,在精度上较 KPConv 语义分割算法有所提高。 实验结果表 明:该算法能够有效改善物体边界分割不清晰、边缘信息模糊等问题,总体分割性能良好。     

三维点云室内场景的语义实例联合分割网络

针对点云分割网络无法在复杂的室内场景中实现高精度分割的问题,本文设计了一种基于深度学习的语义实例联合分割网络,同时完成三维点云数据的语义分割和实例分割任务,主要包含多任务学习主干网络、特征融合模块和语义实例特征联合模块等。特征融合模块通过跳跃连接融合多个网络层,分别融合2个任务各自不同级别的特征,加强网络对数据中包含的信息的整合,并选取大型室内场景数据集S3DIS和部件分割数据集ShapeNet进行对比实验。实验结果显示,网络在数据集S3DIS的语义分割的总体准确率为86.5%,在数据集ShapeNet的语义分割类别交并比为83.1%,在数据集S3DIS的实例分割的平均精度为60.8%。语义实例特征联合模块通过多任务级的特征联合增加语义和实例的判别特征,提高了点云的语义分割和实例分割的准确率。     

基于边缘卷积的三维目标识别算法

三维目标检测是实现无人驾驶必不可少的技术,但很多三维检测算法采用的分割算法并不能很好地提取局部特征,导致检测精度不理想。为了改善局部特征缺失的情况,提出一种基于边缘卷积的三维目标识别算法。本算法以激光点云和RGB(red, green, blue)图像作为输入,基于二维候选区域中的像素过滤激光点云生成视锥点云,以此提高检测速度。同时,在分割算法中,在点云的局部特征图的基础上计算目标点和相邻点之间的欧氏距离,并将其作为边缘特征赋予目标点和相邻点。此外,在卷积神经网络提取特征的过程中,每次卷积完成后都会在新的局部特征图上重新计算三维点之间的欧氏距离,为三维点构造新的边缘特征。这使得边缘特征能随着卷积神经网络的计算扩散到整个点云,从而提高局部特征的提取效果。本算法在KITTI(Karlsruhe Institute of Technology and Toyota Technological Institute)的三维点云数据集上进行验证,分割精度达到92.82%,相比于F-PointNet提高了2.30百分点;对不同目标的检测精度也有所提高,车辆、自行车、行人的检测精度分别达到了85.77%,76.09%,53.08%。试验结果证明了本算法的可行性。本算法可应用于无人驾驶汽车,实现车辆、行人和自行车的定位与检测。     

基于深度卷积神经网络的三维模型识别

为了进一步提高三维模型的识别精度,提出了一种基于深度卷积神经网络的三维模型识别方法。将点云数据通过占用网格规范化计算转化为二值3D体素矩阵,通过附加正则化项的随机梯度下降算法提取体素矩阵的特征,再通过共享权重的旋转增强对训练集进行数据增广并以此对模型标签进行预测。实验结果表明,该算法在公开数据集ModelNet40及悉尼城市模型数据集上的识别精度均达到85%左右。与基于同类机器学习的三维模型识别算法相比,在相同训练数据集上该方法网络训练时间短,在相同测试数据集上模型识别准确率高,检索速度快。提出的体素占用网格模型的深度卷积神经网络,可以实现三维点云模型数据集及规范化体素模型数据集的识别和分类工作。     

基于密度自适应深度网络的点云场景语义分割算法

由于传感器噪声干扰，点云密度不均匀，场景复杂多样以及物体之间存在遮挡现象等问题，使得三维点云场景语义分割问题的研究工作极具挑战性。针对三维点云数据采样密度不均匀以及图卷积网络深度有限的问题，提出一种密度自适应的方法。该方法通过多层感知器学习一个权重函数，利用核密度估计学习一个密度函数，对非均匀采样的点云数据进行卷积操作。同时，受深度学习在图像领域的启发，引入残差连接、空洞卷积等结构，训练更深层的点云分割网络。该算法在多个点云分割的标准数据集上取得了优秀的性能。     

对融合特征敏感的三维点云识别与分割

三维点云分类分割网络忽视了融合特征中的冗余信息,缺乏放大有效特征占比能力,不能充分挖掘特征的表达性。在CurveNet网络基础上,提出了一种能够筛选和丰富融合特征的方法,对点云的识别与分割效果达到了较先进水平。首先,提出了对融合特征具有筛选能力的特征选择子网络,利用结合了打分机制的TopK算子选出包含有效信息的融合特征,并且能够自适应地赋予被选特征权重。其次,在聚合曲线特征模块中增加了两个新分支,分别学习曲线内部点距离特征和曲线之间的线距离特征,通过快速通道相关性注意力机制提取各分支的内部相关性,增强了网络特征的信息描述能力。实验结果表明,分类任务在ModelNet40数据集上准确率达到了93.8%,分割任务在ShapeNet Part数据集上平均交并比达到了86.4%。与基准网络相比,分类效果与分割效果均有所提高,证明了算法的有效性。     

基于视觉SLAM的物体实例识别与语义地图构建

针对目前面向语义同步定位与地图构建(SLAM)研究大多需要已知三维对象模型作为先验知识,或者只对有限的几种物体的类别进行语义分割,而没有区分对象的个体的问题,结合目前先进的基于深度学习的实例分割算法和视觉SLAM算法提出了一种面向实例个体的物体识别和语义地图构建方法,使得机器人不仅获得了面向导航的环境几何信息,而且掌握了面向物体个体的属性和位置信息.该方法利用由视觉SLAM算法获得的图像帧间几何一致性约束来促进连续图像帧中物体匹配与识别结果,提高物体实例识别的精度,同时结合实例识别结果完成语义建图的任务.最后实现了基于视觉SLAM算法的物体实例识别与语义地图构建系统,并在ICL-NUIM数据集上进行实验,实验结果表明该系统能够基本完整地识别场景中的各种物体并生成环境的语义地图,验证了本方法的有效性.     

基于卷积神经网络的三维物体检测方法

提出了一种新的三维物体检测方法.在物体定位部分,采用随机采样一致和欧式聚类算法分割三维物体点云以减少计算量;在物体识别部分,将物体点云转化为深度图像,利用k-Means聚类算法学习卷积核,利用卷积网络提取卷积特征,从而提高图像的识别率,并在2个公开的三维物体数据集上对所提出的特征提取算法进行测试.结果表明,与传统的点云特征提取方法相比,基于卷积网络的特征提取方法的识别率较高.     

一种3D点云分割改进型边缘特征提取网络

针对点云分割中边缘特征提取不足导致局部特征信息不完整、整体分割精度下降的问题,提出一种3D点云分割改进型边缘特征提取网络.为提升边缘特征表达能力,对深层边缘特征提取层做出改进,引入基于残差结构改进的多层感知机结构,形成边缘特征提取单元,该单元将原始点云特征与多层感知机提取边缘特征相融合,获取更加丰富完整的边缘信息,提高3D点云分割网络模型精度.在Shapenet数据集上的实验结果表明,提出的3D点云分割改进型边缘特征提取网络优于现存同类方法,相较于LDGC-NN链接动态图网络,点云分割准确率提升了1.17％.     

基于不变角度轮廓线的三维目标识别

三维物体的快速准确识别是研究的热点.根据局部特征变换的特点,提出了不变角度轮廓线的识别方法.算法通过点云矢量特征对物体进行局部分割,利用欧式距离、测地距离以及角度三个变量,建立其不变角度轮廓特征描述,进一步提取不变矩特征,构建特征向量数据库集.被识别物体的特征描述和数据库中特征进行夹角余弦匹配,可完成物体的识别.通过识别实验以及识别算法性能分析,结果表明算法具有较高的识别率和识别效率,可以用于复杂点云物体识别.     

基于移动激光扫描点云数据栅格化的交通标线分割算法

针对目前交通标线提取研究对于语义信息丰富的标线精细化分割研究不足的现状, 通过移动激光扫描数据提出了一种精细化交通标线的语义分割算法。该算法先从道路点云中提取出路面,并根据点云的强度信息将其转变为栅格图像并对其优化,通过二值化处理提取出路面标线;在此基础上根据矩形度筛选将所有标线对象粗分为两类,并采用不同的语义分割策略进行识别,最后获得了10种符号标线以及非符号标线对象的精细化语义信息。实验选取了上海8组不同区域的城市道路点云数据进行验证,结果表明该算法具有96.04 %的精度与96.92 %的召回率,综合评价指标F达到96.48 %,为高精地图提供了更加丰富的交通标线语义信息。     

基于几何特征与三维点云特征的道路边沿识别算法

针对目前典型道路边沿识别算法存在实时性与可靠性难以兼顾的问题,基于多线激光雷达,根据道路边沿的几何特征与三维点云特征,提出了一种权衡实时性与可靠性的道路边沿识别算法。依据多线激光雷达扫描获取的大量点云数据,基于RANSAC算法的地面分割方法,滤除了预设感兴趣区域内的地面数据点,然后将剩余的无序点进行有序栅格化投射处理,根据道路边沿区域的几何特征与点云分布特征进行匹配筛选,再融合RANSAC的最小二乘法,以完成道路边沿曲线的鲁棒拟合。实验表明,算法在直道和弯道场景识别准确率均大于95%,耗时均低于15 ms,具有良好的准确性和实时性。所提算法能有效识别道路边沿,可为智能车可行驶区域的识别及控制提供理论参考与方法依据。     

自适应Harris角点提取的点云粗配准算法

针对传统3D-Harris角点提取算法中,Harris算子使用降维后的缺失几何信息、角点提取时响应值计算量大且耗时长、特征点对匹配精度不高以及需要手动设定角点响应阈值等问题,提出了一种完整而高效的Harris角点自适应特征描述、提取和匹配的点云粗配准算法。引入正交梯度算子对传统Harris算子和自相关函数进行改进;利用点云曲率约束实现角点的自适应筛选与提取,减少角点响应值的计算量;构建角点几何结构的特征描述子,结合阈值检测和描述子匹配,将角点匹配对集合进行扩展,从而完成源点云和目标点云之间粗配准;将所提算法得到的配准结果作为精配准初始值,利用迭代最近点算法实现精配准。与对比算法在公开数据集上进行实验比较,结果表明：所提算法的特征正确提取率为0.93,正确率最高;提取时间为7.63 s,效率最快;所提算法结合精配准步骤在实验数据集上的旋转误差、平移误差和运行时间均为最低,配准效果最佳。     

基于立体视觉的一般物体识别方法

为了使计算机具有与人类相似的在复杂背景下识别一般物体的视觉处理能力,提出了一种基于立体视觉的一般物体识别方法.该方法的核心在于融合二维图像信息和双目相机获取的深度信息,对视野中的环境进行物体定位、图像分割、特征描述以及物体识别.通过双目相机获取环境的三维点云信息,并利用mean-shift算法进行聚类,剔除干扰点,从而实现物体在二维图像上的定位与分割.利用含有空间关系的BoW模型对分割后独立区域内的物体进行识别,得出判别结果.此外,在利用sift算法进行特征点提取以及利用mean-shift算法进行聚类的环节中,采用CUDA环境下的GPU进行加速处理,提高了处理速度.实验结果表明,所提方法具有较好的识别效果和鲁棒性.     

MR中融合语义特征传播模型的前景对象感知定位算法

移动主体获得准确的定位信息是构建稳定的混合现实(mixed reality,MR)系统的关键,然而MR中的前景对象对传统定位算法的精度影响较大.现阶段基于深度学习的定位算法可以通过识别前景对象来提升精度,但深度学习模型耗时过高,导致算法实时性下降.针对该问题,提出了一种MR中融合语义特征传播模型的前景对象感知定位算法.该算法依托语义分割网络与一种快速旋转的二进制独立稳定描述子特征(oriented fast and rotated binary robust independent elementary feature,ORB)提取算法构建了语义特征传播模型,实现高速语义特征提取;融合该模型和几何特征检测方法实现算法中的前景对象感知层,并依赖该感知层剔除MR中前景对象的特征点,构建了背景特征点集,实现高精度、高实时性的定位.实验结果表明:在慕尼黑工业大学(Technical University of Munich,TUM)公共数据集的高动态前景对象场景中,相比动态语义视觉同步定位与建图(dynamic semantic visual simultaneous localization...     

基于多尺度特征提取的图像语义分割

指出了基于深度学习的图像语义分割中,如何充分利用图像上下文信息以达到更好的分割效果,是当前图像语义分割研究的关键问题.为解决这一问题,提出了一种基于多尺度特征提取的图像语义分割方法,通过构建深层卷积神经网络,并利用不同尺度图像作为网络的输入来提取不同尺度图像的特征,最后经过特征融合得到了分割图.在公开数据集Stanford background dataset 8类数据集上进行训练和验证,实验结果达到了84.33%的准确率.实验表明:通过提取和融合多尺度特征,可以达到更好的图像语义分割效果.     

基于点云数据的分割方法综述

点云是一种能够完整表达场景信息的重要数据格式。近年来,对于点云的探索引起了越来越多研究人员的关注,并且迅速在计算机视觉、自动驾驶和机器人等许多领域得到了广泛应用。但是,由于点云独特的数据形式,使用深度神经网络处理点云时面临着独特挑战,因此基于点云的深度学习方法仍处于起步阶段。最近,利用点云处理分割任务出现了许多优秀的方法。为了激发未来对点云研究的深入发展,本文对点云深度学习方法的最新进展进行回顾,涵盖了三个主要任务,包括点云语义分割、点云实例分割以及常用的三维图像数据集,对其中处理点云的深度学习经典方法展开对比分析,提供多种方法在不同数据集上的比较结果,并且提出了一些观点和未来研究方向。     

基于超点图的点云实例分割方法

提出一种基于超点图的点云实例分割(ISPG)方法。基于超点图结构提取点云对象相邻点之间的关联性特征,并且将传感器扫描的场景划分为均匀的几何元素,用来表示同属性的点云类,再由一个图卷积网络实现实例分割。结果表明:IoU阈值为0.5的情况下,该方法在斯坦福大型三维(3D)室内空间数据集S3DIS上精度达到了48.9%。