融合几何特征与全局关系的室内点云语义分割

为充分提取3D点云的深层特征以提高复杂室内点云场景的语义分割精度，提出一种结合局部特征和全局特征的室内点云语义分割网络GSFNet.在局部特征部分，加入几何特征信息，并设计几何与语义特征信息编码模块，以更好地捕获室内点云局部信息.对全局特征部分，在编码解码器结构中间层加入全局关系依赖模块，构建不同邻域对象之间的关系提取有效分割信息.使用斯坦福大规模室内数据集(S3DIS)进行实验验证，在测试数据集上测试的总体精度(OA)和平均交并比(mIoU)分别为87.2%和61.1%,实验结果表明，GSFNet对复杂室内环境有较好的语义分割效果.     

融合边缘检测的 3D 点云语义分割方法研究

针对点云分割中分割目标不明确,边缘不清晰,全局特征与边缘特征未能有效融合等问题,提出 了一种融合边缘检测的 3D 点云语义分割算法。 首先,通过 3D 点云语义分割网络对点云数据进行初步提取 区域内的全局语义特征;然后,采用引入了注意力机制的语义边缘检测网络,能够更好地对点云数据中的物 体进行特征提取增强,抑制非边缘信息的产生,得到了具有丰富的语义信息的边缘特征;最后,通过融合模块 将属于同一物体的语义特征融合起来进行分割细化处理,使得分割目标更精确;此外,使用了双重语义损失 函数,使网络产生具有更好边界的语义分割结果。 通过搭建实验平台和使用 S3DIS 标准数据集进行测试,改 进后的算法在数据集上的平均交互比为 70. 21%,在精度上较 KPConv 语义分割算法有所提高。 实验结果表 明:该算法能够有效改善物体边界分割不清晰、边缘信息模糊等问题,总体分割性能良好。     

基于局部感知的点云语义分割方法

点云语义分割技术是点云数据处理、三维场景理解与分析的有效手段之一。针对点云场景中局部形态各异,导致网络模型识别特征困难的问题,提出了邻域分布关系学习和混合尺度融合的方法,来增强局部感知能力。在卷积算子思想的基础上,根据邻域内所有点在三个坐标轴方向上的联合分布,学习其在高维特征层面的关系,从而捕获局部的整体相关性。此外,将包含小范围底层特征和大范围深层特征的邻域进行整体融合,有效保留不同层级的特征,并能够辅助网络修正相似或错误特征。在场景分割数据集S3DIS、ScanNet上进行实验验证,结果表明该方法在总体精度和类均精度的评价指标上均有提升,证明了其有效性。     

变电站巡检机器人道路语义分割方法及其应用

为提升变电站巡检机器人对道路场景的识别理解能力,将深度学习技术应用于变电站巡检机器人中,提出了一种适用于变电站道路场景的全卷积语义分割网络。该网络借鉴ENet编码结构提取图像特征,同时融入多种解码结构来获取更多有效特征,恢复图像目标信息。同时,针对巡检机器人以及变电站道路特点,将语义分割结果转化为机器人前方目标信息以及机器人偏离情况信息,辅助机器人导航避障。实验结果表明:所提出的网络有效地提升了图像分割精度,并能较好地适应于实际变电站环境中。研究结果为机器人提供了有效的道路场景信息,辅助机器人导航避障。     

采用车载激光雷达的带状地物矢量化与结构特征提取

针对车载激光点云带状地物形状多样、难以用规则语义信息矢量化,以及结构语义信息提取研究较少的问题,提出一种基于Ribbon Snake模型的车载激光雷达带状地物(道路边界、实线型标线、铁轨)矢量化与结构特征提取方法.首先,通过格网剖分构建点云特征图,利用Ribbon Snake模型提取带状地物矢量化数据;然后,分析不同道路和铁路场景的结构特征,生成具有准确几何和拓扑结构信息的三维矢量数据和属性数据.实验表明:该方法能够准确地提取带状地物矢量化与结构信息,实现不同场景下带状地物的有效完整描述.     

基于几何特征与三维点云特征的道路边沿识别算法

针对目前典型道路边沿识别算法存在实时性与可靠性难以兼顾的问题,基于多线激光雷达,根据道路边沿的几何特征与三维点云特征,提出了一种权衡实时性与可靠性的道路边沿识别算法。依据多线激光雷达扫描获取的大量点云数据,基于RANSAC算法的地面分割方法,滤除了预设感兴趣区域内的地面数据点,然后将剩余的无序点进行有序栅格化投射处理,根据道路边沿区域的几何特征与点云分布特征进行匹配筛选,再融合RANSAC的最小二乘法,以完成道路边沿曲线的鲁棒拟合。实验表明,算法在直道和弯道场景识别准确率均大于95%,耗时均低于15 ms,具有良好的准确性和实时性。所提算法能有效识别道路边沿,可为智能车可行驶区域的识别及控制提供理论参考与方法依据。     

视觉导航的多尺度全方位时空图象综合理解方法

本文提出基于全方位时空图象的多尺度视觉导航方法。其基本思想是根据具体视觉任务（道路识别、障碍物检测和全局定位）的要求，采用不同时空尺度的视觉传感器和处理方法，将空域大尺度的全方位“环视”，小尺度的双目“注视”和时域大尺度的时空“远视”相结合，综合完成道路图象的理解。设计了适于机器处理的特殊传感器和快速有效的处理方法，并利用图象级的不变性避免了困难的图象分割和三维恢复。     

基于自适应阈值的循环增长地面点云分割算法

在坡度、路面起伏不平的场景中,针对单一阈值敏感性不足,多阈值简单组合存在冗余计算,且影响分割精度和鲁棒性的问题,提出了一种基于阈值自适应选取的点云分割方法。该方法在栅格分割中引入循环增长判断,以兼顾局部特征与全局特征,设计了一种触发式双特征判断机制,并通过拟合地面波动幅度自适应确定分割的高度阈值提高算法的分割效率和分割精度。最后基于开源数据集进行了仿真测试,验证了所提算法在地面点云分割中的精确性和时效性。     

基于深度学习的自适应场景路面提取方法

为满足无人驾驶车辆对越野环境的适应能力,提高无人驾驶车辆对环境的理解能力,必须对环境感知层面提出更高的要求.而环境感知中最为关键的一点就是车道线提取或者路面提取.与城市环境下的结构化道路相比,越野环境下的路面提取更加复杂.综合对多种越野场景展开研究,提出了一种能够自适应场景变化的路面分割方法.文中在越野环境下采集了大量的数据,并且制作了相应的数据集;应用深度学习技术对这些场景进行识别;应用语义分割算法对不同场景下的路面进行分割;最后统一了整个算法模块,给出测试结果.      

基于CTA图像的两阶段U-Net冠状动脉分割

基于CT血管造影(computed tomography angiography,CTA)图像的冠状动脉自动分割的挑战在于冠状动脉结构复杂、前背景分布严重不平衡,分割时易受冠状静脉和其他组织的干扰.提出了一种两阶段的冠状动脉分割算法,第一阶段采用具有密集特征提取和残差特征修正能力的3D DRU-Net进行分割,保证分割的召回率;在第二阶段提出2D双编码多特征融合U-Net(2D DEMFU-Net)进行细分割,先对原始图像和第一阶段分割结果分别进行特征提取,再采用密集跳跃连接融合两个分支上的多层次语义特征,进一步提高分割准确性.实验结果表明,提出的两阶段分割算法在CortArt2020数据集上的Dice相似系数、召回率和精确度分别优于3D U-Net网络3.83%,5.31%和2.23%.     

基于多RGBD摄像机的动态场景实时三维重建系统

使用多台基于FPGA嵌入立体计算的RGBD摄像机搭建动态场景实时三维重建系统. RGBD摄像机能够以视频速度输出场景的彩色(RGB)图像及对应的稠密视差(disparity)图像,由视差图像可进一步得到场景的深度图. 多台RGBD摄像机运行在统一的外部时钟和控制信号下,可实现对目标场景数据的同步采集. 为了提高各视点所获取的场景深度图质量,根据多RGBD摄像机系统视点分布较为稀疏的特点,使用概率密度函数估计的方法进行多视点深度图的融合. 融合后的深度图由PC集群进行处理,可实时生成所拍摄场景的三维空间点云. 实验结果表明,本文系统可以有效地重建包含多个运动目标的大型动态场景.      

一种轻量化非结构化道路语义分割神经网络

非结构化道路由于没有明显车道线且道路特征多、地域差异大，现有的结构化道路分割方法无法满足非结构化道路分割在实际应用中的实时性与准确性要求．为了解决上述难点，本文基于DeepLabv3+网络提出一种G-lite-DeepLabv3+网络结构，使用Mobilenetv2网络替换解码器中的Xception特征提取网络，并通过在Mobilenetv2网络与空洞空间金字塔池化模块中使用分组卷积替换普通卷积，且有选择地取舍批规范层来减少参数量，在不影响精度的同时提升分割效率．同时针对非结构化道路在图像里分布位置相对较固定的特点，引入注意力机制对高级语义特征进行处理，提升网络对有用特征的敏感度与准确性．选用与我国非结构化道路路况相似的印度道路驾驶IDD进行训练，并与其他经典语义分割网络进行实验对比，结果表明，相比于其他网络，本文提出的G-lite-DeepLabv3+准确率与实时性均表现较好、误分割与边缘清晰度均好于对照网络；与经典算法进行对比，平均交并比mIoU提升1.3%，平均像素精度提升6.2%，帧率提升22.1%.     

用于肺结节检测和分类的两阶段深度学习方法

针对肺部CT数据具有空间信息的特点, 提出一种基于深度学习的两阶段方法, 即使用两个3D卷积网络有效学习结节特征, 对CT图像中的肺结节进行检测和分类. 该方法的检测器部分采用基于U Net的编码器 解码器结构的3D语义分割模型, 以预测结节的位置、 大小和语义掩码; 分类器部分采用3D双路径网络, 用于特征的汇总和收缩, 并给出分类结果. 为充分利用原始数据中的特征信息, 将检测器的结果应用于对原始数据进行采样和掩码操作, 并通过空间金字塔池化层获得一致的输入尺度. 在公开数据集上的实验结果表明, 该深度学习方法对CT图像肺结节的检测和分类具有良好的性能.     

基于改进随机抽样一致的点云分割算法

随着三维点云数据模型在三维建模、测绘、智能城市以及机器视觉等领域的应用,点云数据处理也成为一个研究热点。点云分割就是将三维空间中点云通过一系列算法,将散乱的点云数据划分成更为连贯的子集的过程,可以为后续的数据分析提供数据基础。针对随机抽样一致算法(random sample consensus, RANSAC)对杂乱、无规则点云数据分割效果不佳的问题,提出一种改进的RANSAC点云分割算法。该算法通过构建Kd(K-dimensional)树,利用半径空间密度重新定义初始点的选取方式,进行多次迭代来剔除无特征点,在实现点云分割的同时可以有效去除噪声点;此外,该算法重新设定判断准则,优化面片合并,可以实现点云的精确分割。实验通过对散乱点云数据进行分割,结果表明该改进RANSAC算法的点云特征提取数据量较大,面片分割的准确性较高,是一种有效的点云分割算法。     

基于目标检测的激光雷达道路边缘检测算法

道路边缘检测是自动驾驶车辆环境感知的重要组成部分,有效地从点云数据中提取道路边缘信息,有利于进行目标检测以及可行驶区域检测。针对点云道路边缘检测问题,提出了一种考虑车辆等道路参与者对道路边缘检测带来干扰的解决方案。首先,采用地面点云分割算法,将原始点云分割成地面点云和非地面点云;其次,根据车辆等道路参与者的固有特性,采用点云聚类算法对点云进行聚类,并将符合车辆等道路参与者特性的非地面点云进行滤除;再次,根据道路边缘点云在二维平面内,能够有效地遮挡激光发射中心点与非道路边缘点之间的连线,从而提取道路边缘点云;最后,采用随机抽样一致性(random sample consensus, RANSAC)算法对道路边缘点云进行多项式拟合,并使用扩展卡尔曼滤波器对道路边缘进行跟踪。实验结果表明,所提点云道路边缘检测算法能够消除车辆等道路参与则对点云道路边缘检测的影响,且算法满足实车实时性和鲁棒性要求。     

一种面向高分辨率激光扫描点云的三维建筑物的风格化渲染方法

目前,三维激光扫描仪已经可以方便且快速地获取大范围建筑物的高分辨率三维点云数据。然而,尽管高分辨的建筑物点云数据可以精确且直观的描述真实的建筑物场景,但是由于点云具有离散化的特点,传统直接展示原始三维点云数据的方法缺乏良好的视觉效果。针对高分辨率激光扫描点云的渲染问题,本文提出了一种面向高分辨率激光扫描点云的三维建筑物的风格化渲染的方法。该方法首先提出远距离点采样方法,在简化点云数据的同时保留其三维结构化信息,然后引入基于神经网络的风格渲染方法高效渲染三维建筑物网格数据,最后提出了基于KDTree的网格数据与点云数据的融合方法生成渲染点云。实验表明,该框架可有效地将给定二维图像的风格转化为三维建筑物风格,在保证良好视觉效果的同时,保留了建筑物的精确三维几何信息。     

基于关键点的点对特征三维目标识别算法

针对复杂场景下的三维点云目标识别速度慢,准确率低的问题,提出了一种基于关键点的点对特征三维目标识别算法. 通过直接对关键点建立点对特征,避免了周围邻域局部曲面的特征计算,具有空间维度小和计算速度快的特点. 使用哈希表存储,加快了特征匹配的时间. 利用快速投票方案对模型点云和场景点云进行匹配识别,生成候选位姿,利用贪婪算法对候选位姿进行聚类与筛选,采用ICP算法对物体位姿进行优化,基于配准后的点云重叠情况完成目标识别. 对提出的算法在多个数据集以及真实场景下进行了实验,验证了所提出的识别方法具有可行性和有效性,且对噪声的鲁棒性较强,具有一定的实际工程应用价值.      

基于SegNet的非结构道路可行驶区域语义分割

为了增强自动驾驶车辆对非结构化道路中可行驶区域的场景理解能力,基于SegNet深度学习网络结构,提出了一种针对非结构道路的可行驶区域语义分割方法。在传统的卷积神经网络基础上,构建编码-解码深度卷积神经网络,用于自动习得图片中非结构化道路的特征,通过在数据集上进行训练和学习,得到图像语义分割模型,可直接用该模型预测非结构道路中的可行驶区域,实现自动驾驶车辆在非结构道路中行驶时的环境感知。实验结果表明,研究方法分割效果和精确度提升明显,Dice相似度和Jaccard相似系数均可达80%以上。     

基于三维虚拟vr的历史街景重现技术

传统方法采集点云数据时容易丢失信息,无法保证历史街景重现的完整性。为此,提出一种新的基于三维虚拟vr的历史街景重现技术,对采集的0像素值点进行去噪处理,防止大量空洞产生。通过取交集对由三维采样点构成的集合进行多帧融合处理,求出各三维采样点的深度可信度,根据深度可信度排序对三维采样点进行无重复融合处理,获取历史街景完整三维点云。依据ICP法,通过不停查找对应点集及运算变换关系的过程,找到目标点集与参照点集间的旋转矩阵与平移向量,将感兴趣重建部分从整个场景中分离实现点云配准。将历史街景三维重建模型添加至Google Earth平台,在Google Earth平台实现历史街景重现。实验结果表明,所提方法能够有效实现历史街景重现,重建精度高、完整性强。     

基于图像分割和孔洞修复的三维伤口测量方法

伤口测量是临床医学研究中一项重要工作。传统的接触式伤口测量方法存在测量结果稳定性差、易造成伤口二次伤害的问题,基于2D图像处理的非接触式伤口测量方法存在精度差、无法获得伤口深度信息的问题。为此,设计了一种基于图像分割和孔洞修复的三维伤口测量方法。采用异源图像对齐算法解决了异源图像由于视差导致的图像像素错位问题;通过基于改进的区域生长法设计了一种交互式伤口区域分割方法,实现伤口区域精准分割。最后,采用基于径向基函数(radial basis function, RBF)的三维点云孔洞修复算法进行伤口皮肤复原,从而得到伤口的最大深度、体积等三维参数。实验结果表明：所提方法的测量误差低于3%,其测量精度以及稳定性皆优于接触式和基于2D图像处理的伤口测量方法,满足临床使用以及医学研究的应用需求。