融合几何特征与全局关系的室内点云语义分割

为充分提取3D点云的深层特征以提高复杂室内点云场景的语义分割精度，提出一种结合局部特征和全局特征的室内点云语义分割网络GSFNet.在局部特征部分，加入几何特征信息，并设计几何与语义特征信息编码模块，以更好地捕获室内点云局部信息.对全局特征部分，在编码解码器结构中间层加入全局关系依赖模块，构建不同邻域对象之间的关系提取有效分割信息.使用斯坦福大规模室内数据集(S3DIS)进行实验验证，在测试数据集上测试的总体精度(OA)和平均交并比(mIoU)分别为87.2%和61.1%,实验结果表明，GSFNet对复杂室内环境有较好的语义分割效果.     

融合边缘检测的 3D 点云语义分割方法研究

针对点云分割中分割目标不明确,边缘不清晰,全局特征与边缘特征未能有效融合等问题,提出 了一种融合边缘检测的 3D 点云语义分割算法。 首先,通过 3D 点云语义分割网络对点云数据进行初步提取 区域内的全局语义特征;然后,采用引入了注意力机制的语义边缘检测网络,能够更好地对点云数据中的物 体进行特征提取增强,抑制非边缘信息的产生,得到了具有丰富的语义信息的边缘特征;最后,通过融合模块 将属于同一物体的语义特征融合起来进行分割细化处理,使得分割目标更精确;此外,使用了双重语义损失 函数,使网络产生具有更好边界的语义分割结果。 通过搭建实验平台和使用 S3DIS 标准数据集进行测试,改 进后的算法在数据集上的平均交互比为 70. 21%,在精度上较 KPConv 语义分割算法有所提高。 实验结果表 明:该算法能够有效改善物体边界分割不清晰、边缘信息模糊等问题,总体分割性能良好。     

基于超点图的点云实例分割方法

提出一种基于超点图的点云实例分割(ISPG)方法。基于超点图结构提取点云对象相邻点之间的关联性特征,并且将传感器扫描的场景划分为均匀的几何元素,用来表示同属性的点云类,再由一个图卷积网络实现实例分割。结果表明:IoU阈值为0.5的情况下,该方法在斯坦福大型三维(3D)室内空间数据集S3DIS上精度达到了48.9%。     

结合位置关系卷积与深度残差网络的三维点云识别与分割

针对现有点云识别与分割算法因忽视点的位置特征和局部几何特征关系而导致难以捕获具有鉴别力的局部几何信息的问题,提出基于位置关系深度残差神经网络的三维点云识别与分割算法。将原始点云嵌入到高维空间并获取其高维特征;将点云的高维特征输入位置关系卷积实现局部邻域内当前点特征与位置几何特征的信息交流,并通过深度残差模块强化提取到的深层语义特征,分层重复以上步骤可逐步得到点云的高级上下文语义特征;通过全连接层与解码器,得到点云的识别与分割结果。实验结果表明,所提算法在ModelNet40点云分类数据集的识别精度达到了93.9%,在ShapeNet Part点云部件语义分割数据集的平均交并比达到了86.0%。所提算法能够提取三维点云的关键特征信息,具有较好的三维点云识别与分割能力。     

特征更新的动态图卷积表面损伤点云分割方法

针对金属部件表面损伤点云数据对分割网络局部特征分析能力要求高,局部特征分析能力较弱的传统算法对某些数据集无法达到理想的分割效果问题,选择采用相对损伤体积等特征进行损伤分类,将金属表面损伤分为6类,提出一种包含空间尺度区域信息的三维图注意力特征提取方法。将得到的空间尺度区域特征用于特征更新网络模块的设计,基于特征更新模块构建出了一种特征更新的动态图卷积网络(Feature Adaptive Shifting-Dynamic Graph Convolutional Neural Networks)用于点云语义分割。实验结果表明,该方法有助于更有效地进行点云分割,并提取点云局部特征。在金属表面损伤分割上,该方法的精度优于PointNet++、 DGCNN(Dynamic Graph Convolutional Neural Networks)等方法,提高了分割结果的精度与有效性。     

POWERLINE-ALS:一种用于输电线路场景深度学习语义分割的机载LiDAR点云数据集

为实现基于深度学习的输电线路点云精确语义分割,必须建立能够准确反映目标类别特征的点云数据集。但现有数据集无法满足输电线路场景点云语义分割的需要。因此,基于机载LiDAR获取的某地区500 kV超高压输电线路巡检点云数据构建了一套深度学习数据集——POWERLINE-ALS。该数据集包含地线、导线、杆塔、植被、建筑、低矮电力线等6个类别,输电线路长21 km。同时,利用PointNet++、PointCNN、KPConv、SPG、RandLA-Net等5种常用深度学习模型对数据集进行了训练和测试。模型实验结果表明,POWERLINE-ALS能够在目前主流的深度学习模型上应用,具有普适性,其最高测试精度和平均交并比分别达95.31%和82.25%,可以满足实际点云数据语义分割工作的精度要求。     

基于RGB-D图像和深度学习的场景语义分割网络

近年来,深度卷积神经网络应用于图像语义分割领域并取得了巨大成功。本文提出了一个基于RGB-D(彩色-深度) 图像的场景语义分割网络。该网络通过融合多级RGB网络特征图和深度图网络特征图,有效提高了卷积神经网络语义分割的准确率。同时,本文利用带孔的卷积核设计了具有捷径恒等连接的空间金字塔结构来提取高层次特征的多尺度信息。在SUN RGB-D数据集上的测试结果显示,与其它state-of-the-art的语义分割网络结构相比,本文所提出的场景语义分割网络性能突出。     

一种3D点云分割改进型边缘特征提取网络

针对点云分割中边缘特征提取不足导致局部特征信息不完整、整体分割精度下降的问题,提出一种3D点云分割改进型边缘特征提取网络.为提升边缘特征表达能力,对深层边缘特征提取层做出改进,引入基于残差结构改进的多层感知机结构,形成边缘特征提取单元,该单元将原始点云特征与多层感知机提取边缘特征相融合,获取更加丰富完整的边缘信息,提高3D点云分割网络模型精度.在Shapenet数据集上的实验结果表明,提出的3D点云分割改进型边缘特征提取网络优于现存同类方法,相较于LDGC-NN链接动态图网络,点云分割准确率提升了1.17％.     

基于深度学习的图像全景分割改进算法模型

图像语义分割和实例分割是计算机视觉领域基础挑战性工作,图像全景分割统一解决两者的任务,其核心为图像中每一个像素分配相应的类别标签以及为类别中每一个实例分配ID。经典UPSNet已经取得了较好的全景分割效果,但是使用了一种单向信息流动的特征金字塔网络,将存在实例分支的目标实例定位不够准确的问题,并且语义分支的语义分割能力还需进一步提升。本文通过考虑两个任务的差异性以及共性,重新设计特征金字塔网络结构以提取出更适合全景分割的特征图,从而提高了实例分支的AP评价指标。在语义分支中引入了克罗内克卷积,与可变形卷积进行融合使得特征图的感受野更大并且捕获了局部信息,使语义分支的mIoU评价指标得到了提高。此模型在Cityscapes数据集上进行实验,验证了所设计的每个模块及整个模型的有效性。     

基于特征融合注意力的小样本语义分割算法

针对小样本语义分割任务中对查询图片的信息利用不充分的问题，提出一种基于特征融合注意力的小样本语义分割算法。首先，利用共享主干网络编码支持图片和查询图片，从而获取图片的深度特征；然后，利用注意力机制获取支持特征和查询特征的强关联语义信息，从而构造任务注意力特征图；最后，提出一种多特征注意力融合模块，它能够自适应融合多种特征的深层语义信息并进行特征解码，从而获取目标物体的分割掩码。在PASCAL-5ⁱ和COCO-20ⁱ公开数据集进行了实验，结果表明，所提出模型比当前主流的小样本语义分割模型在1-way 1-shot和1-way 5-shot任务中分割得更加精准，尤其是在更具有挑战性的COCO-20ⁱ数据集上，所提出模型在1-shot的设定下达到了28.8%的mIoU和62.1%的FB-IoU,在5-shot设定下达到了36.9%的mIoU和64.8%的FB-IoU。     

基于组对比学习的弱监督三维点云语义分割方法

三维点云语义分割方法,是三维视觉环境感知中的重要任务,被广泛应用于自动驾驶、增强现实、机器人等领域.然而,大多数语义分割方法工作在全监督的模式下,为数据标注带来了极大的压力,为了解决对于大规模点云标注数据的依赖问题,许多工作基于有标签数据训练生成伪标签进一步迭代训练模型,但未考虑到错误伪标签累积所导致的确认偏差.针对该问题,本文提出了一种基于组对比学习的弱监督三维点云语义分割方法,在从伪标签中选择的正例组与负例组之间构造对比学习,令伪标签之间相互竞争,减少错误伪标签的梯度贡献,从而缓解确认偏差.实验结果表明,本文所提出的方法在S3DIS、ScanNetV2、Semantic3D等3个公开数据集上,相较于目前最优方法均取得了更优的精度.     

结合语义分割和特征融合的行人检测方法

针对传统行人检测方法在复杂场景下存在遮挡行人和小尺寸行人检测效果差的问题,提出一种结合语义分割和特征融合的行人检测方法。该方法的网络结构以区域全卷积神经网络为基础框架,根据行人检测任务进行改进。使用深度残差网络提取出多尺度的特征映射图;通过全卷积语义分割网络,得到对应的语义分割图;利用特征融合模块构造出融合特征图;将融合特征图送入区域建议网络和检测网络,完成行人检测。在Caltech和ETH行人检测数据集上进行试验验证,结果表明,与传统行人检测方法相比,该方法的行人检测准确率得到提高,同时检测速度满足实时性要求。     

基于多重注意力机制的高分辨率遥感影像语义分割

针对当前深度神经网络在处理遥感影像语义分割过程中存在的模型庞大、处理耗时长、实时性低、小目标分割准确率不高的问题,提出了一种嵌入多重注意力机制的Multi-AttnDeepLabv3+(Multiple Attentionbased on DeepLabv3+)语义分割模型.该模型在编码部分使用轻量神经网络作为主干特征提取网络,加入混合注意力机制增强重要特征通道和空间像素的权值比重;在解码部分,在特征融合过程中加入通道压缩激活注意力模块,通过压缩激活操作再次增强重要特征通道的权重,提升模型分割准确率.该模型在多个数据集上取得较好的实验结果 .在相同条件下,此模型训练速度较传统网络模型有明显提升.与同类型轻量级语义分割模型相比,该模型在提升分割效果上具备优势.     

增强语义分割的网络模型PS-UNet

文章提出了一种提升上下文依赖关系的增强语义分割网络模型PS-UNet实现医学图像分割. PS-UNet将残差块、PCA模块和SPP模块融合到U-Net网络模型中，可获取更多的特征信息，从而提升分割效果.该模型既可以对器官轮廓粗分割又可以对视网膜血管和细胞精细分割.在公开的数据集上分别对肺部、视网膜血管和细胞分割进行了测试.实验结果表明，与当前先进网络模型相比，PS-UNet在所有实验中，性能均有所提升，其中肺部分割中准确率和灵敏度相对于U-Net网络模型分别提高了2.03%和2.24%,Dice相似系数达到了97.16%.     

基于卷积神经网络的肺野分割和肺炎筛查

由于X光胸片影像受到各类组织阴影及病灶的影响,目前肺野分割算法的结果往往存在空洞或者边缘不光滑等问题。针对此类问题,该文提出了一种基于多尺度卷积和特征金字塔的肺野分割网络,此网络利用多尺度卷积模块和多尺度特征融合模块提取和融合多尺度特征,在JSRT数据集上PA和Dice指标分别达到98.76%和97.94%,在Montgomery数据集上PA和Dice指标分别达到了98.96%和97.85%。该文将肺野分割网络进一步应用到肺炎筛查任务中,提出了一种基于肺野分割的数据增强方法,该方法通过分别“擦除”左右肺部的随机区域增加了样本的多样性,从而提高了肺炎分类任务的准确率。实验表明,这种数据增强方法可以将新冠肺炎检出率至少提高2.2%。     

基于多尺度特征提取的图像语义分割

指出了基于深度学习的图像语义分割中,如何充分利用图像上下文信息以达到更好的分割效果,是当前图像语义分割研究的关键问题.为解决这一问题,提出了一种基于多尺度特征提取的图像语义分割方法,通过构建深层卷积神经网络,并利用不同尺度图像作为网络的输入来提取不同尺度图像的特征,最后经过特征融合得到了分割图.在公开数据集Stanford background dataset 8类数据集上进行训练和验证,实验结果达到了84.33%的准确率.实验表明:通过提取和融合多尺度特征,可以达到更好的图像语义分割效果.     

基于彩色-深度图像和深度学习的场景语义分割网络

近年来,深度卷积神经网络应用于图像语义分割领域并取得了巨大成功。提出了一个基于RGB-D(彩色-深度)图像的场景语义分割网络;该网络通过融合多级RGB网络特征图和深度图网络特征图,有效提高了卷积神经网络语义分割的准确率。同时,利用带孔的卷积核设计了具有捷径恒等连接的空间金字塔结构来提取高层次特征的多尺度信息。在SUN RGB-D数据集上的测试结果显示,与其他state-of-the-art的语义分割网络结构相比,所提出的场景语义分割网络性能突出。     

基于密度自适应深度网络的点云场景语义分割算法

由于传感器噪声干扰，点云密度不均匀，场景复杂多样以及物体之间存在遮挡现象等问题，使得三维点云场景语义分割问题的研究工作极具挑战性。针对三维点云数据采样密度不均匀以及图卷积网络深度有限的问题，提出一种密度自适应的方法。该方法通过多层感知器学习一个权重函数，利用核密度估计学习一个密度函数，对非均匀采样的点云数据进行卷积操作。同时，受深度学习在图像领域的启发，引入残差连接、空洞卷积等结构，训练更深层的点云分割网络。该算法在多个点云分割的标准数据集上取得了优秀的性能。     

结合拆分注意力特征融合的病理图像分割网络

针对卷积神经网络在执行病理图像分割任务时,特征提取单一导致分割性能较差的问题,提出了一种结 合拆分注意力跨通道特征融合的病理图像分割网络。首先以UNet为基本结构,设计了空洞拆分注意力模 块来提取并融合病理图像上细节特征,以增强通道间的特征交互能力,提高分割精度。其次,设计了深 度残差可分离幻影模块,在解码特征融合阶段有效获取足够丰富的特征图。最后在公开数据集DSB2018、 MoNuSeg上实验,其灵敏度分别为90.13%、89.23%,准确率分别为92.89%、92.51%。为进一步验证算 法有效性,将来自合作单位的病理图像自制成数据集ColonCancer,其灵敏度和准确率分别为90.15%、 89.94%。实验结果表明,该方法相较于UNet、ResUNet、GhostUNet、TransUNet等算法有效提升了病理 图像分割性能,并对实现不同组织病理图像的分割任务具有一定参考价值和意义。     

基于卷积神经网络的室内场景识别

场景识别一直是图像处理领域的重要问题之一,对研究移动机器人定位、计算机视觉等方面具有重要意义.然而,室内场景的复杂性与无序性使室内场景识别研究面临许多挑战.传统的手工提取特征无法充分描述室内场景的信息,而卷积神经网络提取的特征能够包含丰富的场景语义和结构信息,且对于平移、比例缩放、倾斜等形式的变形具有高度不变性,因此提出了应用基于卷积神经网络的GoogLeNet网络模型来完成识别任务的方法.该网络模型在深度学习框架Caffe上对MIT_Indoor数据集的识别准确率为59.7%,高于使用传统手工提取特征的算法的准确率,对比结果说明了深度卷积神经网络在室内场景识别问题上的有效性.