结合位置关系卷积与深度残差网络的三维点云识别与分割

针对现有点云识别与分割算法因忽视点的位置特征和局部几何特征关系而导致难以捕获具有鉴别力的局部几何信息的问题,提出基于位置关系深度残差神经网络的三维点云识别与分割算法。将原始点云嵌入到高维空间并获取其高维特征;将点云的高维特征输入位置关系卷积实现局部邻域内当前点特征与位置几何特征的信息交流,并通过深度残差模块强化提取到的深层语义特征,分层重复以上步骤可逐步得到点云的高级上下文语义特征;通过全连接层与解码器,得到点云的识别与分割结果。实验结果表明,所提算法在ModelNet40点云分类数据集的识别精度达到了93.9%,在ShapeNet Part点云部件语义分割数据集的平均交并比达到了86.0%。所提算法能够提取三维点云的关键特征信息,具有较好的三维点云识别与分割能力。     

三维点云室内场景的语义实例联合分割网络

针对点云分割网络无法在复杂的室内场景中实现高精度分割的问题,本文设计了一种基于深度学习的语义实例联合分割网络,同时完成三维点云数据的语义分割和实例分割任务,主要包含多任务学习主干网络、特征融合模块和语义实例特征联合模块等。特征融合模块通过跳跃连接融合多个网络层,分别融合2个任务各自不同级别的特征,加强网络对数据中包含的信息的整合,并选取大型室内场景数据集S3DIS和部件分割数据集ShapeNet进行对比实验。实验结果显示,网络在数据集S3DIS的语义分割的总体准确率为86.5%,在数据集ShapeNet的语义分割类别交并比为83.1%,在数据集S3DIS的实例分割的平均精度为60.8%。语义实例特征联合模块通过多任务级的特征联合增加语义和实例的判别特征,提高了点云的语义分割和实例分割的准确率。     

特征更新的动态图卷积表面损伤点云分割方法

针对金属部件表面损伤点云数据对分割网络局部特征分析能力要求高,局部特征分析能力较弱的传统算法对某些数据集无法达到理想的分割效果问题,选择采用相对损伤体积等特征进行损伤分类,将金属表面损伤分为6类,提出一种包含空间尺度区域信息的三维图注意力特征提取方法。将得到的空间尺度区域特征用于特征更新网络模块的设计,基于特征更新模块构建出了一种特征更新的动态图卷积网络(Feature Adaptive Shifting-Dynamic Graph Convolutional Neural Networks)用于点云语义分割。实验结果表明,该方法有助于更有效地进行点云分割,并提取点云局部特征。在金属表面损伤分割上,该方法的精度优于PointNet++、 DGCNN(Dynamic Graph Convolutional Neural Networks)等方法,提高了分割结果的精度与有效性。     

融合边缘检测的 3D 点云语义分割方法研究

针对点云分割中分割目标不明确,边缘不清晰,全局特征与边缘特征未能有效融合等问题,提出 了一种融合边缘检测的 3D 点云语义分割算法。 首先,通过 3D 点云语义分割网络对点云数据进行初步提取 区域内的全局语义特征;然后,采用引入了注意力机制的语义边缘检测网络,能够更好地对点云数据中的物 体进行特征提取增强,抑制非边缘信息的产生,得到了具有丰富的语义信息的边缘特征;最后,通过融合模块 将属于同一物体的语义特征融合起来进行分割细化处理,使得分割目标更精确;此外,使用了双重语义损失 函数,使网络产生具有更好边界的语义分割结果。 通过搭建实验平台和使用 S3DIS 标准数据集进行测试,改 进后的算法在数据集上的平均交互比为 70. 21%,在精度上较 KPConv 语义分割算法有所提高。 实验结果表 明:该算法能够有效改善物体边界分割不清晰、边缘信息模糊等问题,总体分割性能良好。     

特征增强U形网络的图像语义分割

复杂场景语义分割任务是对场景图像逐像素进行分类并标记.图像中目标种类多,尺度多样的特点给分割任务增加了难度,提出了特征增强U形卷积神经网络(feature enhanced U shape networks,FEUNet)是一种改进的编码器加解码器的结构,编码阶段引入局部特征增强模块(local feature enhanced,LFE)提取局部感知特征来改善非显著目标的分割效果;考虑到神经网络深层和浅层之间特征表达的差异,在解码阶段利用全局池化方法(global pooling)设计全局特征增强模块(global feature enhanced,GFE),实现选择性地从深层特征图提取上下文信息作为对浅层特征图的指导,改善深层和浅层特征图的融合,保证同类像素预测的一致性.采用CamVid和Cityscapes数据集进行试验,模型mIOU测评值分别达到64.5％和73.2％,对比其他主流语义分割算法,该方法在分割性能和模型体积上具有一定竞争力.     

多尺度空洞卷积金字塔网络建筑物提取

为改善现有深度学习方法获取图像特征尺度单一、提取精度较低等问题,提出多尺度空洞卷积金字塔网络建筑物提取方法。多尺度空洞卷积金字塔网络以U-Net为基础模型,编码-解码阶段采用空洞卷积替换普通卷积扩大感受野,使得每个卷积层输出包含比普通卷积更大范围的特征信息,以利于获取遥感影像中建筑物特征的全局信息,金字塔池化模块结合U-Net跳跃连接结构整合多尺度的特征,以获取高分辨率全局整体信息及低分辨率局部细节信息。在WHU数据集上进行提取实验,交并比达到了91.876%,相比其他语义分割网络交并比提升4.547%～10.826%,在Inria数据集上进行泛化实验,泛化精度高于其他网络。结果表明所提出的空洞卷积金字塔网络提取精度高,泛化能力强,且在不同尺度建筑物提取上具有良好的适应性。     

采用双支路和Transformer的视杯视盘分割方法

视网膜血管复杂且背景与视杯视盘区域相似,是造成视杯视盘分割精度不高的原因。为了更加准确地分割视杯视盘,设计了一种具有双支路特征融合的分割网络。网络主支使用Transformer对特征进行提取,弥补了卷积运算在建立远程关系方面存在的不足。采用多个模块来融合浅层空间特征与高级语义特征：尺度感知-特征融合模块(SCA-FFM)用于从高层次特征中收集视盘和视杯的语义和位置信息;识别模块(IM)利用注意力机制减少低层次特征中存在的错误信息和噪声,增强空间细节特征的提取;使用图卷积域-特征融合模块(GCD-FFM)将高级语义特征和低级特征进行融合,使特征图同时具有全局和局部信息。对比实验表明,本文方法表现出更好的分割效果,且具备良好的泛化能力。     

UConvTrans:全局和局部信息交互的双分支心脏图像分割

心脏核磁共振成像(MRI)具有噪声多、背景和目标区域相似度高、右心室形状不固定、呈月牙形或扁圆形等特点，虽然基于卷积神经网络的U型结构在医学图像分割中表现出色，但由于卷积本身的局部运算特性，提取全局信息特征能力有限，所以很难提升在心脏MRI上的分割精度.针对上述问题，提出一种全局和局部信息交互的双分支网络模型(UConvTrans).首先，利用卷积分支和Transformer分支提取局部特征和建模全局上下文信息，能够保留细节信息并抑制心脏MRI中噪声和背景区域的干扰.其次，设计了融合卷积网络和Transformer结构的模块，该模块将二者提取的特征交互融合，增强了模型表达能力，改善了右心室的分割精度，而且避免了Transformer结构在大规模数据集上预训练，可以灵活调节网络结构.此外，UConvTrans能有效地平衡精度和效率，在MICCAI 2017 ACDC数据集上进行验证，该模型在模型参数量、计算量仅为U-Net的10%、8%的情况下，平均Dice系数比U-Net提高了1.13%.最终，在其官方测试集上实现了右心室92.42%、心肌91.64%、左心室95.06%的Dice系数...     

一种3D点云分割改进型边缘特征提取网络

针对点云分割中边缘特征提取不足导致局部特征信息不完整、整体分割精度下降的问题,提出一种3D点云分割改进型边缘特征提取网络.为提升边缘特征表达能力,对深层边缘特征提取层做出改进,引入基于残差结构改进的多层感知机结构,形成边缘特征提取单元,该单元将原始点云特征与多层感知机提取边缘特征相融合,获取更加丰富完整的边缘信息,提高3D点云分割网络模型精度.在Shapenet数据集上的实验结果表明,提出的3D点云分割改进型边缘特征提取网络优于现存同类方法,相较于LDGC-NN链接动态图网络,点云分割准确率提升了1.17％.     

基于改进PointNet的空调散热器V形槽3D点云分割算法

针对给空调散热器自动化点胶时无法准确识别散热器V形槽位置的问题,基于PointNet网络的散热器V形槽语义分割方法,首先针对散热器点云V形槽区域与内部区域特征相似的问题,设计一种通过提取点云边缘将点云边缘区域的点云与内部区域的点云分别进行预处理的方法,实现突出点云边缘区域特征的目的。其次,在PointNet网络最大池化函数的基础上,引入平均池化函数,增加网络所提取的全局特征的特征信息,减少因最大池化引起的信息丢失,并去除T-Net变换网络,减少网络的复杂度。从实验室平台采集空调散热器样本进行实验,结果表明,改进算法的平均交并比(mean intersection over union, mIoU)达到78.17%,总体精度(overall accuracy, OA)达到了92.01%,相较于PointNet提高了9.73%和6.37%,验证了算法的有效性。     

Fusing Geometrical and Visual Information via Superpoints for the Semantic Segmentation of 3D Road Scenes

This paper addresses the problem of the semantic segmentation of large-scale 3D road scenes by incorporating the complementary advantages of point clouds and images.To make full use of geometrical and visual information, this paper extracts 3D geometric features from a point cloud using a deep neural network for 3D semantic segmentation and extracts 2D visual features from images using a Convolutional Neural Network(CNN)for 2D semantic segmentation.In order to bridge the features of the two modalities, this paper uses superpoints as an intermediate representation to connect the 2D features with the 3D features.A superpoint-based pooling method is proposed to fuse the features from the two different modalities for joint learning.To evaluate the approach, the paper generates 3D scenes from the Virtual KITTI dataset.The results of the experiments demonstrate that the proposed approach is capable of segmenting large-scale 3D road scenes based on the compact and semantically homogeneous superpoints, and that it achieves considerable improvements over the 2D image and 3D point cloud semantic segmentation methods.     

高斯函数约束下的多判别参数散乱点云边缘检测

设计一种散乱点云数据边缘检测算法,从而快速、精确地提取边缘特征.该算法以点云的局部特征为基础,通过分析点云数据各点的法向特性,构建各点k近邻法向夹角特征、曲率特征、距离特征,并在高斯函数的约束下完成点云边缘特征的检测.利用公共数据进行多组实验,对比不同算法下的检测效果.结果表明:该算法提取点云边缘特征的速度更快、效果更好.     

基于关键点的点对特征三维目标识别算法

针对复杂场景下的三维点云目标识别速度慢,准确率低的问题,提出了一种基于关键点的点对特征三维目标识别算法. 通过直接对关键点建立点对特征,避免了周围邻域局部曲面的特征计算,具有空间维度小和计算速度快的特点. 使用哈希表存储,加快了特征匹配的时间. 利用快速投票方案对模型点云和场景点云进行匹配识别,生成候选位姿,利用贪婪算法对候选位姿进行聚类与筛选,采用ICP算法对物体位姿进行优化,基于配准后的点云重叠情况完成目标识别. 对提出的算法在多个数据集以及真实场景下进行了实验,验证了所提出的识别方法具有可行性和有效性,且对噪声的鲁棒性较强,具有一定的实际工程应用价值.      

基于RGB-D的室内场景实时三维重建算法

针对基于视觉的室内场景三维重建过程中存在三维点云匹配不准确、过程耗时和深度信息部分缺失的问题,提出一种带有深度约束和局部近邻约束的基于RGB-D的室内场景实时三维重建算法.该算法首先利用RGB-D相机采集到的RGB图像做哈里斯角点检测,再用SURF特征点描述方法对检测到的特征点生成64维特征描述子.接着利用特征点集合的深度信息和局部近邻特征点信息作为约束,初步筛选出相邻帧间正确的匹配点对,再结合随机抽样一致性(RANSAC)算法去除外点,以此得到相机的姿态估计.最后利用RGB-D的深度图像,在图优化方法(g2o)的基础上生成三维点云,实现室内场景的三维重建.实验中,RGB-D摄像头装载在自主移动导航的小车上,实时重构的三维场景验证了所提算法的可行性和准确性.     

基于特征融合的中文文本情感分析方法

针对现有的中文文本情感分析方法不能从句法结构、上下文信息和局部语义特征等方面综合考量文本语义信息的问题,提出一种基于特征融合的中文文本情感分析方法.首先,采用Jieba分词工具对评论文本进行分词和词性标注,并采用词向量训练工具GloVe获取融入词性的预训练词向量;然后,将词向量分别作为引入Self-Attention的BiGRU和TextCNN的输入,使用引入Self-Attention的BiGRU从文本的句法结构和文本的上下文信息两个方面综合提取全局特征,使用TextCNN提取文本的局部语义特征;最后,将全局特征和局部语义特征进行融合,并使用Softmax进行文本情感分类.实验结果表明,本文方法可以有效提高文本情感分析的准确率.     

采用局部凸性和八叉树的点云分割算法

针对粗糙点云分割效果差的问题,提出了一种采用八叉树和局部凸性的点云分割算法.该算法首先通过仪器扫描得到仅包含坐标信息的点云数据,然后对点云进行法向量估算,并根据点云的法向量信息进行八叉树初始分割得到面片,最后根据面片之间的局部凸性特征进行融合,得到最终的分割结果.与其他同类算法相比,采用八叉树和局部凸性的点云分割算法不仅能有效地减少曲面数量,而且在曲面质量上也优于同类算法.采用塔身震落石块的点云数据进行的实验表明,该算法在处理分布较均匀的闭合点云数据时,能够有效减少最终的曲面个数,且面片的质量与手工分割拟合度达到90 ％以上.     

Weight-Edge Convolution Neural Network for Point Clouds Learning

As a kind of flexible three-dimensional geometric data, point clouds can accomplish many challenging tasks so long as the rich information in the geometric topology architecture can be deeply analyzed. On account of that point cloud data is sparse, disordered and rotation-invariant, the success of convolutional neural network in 2 D image cannot be directly reproduced on point cloud. In this paper, we propose WECNN, namely, Weight-Edge Convolution Neural Network, which has an excellent ability to utilize local structural features. As the core of WECNN, a novel convolution operator called WEConv tries to capture structural features by constructing a fixed number of directed graphs and extracting the edge information of the graph to further analyze the local regions of point cloud. Moreover, a weight function is designed for different tasks to assign weights to the edges, so that feature extractions on the edges can be more fine-grained and robust. WECNN gets overall accuracy of 93.8% and mean class accuracy of 91.6% on Model Net40 dataset. At the same time, it gets a mean Io U of 85.5% on Shape Net Part dataset. Results of extensive experiments show that our WECNN outperforms other classification and segmentation approaches on challenging benchmarks.