基于关键点特征融合的六自由度位姿估计方法

针对单张RGB-D图像进行六自由度目标位姿估计难以充分利用颜色信息与深度信息的问题，提出了一种基于多种网络(金字塔池化网络和PointNet++网络结合特征融合网络)构成的深度学习网络框架．方法用于估计在高度杂乱场景下一组已知对象的六自由度位姿．首先对RGB图像进行语义识别，将每一个已知类别的对象掩膜应用到深度图中，按照掩膜的边界框完成对彩色图与深度图进行语义分割；其次，在获取到的点云数据中采用FPS算法获取关键点，映射到彩色图像与深度图像中进行关键点特征提取，将RGB-D图像中的颜色信息与深度信息视为异构数据，考虑关键点需要充分融合局部信息与全局信息，分别采用了金子塔池化网络(pyramid scene parsing network,PSPNet)和PointNet++网络提取颜色信息与深度信息；采用一种新型的关键点特征融合方法，深度融合提取到颜色信息与几何信息的局部及全局特征，并嵌入到选定的特征点中；使用多层感知机(multilayer perceptron,MLP)输出每一个像素点的六自由度位姿和置信度，利用每一个像素点的置信度，让网络自主选择最优的估计结果；最后，利用一种端到...