基于改进关键帧选择的RGB-D SLAM算法

关键帧选择是提高视觉SLAM(simultaneous localization and mapping)算法精度及实时性的重要因素.关键帧常以图像的帧间相对运动距离为选择依据.该方法虽简单有效,但实时性、鲁棒性较差且容易产生大量冗余关键帧.针对上述问题,提出一种改进的关键帧选择算法.该算法整合了帧间相对运动距离、帧间特征点跟踪以及最小视觉变化来选择关键帧并删除冗余关键帧.基于该算法,结合具有较好方向和光照不变性的ORB(oriented FAST and rotated BRIEF)特征,实现了RGB-D SLAM算法.在RGB-D数据集上的实验表明,改进的关键帧选择算法能够更精准、及时地选择关键帧,并在减少RGB-D SLAM中冗余关键帧的同时提高算法的实时性、建图和定位精度.     

改进的双流多模态信息融合坐姿识别方法

不正确的坐姿通常会导致青少年近视、脊柱侧弯和退行性疾病。研究能够快速、准确识别不规律坐姿的智能监测技术,有助于保持正确的姿势并预防健康问题。为了解决RGB图像易受光照强度以及遮挡因素的干扰并造成的识别率不高等问题,通过采用双流RGB-D图像作为双输入,利用Resnet网络中的残差结构改进Efficientnet基线网络结构,提出了一种基于改进R-Efficientnet的双流RGB-D多模态信息融合的坐姿识别方法。试验结果表明,我们本文提出R-Efficientnet融合方法模型对八种坐姿的识别均值平均精度（mean Average Precision, mAP）达到了98.5%。与CNN、Vgg16、Resnet18、Efficientnet、RGB-D不同的输入方法相比,本文的方法获得了最高的识别率。该方法不仅可以用于坐姿客观监测,具有医学和社会效益,此外还为人体工学研究者们提供改进办公家具的方案。     

基于RGB-D图像和深度学习的场景语义分割网络

近年来,深度卷积神经网络应用于图像语义分割领域并取得了巨大成功。本文提出了一个基于RGB-D(彩色-深度) 图像的场景语义分割网络。该网络通过融合多级RGB网络特征图和深度图网络特征图,有效提高了卷积神经网络语义分割的准确率。同时,本文利用带孔的卷积核设计了具有捷径恒等连接的空间金字塔结构来提取高层次特征的多尺度信息。在SUN RGB-D数据集上的测试结果显示,与其它state-of-the-art的语义分割网络结构相比,本文所提出的场景语义分割网络性能突出。     

基于RGB-D图像的手语识别算法研究

手语作为表达信息的一种方式,是聋哑人与外界交流的最主要途径。随着人工智能技术的发展,新型、自然、便捷的人机交互方式已经成为当今各行业交互方式的新趋势。传统手语识别方法普遍存在背景干扰严重、特征提取不完整及识别准确率低的缺点。针对以上问题进行研究,提出基于彩色-深度（RGB-D）图像的手语识别算法。在静态孤立词手语识别的基础上测试,实验对比结果表明,基于RGB-D的方法能得到比传统手语识别算法更好地性能;利用深度信息处理图像,有效地去除了场景中光照、背景的干扰,同时结合肤色信息去除非手形部分;采用概率神经网络（PNN）手语分类器对孤立词的识别准确率超过90%,取得了较高的识别率。     

基于RGB-D多通道特征的行人检测

针对行人检测易受物体遮挡以及光照变化干扰的问题,提出一种融合颜色与深度信息的多通道特征行人检测方法.首先,颜色采用Chn Ftrs方法中的通道,深度在其基础上引入法向量方向通道,并用快速图像特征金字塔来加速颜色和深度的通道特征的计算.其次,通道特征作为级联Ada Boost的候选特征点集输入,分别训练得到颜色和深度分类器,按一定比例权重融合颜色和深度信息进行检测.实验表明,该方法提高了检测精度,对光照变化、物体遮挡具有较好的鲁棒性.     

一种融合点线特征的视觉里程计架构设计与定位实现

基于视觉的同时定位与地图构建（SLAM）技术是实现移动机器人自主导航的关键.当机器人处在陌生环境中时,通常会利用周围目标的点特征来估计导航相机的位姿,并利用光束法平差来估计相机位姿和特征空间位置.但如果环境中的特征信息不丰富,则无法准确估计相机轨迹,且欧式坐标与反深度信息下的光束法平差部分条件下不收敛.为此,提出了一种在缺少特征点的环境下通过收集深度相机信息,同时利用点特征与线特征融合的视觉里程计,构建了融合视差角光束法平差与基于线特征的光束法平差的策略,从而使重投影误差达到最小化.最后与其他基于特征的SLAM系统进行比较,实验结果表明,在缺少特征点的真实环境中,系统位姿估计的性能与准确度得到提升.      

基于RGB-D的室内场景实时三维重建算法

针对基于视觉的室内场景三维重建过程中存在三维点云匹配不准确、过程耗时和深度信息部分缺失的问题,提出一种带有深度约束和局部近邻约束的基于RGB-D的室内场景实时三维重建算法.该算法首先利用RGB-D相机采集到的RGB图像做哈里斯角点检测,再用SURF特征点描述方法对检测到的特征点生成64维特征描述子.接着利用特征点集合的深度信息和局部近邻特征点信息作为约束,初步筛选出相邻帧间正确的匹配点对,再结合随机抽样一致性(RANSAC)算法去除外点,以此得到相机的姿态估计.最后利用RGB-D的深度图像,在图优化方法(g2o)的基础上生成三维点云,实现室内场景的三维重建.实验中,RGB-D摄像头装载在自主移动导航的小车上,实时重构的三维场景验证了所提算法的可行性和准确性.