基于SegNet的非结构道路可行驶区域语义分割

为了增强自动驾驶车辆对非结构化道路中可行驶区域的场景理解能力,基于SegNet深度学习网络结构,提出了一种针对非结构道路的可行驶区域语义分割方法。在传统的卷积神经网络基础上,构建编码-解码深度卷积神经网络,用于自动习得图片中非结构化道路的特征,通过在数据集上进行训练和学习,得到图像语义分割模型,可直接用该模型预测非结构道路中的可行驶区域,实现自动驾驶车辆在非结构道路中行驶时的环境感知。实验结果表明,研究方法分割效果和精确度提升明显,Dice相似度和Jaccard相似系数均可达80%以上。     

基于目标检测的单目视觉半稠密语义地图构建

传统的视觉SLAM系统在机器人定位和制图工作中取得了显著的成功，但存在着缺乏场景信息、地图过于稀疏、单目相机初始化困难等亟待解决的问题。本文提出了MNS-SLAM（Monocular-semantic SLAM），将目标检测算法与单目视觉SLAM（同时定位与地图构建）技术相结合，进而构建有助于环境理解的半稠密语义地图。首先，通过目标检测网络YOLOv4检测对象获取边界框和类别信息，通过消失点算法和二次曲面恢复算法由2D目标检测恢复出3D长方体及二次曲面，实现3D物体的位姿初始化。同时，引入了目标间相对位姿不变性的语义约束，构造了语义损失函数，将其添加到BA优化中，最后通过增量式3D线段提取，构建带有物体语义信息的半稠密地图。文中方法在TUM公开数据集和真实场景中进行试验，不仅构建了半稠密地图，同时添加了语义信息，为后端的优化提供了新的约束，相机的绝对和相对位姿误差表现出优于单目ORB-SLAM2的性能，有助于搭载单目相机的移动机器人感知和理解环境，执行更复杂的任务。     

特征增强U形网络的图像语义分割

复杂场景语义分割任务是对场景图像逐像素进行分类并标记.图像中目标种类多,尺度多样的特点给分割任务增加了难度,提出了特征增强U形卷积神经网络(feature enhanced U shape networks,FEUNet)是一种改进的编码器加解码器的结构,编码阶段引入局部特征增强模块(local feature enhanced,LFE)提取局部感知特征来改善非显著目标的分割效果;考虑到神经网络深层和浅层之间特征表达的差异,在解码阶段利用全局池化方法(global pooling)设计全局特征增强模块(global feature enhanced,GFE),实现选择性地从深层特征图提取上下文信息作为对浅层特征图的指导,改善深层和浅层特征图的融合,保证同类像素预测的一致性.采用CamVid和Cityscapes数据集进行试验,模型mIOU测评值分别达到64.5％和73.2％,对比其他主流语义分割算法,该方法在分割性能和模型体积上具有一定竞争力.     

双通道多感知卷积神经网络图像超分辨率重建

基于深度卷积神经网络的单幅图像超分辨率重建取得了显著研究成果.但随着深度卷积神经网络规模的不断扩大,如何降低网络构建难度和计算成本成为一个难点.为此,提出了一种双通道多感知卷积神经网络(DMCN)模型.该模型在两条具有不同卷积核的通道上建立了稠密连接,并构建了带有动态调节能力的层间融合结构.这种结构的设计使得小规模卷积神经网络便能获得图片特征信息的全面感知能力.实验结果表明,DMCN重建效果优于目前多数具有代表性的重建算法.     

基于情景经验与稀疏点云的移动机器人导航

针对稀疏点云地图用于自主导航任务的信息不充分问题,融合情景经验实现环境认知,提出一种基于情景经验与稀疏点云的移动机器人导航系统,获取全局最优路径,提高机器人导航精度.构建点云地图来保存环境显著路标.受人类基于情景经验方式导航启发,模拟经验积累过程,构建封装了场景感知、位姿信息和事件转移集的情景经验地图,实现机器人对环境在拓扑关系上的理解.结合环境稀疏点云地图定位机器人,根据情景经验地图规划路径与控制机器人行为.实验结果表明:该导航系统能够根据不同的导航任务规划出全局最优路径,并且具有较高的导航精度.     

基于可见光/红外图像的夜间道路场景语义分割

针对夜间道路场景解析困难的问题,提出了一种联合可见光与红外热像图实现夜间场景语义分割的方法。首先将双谱图像分别输入至两路并行的全卷积神经网络中,在网络的尾端融合特征并预测得到初步的语义分割结果。在此基础上,对双谱图像进行自适应直方图均衡及双边滤波,并利用基于双谱图像信息的稠密条件随机场对语义分割结果进行优化。实验结果表明,相比于单独使用可见光图、红外热像图、融合图,本文方法可以对夜间道路场景进行更准确的解析。     

一种服务机器人选择性认知方法

针对现阶段服务机器人面向日常家居环境的认知能力较低,缺乏以相关服务任务作为先验知识、进行深度认知的能力问题,基于视觉认知和语义分析相结合的思路,利用智能空间平台分布式感知系统,结合深度神经网络下图像处理与语义分析等相关手段,提出了一种服务机器人选择性语义认知方法.设计了一种智能空间下选择性注意策略,选择显著性高、服务任务相关联的区域作为兴趣区域;提出了一种改进的区域卷积神经网络,将所选择兴趣区域作为先验知识来引导卷积神经网络;构建了语义分析模型,利用物品检测输出进行深度语义认知.实验结果表明,该方法可以提取服务任务相关的空间显著性信息,引导区域卷积神经网络进行物品检测,物品检测过程过滤了无关物品,与传统区域卷积神经网络相比,检测速度较快、准确率高,最终结合语义分析的方法提高了服务机器人日常家居环境下的认知能力.     

基于RGB-D图像和深度学习的场景语义分割网络

近年来,深度卷积神经网络应用于图像语义分割领域并取得了巨大成功。本文提出了一个基于RGB-D(彩色-深度) 图像的场景语义分割网络。该网络通过融合多级RGB网络特征图和深度图网络特征图,有效提高了卷积神经网络语义分割的准确率。同时,本文利用带孔的卷积核设计了具有捷径恒等连接的空间金字塔结构来提取高层次特征的多尺度信息。在SUN RGB-D数据集上的测试结果显示,与其它state-of-the-art的语义分割网络结构相比,本文所提出的场景语义分割网络性能突出。     

结合目标检测的小目标语义分割算法

卷积神经网络(Convolutional Neural Networks,CNN)可以提供比传统分类算法更强大的分类器并且能够自学习得到深层特征,有效地提高了图像语义分割的准确性.然而,基于CNN的语义分割算法依然存在一些挑战,例如在复杂场景中现有较优的方法较难分割小目标.为了解决复杂场景下小目标分割的难题,提出一种结合目标检测的小目标语义分割算法.与现有较优方法不同的是,该方法没有直接利用单个神经网络模型同时分割单幅图像中的小尺寸和较大尺寸目标,而是将小目标分割任务从完整图像的分割任务中分离.算法首先训练一个目标检测模型以获取小目标图像块,然后设计一个小目标分割网络得到图像块的分割结果,最终根据该结果修正整体图像的分割图.该算法提升了语义分割数据集的总体性能,同时能够有效地解决小目标分割的难题.     

基于彩色-深度图像和深度学习的场景语义分割网络

近年来,深度卷积神经网络应用于图像语义分割领域并取得了巨大成功。提出了一个基于RGB-D(彩色-深度)图像的场景语义分割网络;该网络通过融合多级RGB网络特征图和深度图网络特征图,有效提高了卷积神经网络语义分割的准确率。同时,利用带孔的卷积核设计了具有捷径恒等连接的空间金字塔结构来提取高层次特征的多尺度信息。在SUN RGB-D数据集上的测试结果显示,与其他state-of-the-art的语义分割网络结构相比,所提出的场景语义分割网络性能突出。     

基于多源融合式SLAM的机器人三维环境建模

为有效处理移动机器人三维环境地图创建过程的不确定误差,提高所建地图的准确性、完整性和一致性,本文提出了一种基于传感器信息融合和Rao-Blackwellised粒子滤波(RBPF)的移动机器人三维同时定位与地图创建 (SLAM)方法. 在建立传感器不确定性概率模型的基础上,通过贝叶斯滤波实现传感器数据的去噪,将激光与视觉传感器获取的环境信息在一定的规则下融合,在SLAM框架下实现具有纹理映射的三维环境地图创建. 实验结果表明所用方法的有效性. 多源融合式自主SLAM提供了更为丰富、完备、准确的环境模型.      

移动机器人即时环境探索与地图库构建

研究了室内准结构化环境中移动机器人自主环境探索与复合环境地图库构建问题.基于实时获取的激光测距数据,并面向机器人自主导航、探索与认知等多种任务需求,提出了基于探索导向点的自主环境探索方法,以及可与准结构化环境相适应的复合地图库构建算法.为了适应环境中存在的随机运动人体目标及用几何特征无法表述的非规则障碍区,提出了临时栅格统计算法和非规则障碍区建模算法,从而实现环境动态信息的实时处理和对不规则障碍区的聚类与划分.通过对仿真和应用于Pioneer3-DX移动机器人平台所获得的实验结果和数据的分析讨论,论证了所提算法的有效性和实用性.     

文本处理中基于随机映射的加速LSI方法

首先针对在文本处理的高维矢量环境中Kohonen自组织映射神经网络的计算瓶颈问题和输入矢量空间中存在的问题进行分析，然后对随机映射(RM)和隐含语义索引(LSI)方法分别进行理论分析，提出用于文本处理的基于随机映射的加速LSI方法．试验结果表明，加速LSI方法可以在凸现原有语义联系的基础上，低代价、有效、可控地解决上述问题，极大地降低文本处理环境中Kohonen自组织神经网络的规模和计算代价．     

Semantic categorization of indoor places using CNN for mobile robot exploration

The ability of achieving a semantic understanding of workspaces is an important capability for mobile robot. A method is proposed to categorize different places in a typical indoor environment by using a Kinect sensors for mobile robot exploration. At first,the invariant feature based images stitching approach is adopted to form a panoramic image according to Kinect visual information,and the translation between Kinect depth information and obstacle distance information is performed to obtain virtual LIDAR data. Then,the semantic classifier is designed by using convolutional neural networks( CNN) for indoor place categorization based on Kinect visual observations with panoramic view. At last,a frontier-based exploration method is applied to carry out indoor autonomous exploration of mobile robots,which integrates the CNN-based categorization approach. The proposed method has been implemented and tested on a real robot,and experiment results demonstrate the approach effectiveness on solving the semantic categorization problem for mobile robot exploration.     

基于稠密连接和非局部运算的烟雾识别方法

烟雾图像检测已经成为早期火灾预警的主要技术手段之一,为了提升烟雾识别准确率和运算效率,提出基于稠密连接和非局部运算的深度卷积神经网络用于烟雾识别。首先,设计深度网络中卷积层间的稠密连接机制,构建稠密基本块,增强信息流通和特征重利用,同时也减少模型参数量。然后,为了进一步考虑烟雾图像的全局信息,将非局部运算与稠密基本块中的卷积运算相结合,构建稠密和非局部基本卷积块。最后,利用已经构建的若干个稠密和非局部基本卷积块搭建用于烟雾识别的深度卷积神经网络。在已经公开的烟雾图像数据库上进行性能评估,实验结果表明,提出的基于稠密连接和非局部运算的烟雾识别方法以不到1M的模型参数量取得了更令人满意的性能。     

基于深度学习的自适应场景路面提取方法

为满足无人驾驶车辆对越野环境的适应能力,提高无人驾驶车辆对环境的理解能力,必须对环境感知层面提出更高的要求.而环境感知中最为关键的一点就是车道线提取或者路面提取.与城市环境下的结构化道路相比,越野环境下的路面提取更加复杂.综合对多种越野场景展开研究,提出了一种能够自适应场景变化的路面分割方法.文中在越野环境下采集了大量的数据,并且制作了相应的数据集;应用深度学习技术对这些场景进行识别;应用语义分割算法对不同场景下的路面进行分割;最后统一了整个算法模块,给出测试结果.      

基于视觉的多机器人协作SLAM 问题

 视觉SLAM 仅采用图像作为外部信息,用于估计机器人位置的同时构建环境地图。SLAM 是机器人自主性的基本前提,如今在小动态环境采用激光或者声呐传感器构建2D 地图得到较好地解决。然而动态、复杂和大范围下的SLAM 仍存在问题,使用视觉作为基本的外部传感器是解决问题的一个新颖热门的研究方法。在视觉SLAM 中使用计算机视觉技术,如特征检测、特征描述和特征匹配,图像识别和恢复,还存在很多改善的空间。本文在视觉SLAM 领域的最新技术的基础上,对基于视觉的多机器人协作SLAM 领域的前沿技术进行综述。     

面向自动驾驶的驾驶环境视觉感知复杂度量化评估方法

为优选自动驾驶汽车开放测试、示范道路并支撑其驾驶环境的优化,提出面向自动驾驶的驾驶环境视觉感知复杂度量化评估方法。以百度街景地图作为驾驶环境数据源,运用脚本文件以及截图工具PicPick搭建自动化街景图像数据提取平台,并在不同区域、不同道路等级下采集上海市50条典型道路的驾驶环境数据;从行人、交通标志、交通标线、红绿灯、车辆5方面出发,构建驾驶环境要素感知平台,并开展感知精度的量化评估;在单要素感知准确率的基础上,采用熵权法确定多维感知要素权重,计算各道路综合感知准确率,并应用轮廓系数法与K-means++聚类算法进行视觉感知复杂度分级。结果表明,上海市典型道路的驾驶环境视觉感知复杂度分为三级,大部分道路的视觉感知复杂度属于2级;对比不同等级道路发现,支路的视觉感知复杂度总体上低于主干路。