基于智能手机Tango传感器的室内三维场景实时感知

室内三维场景实时感知是室内增强现实、三维测图和机器人自主定位与导航的关键技术之一。利用智能手机Tango传感器搭载的单目摄像头和深度相机,根据实时获取的彩色图像和深度信息,研究并提出了一种实时的室内三维场景感知方法;该方法首先根据智能手机Tango传感器获取的彩色图像存在的问题,采用多项式函数对彩色相机进行校正。接着,使用ORB(oriented FAST and rotated BRIEF)算子对彩色图像进行特征提取,利用RANSAC算法剔除误匹配点;并根据优化后的匹配点对采用ICP算法对手机姿态进行初步估计。最后,基于融合空间关系的视觉词典(SDBo W2)对感知的初步室内场景进行闭环检测;并通过图优化得到实时感知的室内三维场景模型。实验表明,方法能利用Tango传感器高效地获取室内场景完整的三维结构信息与纹理。     

路径诱导系统中综合地图匹配算法的研究

地图匹配算法对于车辆路径诱导和实时轨迹回放具有重要的应用,为了提供连续、精确和可靠的车辆行驶路段位置,利用定位传感器输出车辆运行位置信息,结合高精度空间道路网络数据,提出新的综合地图匹配算法.该算法不受地理环境的约束,能有效地修正传感器的定位误差,提高车辆定位精度.实际道路测试证明,该算法比现有地图算法更高准确度和实时性,尤其是在十字路口有更好匹配效果.     

用于三维重构的相机标定算法

为了从物体的二维图像参数中得到三维重构模型,需要通过相机内部参数,建立真实物体与对应成像物体的关系模型,提出一种借助双平面镜进行三维重构的相机自动标定算法.通过两个普通平面镜获取被摄物体的5个不同角度二维图像投影,自动标定算法依赖物体的投影轮廓线计算相机内部参数.试验结果表明,通过相机自动标定算法获取轮廓和相机的参数信息,能有效地实现基于视觉外壳算法的三维重构.     

基于激光雷达里程计的高速公路三维建模方法

构建三维道路数字模型对智能车服务和道路管理具有重要意义。文中针对高速公路不同路段应用场景下车辆运行速度快、干扰噪声多、特征少和无回环检测辅助等一系列问题，提出一种以激光雷达信息为建模基础数据、激光雷达里程计与LOAM技术等多传感器融合的高速公路三维建模方法。首先，通过车载激光雷达获取道路场景的激光点云数据，使用激光雷达图像分割技术赋予每一个点有关构造物的标签，剔除道路上其他运动车辆的信息，减少建模噪声；其次，制定了一个精确的同步策略来对GNSS、IMU和激光雷达等传感器进行集成；在此基础上，结合惯性导航预积分结果、基于特征点云的位姿约束和RTK数据构建因子图，消除激光雷达里程计的累积误差，从而构建全局一致性的高速公路三维数字模型。为了保持姿态估计的有限数量，文中还引入了基于关键帧的滑动窗口优化策略。最后，分别采集高速公路场景中常见的3种路段（一般路段、桥梁和隧道路段）进行建模分析，结果表明，在具有挑战性的高速公路场景建模中，文中方法能够有效提高建模鲁棒性、精度以及模型有效性。     

基于SIFT特征匹配和模约束的摄像机分层自标定方法

在一些计算机视觉和摄影测量任务的执行过程中,需要在线地标定摄像机参数,这就使得不依赖标定参照物的自标定成为必需,提出一种基于SIFT特征匹配和模约束的摄像机分层自标定方法。自由移动或旋转摄像机拍摄同一场景内部参数不变条件下的四幅以上图像。对每幅图像进行SIFT特征点提取,通过特征点匹配在每幅图像中分别获得对应三维场景空间同一特征点的像素坐标。进行投影标定,获得每幅图像在投影重建空间中的相机投影矩阵,以及每个特征点在投影重建空间中的三维坐标。进行仿射标定,采用模约束法确定无穷远参考平面在投影重建空间中的参数。进行度量标定,确定内参矩阵。实验表明,该方法能在线地稳定地获得摄像机内参标定结果,从而对现有的摄像机自标定方法进行了改进。     

图像和惯性传感器相结合的摄像机定位和物体三维位置估计

为解决无人驾驶中车辆定位与周围场景中物体三维位置估计,采用卷积神经网络(CNN)检测图像中的物体,用扩展卡尔曼滤波(EKF)方法融合惯性传感器测量得到的加速度和角速度,同时估计摄像机位置和物理世界中物体三维位置.图像结合惯性传感器(IMU)信息,克服了单目摄像机估计得到的摄像机位置和物体三维位置的尺度不确定性;结合卷积神经网络检测物体提高特征点匹配准确度,实现对物体在三维世界中的位置通用的估计.在实验部分用Matlab分别模拟仿真场景和现实场景的数据库KITTI,有效估计摄像机运动和场景中物体三维位置估计.     

基于多通道融合和极线约束的道路检测与定位

计算机双目视觉道路检测及定位在实现无人运动平台自主导航中具有重要意义.根据双目摄像机系统模型,提出基于多通道阈值融合的车道线检测方法,融合车道线边缘和色彩信息进行图像阈值分割,采用透视变换和自适应动态滑窗法提取车道线像素,采用最小二乘法拟合道路模型并依据极线约束关系进行定位,投影至SLAM地图中.实验结果表明,算法在光照变化、阴影遮挡等场景中均能精确检测车道线,将车道线信息投影至三维地图可以有效地将车道信息与地图信息进行融合,提高了道路感知能力.      

三维投影变换辅助的云游戏编码优化算法

针对传统视频压缩技术无法对云游戏视频中复杂的全局相机旋转以及剧烈变化的大范围运动进行很好的运动估计与补偿的问题，提出了一种三维投影变换辅助的编码优化算法，以提高云游戏视频的编码效率。分析了三维游戏场景下一点投影到二维平面的详细空间变换过程，在此基础上通过建立约束进行最优化估计构建了虚拟相机的内参估计算法。利用估计的内参，结合相机运动信息，基于图像单应性理论生成了与待编码帧平行的辅助参考帧，利用其更新参考帧列表参与编码。由于生成的辅助参考帧与待编码帧之间只有平移运动，所以更有利于传统的运动估计和补偿。实验结果表明：与原始的高效视频编码(HEVC)相比，所提算法在云游戏视频上可以实现平均8.14%的BD-rate增益，一定程度上缓解了云游戏对网络带宽的高需求；特别地，在仅有相机旋转的情况下，BD-rate可达-24.68%,同时编码时间平均缩短5.34%;与HEVC-SCC相比，所提算法的BD-rate性能增益超过20%。     

高空摄影测量在三维场景虚拟建模中的应用研究

利用无人机航空摄影测量快速高效获取城市三维信息已经成为当前三维城市建模技术研究和工程应用的热点.高空摄影测量是一种利用航高1.5 km以上无人机搭载长焦距拍摄系统、高效采集地面测绘数据的新技术，在城市三维建模中崭露头角.该文采用300 mm焦距的数字航拍系统搭载高空航行器完成湖北省孝感市汉川市垌塚镇老观湖村高空拍摄与测量，标定相机后提取空间点三维信息；根据数字航拍系统拍摄的影像与测量数据在三维虚拟场景中制作DEM模型，完成三维模型定向，为模型框架添加纹理，最终得到完整的三维场景虚拟模型.测试结果显示：最低拍摄分辨率不低于9.6 cm,空间点三维信息提取误差在1%以下，是一种高质量、低误差的三维建模方法，可为构建城市三维虚拟模型提供一种新的途径.     

基于改进ICP算法和CAD模型库的单目视觉位姿测量

针对单目视觉条件下测量三维物体的位姿问题,提出一种基于改进迭代最近点(iterative closest point, ICP)算法和CAD(computer aided design)模型库的单目相机位姿测量方法.首先,利用OpenGL绘制物体几何模型,基于一系列虚拟观察点得到物体在虚拟相机下的投影图,提取边缘点集构成模板库;然后,通过改进的Hausdorff距离将待处理图像的边缘点集与模板库的点集模型进行匹配,得到粗略位姿,再在此基础上采用改进的ICP算法对待测图像的边缘点集与物体三维边缘点集进行迭代优化得到精确的位姿参数.实验结果表明,该方法求得的位姿参数误差较小,进而验证了所提方法的有效性.     

一种基于视频序列单目视觉下的运动车辆轮廓重构算法

针对运动车辆在单目视觉下轮廓重构的问题,本文通过特征目标识别的方法解算出无约束运动车辆的运动参数,将无约束运动物体的轮廓重构问题转化成已知约束运动物体的轮廓重构问题,提出了一种基于视频序列的单目视觉下的运动车辆轮廓重构算法.实验结果证明,新算法能够较好地重构出不同大小车辆的3D轮廓,其车辆高度估算值的误差在4%以内     

基于多尺度特征提取的单目图像深度估计

在目前基于深度学习的单目图像深度估计方法中,由于网络提取特征不够充分、边缘信息丢失从而导致深度图整体精度不足。因此提出了一种基于多尺度特征提取的单目图像深度估计方法。该方法首先使用Res2Net101作为编码器,通过在单个残差块中进行通道分组,使用阶梯型卷积方式来提取更细粒度的多尺度特征,加强特征提取能力;其次使用高通滤波器提取图像中的物体边缘来保留边缘信息;最后引入结构相似性损失函数,使得网络在训练过程中更加关注图像局部区域,提高网络的特征提取能力。在NYU Depth V2室内场景深度数据集上对本文方法进行验证,实验结果表明所提方法是有效的,提升了深度图的整体精度,其均方根误差(RMSE)达到0.508,并且在阈值为1.25时的准确率达到0.875。     

单目视图下相机标定和平面测距研究

描述了在透视投影和相机针孔模型下从单幅二维投影图像进行目标空间方位测定的方法,即利用现实场景中一个三维标定块来进行相机标定,采用线匹配法求出单应矩阵,即可测量平面上目标距离以及物体高度等。     

基于目标检测的单目视觉半稠密语义地图构建

传统的视觉SLAM系统在机器人定位和制图工作中取得了显著的成功,但存在着缺乏场景信息、地图过于稀疏、单目相机初始化困难等亟待解决的问题。本文提出了MNS-SLAM（Monocular-semantic SLAM）,将目标检测算法与单目视觉SLAM（同时定位与地图构建）技术相结合,进而构建有助于环境理解的半稠密语义地图。首先,通过目标检测网络YOLOv4检测对象获取边界框和类别信息,通过消失点算法和二次曲面恢复算法由2D目标检测恢复出3D长方体及二次曲面,实现3D物体的位姿初始化。同时,引入了目标间相对位姿不变性的语义约束,构造了语义损失函数,将其添加到BA优化中,最后通过增量式3D线段提取,构建带有物体语义信息的半稠密地图。文中方法在TUM公开数据集和真实场景中进行试验,不仅构建了半稠密地图,同时添加了语义信息,为后端的优化提供了新的约束,相机的绝对和相对位姿误差表现出优于单目ORB-SLAM2的性能,有助于搭载单目相机的移动机器人感知和理解环境,执行更复杂的任务。     

考虑道路形状约束的车辆轨迹聚类方法

随着车联网技术的不断发展,产生了海量车辆轨迹数据。这些车辆轨迹数据可以通过聚类分析方法挖掘出车辆行驶的潜在规律,从而实现指导车辆出行的目的。提出一种基于密度的车辆轨迹聚类方法,对基于道路形状关键点位置选取的车辆轨迹信息进行重构,并考虑车辆在路网中移动的空间约束,分析聚类结果得到城市道路的交通状况,以此指导车辆出行以避免或减轻车辆拥堵。基于福州市真实的车辆数据对提出的车辆轨迹聚类算法进行验证,并对最后的聚类结果进行了详细的分析。实验结果表明,针对车辆轨迹聚类并结合道路网络的方法能够更加真实反映车辆的行为特征。     

面向车辆监控导航的地图匹配算法研究

在引入地图匹配问题的基础上,针对传感器给出的车辆位置信息的不确定性,提出了基于准投影和曲线拟合的实时地图匹配算法,以适应车辆监控导航实时性的要求。该算法以选取与车辆行进方向一致的道路为核心,利用孤立点轨迹提取和GPS坏点过滤,取消由电子地图数据不完整和坐标变换误差引起的限制,简化运算的复杂度,并能在电子数据不完整或局部路网数据错误的情况下正常运行,从而为车辆监控导航准确性研究提供了基础。实验表明,该算法能够适应实时监控导航系统的需求,而且具有良好的实时性和鲁棒性。     

边缘直线拟合确定鱼眼镜头光心算法

为了去除鱼眼图像存在严重的畸变,需要对鱼眼相机进行标定,本文在已知相机参数表的前提下,提出了一种边缘直线拟合来标定最重要的镜头光心坐标算法.该算法利用像素点在图像平面上的物理尺寸及相机焦距,确定相机标定内参矩阵中水平轴和竖直轴的尺度因子.在部分内参已知的情况下,对光心的横、纵坐标在给定范围内进行遍历,校正点到拟合直线加权距离和最小的点,即为所求的光心坐标值.实验结果表明:与常规的标定算法相比,该算法得到的光心坐标减少了由于不精确参数使用带来的累积误差,提高了相机标定结果的精度.     

基于激光三维成像数据的车辆目标方位估计

对目标方位进行精确估计是提高目标匹配识别效率的重要前提,而车辆目标的地面投影轮廓近似于矩形,为此提出了基于激光三维成像数据的车辆目标方位估计方法.首先依据激光成像数据的高程值对数据进行分类,从激光成像区域的三维数据中提取出车辆目标数据进而获取目标的投影轮廓数据,然后采用向量积异号排除法求解车辆目标投影轮廓数据的凸边界,在此基础上采用直接求解凸边界最小外接矩形的方法对车辆目标的方位进行初步估计,最后利用与目标投影轮廓数据邻近的地面数据,并依据最小二乘原理拟合优化凸边界的最小外接矩形,校正车辆目标初始估计方位,从而实现车辆目标方位的精确估计.仿真结果表明,该方法可实现车辆目标方位的快速准确估计.     

基于阴影线的智能车辆检测及测距方法研究

针对当前智能车辆检测算法在实际应用中存在误差、测量结果不够准确等问题,使用基于运动车辆中车底阴影线算法的车辆检测机制,并利用车底阴影稳定存在特征解决车辆检测问题,进一步基于机器视觉的双目立体匹配测距方法实现对前方最近车辆距离测量,为智能车辆及驾驶员辅助系统提供信息。笔者采用的车底阴影线方法及双目测距最终实现结果证实,可以获取较为精确的道路前方的车辆及距离信息,有效检测距离为10 ～ 50 m,整体识别率达到85%。     

基于单目视频的手术器械相对工作空间估计方法

由于单目手术视频的镜头参数未知，仅凭该单目图像难以准确估算内镜镜头下的手术器械的三维坐标．针对这一问题，提出一种手术器械相对工作空间的估计方法．首先，对用U-Net网络分割后的掩膜图像进行直线检测，对图像坐标系下的直线映射到参数空间上的点进行聚类，从而优化直线检测效果．然后，利用边缘线段的相对几何位置特征对因网络分割效果欠佳导致的边缘线段残缺进行补足，从而提取出与目标边缘高度拟合的完整线段.结合目标器械实际尺寸与图像尺寸间的比例关系，利用平行线在投影平面上的消隐点特性计算出目标器械目标点处的实际三维坐标．最后，进行测距实验和轨迹跟踪实验.实验结果表明：该方法较磁导航传感器准确度高、鲁棒性强，距离测量精度可达2.658 1 mm，轨迹拟合度达91.2%，满足实际情况下手术器械相对工作空间的估算要求．