移动机器人车载摄像机位姿的高精度快速求解

在分析移动机器人车载摄像机位姿的特殊性质的基础上,根据摄像机的等效转轴构造辅助旋转矩阵,利用该旋转矩阵将原始待分解本质矩阵和单应矩阵转换为一类简单的、可通过初等数学运算进行分解的本质矩阵和单应矩阵。仿真实验的结果表明,该车载摄像机位姿估计算法较传统方法具有更高的精度和更快的运算速度,对摄像机等效转轴的扰动也具有很好的鲁棒性。此外,分解出的可能解的数目较传统算法减少了一半,且在除诱导单应阵的空间景物平面与地面垂直的情况下,均能直接得到移动机器人的唯一转角,为移动机器人姿态控制提供了极大的便利。     

一种新型的本质矩阵解析分解算法

为了由本质矩阵分解出两摄像机的相对位姿,提出了一种新型的本质矩阵解析分解算法。首先,利用本质矩阵秩2的属性求出两摄像机间的平移量;然后,利用求解旋转矩阵方程组的方法求出两摄像机间的旋转量;最后,利用直接求取空间3D点成像深度的方法快速从四组分解结果中确定出满足空间3D点可见性约束的惟一正确解。实验结果表明,本文提出的分解算法不仅避免了对本质矩阵进行复杂耗时的奇异值分解运算,而且分解出的四组解析解具有直观且明确的几何意义,同时因为完全避免了景物结构的3D重建,大大简化了惟一解确定过程,降低了惟一解确定难度。     

移动机器人头-眼关系的自标定算法

针对一种特殊的仿人双臂移动机器人,基于双目视觉算法,在分析其运动关系的基础上,利用移动机器人的本体手臂,采用几何法和位姿分离法相结合的算法,对仿人机器人头部相机的位姿进行了标定.该标定算法无须外部标定模板,可快速准确地建立移动机器人视线坐标系和基础坐标系的位姿转换矩阵.实验结果验证了该标定算法的有效性,算法能满足移动机...     

基于双目视觉技术的物体深度信息的提取

传统的双目匹配算法得到的数据是左右视图匹配点的二维坐标;但二维坐标将丢失物体的三维深度信息。提出一种利用视差原理在世界坐标系内计算该物点在现实中所对应点的三维坐标的新方法。该方法分为三部分:第一部分为双目相机的标定,包括内参(主点、焦距、径向畸变、不垂直因子)以及两相机之间的外参(旋转矩阵和平移矩阵)。第二部分为特征点的提取与匹配,特征点的提取则是利用SIFT算子提取左右视图的特征点,匹配则是将两视图中的对应点(现实中为同一点)利用SIFT算法进行匹配。第三部分为物体深度信息的计算,利用双目相机的视差原理和已经得出的双目相机的参数进行空间还原得到相应的左右视图投影投射矩阵,结合空间几何线性关系计算出该点在世界坐标系的三维坐标,从而得出其深度信息。     

利用遗传算法精确标定摄像机参数

讨论了利用遗传算法作为优化算法的双阶段摄像机标定方案。首先,忽略摄像机畸变的影响,根据先验假设恰当组合摄像机的其他内外参数。构成线性方程,利用最小二乘法直接估计摄像机主要参数的初始值;其次,考虑摄像机畸变的影响,在初始值的基础上利用遗传算法优化摄像机的全部参数。该标定方案直接优化摄像机相对于世界坐标系的旋转角度,因此能够在获得精确解的同时,保证旋转矩阵的正交约束条件。此外,由于遗传算法的染色体具有     

老年服务机器人视觉定位方法研究

提出一种视觉定位方法对影响老年服务机器人的视觉定位精度的摄像机标定、手眼系统标定以及三维重建3个部分进行优化.首先对多幅标定图像的结果进行最小二乘处理,剔除大权重的误差样本以减小标定的统计误差;通过建立过渡空间坐标系的方法来对手眼系统进行标定,减少多次计算转移矩阵所造成的累积误差;利用最小二乘拟合精确确定目标的匹配点,...     

一种基于图象序列的3D重构算法

提出一种基于图象序列的 3D重构算法。采用共轭梯度法迭代估计射影深度 ,通过矩阵分解方法实现射影重构。然后利用一个 4× 4非奇异矩阵 ,将射影重构变换为欧氏重构。实验结果表明此算法是行之有效的     

基于局部单应性矩阵的结构光系统标定研究

在基于结构光测量系统中,投影仪标定对物体的三维测量精度有着直接的影响。通过投影仪投射多幅正交格雷码至棋盘格标定板表面,利用未标定摄像机获得受棋盘格标定板调制的变形格雷码条纹图像,通过局部单应性矩阵方法获得棋盘格标定板各角点所对应的投影仪图像坐标。根据摄像机图像坐标、投影仪图像坐标与棋盘格标定板角点对结构光测量系统进行标定,获得摄像机与投影仪的内参数矩阵以及投影仪图像坐标系在摄像机图像坐标系的位姿矩阵。最后对结构光测量系统进行了标定实验;并使用Samuel Audet标定工具箱、Douglas Lanman标定工具箱与提及的标定方法进行标定误差对比。实验结果表明该方法操作简便,精度高,能较好地标定结构光测量系统参数。     

基于保持内容的变形算法的虚拟展示系统

采用基于图像渲染的算法实现了三维虚拟展示系统.该系统可以从不同角度,以不同放缩比例交互式浏览真实物体.首先基于SfM算法来重建原始摄像机轨迹和稀疏的三维点云,并拟合摄像机轨迹为三维平面圆.在两连续视点之间使用对极变换算法,将特征点集投射到新视图,最后使用基于保持内容的变形算法生成新视图图像.两视点都能生成对应的新视点图像,连续两个视点可以生成内部新视点的两幅新视图.最后新视图和原始视图合成视频.该系统通过操作视频实现放缩和旋转的交互式浏览方式,优点在于不需要对物体做三维重建,仅基于图片的方式来展示物体.和基于三维重建的三维展示系统不同的是,该系统基于图像渲染,运算量小,交互方式简洁、更真实.     

基于SIFT特征匹配和模约束的摄像机分层自标定方法

在一些计算机视觉和摄影测量任务的执行过程中,需要在线地标定摄像机参数,这就使得不依赖标定参照物的自标定成为必需,提出一种基于SIFT特征匹配和模约束的摄像机分层自标定方法。自由移动或旋转摄像机拍摄同一场景内部参数不变条件下的四幅以上图像。对每幅图像进行SIFT特征点提取,通过特征点匹配在每幅图像中分别获得对应三维场景空间同一特征点的像素坐标。进行投影标定,获得每幅图像在投影重建空间中的相机投影矩阵,以及每个特征点在投影重建空间中的三维坐标。进行仿射标定,采用模约束法确定无穷远参考平面在投影重建空间中的参数。进行度量标定,确定内参矩阵。实验表明,该方法能在线地稳定地获得摄像机内参标定结果,从而对现有的摄像机自标定方法进行了改进。     

移动机器人同时定位与建图室内导航地图研究

针对当前视觉同时定位与建图(simultaneous localization and mapping,SLAM)生成的点云地图不能满足路径规划和导航的需要,提出一种室内移动机器人的导航地图制备方法.首先,通过SLAM估计相机位姿,后端优化后生成室内场景的三维点云地图;其次,根据地面移动机器人的运动约束及结构特点分情况讨论,推导点云相对于地面的二维坐标,同时对点云进行地面与障碍的分离、截取与筛选;最后,根据栅格占据状况有序构建出导航地图.实验结果表明,基于点云坐标的障碍物截取准确度高于地面拟合截取方法,所建地图精度与完整度均高于传统方法.室内移动机器人能基于该地图进行路径规划与导航.     

一种基于标记点的近景摄影测量系统

给出了一种基于标记点的鲁棒三维重建摄影测量系统;采用编码点和非编码点等标记点方式.为了减少不同图像间误匹配的概率,采用一种新的基于编码点的匹配方法,不同图像间非编码点的匹配从编码点开始,并通过相似性准则、模糊度准则和距离误差准则来剔除误匹配,可获得非常高的正确匹配率.采用一种新的基于标记点的加权迭代特征算法,用编码点恢复相机的投影矩阵,从而可以确定相机的外部姿态参数;用非编码点恢复3D坐标.与已有的加权迭代特征算法比较,该算法避免了所有点参与计算相机的投影矩阵,运算速度更快.由于采用标记点的亚像素定位方法,提高了3D重建精度.实验结果表明,在3D重建方面,该系统是强壮和精确的.     

基于主动视觉的机器人末端姿态测量

采用平面校准形及移动摄像机到不同形位摄取图像的方法来进行摄像机校准，由灭点正交性和单对应矩阵的固有特征估计摄像机内、外参数初值，通过非线性优化来最小化投影误差；利用遗传算法求解机器人手眼矩阵，避免了初值估计，可容易地得到机器人执行器末端相对于绝对坐标系的姿态．实验和计算验证表明，这种测量方法是有效的，可以用于机器人校准、机器人辅助测量以及机器人辅助手术等领域．     

基于激光同步定位与建图的移动机器人路径寻优方法

针对未知场景下移动机器人路径寻优问题,提出一种基于改进蚁群算法的激光SLAM移动机器人路径寻优方法。该方法由场景重构和路径寻优组成,利用激光雷达传感器观测特征物信息对广义卡尔曼滤波估计值更新,建立场景理解信息点云构造二维栅格地图,根据场景重构地图信息结合改进的蚁群算法进行路径优化。在复杂场景下,通过激光SLAM移动机器人实验表明,改进蚁群算法的激光SLAM移动机器人在多种复杂场景路径寻优和运行消耗时间等方面取得了较好的效果。     

基于异质传感器信息融合的移动机器人SLAM研究

针对采用单一传感器在移动机器人同步定位与构图(SLAM)中存在定位精度低、构图不完整等问题,提出一种基于Kinect视觉传感器和激光传感器信息融合的SLAM算法。首先将Kinect传感器获取的深度图像经过坐标系转换得到三维点云、通过限制垂直方向滤波器过滤三维点云的高度信息、再将剩余三维点云投影到水平面并提取边界点云信息转化为激光扫描数据;然后与激光传感器的扫描数据进行数据级的信息融合;最后输出统一数据实现移动机器人的构图及自主导航。实验结果表明,该方法能够准确的检测小的及特征复杂的障碍物,能够构建更精确、更完整的环境地图,且更好地完成移动机器人自主导航任务。     

基于RGB-D的室内场景实时三维重建算法

针对基于视觉的室内场景三维重建过程中存在三维点云匹配不准确、过程耗时和深度信息部分缺失的问题,提出一种带有深度约束和局部近邻约束的基于RGB-D的室内场景实时三维重建算法.该算法首先利用RGB-D相机采集到的RGB图像做哈里斯角点检测,再用SURF特征点描述方法对检测到的特征点生成64维特征描述子.接着利用特征点集合的深度信息和局部近邻特征点信息作为约束,初步筛选出相邻帧间正确的匹配点对,再结合随机抽样一致性(RANSAC)算法去除外点,以此得到相机的姿态估计.最后利用RGB-D的深度图像,在图优化方法(g2o)的基础上生成三维点云,实现室内场景的三维重建.实验中,RGB-D摄像头装载在自主移动导航的小车上,实时重构的三维场景验证了所提算法的可行性和准确性.     

基于目标检测的单目视觉半稠密语义地图构建

传统的视觉SLAM系统在机器人定位和制图工作中取得了显著的成功,但存在着缺乏场景信息、地图过于稀疏、单目相机初始化困难等亟待解决的问题。本文提出了MNS-SLAM（Monocular-semantic SLAM）,将目标检测算法与单目视觉SLAM（同时定位与地图构建）技术相结合,进而构建有助于环境理解的半稠密语义地图。首先,通过目标检测网络YOLOv4检测对象获取边界框和类别信息,通过消失点算法和二次曲面恢复算法由2D目标检测恢复出3D长方体及二次曲面,实现3D物体的位姿初始化。同时,引入了目标间相对位姿不变性的语义约束,构造了语义损失函数,将其添加到BA优化中,最后通过增量式3D线段提取,构建带有物体语义信息的半稠密地图。文中方法在TUM公开数据集和真实场景中进行试验,不仅构建了半稠密地图,同时添加了语义信息,为后端的优化提供了新的约束,相机的绝对和相对位姿误差表现出优于单目ORB-SLAM2的性能,有助于搭载单目相机的移动机器人感知和理解环境,执行更复杂的任务。     

无物方信息的未检校近景影像的方位元素估计

无物方控制信息的未检校立体影像序列只能实现度量重建,而实现度量重建必须恢复内外方位元素,利用层次重建方法,根据三张以上同名像点,用迭代分解算法恢复投影矩阵和结构,然后采用基于绝对二次曲面的自检校方法恢复相机的内方位元素,并进一步得到外方位元素.此方法可以在不需要物方控制的条件下得到统一模型,若有物方控制即可通过绝对定向获取物方坐标,可用于低精度的三维测量,也可作为高精度光束法平差的初值.     

基于视觉识别技术的移动式樱桃采摘机器人设计

为了降低樱桃采摘过程中的破碎率,提高采摘效率,设计一种新的基于视觉识别技术的移动式樱桃采摘机器人。将TI公司的32位数字处理器芯片TMS320F2812作为核心处理器设计移动式樱桃采摘机器人,本文给出硬件总体方案,并且通过SAA7105完成对视频图像的编码操作。软件设计主要包括樱桃的定位、机器人手眼标定和机器人路线规划。依据目标上多个点的三维位置信息对樱桃球模型进行重建,通过最小二乘法求出樱桃质心位置,实现樱桃的定位。将樱桃在机器人坐标系中的定位简化成求解摄像机坐标系和机器人坐标之间的映射矩阵,通过映射矩阵实现机器人手眼标定。考虑到樱桃的采摘要求,通过分段路径规划对机器人的运动进行控制。实验结果表明,所设计机器人图像处理性能强、定位精度高,在保证采摘精度的同时,有很高的采摘效率。