面向机器人抓取的双目视觉单步多目标检测方法应用研究

针对工业机器人的抓取技术普遍采用离线示教的方式,目标物的改变就会导致抓取不准的问题,研究了一种面向机器人抓取的双目视觉单目多目标检测方法,强化了机器人的抓取能力;首先搭建机器人抓取视觉检测系统,系统采用双目测距模型定位深度,单步多目标检测器定位像素坐标;通过相机标定和eye-to-Hand手眼标定将图像中的像素坐标以及双目测距模型的深度坐标转换为机器人基坐标的位姿,建立机器人运动学模型完成机器人基坐标到机器人末端坐标的转换,通过ROS实现上位机与机器人通讯,并将定位结果发送给ROS;经过多次实验,表明方法的目标检测误差在3.5 mm以内,深度误差在1.2 mm之内,具有很好的实用推广价值。     

基于特征匹配算法的双目视觉测距

距离测量作为障碍物检测以及路径规划的前提和基础是机器人研究领域的一个重要分支。在众多测距方法中,由于双目立体视觉具有信息丰富、探测距离广等优点被广泛应用。本文将改进的SIFT特征匹配算法应用到双目视觉测距与标定系统中。首先建立双目视觉测距模型,测量值由空间物点在左右摄像机下的像素坐标值决定;其次根据该模型的特点提出了基于平行光轴的双目立体视觉标定方法;最后利用改进的SIFT特征匹配算法,提取匹配点的像素坐标完成视觉测距。实验结果表明,根据测量数据对障碍物进行三维重建,相对距离与真实场景基本吻合,能够有效地指导机器人进行避障。     

室内环境下结合里程计的双目视觉SLAM研究

针对视觉SLAM要解决的定位精度低和鲁棒性低的问题,提出一种基于双目视觉传感器与里程计信息的扩展卡尔曼滤波SLAM方法,应用改进的SIFT算子提取双目视觉图像的环境特征获得特征点,并构建出视觉特征地图;应用扩展卡尔曼滤波算法融合视觉信息与机器人位姿信息,完成同时定位与地图创建。这种方法既可以解决单目视觉利用特殊初始化方法获取特征点信息不准确的问题,也可以避免双目视觉里程计利用图像信息恢复运动带来的计算量极大和运动估计不鲁棒的缺点。仿真实验表明,在未知室内环境下,算法运行稳定,定位精度高。     

基于Faster R-CNN的机器人目标检测及空间定位

基于深度学习的方法,运用Faster R-CNN目标检测架构和ResNet50卷积神经网络,针对配电线路维护机器人系统作业目标的特点对网络进行了训练.在此基础上结合双目视觉测距原理测得作业目标在相机坐标系中的坐标,通过手眼标定将该坐标转换到机器人基座坐标系中,从而完成作业目标的空间定位.实验结果表明:该方法能很好地适应作业场景背景复杂、光照变化以及目标部分遮挡等情况,所提出的手眼标定算法能够满足配电线路维护机器人对目标空间测量定位的要求.     

基于单目视觉的装配机器人研究及应用

针对传统工业机器人灵活性和环境适应能力差的缺点,对视觉机器人的关键技术进行了研究,提出了一套完整的识别定位抓取算法。首先,对于视觉机器人的目标识别跟踪问题,设计并实现了基于改进型Camshift的动态目标识别跟踪算法;其次,为了使机械臂精确抓取目标工件,采用单目视觉测距和视觉导航的原理对于目标工件的三维位置进行获取;最后,采用改进D-H参数法对机械臂进行运动建模,利用正逆运动学分析确定了机械臂控制方案。测试结果表明,识别算法识别成功率达到100%,定位算法测量坐标与实际坐标之间的相对误差小于5%,整体装配成功率达到96.7%,最终达到了基于单目视觉装配机器人研究的应用目标。     

双目立体视觉系统设计

双目立体视觉是一种对目标点进行准确快速定位行之有效的方法,通过对双目立体视觉系统标定、立体匹配等关键技术的研究,设计开发了一种可以广泛应用的双目立体视觉系统。该系统采用了两种匹配算法,分别采用传统上基于极线约束的特征点灰度相关匹配算法和基于SIFT(Scale Invariant FeatureTransform)特征描述子的改进匹配算法实现。在实现双目立体视觉系统的目标点定位基础上,进行了两种匹配算法的性能比较和分析。实验表明该双目视觉系统设计具有良好的实用价值。     

双目视觉变焦测距技术

双目视觉测距是根据视差原理,将三维空间求深度信息的问题转化成二维空间求视差.提出一种改进的变焦测距方案,使得传统双目视觉测距系统的测量范围得到更好的延展性,测量精度有了更好的自适应性.提出测距系统的“灵敏度”定义,它是决定系统有效量程和测量精度的重要指标.根据灵敏度函数的具体标定,提出自适应的变焦测距策略,在实际的测量应用测试中已收到较好的效果.     

港口集装箱自主识别定位技术

针对港口集装箱自动装卸问题,结合双目视觉和深度学习技术,设计了一种基于Faster R-CNN(faster regions with convolutional neural network)模型的集装箱三维识别定位方法。首先利用双目摄像头采集装箱图像,用于训练Faster R-CNN模型,然后使用该模型检测图像中的集装箱目标,对识别出的目标添加矩形框,并提取其中心点图像坐标,接着通过对双目摄像头进行标定和匹配,获取集装箱矩形框中图像坐标点的深度,实现对集装箱的三维定位,最后将集装箱的三维坐标转换到轮胎吊吊具坐标系下,获得所有集装箱目标中心和吊具中心距离。实验结果表明,系统运行速度可以达到30 fps,平均定位误差在5 mm以内,系统可以有效解决集装箱三维实时识别和定位问题,提升港口集装箱自动化装卸能力。     

一种水下双目视觉测距方法研究

基于改进的SIFT特征匹配算法,建立了一个水下双目视觉测距系统.围绕提高水下双目视觉测距的精度、速度和抗干扰度等,研究了图像预处理、SIFT特征匹配算法等关键技术.针对传统图像直方图均衡化结果过亮或过暗现象以及过增强的特点,提出了一种改进的结合了OTSU阈值算法的直方图均衡化方法;结合稀疏匹配搜索算法,提出一种改进的SIFT特征匹配算法对左、右目图像进行特征匹配.利用区域增长算法,分别生成了水下标定板和机械臂的伪彩色视差图像,由视差图获得了目标相应位置的距离.实验结果显示:水下标定板平均测距精确度为97.66%,利用所提方法也获得了水下机械臂的双目视差图像.     

基于阴影线的智能车辆检测及测距方法研究

针对当前智能车辆检测算法在实际应用中存在误差、测量结果不够准确等问题,使用基于运动车辆中车底阴影线算法的车辆检测机制,并利用车底阴影稳定存在特征解决车辆检测问题,进一步基于机器视觉的双目立体匹配测距方法实现对前方最近车辆距离测量,为智能车辆及驾驶员辅助系统提供信息。笔者采用的车底阴影线方法及双目测距最终实现结果证实,可以获取较为精确的道路前方的车辆及距离信息,有效检测距离为10 ～ 50 m,整体识别率达到85%。     

基于双目立体视觉的列车目标识别和测距技术

随着近几年铁路运输量的大幅度提升,铁路运输自动化被提上了日程,现如今火车的调车与编组的效率都有了大幅度提高,但是,火车的摘钩分解操作依旧是需要人工完成.针对摘钩作业时间短,需要在机器人和车厢同步时准确识别目标把手和测距的问题,提出使用双目立体视觉技术配合机械臂自动摘取车钩的方法并对视觉部分进行深入研究:通过图像预处理和模板匹配技术识别目标把手,在利用特征检测和匹配算法恢复双目摄像机间的位姿信息,并对双目摄像机的位姿信息进行校正.为了克服立体匹配时光照不均的影响,提出了基于局部融合的立体匹配算法获取视差图,最后使用三角测量计算列车分解区域中目标把手的深度信息,实现三维重建.此方法可以在识别把手位置后,测量把手距双目视觉系统的物理距离,为机器人自动摘钩提供数据基础.     

基于双目立体视觉系统的测量研究

为了实现摄像机与目标物体之间距离的信息,由双目测量原理,采取结合OpenCV与Matlab的方式,设计出一套关于双目测距的立体视觉系统;系统首先对双目摄像机的内外参数进行标定,从黑白格组成的标定板中获得角点信息,使用亚像素角点检测法对角点坐标信息进行更精确检测,在黑白格组成的标定板分别距离双目摄像机300、400、500、600、700mm处获取不同位置的标定图像,经过张正友标定法最终可以得到双目摄像机所需内外参数;其次通过BM(Block Matching)立体匹配算法在VS2017坏境与opencv3.4.7库配合下完成了摄像机的立体校正、立体匹配进而得到视差图;最后在实验中使用了双目摄像头,并编写了代码通过鼠标点击所得到的视差图获取对应的世界坐标来实现物距的测量;实验结果表明:被测物距离摄像头光心500~700mm这一范围时,实测距离和实际距离相对误差百分比在0.171% ~0.192%之间,且实测距离在2 950mm内实验误差小于5%满足实验精度要求。     

基于双目视觉技术的物体深度信息的提取

传统的双目匹配算法得到的数据是左右视图匹配点的二维坐标;但二维坐标将丢失物体的三维深度信息。提出一种利用视差原理在世界坐标系内计算该物点在现实中所对应点的三维坐标的新方法。该方法分为三部分:第一部分为双目相机的标定,包括内参(主点、焦距、径向畸变、不垂直因子)以及两相机之间的外参(旋转矩阵和平移矩阵)。第二部分为特征点的提取与匹配,特征点的提取则是利用SIFT算子提取左右视图的特征点,匹配则是将两视图中的对应点(现实中为同一点)利用SIFT算法进行匹配。第三部分为物体深度信息的计算,利用双目相机的视差原理和已经得出的双目相机的参数进行空间还原得到相应的左右视图投影投射矩阵,结合空间几何线性关系计算出该点在世界坐标系的三维坐标,从而得出其深度信息。     

基于机器学习与视觉的四足机器人步态精确监测方法

为保证四足机器人在复杂地形中能准确行进,对其步态实时监测方法进行了研究,提出一种基于机器学习和双目视觉的步态精确监测方法。首先为降低视觉残影误差,从已知步态轨迹“动中取静”确定对足端的最佳观测点位。此外,为补偿视觉系统误差所致足端位姿测量误差,提出一种基于深度神经网络的足端位姿精确预测方法。最后仿真结果表明所设计神经网络有99.68%的概率能达到0.025 mm足端位置预测精度,可满足实时、高精度监测要求。此方法将机器学习的泛化能力与视觉系统复杂误差来源相结合,使视觉方法实现了高精度测量,为足式机器人步态实时精确监测提供了新思路,进而为其足端精确定位及步态周期性保持提供了有益的方法参考。     

基于双目立体视觉的弧焊机器人标定研究

根据弧焊机器人本体的实际结构,通过分析机器人基坐标系、双目立体视觉系统坐标系及空间特征点坐标系的几何对应关系,采用双目立体视觉测量方法测得机器人各关节几何参数误差,并对相应的参数误差进行了补偿。结果显示,误差补偿后的机器人直线轨迹的精度有了大幅提高。     

非结构化助老助残机械手对目标识别定位系统的研究

研制了一种非结构化的五自由度助老助残机械手,针对助老助残机械手末端手掌对空间目标物体的定位抓取问题,采用了一种激光引导的双目机器视觉定位和广义回归神经网络求逆解相结合的方法。该方法中,双目机器视觉定位采用双目工业相机,通过阈值分割算法识别激光斑确定目标物体的坐标,再经广义回归神经网络反解出助老助残机械手关节角度。最后通过采集实验数据和理想数据做对比,该方法能够达到较高的定位抓取精度,比较以往的机械手角度反解,该方法不存在无解或多解的情况。     

一种多无人机协同定位与稠密地图构建算法

针对VINS-Mono(monoculor visual-inertial state)算法定位精度较低且构建的稀疏点云地图包含的信息较少无法用于无人机的自主导航的问题,提出了一种集中式多无人机协同定位与稠密地图构建算法。该算法通过提高回环闭合中特征点匹配准确度以优化多无人机之间的定位精度,为了建立多个无人机之间的连接约束,使用四种不同类型的坐标系进行坐标转换优化,采用双向检测匹配法对关键帧进行特征点匹配,结合PROSAC(progressive sampling consensus)算法剔除误匹配,通过对有回环闭合约束的多无人机的位姿与全局地图进行全局位姿图优化,结合Voxblox构建了可供五架无人机协同导航的全局稠密地图。在EuRoc数据集的五个序列中,提出的多无人机协同定位与稠密地图构建算法与VINS-MONO算法相比,绝对轨迹误差分别降低了34%、26%、42%、24%、19%。实验证明,改进算法有效提高了多无人机之间的定位精度,并且构建的全局一致稠密地图包含距离信息与梯度信息,可以用于多无人机的自主导航。     

基于双目立体视觉的海浪波面三维重建技术

为了提高海面特征点检测的准确度和三维重建的精度,在基于传统的Harris算法的基础上,提出1种基于高斯金字塔图像的改进Harris特征点检测算法.利用搭建的双目相机平台,对海浪图像进行采集并完成相机的标定过程,然后根据改进的角点提取算法对图像的角点进行检测,利用尺度不变特征变换(scale-invariant feature transform,SIFT)算法对海浪图像特征点进行立体匹配得出视差图,最后根据三角测量原理获取图像的深度信息,实现海浪波面的三维信息重建.实验结果证明,在针对海浪图像时,该方法具有更高的精度和准确度.     

基于混合上下文熵模型的点云几何编码算法

针对三维点云存在的大量空域冗余信息，提出一种基于混合上下文熵模型的点云几何编码算法框架.通过多层感知机与Resnet网络分别对基于八叉树结构的点云和基于体素结构的点云特征进行上下文特征提取，并使用选择单元对上下文信息进行裁剪、选择和融合，使网络能够针对当前编码体素建立更加准确的概率模型，从而提高三维点云的压缩效果.同时，针对模型复杂度高的问题提出并行多尺度自回归进行概率估计的方案，大大降低了编解码时间.实验结果表明：点云几何编码算法能够有效降低每个体素所占的比特数并且整个编码过程无损；与G-PCC编码算法相比，压缩后比特率下降了14.27%.