基于双目立体视觉的排爆机器人自动目标抓取

目前各种多关节、多自由度的排爆机器人在实战中都存在操作复杂、速度慢的问题.为此,基于双目立体视觉设计并实现了一个排爆机器人的目标物自动抓取系统.该系统能根据目标物在两摄像机获取的图像坐标计算其三维坐标,从而对机械臂进行轨迹规划和控制,完成目标物自动抓取.首先,建立了一个完整的双目立体视觉系统数学模型,然后,用张氏平面法标定两摄像机的内参数,再采用最小二乘法进行立体标定,得到双目立体视觉系统的外参数,从而根据目标物在左右摄像机成像得到的图像坐标计算其三维坐标.实验表明该系统能在满足作业精度要求的前提下,大大提高排爆作业的易操作性.     

基于单目视觉的工业机器人抓取系统设计

针对工业机器人在示教模式下上料无法对位姿出现偏差的工件完成抓取的问题,设计了一种基于单目视觉的工业机器人抓取系统。系统使用单目视觉采集工件图像,利用九点标定法将图像中的工件形心坐标转换为机器人坐标系下的坐标;通过图像处理算出工件的旋转角度,引导机器人运动至目标位置并配合抓手完成对工件的抓取。最后以PCB为对象搭建了抓取系统,经过多次抓取实验,发现该抓取系统位置误差在2 mm以内、姿态误差在1.5°以内,能够满足自适应抓取工件的定位要求。     

基于双目视觉的物体识别定位与抓取

为解决目标识别精度低、定位与抓取配合困难问题,通过对算法的改进研究了物体的识别定位与抓取,包括识别目标物体、对于目标物体形心的位置三维重建、对于目标物体的姿态估计、对于手眼标定后的抓取4个方面。在目标识别中,首先通过快速鲁棒特征(speeded up robust features,SURF)算法结合Grabcut算法提取出目标。在位置求解中,利用模板匹配求取目标物体形心的世界坐标。在姿态估计中,算法的流程为:利用匹配点对求取左图中物体母线斜率,再随机取斜率等于左图母线斜率的两点,通过两点的世界坐标求出目标物体的姿态。在抓取中,采用的眼在手上,先建立工件坐标系,再进行坐标转换,通过机器人参数求得逆解。研究结果表明:误差均在较小范围内且机器人可在有效工作范围实现抓取。可见算法可靠以及整体实验的正确性。     

基于改进Cascade R-CNN模型的机器人抓取检测研究

为提高多物体抓取检测网络的抓取检测准确率,提出一种基于改进Cascade R-CNN模型的机械臂抓取检测算法.首先,引入ResNeXt结构能够在不加大网络设计难度的前提下提高了模型的准确率;引入带空洞卷积的空间金字塔池化模块以解决分辨率较低的问题;接着对抓取框回归分支和角度分类分支以分治方法进行优化.其次,针对多物体抓取数据集缺乏的问题,构建多目标抓取数据集(multi-object grasping dataset, MOGD),有效地扩充了多物体抓取检测数据集.最后,基于改进Cascade R-CNN模型设计抓取检测网络,实验结果表明,改进后的算法效率更高,PI-Cascade R-CNN实验准确率为93%,较Cascade R-CNN提升1.5个百分点.     

双目视觉机器人物体搬运伺服控制系统研究

机器人视觉伺服系统的研究在机器人研究领域中起着重要作用,其研究结果的运用能使机器人更加智能化.文章以固高GRB-400机器人在双目视觉系统的条件下,基于位置的视觉伺服方法,研究了手爪如何精确定位物体和确定抓取物体的深度并确定目标姿态的方法.实验证明该方法能够实现机器人对物体的精确定位、抓取和搬运.     

一种改进的单步多框目标检测算法

针对单步多框目标检测算法(SSD)中存在的误检、漏检以及检测精度不够高等问题,提出了一种改进的SSD目标检测算法。该算法通过空洞卷积替换conv4₃卷积层及之前的两次标准卷积,扩大感受野,使用反卷积对不同尺度的特征图进行融合,使融合形成的特征图具有丰富的上下文信息,最后为特征图添加注意力模型,有效提取感兴趣区域的特征。仿真实验结果表明,改进算法在VOC2007数据集上较原算法检测精度提升0.9%,检测结果更加准确,一定程度上改善了误检、漏检等问题,同时仍满足实时性的要求。     

双目视觉机器人精确定位研究

如何实时鲁棒地进行移动机器人精确定位是一个挑战性的问题,人工路标有助于解决视觉定位中的数据关联难题,双目视觉有助于提高定位的精度,本文提出一种结合双目视觉和人工路标的方法来实现移动机器人的精确定位,实验结果验证了本方法的有效性。     

基于双目立体视觉的弧焊机器人标定研究

根据弧焊机器人本体的实际结构,通过分析机器人基坐标系、双目立体视觉系统坐标系及空间特征点坐标系的几何对应关系,采用双目立体视觉测量方法测得机器人各关节几何参数误差,并对相应的参数误差进行了补偿。结果显示,误差补偿后的机器人直线轨迹的精度有了大幅提高。     

基于视觉前馈和视觉反馈的仿人机器人抓取操作

针对仿人机器人执行抓取操作,提出了一种联合使用视觉前馈和视觉反馈的控制策略. 在视觉前馈中利用基于表格的逆运动学算法,简化了逆运动学计算,减少了抓取操作时间. 视觉反馈补偿了弱标定并增加了系统的稳定性. 两种控制算法的联合使用简化了仿人机器人的伸手抓取操作. 实验结果验证了该控制策略的可用性.     

半智能排爆机器人单手双目手眼系统的研究

针对目前排爆机器人手动控制方式的不足,研究和开发了一个单手双目手眼系统用于半智能排爆机器人的自动控制.单手双目手眼系统是半智能排爆机器人的重要组成部分和关键技术,该视觉系统利用双目立体视觉原理,采用Matlab7.0作为运算引擎,调用机器视觉处理软件EVision6.2中的EasyMatch模式匹配库进行立体图像匹配,能实时捕获排爆机器人周围的图像信息、进行摄像机标定、图像预处理、立体图像匹配、确定机器人未端手爪与可疑目标物的相对位置坐标,并把图像实时显示在控制台,自动控制手臂靠近并准确地抓取可疑目标物.该半智能排爆机器人成功地抓取实验,表明了该立体视觉系统在精度上能够满足半智能排爆机器人的项目要求.     

一种机械臂像素级抓取检测方法的研究

目的 针对在平面抓取的场景下,机械臂如何感知目标物体的位置信息并完成抓取作业,提出了一种兼顾检测速度和精度的抓取检测网络。方法 根据抓取检测任务中输入与输出尺寸大小相同的特点,采用语义分割思想设计了抓取检测网络;输入为随机裁剪后的深度图片,输出为同尺寸的抓取置信度、抓取角度和抓取宽度特征图;为了提高平面抓取任务的效率,在综合考虑检测网络速度和精度的情况下,对网络结构进行了改进,除了在网络结构中加入了注意力机制外,还使用U-net和Deeplabv3算法替换了网络的主体结构;通过对比实验认为加入注意力机制的检测网络在检测速度和检测精度上平衡得较好,能够实现抓取任务,将抓取位姿传输给ROS系统,通过一系列的坐标变换和运动规划进行了抓取作业。结果 添加注意力机制后,检测网络的推理时间仍为毫秒级,最大抓取置信度提高了7.2%;采用U-net和Deeplabv3的网络检测速度较慢,U-net网络的抓取置信度Q_max提高了18.8%,Deeplabv3网络的准确率A_cc提高了12.8%;由于抓取检测网络应同时考虑检测速度和精度,因此加入注意力机制的检测网...     

激光视觉机器人焊接中同时标定摄像机和手眼关系的方法

摄像机和机器人手眼标定是视觉机器人应用中的重要组成部分。针对激光视觉机器人焊接,根据机器人手眼矩阵和机器人末端对基坐标系的位姿矩阵的特定关系,提出了一种同时标定摄像机和机器人手眼的方法。用所设计的标定物对此方法进行标定试验,由非线性最小二乘优化法求解待标定的参数。从焊缝上取20个样点,利用标定结果恢复其三维空间坐标,并与实际三维坐标对比,平均误差为0.12mm,满足焊缝跟踪要求。     

基于双目立体视觉的标定技术及应用

为提升双目立体视觉装置的准确度和精度,提出基于双目立体视觉的标定技术。针对双目立体视觉中两 个相机的特点,采用圆形标志阵列标定板为图像源,通过对图像预处理,以径向误差做约束条件,根据圆的几 何关系和最小二乘法综合提取特征点的算法获取图像标识点坐标并求取单应性矩阵,最后推导得到理想的外 参和内参,从而获得双目立体视觉装置准确的参数。实验结果为该装置对待测数据的获取提供了精确的数据 基础和可靠的矫正条件,进而提升了双目立体视觉装置的准确度和精度。     

单摄像机立体视觉测量的研究

立体视觉测量的单摄像机结构相对双摄像机结构在结构尺寸、检测速度和经济成本上有明显的优势,有着广泛的应用前景。从原理和结构方面分析了单摄像机立体视觉测量的结构精度。结合双目立体视觉的基础与单摄像机测量结构的具体组成,用数学方法解析各个因素的影响情况,得出较为直观的数学描述;对结构尺寸和精度要求进行综合考虑,针对大视场角结构设计的复杂性,完成结构设计过程,提出较合理的结构形式;通过相应的实验进行精度验证和分析,验证了设计和分析方式合理性。     

双目立体机器视觉检测系统及其应用

为了快速准确地获得被测物体的三维立体尺寸,双目立体视觉检测系统是有效解决方案之一。经过精密标定的双且视觉系统,可根据两摄像机的视差,准确计算空间物体的三维形貌尺寸。双目视觉系统的标定技术及立体匹配技术是决定测量数据质量的关键环节。设计了高精度视觉标定系统,有效解决了立体匹配的难题,所开发的便携式立体测量仪,可以快速准确地获得大型物体的稠密三维坐标点云。在不喷涂显影荆的情况下,解决了黑色物体和反光物体的三维测量难题,可广泛应用于摩托车、汽车、模具、服装鞋帽以及逆向工程设计中。以逆向工程的3D轮廓测量为例,介绍了双目立体视觉技术及其应用。。     

基于双目视觉的柔性线缆运动检测方法及误差分析

研究大长径比柔性线缆的运动轨迹测量.根据线缆的几何特征和运动特点,提出了一种基于中心线匹配法的双目视觉运动检测方法,分析了该方法测量流程中的标定、匹配和重构误差之间的关系,建立了测量系统的几何误差模型并推导了误差估算公式,同时设计了一种误差校核方法.对该方法进行了实验验证,结果表明误差估计值0.11mm与实测误差值0.09mm接近,满足工程要求.     

Service Robot Localization Based on Global Vision and Stereo Vision

To satisfy different positioning accuracy demand in the movement of the service robot,a hierarchical localization method based on vision was proposed considering the positioning cost and computational ...     

基于双目视觉的服务机器人仿人机械臂控制

机械臂逆运动学、目标识别与定位是服务机器人手臂控制中的关键技术.为了更好地与复杂多变的非结构化环境进行交互,提出一种应用于服务机器人平台的基于双目视觉的仿人机械臂控制方法.给出一种针对6自由度手臂的逆解算法,并采用基于双目视觉与颜色分割的目标识别方法.然后,根据识别出的目标三维坐标信息控制机械臂完成特定任务.本方法在家庭服务机器人上得到了验证.     

基于共面圆的双目立体视觉分步标定法

计算机视觉中,在对景物进行定量分析或对物体进行精确定位时,都需要进行摄像机标定,即准确确定摄像机的内外参数.为了快速、有效地进行摄像机的标定,针对常用的带有一阶径向畸变的小孔摄像机模型,提出了一种简单有效的分步标定方法.先用预标定法得到左右摄像机主点坐标参数,然后再用TSAI两步法获得左右摄像机的内外参数,最后以左摄像机光心为世界坐标系原点,通过坐标转换关系,进而得到双目视觉的各种标定参数.该方法实验要求低,不需要移动摄像机.通过实验,验证了该方法能够准确、有效地求出各标定参数.