面向机器人抓取的双目视觉单步多目标检测方法应用研究

针对工业机器人的抓取技术普遍采用离线示教的方式,目标物的改变就会导致抓取不准的问题,研究了一种面向机器人抓取的双目视觉单目多目标检测方法,强化了机器人的抓取能力;首先搭建机器人抓取视觉检测系统,系统采用双目测距模型定位深度,单步多目标检测器定位像素坐标;通过相机标定和eye-to-Hand手眼标定将图像中的像素坐标以及双目测距模型的深度坐标转换为机器人基坐标的位姿,建立机器人运动学模型完成机器人基坐标到机器人末端坐标的转换,通过ROS实现上位机与机器人通讯,并将定位结果发送给ROS;经过多次实验,表明方法的目标检测误差在3.5 mm以内,深度误差在1.2 mm之内,具有很好的实用推广价值。     

视觉引导下协作机器人抓取技术研究

针对在多物体复杂抓取场景下,协作机器人如何实现能在人机共融的环境中精确抓取特定目标工件及自主避障的问题,提出了一种基于监督学习的视觉引导下的协作机器人抓取方法;首先利用监督学习算法训练和处理待抓取物图像信息,完成对抓取目标特征的快速识别与定位;然后将抓取物的定位信息通过串口通信协议传输给ROS系统控制机器人完成运动规划...     

基于单目视觉的装配机器人研究及应用

针对传统工业机器人灵活性和环境适应能力差的缺点,对视觉机器人的关键技术进行了研究,提出了一套完整的识别定位抓取算法。首先,对于视觉机器人的目标识别跟踪问题,设计并实现了基于改进型Camshift的动态目标识别跟踪算法;其次,为了使机械臂精确抓取目标工件,采用单目视觉测距和视觉导航的原理对于目标工件的三维位置进行获取;最后,采用改进D-H参数法对机械臂进行运动建模,利用正逆运动学分析确定了机械臂控制方案。测试结果表明,识别算法识别成功率达到100%,定位算法测量坐标与实际坐标之间的相对误差小于5%,整体装配成功率达到96.7%,最终达到了基于单目视觉装配机器人研究的应用目标。     

基于改进的FREAK算法的机器人抓取系统

为了解决工业机器人对带有复杂纹理的平面型工件的识别与定位问题,将机器视觉技术与工业机器人相结合。利用改进的FREAK算法对目标工件进行快速识别,并根据工件的形状和单应矩阵计算出工件的形心坐标和旋转角度,再结合双目视觉系统,获取机器人抓取点的三维位姿信息,引导SCARA机器人抓取目标工件。实验结果表明:在复杂的工业环境下,机器人抓取系统能够准确识别出目标工件,具有良好的鲁棒性,同时也满足工业生产的实时性要求。     

基于双目视觉的物体识别定位与抓取

为解决目标识别精度低、定位与抓取配合困难问题,通过对算法的改进研究了物体的识别定位与抓取,包括识别目标物体、对于目标物体形心的位置三维重建、对于目标物体的姿态估计、对于手眼标定后的抓取4个方面。在目标识别中,首先通过快速鲁棒特征(speeded up robust features,SURF)算法结合Grabcut算法提取出目标。在位置求解中,利用模板匹配求取目标物体形心的世界坐标。在姿态估计中,算法的流程为:利用匹配点对求取左图中物体母线斜率,再随机取斜率等于左图母线斜率的两点,通过两点的世界坐标求出目标物体的姿态。在抓取中,采用的眼在手上,先建立工件坐标系,再进行坐标转换,通过机器人参数求得逆解。研究结果表明:误差均在较小范围内且机器人可在有效工作范围实现抓取。可见算法可靠以及整体实验的正确性。     

基于感兴趣区域的机器人抓取系统

智能抓取机器人能够代替人类完成高强度工作,为实现物体的准确定位,提升机器人抓取的成功率,对基于感兴趣区域的机器人抓取系统进行研究。对深度相机进行标定,对深度卷积神经网络损失函数进行改进,使用焦点函数代替传统的交叉熵函数,训练模型,得到目标的类别、二维包络框中目标的像素坐标值与深度值等信息。利用手眼标定方法将深度传感器坐标转换到机械臂基坐标系下,依据相机成像原理完成物体的定位。通过机器人逆运动学求解关节角度,驱动机器人实现抓取。对实验过程进行分析,在aubo_i5机械臂上进行实验验证。实验结果表明,目标的识别定位误差较小,平均精度值提升了2.36%,抓取的平均成功率达到93.4%,较改进前提升了13.4%,能够满足机器人抓取的需求。     

基于图像处理的清扫机器人视觉系统

清扫机器人是通过采集的图像对物体进行识别,并将必要的资料传给机器人手臂,进而移动手臂抓取目标物。为了实现机器人的视觉系统就要对采集的图片进行数字处理,然后用直方图修整法进行图像增强,再利用改进了的矩不变法进行图像分割,最后进行特征提取来获得需要的图像。该系统对一些实用的图像处理方法进行了有效的综合,使其形成了功能较全面的机器人视觉图像处理系统。     

基于视觉引导的Baxter机器人运动控制研究

高速和高精度的传统工业机器人已经广泛应用于制造业,但是传统工业机器人只能工作在结构化及封闭的环境中,从而限制了其应用领域。能够跟人协作互动、本质安全的智能协作机器人突破了传统工业机器人的环境限制,具有广阔应用前景。采用最新的智能协作机器人Baxter作为平台,介绍了双臂智能协作机器人Baxter的系统组成,分析了机器人操作系统(robot operating system,ROS)的通信机制,设计了基于视觉引导的智能协作机器人运动控制软件。机器人控制软件由视觉定位软件模块和手臂引导抓取软件模块组成,通过ROS的消息主题机制及ROS服务器来实现机器人手臂运动控制。实验结果证明,设计的控制软件能够准确控制Baxter机器人识别和抓取目标物体。     

一种基于视觉信息的自主搬运机器人

提出了一种利用视觉信息进行定位和抓取的自主机器人搬运系统,此系统由带有两自由度操作手的轮式移动机器人和远程控制站组成。机器人利用视觉系统识别路标信息,采用MonteCarlo方法进行自定位。当靠近目标物体时,机器人利用视觉系统识别目标,并在利用该信息引导下自动抓取。由于机器人的运行是靠视觉系统获取的路标信息和目标物体信息引导的,同时具有遥操作控制功能,因此该系统能轻松完成复杂环境下搬运物体的任务。     

橘子采摘机器人目标识别定位方法与实验研究

自然环境下橘子目标被枝叶遮挡或者果实之间重叠现象非常普遍,环境的复杂性给采摘机器人视觉系统的目标识别与定位带来极大困难,提出了一种将K-means聚类算法与Canny边缘检测算法相结合的方法,识别出枝叶遮挡多果重叠工况下橘子的完整轮廓,对橘子轮廓的几何参数和实际坐标进行计算,完成了目标物的定位。首先采用K-means聚类算法从原始图像中分割橘子目标区域,应用Canny边缘检测算法识别橘子目标区域的轮廓,再通过Hough梯度圆变换检测算法确定橘子轮廓的圆心和半径,利用单目立体视觉平移测量模型计算出橘子的空间坐标,完成了橘子和大枣的抓取实验。实验结果表明,本文方法能够实现复杂背景下橘子多目标的识别与定位,并可推广到类圆目标的抓取过程。     

基于Kinect的机器人臂手系统的目标抓取

为了实现机器人臂手系统的目标抓取, 采用Kinect对目标信息进行实时检测. 首先,采用张正友棋盘标定法完成对Kinect内外参数的标定. 其次, 利用深度信息进行深度分割, 滤除大部分干扰背景, 再通过颜色与形状特征实现目标的识别与定位. 将识别对象的3维坐标通过以太网发送至机械臂控制台, 随后机械臂移动至目标位置. 最后采用变积分PID算法控制灵巧手接触力, 保证响应的快速性及精密性, 实现灵巧手的精细抓取. 通过设计一套完整的实验系统验证了该方法的有效性.     

自主机器人指定颜色形状属性物体的识别方法

机器人在自主行进的过程中,依靠视觉系统自动捕捉目标,并将目标物识别出,是智能机器人的关键技术之一。为解决机器人移动过程中对已知颜色形状属性的目标物的识别问题,对基于YUV颜色空间的种子填充彩色图像分割方法进行改进,在各种背景下有效地实现机器人视觉系统对已知颜色形状的目标物的识别,对变化光照具有较强的适应性。     

基于单目立体视觉的NAO机器人的目标定位与抓取

为了实现NAO机器人对空间目标的定位与抓取,提出了一种单目立体视觉的导航方法.首先利用机器人上部摄像机的平动获取两幅目标图像,等效于双目立体视觉,采用FFT频域互相关和累加求和快速算法,进行两幅目标图像的立体匹配,实现目标位置的快速检测;然后根据测得的目标高度,运用视野中心算法和三角测量原理计算出目标距离,进行目标的跟踪逼近,当机器人到达目标邻近区域时使用下部摄像机进行目标检测并进行姿态调整,直到距离误差落在目标中心许可的圆形区域内,进行目标抓取,实际测试表明采用这种视觉导航方法的NAO机器人抓取成功率在90%以上.     

基于视觉与超声技术机器人自动识别抓取系统

提出了满足机器人装配作业中对工件进行可靠识别与抓取的信号处理技术及检测方法,对痛准确描述物体形状的特征提取方法进行了研究,设计了一种基于视觉与超声技术的机器人自动识别与抓取系统的结构,并在机器人装配作业平台上进行了物体识别与抓取的实验研究。     

基于单目视觉的工业机器人抓取系统设计

针对工业机器人在示教模式下上料无法对位姿出现偏差的工件完成抓取的问题,设计了一种基于单目视觉的工业机器人抓取系统。系统使用单目视觉采集工件图像,利用九点标定法将图像中的工件形心坐标转换为机器人坐标系下的坐标;通过图像处理算出工件的旋转角度,引导机器人运动至目标位置并配合抓手完成对工件的抓取。最后以PCB为对象搭建了抓取系统,经过多次抓取实验,发现该抓取系统位置误差在2 mm以内、姿态误差在1.5°以内,能够满足自适应抓取工件的定位要求。     

基于双目立体视觉的排爆机器人自动目标抓取

目前各种多关节、多自由度的排爆机器人在实战中都存在操作复杂、速度慢的问题.为此,基于双目立体视觉设计并实现了一个排爆机器人的目标物自动抓取系统.该系统能根据目标物在两摄像机获取的图像坐标计算其三维坐标,从而对机械臂进行轨迹规划和控制,完成目标物自动抓取.首先,建立了一个完整的双目立体视觉系统数学模型,然后,用张氏平面法标定两摄像机的内参数,再采用最小二乘法进行立体标定,得到双目立体视觉系统的外参数,从而根据目标物在左右摄像机成像得到的图像坐标计算其三维坐标.实验表明该系统能在满足作业精度要求的前提下,大大提高排爆作业的易操作性.     

基于EM算法的工业机器人抓取控制研究

抓取是机器人的基本操作任务,通过待抓取物体的位姿变化对机器人关节数据自适应调整,提高机器人物体抓取成功率.本文基于EM算法的混合正态分布模型建立待抓取物体位姿观测变量和机器人关节变量之间的映射关系,并采用UR3机器人进行抓取试验.结果表明,采用该方法进行抓取控制只是在样本训练集的边缘抓取失败,抓取成功率为95.5％.基...     

具有手脚融合功能的多足步行机器人结构设计

为了拓展多足步行机器人的应用,开发了具有手脚融合功能的模块化多足步行机器人.该机器人至少1支腿既可以行走又可以抓取物体,具有手脚融合功能.抓取物体时,利用3条腿支撑身体,具有手脚融合功能的腿作为能抓取物体的机械手,行走时该腿就执行脚的功能.机器人由机体模块、行走腿结构模块、手脚融合腿部结构模块、控制模块等组成.各模块之间方便联结与扩展.在物理样机上进行了相关试验,结果表明该机器人能够行走和抓取特定目标物,实现了手脚融合功能.     

半智能排爆机器人的单手双目手眼系统

针对目前排爆机器人手动控制方式的不足,研究和开发了一个单手双目手眼系统用于半智能排爆机器人的自动控制.该系统基于双目视觉原理,采用Matlab7.0作为运算引擎,调用机器视觉软件eVision6.2中的EasyMatch 模式匹配库进行立体匹配,实时捕获图像,进行摄像机标定、图像预处理和匹配,确定可疑目标物的坐标,并把图像实时显示在控制台,自动控制手臂靠近并准确抓取可疑目标物.该半智能排爆机器人抓取实验的相对误差小于2.54%,表明该立体视觉系统在精度上能满足半智能排爆机器人的要求.     

结合迭代学习控制的视觉伺服物品抓取方法

针对家庭环境中服务机器人的物品抓取问题,以NAO机器人为实验平台,提出了一种结合迭代学习控制的基于位置的视觉伺服抓取算法.结合Bumblebee2双目立体相机构建了视觉伺服系统,对NAO机器人的机械臂进行了运动学建模.针对静止物品和传递过程中运动物品的抓取问题,分别设计了李雅普诺夫渐进稳定的基于位置的视觉伺服(PBVS)抓取控制律,最后为克服机械误差和物品运动预测误差的影响,结合迭代学习控制对PBVS控制律进行了改进,通过迭代实验验证提出的方法能够快速校正系统误差,提高系统响应速度,使机器人能够快速、稳定地完成目标物品的抓取,实现相应的家庭服务.