视觉引导下协作机器人抓取技术研究

针对在多物体复杂抓取场景下,协作机器人如何实现能在人机共融的环境中精确抓取特定目标工件及自主避障的问题,提出了一种基于监督学习的视觉引导下的协作机器人抓取方法;首先利用监督学习算法训练和处理待抓取物图像信息,完成对抓取目标特征的快速识别与定位;然后将抓取物的定位信息通过串口通信协议传输给ROS系统控制机器人完成运动规划...     

基于视觉定位的七轴机械臂目标抓取研究

针对机器人结合机器视觉在面对特定物体进行抓取任务时,系统设计工作量大、可移植性差的问题,提出基于机器人操作系统(ROS),结合手眼的七轴机械臂目标抓取方法,在ROS框架下利用协作机器人FRANKA PANDA结合RGBD摄像头进行目标抓取。创建了RGBD摄像头的xacro机器人模型,利用RViz进行三维模型的可视化操作;应用MoveIt!软件对RViz和Dazebo进行联合仿真;将ROS获取的图像信息发送给OpenCV库进行图像处理及物体定位,然后将物体坐标信息发还给ROS进行机械臂抓取任务。结果表明,该方法简单有效,以ROS为基础设计的抓取方法可移植性强,解决了面对复杂多样的物体,机器人系统需进行大规模控制改动的问题。     

双目视觉机器人物体搬运伺服控制系统研究

机器人视觉伺服系统的研究在机器人研究领域中起着重要作用,其研究结果的运用能使机器人更加智能化.文章以固高GRB-400机器人在双目视觉系统的条件下,基于位置的视觉伺服方法,研究了手爪如何精确定位物体和确定抓取物体的深度并确定目标姿态的方法.实验证明该方法能够实现机器人对物体的精确定位、抓取和搬运.     

基于改进的FREAK算法的机器人抓取系统

为了解决工业机器人对带有复杂纹理的平面型工件的识别与定位问题,将机器视觉技术与工业机器人相结合。利用改进的FREAK算法对目标工件进行快速识别,并根据工件的形状和单应矩阵计算出工件的形心坐标和旋转角度,再结合双目视觉系统,获取机器人抓取点的三维位姿信息,引导SCARA机器人抓取目标工件。实验结果表明:在复杂的工业环境下,机器人抓取系统能够准确识别出目标工件,具有良好的鲁棒性,同时也满足工业生产的实时性要求。     

基于感兴趣区域的机器人抓取系统

智能抓取机器人能够代替人类完成高强度工作,为实现物体的准确定位,提升机器人抓取的成功率,对基于感兴趣区域的机器人抓取系统进行研究。对深度相机进行标定,对深度卷积神经网络损失函数进行改进,使用焦点函数代替传统的交叉熵函数,训练模型,得到目标的类别、二维包络框中目标的像素坐标值与深度值等信息。利用手眼标定方法将深度传感器坐标转换到机械臂基坐标系下,依据相机成像原理完成物体的定位。通过机器人逆运动学求解关节角度,驱动机器人实现抓取。对实验过程进行分析,在aubo_i5机械臂上进行实验验证。实验结果表明,目标的识别定位误差较小,平均精度值提升了2.36%,抓取的平均成功率达到93.4%,较改进前提升了13.4%,能够满足机器人抓取的需求。     

基于路标的机器人自定位方法

介绍了一种基于路标的移动机器人自定位方法。为了解决仅仅利用视觉系统得到的路标信息使用蒙特卡洛自定位(MCL)算法进行机器人自定位时存在较大误差的问题,提出了一种将MCL算法与unscented卡尔曼滤波器相结合进行自定位的方法,将从机器人视觉系统获取的路标信息,从驱动轮码盘获取的位置信息,以及从电子罗盘获取的机器人方位信息进行有效融合,从而提高了机器人的自定位精度。实验结果表明,该方法不但可以提高机器人的自定位精度,而且具有较好的鲁棒性。     

基于图像处理的清扫机器人视觉系统

清扫机器人是通过采集的图像对物体进行识别,并将必要的资料传给机器人手臂,进而移动手臂抓取目标物。为了实现机器人的视觉系统就要对采集的图片进行数字处理,然后用直方图修整法进行图像增强,再利用改进了的矩不变法进行图像分割,最后进行特征提取来获得需要的图像。该系统对一些实用的图像处理方法进行了有效的综合,使其形成了功能较全面的机器人视觉图像处理系统。     

基于视觉引导的Baxter机器人运动控制研究

高速和高精度的传统工业机器人已经广泛应用于制造业,但是传统工业机器人只能工作在结构化及封闭的环境中,从而限制了其应用领域。能够跟人协作互动、本质安全的智能协作机器人突破了传统工业机器人的环境限制,具有广阔应用前景。采用最新的智能协作机器人Baxter作为平台,介绍了双臂智能协作机器人Baxter的系统组成,分析了机器人操作系统(robot operating system,ROS)的通信机制,设计了基于视觉引导的智能协作机器人运动控制软件。机器人控制软件由视觉定位软件模块和手臂引导抓取软件模块组成,通过ROS的消息主题机制及ROS服务器来实现机器人手臂运动控制。实验结果证明,设计的控制软件能够准确控制Baxter机器人识别和抓取目标物体。     

基于视觉与超声技术机器人自动识别抓取系统

提出了满足机器人装配作业中对工件进行可靠识别与抓取的信号处理技术及检测方法,对痛准确描述物体形状的特征提取方法进行了研究,设计了一种基于视觉与超声技术的机器人自动识别与抓取系统的结构,并在机器人装配作业平台上进行了物体识别与抓取的实验研究。     

基于单目视觉的装配机器人研究及应用

针对传统工业机器人灵活性和环境适应能力差的缺点,对视觉机器人的关键技术进行了研究,提出了一套完整的识别定位抓取算法。首先,对于视觉机器人的目标识别跟踪问题,设计并实现了基于改进型Camshift的动态目标识别跟踪算法;其次,为了使机械臂精确抓取目标工件,采用单目视觉测距和视觉导航的原理对于目标工件的三维位置进行获取;最后,采用改进D-H参数法对机械臂进行运动建模,利用正逆运动学分析确定了机械臂控制方案。测试结果表明,识别算法识别成功率达到100%,定位算法测量坐标与实际坐标之间的相对误差小于5%,整体装配成功率达到96.7%,最终达到了基于单目视觉装配机器人研究的应用目标。     

移动智能机器人避障规划研究

文章针对环境信息不确定情况下的避障问题,利用摄像机逆透视映射原理,实现单摄像机获取环境深度信息,并提出了一种基于视觉的局部路径规划的算法,实现了移动智能机器人在不确定环境中利用视觉传感器实时获取外部信息进行路径规划,仿真与实验结果表明,移动智能机器人能快速地跟踪规划路径,实现避障。     

3D Object Visual Tracking for the 220kV/330kV High-Voltage Live-Line Insulator Cleaning Robot

The 3D object visual tracking problem is studied for the robot vision system of the 220kV/330kV high-voltage live-line insulator cleaning robot. The SUSAN Edge based Scale Invariant Feature (SESIF) algorithm based 3D objects visual tracking is achieved in three stages: the first frame stage,tracking stage,and recovering stage. An SESIF based objects recognition algorithm is proposed to find initial location at both the first frame stage and recovering stage. An SESIF and Lie group based visual tracking algo...     

基于视触数据融合的多模态细分类系统

随着自动化时代的到来,机械臂已经越来越多的应用到了工业生产以及人们的日常生活中,利用机械臂进行物体的分类抓取更是广泛应用于有害物分拣、航天探索等重要领域,然而实现对物体的分类目前还存在着一些不足,如大部分的分类系统主要依靠机械臂结合视觉来实现,这种单一视觉的分类系统在光线不足或物体外观相似但分属不同的工作环境并不能起到很好的效果。本文针对多种外观类似物体的精细分类开展研究,通过深度相机与压敏传感器综合获取物体的外观、材质等信息,然后将这些信息数据传输到具有双输入的卷积神经网络模型,借助机械臂实现对具有相似外观不同材质物体的细分类。结果表明,本文所述系统在实际机械臂测试环境下对物体的正确识别率达到了98.5%,相较于AlexNet与VGG16两种传统的单一视觉分类模型分别提高了35.7%和24%,可见融合物体的视觉与触觉信息的神经网络模型能够完成物体的细分类任务。     

基于Kinect的目标跟踪与避障

利用Kinect实现室内移动机器人的目标跟踪与避障功能,其中Kinect提供的光学图像用于实现机器人视觉目标跟踪。利用Kinect的人脸识别功能,避免当环境中出现多目标时,机器人对运动目标的识别出现混乱;同时增加了增量子空间对视频信息进行及时更新,避免机器人因目标移动较快而跟丢目标;利用T-S模糊神经网络法实现避障功能,相比传统算法有效改善了其收敛性。在移动机器人CRX10上实验证实了该系统能够较好地完成目标跟踪的同时具有躲避障碍物的功能。     

基于序列图像的视觉定位

提出了一种静止摄像机条件下基于计算机视觉的工业机器人的定位算法。采用单目视觉系统,由线性摄像机模型推导出定位测量模型。通过序列图像,以一种改进的自适应混合高斯模型更新背景,运用背景差分法检测出运动目标,用CAMSHIFT算法实现对运动目标的跟踪,确定其位置和姿态,估计出运动参数,反馈给机器人指导其准确运动。实验结果表明,该方法快速、有效,能够满足视觉定位的实时性要求。     

用单个摄像机获取三维视觉信息的一种方法

讨论了在平面坐标系上摄像机的标定和利用单个摄像机获取三维视觉信息的一种方法。实验结果表明，采用单个摄像机获取三维视觉信息的精度与摄像机相对目标物体的高度及对象物本身的厚度有关，在视场范围内，对象物的厚度越小，摄像机坐标中心相对于目标物体表面中心的距离越远，定位精度越好。     

基于机器视觉的目标跟随六足机器人

针对智能机器人控制领域的机器视觉中的目标跟踪问题与机器人运动控制方法研究,设计实现了一款基于机器视觉的目标跟随六足机器人,该系统的机器视觉目标跟踪算法为TLD(tracking-learning-detection)算法,采用stm32嵌入式处理器驱动32路舵机控制板控制机器人运动,并设计实现了一种小型自动火控装置用于锁定目标后的定位打击.该系统融合了六足机器人运动学和机器视觉目标跟踪技术,对六足机器人步态进行研究,根据目标视觉导航,精确锁定目标,对目标进行瞄准打击做出了详细的设计实现工作.     

基于全景视觉的海上救助机器人

针对海上搜救的背景,研究了基于全景视觉的移动机器人进行海上救助的关键技术。首先,提出了基于颜色模型的图像分割方法,运用区域增长的方法处理分割图像并进行目标定位。然后,配合声纳传感器对目标进行准确的抓取。最后,通过实验检验图像分割和目标定位的精度,验证了该方法运用到海上救助系统的可行性。     

机器人足球决策软件系统研究与实现

在机器人足球比赛中，决策系统根据视觉系统提供的机器人位姿和足球位置信息，进行快速准确的决策，是取得胜利的关键。介绍了一套机器人足球决幕软件系统的设计实现方案，采用六步推理模型，基于敷组对称和按需首次计算的视觉信息预处理方法；提出基于角色的改进多参考点运动轨迹规划方法。通过实际比赛验证，达到了机器人足球比赛要求，比赛效果较好。