基于感兴趣区域的机器人抓取系统

智能抓取机器人能够代替人类完成高强度工作,为实现物体的准确定位,提升机器人抓取的成功率,对基于感兴趣区域的机器人抓取系统进行研究。对深度相机进行标定,对深度卷积神经网络损失函数进行改进,使用焦点函数代替传统的交叉熵函数,训练模型,得到目标的类别、二维包络框中目标的像素坐标值与深度值等信息。利用手眼标定方法将深度传感器坐标转换到机械臂基坐标系下,依据相机成像原理完成物体的定位。通过机器人逆运动学求解关节角度,驱动机器人实现抓取。对实验过程进行分析,在aubo_i5机械臂上进行实验验证。实验结果表明,目标的识别定位误差较小,平均精度值提升了2.36%,抓取的平均成功率达到93.4%,较改进前提升了13.4%,能够满足机器人抓取的需求。     

视觉引导下协作机器人抓取技术研究

针对在多物体复杂抓取场景下,协作机器人如何实现能在人机共融的环境中精确抓取特定目标工件及自主避障的问题,提出了一种基于监督学习的视觉引导下的协作机器人抓取方法;首先利用监督学习算法训练和处理待抓取物图像信息,完成对抓取目标特征的快速识别与定位;然后将抓取物的定位信息通过串口通信协议传输给ROS系统控制机器人完成运动规划...     

基于ROS平台的六自由度机械臂运动规划

在SolidWorks环境中建立六自由度机械臂模型,使用sw2urdf插件导出简化机械臂模型URDF文件.在ROS平台下,通过MoveIt!功能包得到机械臂运动规划需要的配置及启动文件等,在RViz可视化环境中利用MotionPlanning插件完成运动规划,其规划算法基于随机采样原理的OMPL完成,并着重分析了其中用于复杂动力学系统的KPIECE算法.针对复杂环境下的机械臂运动规划问题,基于ROS利用机械臂3D模型实现其虚拟控制,通过ROS工具导出机械臂运动过程中各关节位置、速度等信息,可为进一步分析和改进规划算法提供更加直观的方法.     

一种基于视觉信息的自主搬运机器人

提出了一种利用视觉信息进行定位和抓取的自主机器人搬运系统,此系统由带有两自由度操作手的轮式移动机器人和远程控制站组成。机器人利用视觉系统识别路标信息,采用MonteCarlo方法进行自定位。当靠近目标物体时,机器人利用视觉系统识别目标,并在利用该信息引导下自动抓取。由于机器人的运行是靠视觉系统获取的路标信息和目标物体信息引导的,同时具有遥操作控制功能,因此该系统能轻松完成复杂环境下搬运物体的任务。     

面向机器人抓取的双目视觉单步多目标检测方法应用研究

针对工业机器人的抓取技术普遍采用离线示教的方式,目标物的改变就会导致抓取不准的问题,研究了一种面向机器人抓取的双目视觉单目多目标检测方法,强化了机器人的抓取能力;首先搭建机器人抓取视觉检测系统,系统采用双目测距模型定位深度,单步多目标检测器定位像素坐标;通过相机标定和eye-to-Hand手眼标定将图像中的像素坐标以及双目测距模型的深度坐标转换为机器人基坐标的位姿,建立机器人运动学模型完成机器人基坐标到机器人末端坐标的转换,通过ROS实现上位机与机器人通讯,并将定位结果发送给ROS;经过多次实验,表明方法的目标检测误差在3.5 mm以内,深度误差在1.2 mm之内,具有很好的实用推广价值。     

基于视触数据融合的多模态细分类系统

随着自动化时代的到来,机械臂已经越来越多的应用到了工业生产以及人们的日常生活中,利用机械臂进行物体的分类抓取更是广泛应用于有害物分拣、航天探索等重要领域,然而实现对物体的分类目前还存在着一些不足,如大部分的分类系统主要依靠机械臂结合视觉来实现,这种单一视觉的分类系统在光线不足或物体外观相似但分属不同的工作环境并不能起到很好的效果。本文针对多种外观类似物体的精细分类开展研究,通过深度相机与压敏传感器综合获取物体的外观、材质等信息,然后将这些信息数据传输到具有双输入的卷积神经网络模型,借助机械臂实现对具有相似外观不同材质物体的细分类。结果表明,本文所述系统在实际机械臂测试环境下对物体的正确识别率达到了98.5%,相较于AlexNet与VGG16两种传统的单一视觉分类模型分别提高了35.7%和24%,可见融合物体的视觉与触觉信息的神经网络模型能够完成物体的细分类任务。     

基于触觉传感器和强化学习内在奖励的机械臂抓取方法

触觉在机器人抓取过程中扮演着重要的角色,但在大多数强化学习任务中,触觉仅被用于拓展状态空间,其提供的位置和压力等信息很少被完全利用.针对该问题,同时受内在奖励机制启发,首先设计了一种“倒T”形传感器阵列布局;然后基于这种传感器阵列提出了新的内在激励方法,该方法根据机械臂末端与物体接触位置的不同,给予不同的重视程度,鼓励智能体以更有效的姿态来夹取物体;最后将该方法在仿真环境中进行测试,结果表明该方法在夹取椭球和圆球物体任务中收敛速度比最新的基准方法平均提高了约20%.     

基于线结构光检测的Arduino分拣机械臂

通过对当前工业机器人技术应用发展状况及机械臂智能化现状的研究,设计了一种基于Arduino的智能小型机械臂,采用D-H法描述了4自由度模块化机械臂操作空间,获得以关节角度为变量的正运动学模型。运用矩阵逆乘的解析法,得到了机械臂逆运动学的完整解析解。结合线结构光三维视觉,实现了目标物体的识别抓取功能,弥补了二维相机获取深度信息的不足。实验证明,该智能小型机械臂设计合理,具备良好的准确性和稳定性,简单轻便且实用价值高,具有一定的市场前景。     

基于Kinect的机器人臂手系统的目标抓取

为了实现机器人臂手系统的目标抓取, 采用Kinect对目标信息进行实时检测. 首先,采用张正友棋盘标定法完成对Kinect内外参数的标定. 其次, 利用深度信息进行深度分割, 滤除大部分干扰背景, 再通过颜色与形状特征实现目标的识别与定位. 将识别对象的3维坐标通过以太网发送至机械臂控制台, 随后机械臂移动至目标位置. 最后采用变积分PID算法控制灵巧手接触力, 保证响应的快速性及精密性, 实现灵巧手的精细抓取. 通过设计一套完整的实验系统验证了该方法的有效性.     

空间机械臂冲击动力学建模及冲击后运动控制

通过对漂浮基空间机械臂冲击动力学的建模,计算出完成抓取操作后空间机械臂各关节的运动速度,从而为数值仿真计算提供初始条件.针对目标物体及空间机械臂系统惯性参数存在未知的情况,设计了冲击后空间机械臂及目标物体组合系统的载体姿态及关节运动滑模神经网络控制,并对平面自由漂浮空间机械臂系统抓取目标物体的操作及冲击后控制进行了数值仿真.仿真结果表明,空间机械臂抓取目标物体时的冲击对系统有重大的影响,所设计的控制方案可保证系统对期望运动的追踪.     

自主足球机器人视觉系统结构及关键技术

提出了自主足球机器人嵌入式多处理器体系结构以及视觉系统的构成框架.对单目视觉系统所涉及的关键技术进行了详细的分析和研究,其中包括图像分割、目标搜索算法、目标定位和机器人自定位技术.基于YUV颜色空间,对目标进行分割,并通过连通区合并来快速搜索目标,同时根据摄像机模型来确定目标的空间位置.实验表明分布式视觉体现结构能够实时准确地完成视觉处理任务.以上新算法可以快速鲁棒地搜索图像目标,并能较精确地确定目标的位置信息和机器人的自定位信息.     

一种基于WMF-ACA的深度图像修复算法

针对RGBD相机由于硬件条件的限制,所获取的深度图像往往存在空洞与噪声的问题,提出一种彩色图像引导的深度图像空洞填补方法.对深度图像边缘区域采用基于局部直方图的加权模式滤波器(WMF)进行处理,在有效保留深度图边缘与细节的前提下,消除图像噪声.对深度图像非边缘区域采用一种异步元胞自动机(ACA)模型算法,根据邻域和迭代规则对深度图空洞进行填补,快速、准确地完成任务.在立体匹配数据集Middlebury上测试所提算法实现性能,实验结果表明:该算法的结构相似性(SSIM)与峰值信噪比(PSNR)更高,能够准确地填补深度图空洞,同时保持深度图边缘清晰.     

一种基于BoW物体识别模型的视觉导航方法

针对复杂的室内环境,提出一种新的动态环境下的移动机器人视觉导航方法.该方法以室内常见物体作为自然路标,通过单目视觉建立识别模型来认知环境中的各种物体.首先对室内常见物体建立图像库,并对库中的大量图像采集SIFT特征;然后通过BoW模型来描述各幅图像,针对每类物体利用线性支持向量机(SVM)训练出物体识别模型;最后借助交互的手绘地图描述室内环境,移动机器人从中获得辅助路径以及自然路标的大概位置,从而完成导航任务.通过大量实验,从自然路标变化、目的区域变化、手绘地图偏差等多角度验证该方法的鲁棒性.实验结果表明,该导航方法操作简单高效,并具有人机交互性强、动态环境下适应能力高的优点.     

基于序列图像的视觉定位

提出了一种静止摄像机条件下基于计算机视觉的工业机器人的定位算法。采用单目视觉系统,由线性摄像机模型推导出定位测量模型。通过序列图像,以一种改进的自适应混合高斯模型更新背景,运用背景差分法检测出运动目标,用CAMSHIFT算法实现对运动目标的跟踪,确定其位置和姿态,估计出运动参数,反馈给机器人指导其准确运动。实验结果表明,该方法快速、有效,能够满足视觉定位的实时性要求。     

编码孔径相机获取优化全景图的新方法

提出一种利用编码孔径相机拍摄照片并进行全景图拼接的方法. 首次将深度相机和全景摄影结合起来,利用编码孔径相机获得的场景深度信息,可得到只含感兴趣部分的全景图以及细节清晰的全聚焦全景图. 与传统直接将源照片按照几何分布拼接在一起的全景图拼接方法相比,本文方法能够有效去除场景中近景物体在全景拼接中的错误,避免中距离物体破坏远景场景的完整性,同时获得全景图的模糊部分进行优化. 在这个框架下,运用本文方法对各种全景图拼接进行了大量实验,展示了拼接的过程以及拼接结果,结果表明本文提出的计算框架能够有效达到优化全景图的目的.      

基于模糊图像矩的动态定位系统

针对动态定位过程中摄像机的运动使得目标成像模糊，提出了一种基于模糊图像矩进行三维动态定位的控制系统。该系统依靠单摄像机在笛卡尔坐标系中的三维平动迅速接近环境中的静止目标，且与静止目标的三维距离符合给定值。证明了图像的零阶和一阶矩是模糊不变量，且包含目标的三维信息。推导出被控对象的状态方程，给出了系统的控制结构及控制律。仿真结果表明，基于模糊图像矩设计出的定位控制算法具有较高的控制精度。     

基于多RGBD摄像机的动态场景实时三维重建系统

使用多台基于FPGA嵌入立体计算的RGBD摄像机搭建动态场景实时三维重建系统. RGBD摄像机能够以视频速度输出场景的彩色(RGB)图像及对应的稠密视差(disparity)图像,由视差图像可进一步得到场景的深度图. 多台RGBD摄像机运行在统一的外部时钟和控制信号下,可实现对目标场景数据的同步采集. 为了提高各视点所获取的场景深度图质量,根据多RGBD摄像机系统视点分布较为稀疏的特点,使用概率密度函数估计的方法进行多视点深度图的融合. 融合后的深度图由PC集群进行处理,可实时生成所拍摄场景的三维空间点云. 实验结果表明,本文系统可以有效地重建包含多个运动目标的大型动态场景.      

基于单目运动摄像机的三维物体运动参数估计

针对单目视觉监测系统摄像机和目标物体同时运动时,如何有效测量物体三维运动参数的难题,提出一种基于单目序列图像对插入虚拟视点的算法确定运动物体位姿及运动参数的方法。动摄像机连续采集运动物体的图像序列,根据摄影几何原理对摄像机和运动物体进行分析,结合本质矩阵的特性,估算空间物体运动参数。实验结果表明,该方法能够在为摄像机与目标物体同时运动的情况下,有效地估测出物体三维运动参数,且该方法简单有效,具有较高的精确度和准确性。