基于多传感器融合的抓取控制研究

针对现有抓取系统中双目视觉定位精度较差,易受环境影响,使得抓取的成功率较低,鲁棒性不强的现象,本文提出采用视觉、红外测距传感器、触觉传感器和编码器等多传感器数据融合的方法,设计并实现了一种可靠的、鲁棒性强的、能自动调整抓取力的抓取系统.通过双目视觉辅以单目相机和红外测距传感器来精确定位,改善抓空情况;通过集成触觉传感器和编码器,对抓取过程中的力-位进行实时监测,减少目标物体破碎和滑落的现象,并通过实验证明了相对于单传感器,多传感器数据融合能大大改善抓取的成功率,提高系统的性能.     

面向机器人抓取的双目视觉单步多目标检测方法应用研究

针对工业机器人的抓取技术普遍采用离线示教的方式,目标物的改变就会导致抓取不准的问题,研究了一种面向机器人抓取的双目视觉单目多目标检测方法,强化了机器人的抓取能力;首先搭建机器人抓取视觉检测系统,系统采用双目测距模型定位深度,单步多目标检测器定位像素坐标;通过相机标定和eye-to-Hand手眼标定将图像中的像素坐标以及双目测距模型的深度坐标转换为机器人基坐标的位姿,建立机器人运动学模型完成机器人基坐标到机器人末端坐标的转换,通过ROS实现上位机与机器人通讯,并将定位结果发送给ROS;经过多次实验,表明方法的目标检测误差在3.5 mm以内,深度误差在1.2 mm之内,具有很好的实用推广价值。     

基于Mask R-CNN的物体识别和定位

为了让机器人能识别物体类别、探测物体形状、判断物体距离,提出一种基于Mask R-CNN模型的双目视觉的物体识别和定位方法。该方法利用Mask R-CNN处理双目图像,对每张图像进行物体识别和形状分割,然后利用神经网络特征对双目图像中的相同目标进行匹配。以物体形状为依据,使用最近点搜索算法估计视差并计算距离。实验结果表明,该方法能够以准实时的速度进行物体的识别和定位,与传统的依赖计算全局视差图的方法相比,在速度和精度上都有提高。     

一种基于视觉信息的自主搬运机器人

提出了一种利用视觉信息进行定位和抓取的自主机器人搬运系统,此系统由带有两自由度操作手的轮式移动机器人和远程控制站组成。机器人利用视觉系统识别路标信息,采用MonteCarlo方法进行自定位。当靠近目标物体时,机器人利用视觉系统识别目标,并在利用该信息引导下自动抓取。由于机器人的运行是靠视觉系统获取的路标信息和目标物体信息引导的,同时具有遥操作控制功能,因此该系统能轻松完成复杂环境下搬运物体的任务。     

双目视觉机器人物体搬运伺服控制系统研究

机器人视觉伺服系统的研究在机器人研究领域中起着重要作用,其研究结果的运用能使机器人更加智能化.文章以固高GRB-400机器人在双目视觉系统的条件下,基于位置的视觉伺服方法,研究了手爪如何精确定位物体和确定抓取物体的深度并确定目标姿态的方法.实验证明该方法能够实现机器人对物体的精确定位、抓取和搬运.     

基于双目视觉的物料三维空间定位算法

针对移动机械臂抓取物料过程中的三维空间定位问题,提出一种适用于双目视觉的物料定位算法。首先基于双目视觉成像原理,构建手眼矩阵,完成双目相机坐标系到机器人坐标系的转换;其次将注意力机制嵌入到主干网络的CSP结构中,采用一种YOLOv5s+CBAM改进网络结构,在自制的物料数据集上mAP达到99.1%,FPS为71,可实现物料抓取点位置的准确检测;最后针对抓取点立体匹配错误导致深度信息获取错误的问题,提出一种基于灰度值测距的SGBM改进算法获取深度信息。经实验检测,平均测距误差5.16mm,结合目标检测,可实现物料抓取点三维坐标的定位。     

双目立体视觉系统设计

双目立体视觉是一种对目标点进行准确快速定位行之有效的方法,通过对双目立体视觉系统标定、立体匹配等关键技术的研究,设计开发了一种可以广泛应用的双目立体视觉系统。该系统采用了两种匹配算法,分别采用传统上基于极线约束的特征点灰度相关匹配算法和基于SIFT(Scale Invariant FeatureTransform)特征描述子的改进匹配算法实现。在实现双目立体视觉系统的目标点定位基础上,进行了两种匹配算法的性能比较和分析。实验表明该双目视觉系统设计具有良好的实用价值。     

基于振动摩擦的铲式柔性机械手的研究

软性物体的抓取中存在挤压和摩擦两个关键问题。挤压可导致物体变形,摩擦可导致物体表面损伤。目前的研究大多着眼于实时采集抓取过程中的力学数据并构建智能反馈系统以准确控制抓取力,达到无损抓取目标。此类系统结构复杂,成本较高,难以实现实用化与市场化。该文提出一种基于振动摩擦的铲式柔性抓取方案。采用铲式机械手,以铲起代替夹持动作,从而有效避免挤压损伤现象;利用振动摩擦原理有效减轻摩擦,以避免表面擦伤划伤现象。计算表明该方案效果优于传统做法,而成本低于智能式机械手,具有一定的实用价值和市场前景。     

基于视觉定位的七轴机械臂目标抓取研究

针对机器人结合机器视觉在面对特定物体进行抓取任务时,系统设计工作量大、可移植性差的问题,提出基于机器人操作系统(ROS),结合手眼的七轴机械臂目标抓取方法,在ROS框架下利用协作机器人FRANKA PANDA结合RGBD摄像头进行目标抓取。创建了RGBD摄像头的xacro机器人模型,利用RViz进行三维模型的可视化操作;应用MoveIt!软件对RViz和Dazebo进行联合仿真;将ROS获取的图像信息发送给OpenCV库进行图像处理及物体定位,然后将物体坐标信息发还给ROS进行机械臂抓取任务。结果表明,该方法简单有效,以ROS为基础设计的抓取方法可移植性强,解决了面对复杂多样的物体,机器人系统需进行大规模控制改动的问题。     

半智能排爆机器人的单手双目手眼系统

针对目前排爆机器人手动控制方式的不足,研究和开发了一个单手双目手眼系统用于半智能排爆机器人的自动控制.该系统基于双目视觉原理,采用Matlab7.0作为运算引擎,调用机器视觉软件eVision6.2中的EasyMatch 模式匹配库进行立体匹配,实时捕获图像,进行摄像机标定、图像预处理和匹配,确定可疑目标物的坐标,并把图像实时显示在控制台,自动控制手臂靠近并准确抓取可疑目标物.该半智能排爆机器人抓取实验的相对误差小于2.54%,表明该立体视觉系统在精度上能满足半智能排爆机器人的要求.     

基于一维卷积神经网络的掘进机截割部磁场辅助定位技术

为了解决悬臂式掘进机当截割部被机身遮挡或粉尘比较严重时引发的视觉定位失效问题，以磁场强度分量和双目立体视觉技术获取的位姿数据作为训练数据，获得网络参数，提出一种基于一维卷积神经网络（1D-CNN）的辅助定位方法。结果表明，1D-CNN对截割部轨迹预测较好，空间角度俯仰角、偏航角的预测精度达到99%以上，总体精度满足悬臂式掘进机位姿的测量要求。所提方法可以有效预测掘进机截割部的空间位姿信息，与BP全连接神经网络相比，具有能自动提取特征、避免过拟合的优点，为掘进机截割部定位提出了新思路。     

基于PSO-RBF神经网络的串联机械臂逆运动学分析

针对目前基于神经网络对串联机械臂求逆解方法中出现的精度不足和实时性较差的问题,使用粒子群优化(particle swarm optimization,PSO)算法对径向基函数(radial basis function,RBF)神经网络进行结构优化,提出一种基于PSO-RBF神经网络的机械臂逆运动学算法。首先由正运动学模型获取神经网络训练和测试参数样本,经过欧拉角变换在神经网络输入端建立机械臂关节位姿映射关系,然后通过PSO算法对径向基核函数进行参数寻优并对测试样本求解分析,最后获取经逆运动学求解后机械臂的运动轨迹,验证了该算法的可靠性。仿真结果显示,由PSO-RBF神经网络逆运动学算法能够快速得出满足精度要求的关节角度,为进一步机械臂工业控制提供了理论支持。     

基于改进型神经网络的双目摄像机标定

摄像机标定是机器视觉中最重要的环节之一,传统标定方法运算量大、计算复杂,非常繁琐。为解决标定存在的若干问题,提出基于改进神经网络的双目视觉摄像机标定方法。通过对双目摄像机有效模型分析,建立空间点图像坐标与世界坐标非线性映射关系,同时引入自适应学习算法,实现隐层神经元的自适应选取,并且在创建网络模型前对样本数据进行归一化处理,提前终止策略,使网络泛化能力得到极大改善。通过与经典标定方法进行比较,表明基于改进型神经网络标定方法能获得较好的双目标定精度。     

基于机器学习与视觉的四足机器人步态精确监测方法

为保证四足机器人在复杂地形中能准确行进,对其步态实时监测方法进行了研究,提出一种基于机器学习和双目视觉的步态精确监测方法。首先为降低视觉残影误差,从已知步态轨迹“动中取静”确定对足端的最佳观测点位。此外,为补偿视觉系统误差所致足端位姿测量误差,提出一种基于深度神经网络的足端位姿精确预测方法。最后仿真结果表明所设计神经网络有99.68%的概率能达到0.025 mm足端位置预测精度,可满足实时、高精度监测要求。此方法将机器学习的泛化能力与视觉系统复杂误差来源相结合,使视觉方法实现了高精度测量,为足式机器人步态实时精确监测提供了新思路,进而为其足端精确定位及步态周期性保持提供了有益的方法参考。     

机床主轴动态特性优化设计的遗传算法实现

机床主轴的动态特性设计可归结为特征值反问题的求解。研究了基于神经网络和遗传算法机床主轴动态特性结构优化设计的求解方法。计算结果及分析表明它是求解一切特征值反问题的有效方法。     

双目立体机器视觉检测系统及其应用

为了快速准确地获得被测物体的三维立体尺寸,双目立体视觉检测系统是有效解决方案之一。经过精密标定的双且视觉系统,可根据两摄像机的视差,准确计算空间物体的三维形貌尺寸。双目视觉系统的标定技术及立体匹配技术是决定测量数据质量的关键环节。设计了高精度视觉标定系统,有效解决了立体匹配的难题,所开发的便携式立体测量仪,可以快速准确地获得大型物体的稠密三维坐标点云。在不喷涂显影荆的情况下,解决了黑色物体和反光物体的三维测量难题,可广泛应用于摩托车、汽车、模具、服装鞋帽以及逆向工程设计中。以逆向工程的3D轮廓测量为例,介绍了双目立体视觉技术及其应用。。     

计入字符识别跟踪的双目摄影振动测量方法

针对大尺寸结构振动和模态测量要求,提出一种基于字符编码标志的双目摄影目标追踪振动测量方法。设计了一种由字符和圆形组成的编码标志,采用自适应维纳滤波进行图像去噪,自适应局部阈值法提取字符特征,基于BP神经网络训练进行字符识别,实现目标的追踪匹配;进行标志区域灰度平滑,采用灰度质心法获取标志中心坐标;基于双目摄影振动测量方法计算测点的时域振动响应。以某3kW风力机叶片为对象进行实验研究,结果与锤击法的前3阶频率相对误差均小于0.9%,表明该方法可靠可行。     

一种基于Wiener模型的非线性预测控制

提出了一种基于Wiener模型的非线性预测控制方法.通过引入非线性部分的广义回归网络逆模型,将非线性预测控制转化为线性预测控制,用线性优化算法解决非线性预测控制问题,避免了复杂的非线性优化.仿真实验表明了该方法的有效性.     

基于双目视觉的移动机器人动态目标识别与定位

提出了一种双目移动机器人实时动态目标识别与定位方法。该算法首先采用SIFT(Scale Invariant Features Transforms)算法提取目标特征,并结合双目视差特征进行目标匹配;然后通过区域增长方法进行目标区域的提取;最后结合双目视觉标定的模型对目标进行定位。实验结果表明:该方法在摄像机运动-目标运动情况下,能对局部特征未知或特征不明显的动态目标进行有效的识别与定位。