基于双目立体视觉的排爆机器人自动目标抓取

目前各种多关节、多自由度的排爆机器人在实战中都存在操作复杂、速度慢的问题.为此,基于双目立体视觉设计并实现了一个排爆机器人的目标物自动抓取系统.该系统能根据目标物在两摄像机获取的图像坐标计算其三维坐标,从而对机械臂进行轨迹规划和控制,完成目标物自动抓取.首先,建立了一个完整的双目立体视觉系统数学模型,然后,用张氏平面法标定两摄像机的内参数,再采用最小二乘法进行立体标定,得到双目立体视觉系统的外参数,从而根据目标物在左右摄像机成像得到的图像坐标计算其三维坐标.实验表明该系统能在满足作业精度要求的前提下,大大提高排爆作业的易操作性.     

基于图像的焊件深度信息提取

阐述了一种简化的基于竞争匹配机制的双目立体图像匹配算法.通过对摄像机安装位置进行配置,使得双目视觉传感器的模型大为简化.使用竞争匹配机制对图像中的对应点进行匹配.然后把各个点在图像上的坐标系代入简化后的传感器模型,计算出三维焊缝的空间坐标.最后在VC 平台上对所介绍的方法编程实现,并通过双目测距实验证明该算法的实时性和可靠性.     

基于双目立体视觉的三维建模算法

根据双目立体视觉成像原理来完成特征点深度信息的恢复,提出了一种基于图像的三维建模方法。利用该方法标定出相机的全部内外参数;利用双目立体视觉成像原理,根据不同位置拍摄的2幅或多幅照片中的对应点的图像坐标,计算它们在空间中对应点的三维坐标,实现了由多幅图像来恢复物体的深度信息;最后,利用这些坐标在Rhino中实现了由离散的稀疏点云数据建立三维实体模型。     

基于井下移动机器人双目视觉空间点坐标计算方法

为了解决基于移动机器人双目视觉井下环境三维重建中关键的空间点的重建问题,采用模拟数据实验方法和实际双目系统采集的实际场景图像数据的实验方法,研究了平行双目视觉系统的成像规律,提出了对双目视觉系统采集的图像对进行平行极线约束的校正方法以及由两幅图像对应点计算图像上的像点所表示的场景空间点的空间坐标,从而实现空间点的重建。研究结果表明:该方法对井下巷道的视觉测量、三维数据获取以及井下巷道环境的三维重建具有一定的参考价值和指导意义。     

基于双目视觉的水泥混凝土路面错台检测方法

针对水泥混凝土路面错台测量手段的不足,提出了一种基于双目视觉的错台测量方法.该方法根据双目摄像机的成像特点和水泥混凝土路面的图像特征,对接缝位置进行定位和错台计算.定位分为2个主要步骤,一是基于灰度投影的粗定位,二是在粗定位的基础上提取接缝附近图像,利用灰度投影和边缘投影精定位.由双目视觉测量系统计算相邻2块水泥板在错台附近点的三维坐标,利用这些坐标计算错台量,其中关键环节是在双目图像匹配时提出了一种基于匹配点位置估计的匹配算法.试验表明,与直尺测量结果吻合.     

基于CAD模型的立体视觉目标运动估计

提出了一种基于CAD模型的目标运动估计和目标轨迹实时生成方法，分为两步：首先采用立体视觉系统由图像特征点求出目标特征点的每个采样周期的空间位置；然后由其匹配模型的特征点集，通过扩展卡尔曼滤波方法估计目标运动参数，有了上述参数，就可以设计与伺服系统事宽匹配、消除图像处理延时影响的目标轨迹生成器，文中对目标的运动估计算法进行了仿真研究，结果表明该算法是可行的，文章创新之处在于推导了双目立体视觉系统的运动估计算法。     

立体视觉双目图像MAP的优化复原方法

为了有效地对立体视觉双目模糊图像进行复原,提出一种动目标双目图像MAP的优化复原方法,将双目运动模糊图像的复原问题转化为在模糊核路径关系约束下的双重循环MAP优化估计问题,在保证模糊核路径对应关系前提下,对双目图像进行去模糊。建立了双目图像模糊核路径的对应关系模型,将关系模型作为约束条件式,嵌入到基于模糊核和双目原图像的MAP优化估计过程中,通过双重循环迭代获取双目图像的模糊核和清晰图像。实验结果表明,该方法能够有效地去除立体视觉双目图像的模糊。     

港口集装箱自主识别定位技术

针对港口集装箱自动装卸问题,结合双目视觉和深度学习技术,设计了一种基于Faster R-CNN(faster regions with convolutional neural network)模型的集装箱三维识别定位方法。首先利用双目摄像头采集装箱图像,用于训练Faster R-CNN模型,然后使用该模型检测图像中的集装箱目标,对识别出的目标添加矩形框,并提取其中心点图像坐标,接着通过对双目摄像头进行标定和匹配,获取集装箱矩形框中图像坐标点的深度,实现对集装箱的三维定位,最后将集装箱的三维坐标转换到轮胎吊吊具坐标系下,获得所有集装箱目标中心和吊具中心距离。实验结果表明,系统运行速度可以达到30 fps,平均定位误差在5 mm以内,系统可以有效解决集装箱三维实时识别和定位问题,提升港口集装箱自动化装卸能力。     

基于双目便携式三维扫描技术 的小工件测量

在小工件测量上,传统的接触式测量方法测量速度慢、效率低,而非接触式测量方法中双目视觉测量法和线结构光法都存在一定的缺陷。采用双目视觉测量与线结构光法相结合的方法,对小工件进行了测量。利用两个CCD摄像头和一个激光发射器构成了一个双目视觉测量系统和两个完全对称的线结构光测量系统,通过双目视觉测量系统测量标志点空间坐标;并基于标志点位置的不变性匹配系统不同位姿,用线结构光法获得激光线上的点在当前世界坐标系下的三维坐标;并匹配到基准坐标系中,从而得到工件表面点在基准坐标系下的三维坐标,达到测量目的。试验结果表明,该方法弥补了双目视觉测量法对物体曲面测量效果不理想和线结构光法单次测量数据少,空间定位不便的缺点,具有操作简便,测量适用性强的特点,误差在1 mm以下。     

半智能排爆机器人单手双目手眼系统的研究

针对目前排爆机器人手动控制方式的不足,研究和开发了一个单手双目手眼系统用于半智能排爆机器人的自动控制.单手双目手眼系统是半智能排爆机器人的重要组成部分和关键技术,该视觉系统利用双目立体视觉原理,采用Matlab7.0作为运算引擎,调用机器视觉处理软件EVision6.2中的EasyMatch模式匹配库进行立体图像匹配,能实时捕获排爆机器人周围的图像信息、进行摄像机标定、图像预处理、立体图像匹配、确定机器人未端手爪与可疑目标物的相对位置坐标,并把图像实时显示在控制台,自动控制手臂靠近并准确地抓取可疑目标物.该半智能排爆机器人成功地抓取实验,表明了该立体视觉系统在精度上能够满足半智能排爆机器人的项目要求.     

基于特征匹配算法的双目视觉测距

距离测量作为障碍物检测以及路径规划的前提和基础是机器人研究领域的一个重要分支。在众多测距方法中,由于双目立体视觉具有信息丰富、探测距离广等优点被广泛应用。本文将改进的SIFT特征匹配算法应用到双目视觉测距与标定系统中。首先建立双目视觉测距模型,测量值由空间物点在左右摄像机下的像素坐标值决定;其次根据该模型的特点提出了基于平行光轴的双目立体视觉标定方法;最后利用改进的SIFT特征匹配算法,提取匹配点的像素坐标完成视觉测距。实验结果表明,根据测量数据对障碍物进行三维重建,相对距离与真实场景基本吻合,能够有效地指导机器人进行避障。     

基于双目立体视觉的标定技术及应用

为提升双目立体视觉装置的准确度和精度,提出基于双目立体视觉的标定技术。针对双目立体视觉中两 个相机的特点,采用圆形标志阵列标定板为图像源,通过对图像预处理,以径向误差做约束条件,根据圆的几 何关系和最小二乘法综合提取特征点的算法获取图像标识点坐标并求取单应性矩阵,最后推导得到理想的外 参和内参,从而获得双目立体视觉装置准确的参数。实验结果为该装置对待测数据的获取提供了精确的数据 基础和可靠的矫正条件,进而提升了双目立体视觉装置的准确度和精度。     

基于双目立体视觉系统的测量研究

为了实现摄像机与目标物体之间距离的信息,由双目测量原理,采取结合OpenCV与Matlab的方式,设计出一套关于双目测距的立体视觉系统;系统首先对双目摄像机的内外参数进行标定,从黑白格组成的标定板中获得角点信息,使用亚像素角点检测法对角点坐标信息进行更精确检测,在黑白格组成的标定板分别距离双目摄像机300、400、500、600、700mm处获取不同位置的标定图像,经过张正友标定法最终可以得到双目摄像机所需内外参数;其次通过BM(Block Matching)立体匹配算法在VS2017坏境与opencv3.4.7库配合下完成了摄像机的立体校正、立体匹配进而得到视差图;最后在实验中使用了双目摄像头,并编写了代码通过鼠标点击所得到的视差图获取对应的世界坐标来实现物距的测量;实验结果表明:被测物距离摄像头光心500~700mm这一范围时,实测距离和实际距离相对误差百分比在0.171% ~0.192%之间,且实测距离在2 950mm内实验误差小于5%满足实验精度要求。     

基于立体视觉的机器人位姿标定技术研究

针对机器人位姿的测量,建立双目立体视觉传感器三坐标的数学模型。匹配相关的特征点,采用最小二乘法得到空间特征点的三维坐标。利用外部位姿线性方程的建立与求解确立机器人基坐标与工件坐标的矩阵关系。通过靶标法来确定机器人在某一位姿时工件坐标系和视觉传感器坐标系之间的齐次坐标变换矩阵的关系。实验结果显示,在没有噪声因素情况下,利用线性方法求解机器人外部位姿是可行的,能够满足系统精度要求。     

无人飞行器双目视觉位姿估计算法改进与验证

针对无人飞行器(UAV)在未知复杂环境下的导航问题,提出一种基于双目视觉的UAV位置和姿态估计算法.利用基于非线性尺度空间的KAZE特征构建立体图像对的特征点检测与描述,用Knn算法进行特征点匹配,导出相机坐标系下特征点三维坐标,用随机抽样一致(RANSAC)算法与L-M迭代算法获得UAV姿态和位置估计值.实验验证结果表明,基于KAZE特征的UAV双目视觉位姿估计算法的准确性、实时性与可重复性好,能满足UAV实时导航要求.     

双目立体机器视觉检测系统及其应用

为了快速准确地获得被测物体的三维立体尺寸,双目立体视觉检测系统是有效解决方案之一。经过精密标定的双且视觉系统,可根据两摄像机的视差,准确计算空间物体的三维形貌尺寸。双目视觉系统的标定技术及立体匹配技术是决定测量数据质量的关键环节。设计了高精度视觉标定系统,有效解决了立体匹配的难题,所开发的便携式立体测量仪,可以快速准确地获得大型物体的稠密三维坐标点云。在不喷涂显影荆的情况下,解决了黑色物体和反光物体的三维测量难题,可广泛应用于摩托车、汽车、模具、服装鞋帽以及逆向工程设计中。以逆向工程的3D轮廓测量为例,介绍了双目立体视觉技术及其应用。。     

基于双目视觉的正交函数局部拟合的工件定位方法

工件定位是自动化生产线的重要过程,是后续分拣、装配等操作的基础。为了解决传统的工件定位误差较大的问题,提出一种基于双目视觉的正交函数局部拟合的工件定位方法。系统建立之前,采集一张拟合板的图像,获得位置信息作为拟合的样本点。工件的定位首先要采集待定位的工件图像,进行图像预处理,通过特征提取获得工件形心的像素值,然后利用样本点进行正交函数局部最小二乘拟合,获得工件形心的平面坐标,最后通过双目重构,获得工件形心的空间坐标。实验结果表明:基于双目视觉的正交函数局部拟合的工件定位方法在精度上比传统的相机标定、三维重建的定位方法有明显提高。该方法不仅提高了工件定位精度,而且避免了标定环节,具有较好的应用价值。     

稳定高精度的双目立体视觉测量系统标定方法

为了提高和稳定双目立体视觉结构光测量系统的精度,提出一种简单有效的标定流程及基于极线几何约束优化双目立体视觉结构光测量系统外部参数的方法.采用平面板标定理论分别标定左右摄像机的内部参数,将标定的内参数作为双目标定的内参数在多视角下标定双目测量系统的外部参数.利用极线几何约束,通过最小化多视角下同一对应点的极线误差,优化计算双目测量系统的外部参数.实验结果表明,该方法计算得到的双目测量系统参数使得测量系统在整个测量空间体积内的测量精度高且稳定,在双目立体视觉测量系统的工业化检测应用中具有重要的意义.     

基于PSD和光源调制的合作目标位姿探测方法

空间目标的相对位置与姿态探测是航天器对接领域的研究重点,探测方法主要分为遥测法和光学测量法两大类.其中,后者依靠其速度快、稳定性高、信息量大等优势,成为了近距离位姿探测的主要方法.我们通过双目视觉模型可计算出空间合作目标上特征光点深度信息,再根据特征光点间已知的结构、尺寸等约束信息,实现对目标姿态的解算.本文依据PSD相较于CCD和CMOS传感器,有无需图像特征提取过程、响应速度快、位置分辨率高等优势,且双目立体视觉系统的仿生学结构可直接获取到探测目标的深度信息,提出了采用双PSD视觉模型,并配合特征光点的亮度与顺序联合调制实现对空间合作目标的位姿探测方法.实验结果表明,当光标靶姿态调整±30°时,系统的平均测量误差为2.541°,当姿态角小于15°时,俯仰角和偏航角的平均偏差分别为0.923°和0.563°;大于15°时,受限于光源发散角度的影响,俯仰角和偏航角平均偏差分别增加至4.566°和4.106°,系统能够快速、稳定解算光标靶的空间位姿.