自主足球机器人视觉系统结构及关键技术

提出了自主足球机器人嵌入式多处理器体系结构以及视觉系统的构成框架.对单目视觉系统所涉及的关键技术进行了详细的分析和研究,其中包括图像分割、目标搜索算法、目标定位和机器人自定位技术.基于YUV颜色空间,对目标进行分割,并通过连通区合并来快速搜索目标,同时根据摄像机模型来确定目标的空间位置.实验表明分布式视觉体现结构能够实时准确地完成视觉处理任务.以上新算法可以快速鲁棒地搜索图像目标,并能较精确地确定目标的位置信息和机器人的自定位信息.     

基于Harris-Hist的特征匹配及目标定位算法

针对目前机器人伺服定位抓取中定位精度和实时性较差的问题, 提出一种基于Harris-Hist的快速特征匹配及目标定位算法. 首先, 采用Harris检测算法提取图像特征点; 然后, 提出一种新的特征点描述子定义方法, 计算特征点圆形邻域内像素点灰度直方图刻画特征点, 通过计算两幅图像中各特征点描述子间的距离实 现特征匹配; 最后, 根据匹配结果, 估计单应性矩阵, 定位目标在场景图像中的位置. 实验结果表明, 该算法匹配速度快、 定位精度高, 能满足机器人伺服定位抓取中定位精度和实时性的要求.     

基于图像处理的移动机器人视觉定位方法

移动机器人视觉定位方法,主要是将目标物体的图像像素与移动机器人和目标物体之间的距离联系起来。应用视觉传感器搜寻目标物体,并借助于图像处理技术提取目标物体的特征对目标进行定位。通过计算目标物体图像的像素数,比例关系来确定目标物体与机器人之间的距离。这种方法成功地运用于RIRAII移动机器人上。     

基于Harris-改进LBP的特征匹配及目标定位算法

为满足机器人伺服抓取中定位精度和实时性的要求, 提出一种基于Harris及改进局部二值模式(LBP)的特征匹配和目标定位快速算法. 首先采用Harris检测算法提取图像特征点; 然后提出一种新的特征点描述子定义方法, 先利用胡矩确定特征方向, 再根据特征方向对局部图像做标准化处理, 提取标准化局部图像LBP特征作为特征点描述子; 最后通过计算两张图像中各特征点描述子间的汉明距离实现特征匹配, 再根据匹配结果估计单应性矩阵, 定位目标在场景图像中的位置. 实验结果表明, 该算法匹配速度快、 定位精度高.     

基于双目立体视觉的目标识别与定位

为从不同角度识别目标物体以及解决左右两幅图像中目标轮廓中心不匹配的问题, 将SURF(Speeded Up Robust Features)算法与GrabCut 算法相结合, 离线采集目标物体不同角度的图像, 生成目标模板图片库。利用SURF 算法完成目标物体的识别; 利用SURF 算法自动初始化GrabCut 算法, 实现目标轮廓的提取; 利用基于灰度相关的区域匹配算法完成目标轮廓中心点的匹配, 结合三维重建原理实现目标定位。实验结果表明, 该方法可以成功识别目标物体并对目标物体进行准确定位。     

基于边缘拟合和数字孪生的机器人运动控制系统研究

提出一种基于边缘拟合和数字孪生的机器人运动控制系统.通过深度图像和RGB图像获取目标物体信息,并进行边缘提取,通过边缘拟合得到目标的边缘轮廓,根据其轮廓计算目标物体的中心点坐标,从而实现准确的目标识别与定位.采用数字孪生方法对机器人实时运行状态进行同步显示.试验表明该方法对圆形物体的识别与定位具有高准确性和鲁棒性,在数字孪生平台上运行具有可靠性与实时性,有一定的实用价值.     

正骨机器人术前视觉导航方法与实验验证

针对足踝正骨机器人在手术前获取患者脚部目标位姿参数用于机器人引导的需求,提出了一种针对患者脚部目标点云的位姿估计方法。该算法利用主成分分析法获取脚部目标点云的中心点和点云数据最大分布的方向向量,并结合方向包围框对参数进行修正,将最终目标位姿参数用于机器人的视觉引导。开展基于UR5协作机器人的视觉引导实验,验证方法有效性。实验结果表明,利用本文方法得到的结果准确可靠,操作简单方便,可满足正骨手术机器人目标定位的临床需求,为中医正骨的进一步智能化和实际应用提供了理论参考与实践基础。     

半智能排爆机器人单手双目手眼系统的研究

针对目前排爆机器人手动控制方式的不足,研究和开发了一个单手双目手眼系统用于半智能排爆机器人的自动控制.单手双目手眼系统是半智能排爆机器人的重要组成部分和关键技术,该视觉系统利用双目立体视觉原理,采用Matlab7.0作为运算引擎,调用机器视觉处理软件EVision6.2中的EasyMatch模式匹配库进行立体图像匹配,能实时捕获排爆机器人周围的图像信息、进行摄像机标定、图像预处理、立体图像匹配、确定机器人未端手爪与可疑目标物的相对位置坐标,并把图像实时显示在控制台,自动控制手臂靠近并准确地抓取可疑目标物.该半智能排爆机器人成功地抓取实验,表明了该立体视觉系统在精度上能够满足半智能排爆机器人的项目要求.     

采摘机器人的目标定位和测量技术

在采摘机器人的工作过程中,为了提高采摘机器人的采摘成功率,需要获取水果的位置信息,以确定果实与采摘机器人的相对位置关系.由于采摘作业环境复杂,为提高采摘系统的工作效率,提出一种基于Opencv采用Yolov5算法和双目相机对水果进行目标识别和空间定位的方法.针对小目标识别在Yolov5算法中识别精度的不足,在Yolov5算法网络结构中叠加包含更多低层级信息的浅层特征图,实现小目标检测层进行算法优化,实验结果表明,优化后的识别网络对水果检测的平均精度为92.4%.基于深度学习的优化识别网络在识别小目标方面具有更好的性能,可以有效提高果农采摘系统的工作效率.     

一种基于Shi-Tomasi和改进LBP的特征匹配及目标定位快速算法

针对机器人伺服抓取中对定位精度和实时性均要求较高的问题, 提出一种特征匹配及目标定位快速算法. 首先, 采用Shi-Tomasi检测算法提取特征点; 其次, 提出一种新的特征描述子定义方法： 先以特征点为中心截取子图像, 利用二维Gauss函数偏导数确定特征方向, 再根据特征方向对局部图像做旋转处理, 提取旋转后标准局部图像局部二值模式作为特征描述子, 该描述子具有良好的局部性以及平移、 旋转不变性; 最后, 通过计算特征描述子间的Hamming距离实现特征匹配, 估计单应性矩阵, 定位目标在场景中的位置和方向. 实验结果表明, 该算法匹配速度快、 定位精度高、 稳定性好, 能满足机器人伺服抓取中定位精度和实时性的要求.     

基于序列图像的视觉定位

提出了一种静止摄像机条件下基于计算机视觉的工业机器人的定位算法。采用单目视觉系统,由线性摄像机模型推导出定位测量模型。通过序列图像,以一种改进的自适应混合高斯模型更新背景,运用背景差分法检测出运动目标,用CAMSHIFT算法实现对运动目标的跟踪,确定其位置和姿态,估计出运动参数,反馈给机器人指导其准确运动。实验结果表明,该方法快速、有效,能够满足视觉定位的实时性要求。     

基于双目立体视觉的目标空间坐标计算及姿态估计

基于双目立体视觉的目标空间坐标计算及姿态估计方法、双目立体视觉系统标定和双目视觉系统校准技术,构建了三维场景中目标的空间坐标与图像中点像素坐标的对应方法.通过双目立体视觉系统采集目标图像,采用基于半全局立体匹配(SGBM)方法,实现了目标中心点三维坐标的计算,并通过背景差分的手段获得目标轮廓,获取目标在水平面的旋转角度,配合焦点所处的坐标位置标示,即可提取目标姿态信息.采用以上方法对电力仪表的姿态进行估计和验证,结果表明:设计的方法可以完成电力仪表的空间坐标计算以及姿态估计,可实现对电力仪表的准确抓取,为机器人在电力系统人工智能领域的应用提供参考.     

一种基于全景视觉系统的Robocop机器人定位方法

对全景视觉成像原理进行了讨论,提出了一种基于YUV色彩空间的多阈值图像分割和利用三角定位原理实现的机器人定位方法.通过识别全景视觉图像中坐标已知的特征信标,提取信标特征,进而应用几何原理计算出机器人的空间坐标,实现机器人的定位,为机器人导航和蔽障工作奠定了基础,有效地减少了彩色图像分割的计算量,避免了全景视觉图像柱面展开所带来的误差.通过实验证明,本方法能够较精确地实现机器人的定位.     

球体定位的立体视觉新算法

提出一种球体定位方法.该方法仅从球的两幅图像的轮廓线来实现球定位.由于在定位过程中不需要特征匹配, 因此比通常的立体视觉算法更鲁棒.这种方法简单且易于实现, 模拟实验和真实图像实验也验证了本文方法的正确性和可行性.     

基于单目立体视觉的NAO机器人的目标定位与抓取

为了实现NAO机器人对空间目标的定位与抓取,提出了一种单目立体视觉的导航方法.首先利用机器人上部摄像机的平动获取两幅目标图像,等效于双目立体视觉,采用FFT频域互相关和累加求和快速算法,进行两幅目标图像的立体匹配,实现目标位置的快速检测;然后根据测得的目标高度,运用视野中心算法和三角测量原理计算出目标距离,进行目标的跟踪逼近,当机器人到达目标邻近区域时使用下部摄像机进行目标检测并进行姿态调整,直到距离误差落在目标中心许可的圆形区域内,进行目标抓取,实际测试表明采用这种视觉导航方法的NAO机器人抓取成功率在90%以上.     

单目视觉定位实现机器人跟踪的实验系统和控制方法

提出一种基于视觉定位的多机器人跟踪控制方法.首先,采用单目视觉定位技术,建立平面物理坐标与视觉图像坐标之间的映射关系.然后,结合轮式移动机器人的运动学模型,基于Lyapunov方法设计轨迹跟踪控制器.最后,结合视觉定位确定机器人的平面坐标位置,分阶段规划机器人运动轨迹,实现多机器人跟踪控制.仿真和实验结果表明:该方法具有可行性和有效性.     

基于粒子群的彩色印刷品图像分层搜索定位算法

针对彩色印刷品表面质量在线检测过程中存在目标图像定位精度低、定位速度慢而导致检测误判率高、检测效率低等问题,提出了一种基于粒子群的彩色图像分层搜索定位新算法.首先采用图像金字塔结构在空间域中对彩色图像进行分层,分析尺度因子和层数的选择对提取目标图像关键特征的影响;其次,基于边缘特征建立各层的匹配模型,最后引入粒子群算法(PSO)求解每层的最优匹配参数,实现待匹配对象的快速定位.实验结果分析表明,该方法对宽幅面彩色印刷品像素大小为1024×454的目标图像平均校正偏差不超过0.1°,即水平方向上的定位误差可达0.017个像素;对角度偏移小于6°的图像,分3层搜索校正的最长时间仅为12.6 ms,以上实验结果显示出该定位方法具有较高的精度和较强的实时性.     

基于双目视觉的机器人自定位方法研究

研究了一种利用双目立体视觉的机器人自定位方法.首先提取双目图像序列的Harris角点特征,并计算其水平与垂直方向上的Sobel响应,基于此响应,采用绝对误差累计的最小窗口查找(SAD)原理进行立体匹配.将改进的RANSAC算法用于特征匹配点优化中,利用高斯牛顿迭代法求解机器人位姿,实现了机器人的自定位.室内、外实验,及与BoofCV视觉库中的立体视觉定位算法的对比分析,证明该方法在运算速度、定位精度和稳定性等方面均能满足实际应用需求.     

橘子采摘机器人目标识别定位方法与实验研究

自然环境下橘子目标被枝叶遮挡或者果实之间重叠现象非常普遍,环境的复杂性给采摘机器人视觉系统的目标识别与定位带来极大困难,提出了一种将K-means聚类算法与Canny边缘检测算法相结合的方法,识别出枝叶遮挡多果重叠工况下橘子的完整轮廓,对橘子轮廓的几何参数和实际坐标进行计算,完成了目标物的定位。首先采用K-means聚类算法从原始图像中分割橘子目标区域,应用Canny边缘检测算法识别橘子目标区域的轮廓,再通过Hough梯度圆变换检测算法确定橘子轮廓的圆心和半径,利用单目立体视觉平移测量模型计算出橘子的空间坐标,完成了橘子和大枣的抓取实验。实验结果表明,本文方法能够实现复杂背景下橘子多目标的识别与定位,并可推广到类圆目标的抓取过程。     

基于视觉定位的七轴机械臂目标抓取研究

针对机器人结合机器视觉在面对特定物体进行抓取任务时,系统设计工作量大、可移植性差的问题,提出基于机器人操作系统(ROS),结合手眼的七轴机械臂目标抓取方法,在ROS框架下利用协作机器人FRANKA PANDA结合RGBD摄像头进行目标抓取。创建了RGBD摄像头的xacro机器人模型,利用RViz进行三维模型的可视化操作;应用MoveIt!软件对RViz和Dazebo进行联合仿真;将ROS获取的图像信息发送给OpenCV库进行图像处理及物体定位,然后将物体坐标信息发还给ROS进行机械臂抓取任务。结果表明,该方法简单有效,以ROS为基础设计的抓取方法可移植性强,解决了面对复杂多样的物体,机器人系统需进行大规模控制改动的问题。