基于双目视觉技术的物体深度信息的提取

传统的双目匹配算法得到的数据是左右视图匹配点的二维坐标;但二维坐标将丢失物体的三维深度信息。提出一种利用视差原理在世界坐标系内计算该物点在现实中所对应点的三维坐标的新方法。该方法分为三部分:第一部分为双目相机的标定,包括内参(主点、焦距、径向畸变、不垂直因子)以及两相机之间的外参(旋转矩阵和平移矩阵)。第二部分为特征点的提取与匹配,特征点的提取则是利用SIFT算子提取左右视图的特征点,匹配则是将两视图中的对应点(现实中为同一点)利用SIFT算法进行匹配。第三部分为物体深度信息的计算,利用双目相机的视差原理和已经得出的双目相机的参数进行空间还原得到相应的左右视图投影投射矩阵,结合空间几何线性关系计算出该点在世界坐标系的三维坐标,从而得出其深度信息。     

基于多模态特征融合的无人驾驶系统车辆检测

针对无人驾驶系统环境感知中的车辆检测精度低的问题,本文提出一种基于多模态特征融合的三维车辆检测算法.该算法通过毫米波雷达与摄像机联合标定,匹配2个传感器间的坐标关系并减小采样误差;采用统计滤波剔除毫米波雷达数据冗余点,减少离群点干扰;构造多模态特征融合模块,利用逐像素平均融合点云与图像信息;加入特征金字塔提取融合后的高...     

基于双目立体视觉的标定技术及应用

为提升双目立体视觉装置的准确度和精度,提出基于双目立体视觉的标定技术。针对双目立体视觉中两 个相机的特点,采用圆形标志阵列标定板为图像源,通过对图像预处理,以径向误差做约束条件,根据圆的几 何关系和最小二乘法综合提取特征点的算法获取图像标识点坐标并求取单应性矩阵,最后推导得到理想的外 参和内参,从而获得双目立体视觉装置准确的参数。实验结果为该装置对待测数据的获取提供了精确的数据 基础和可靠的矫正条件,进而提升了双目立体视觉装置的准确度和精度。     

基于插值细分的机械臂手眼标定算法

由于固定视点下的工作平面大、相机畸变明显且采集环境复杂,机械臂与相机之间坐标耦合的标定精度不够,为解决该问题,提出一种对图像坐标系与机械臂基坐标系进行直接标定的方法.该方法通过对采集到的标定点进行插值细分拟合畸变曲线来消除相机畸变,构建图像坐标系与机械臂基坐标系的直接转换关系.该方法规避了传统算法中过度依赖相机位姿矫正、畸变矫正等算法导致的误差问题,实现了平均误差在1mm以内的高效率、高精度手眼标定.     

基于双目立体视觉的三维建模算法

根据双目立体视觉成像原理来完成特征点深度信息的恢复,提出了一种基于图像的三维建模方法。利用该方法标定出相机的全部内外参数;利用双目立体视觉成像原理,根据不同位置拍摄的2幅或多幅照片中的对应点的图像坐标,计算它们在空间中对应点的三维坐标,实现了由多幅图像来恢复物体的深度信息;最后,利用这些坐标在Rhino中实现了由离散的稀疏点云数据建立三维实体模型。     

基于双目视觉的物料三维空间定位算法

针对移动机械臂抓取物料过程中的三维空间定位问题,提出一种适用于双目视觉的物料定位算法。首先基于双目视觉成像原理,构建手眼矩阵,完成双目相机坐标系到机器人坐标系的转换;其次将注意力机制嵌入到主干网络的CSP结构中,采用一种YOLOv5s+CBAM改进网络结构,在自制的物料数据集上mAP达到99.1%,FPS为71,可实现物料抓取点位置的准确检测;最后针对抓取点立体匹配错误导致深度信息获取错误的问题,提出一种基于灰度值测距的SGBM改进算法获取深度信息。经实验检测,平均测距误差5.16mm,结合目标检测,可实现物料抓取点三维坐标的定位。     

基于GSI靶标与立体视觉的双目相机结构参数标定

针对大视场双目相机结构参数标定问题,提出了一种基于GSI靶标的标定方法。相机的内参数已知,利用同名编码点在双相机像面上成像点及双目视觉测量原理,解算出双目相机的相对方位。该方法无需移动靶标,只需要双目相机同时对靶标平面拍摄一次,简单方便。     

基于三维测量的奶牛体型性状指标的数据采集

采用立体视觉的三维测量方法重建奶牛的三维模型,实现了对奶牛的体型性状指标测量,首先通过立体标靶进行摄像头的标定,然后利用SIFT(scale invariant feature transform)尺度不变特征点匹配算法对图像进行特征点提取与匹配,最后通过投影矩阵计算匹配特征点的三维坐标;针对双目视觉中摄像头视角范围受限问题,提出通过在相邻视点的公共区域设置标记点,根据标记点计算不同坐标系的转换关系,将各局部特征点转换到统一坐标系下,从而实现不同视点下各局部区域的三维拼接.实验表明,采用该方法重建的奶牛模型较理想,测量精度和测量效率满足评定要求,能够取代手工测量.     

基于SIFT特征匹配和模约束的摄像机分层自标定方法

在一些计算机视觉和摄影测量任务的执行过程中,需要在线地标定摄像机参数,这就使得不依赖标定参照物的自标定成为必需,提出一种基于SIFT特征匹配和模约束的摄像机分层自标定方法。自由移动或旋转摄像机拍摄同一场景内部参数不变条件下的四幅以上图像。对每幅图像进行SIFT特征点提取,通过特征点匹配在每幅图像中分别获得对应三维场景空间同一特征点的像素坐标。进行投影标定,获得每幅图像在投影重建空间中的相机投影矩阵,以及每个特征点在投影重建空间中的三维坐标。进行仿射标定,采用模约束法确定无穷远参考平面在投影重建空间中的参数。进行度量标定,确定内参矩阵。实验表明,该方法能在线地稳定地获得摄像机内参标定结果,从而对现有的摄像机自标定方法进行了改进。     

基于变异粒子群优化的在线手眼标定算法

为满足机械臂手眼标定过程中不依赖人工提供固定机械臂路径的要求,提出一种基于变异粒子群优化的在线手眼标定算法.通过分析特征点在机械臂极坐标系与深度相机坐标系下的坐标转换关系,建立了基于深度相机的手眼模型;采用基于变异粒子群的在线优化算法,实时估计手眼关系参数;建立机械臂运动能量函数,给出了机械臂位姿补偿方法,满足特征点视野约束的同时保证运动能量最小.实验结果表明:所提方法能较为精确地估计手眼关系参数,并且能实时补偿机械臂位姿,实现自动手眼标定功能.     

多视点标定图像的交替迭代度量重建方法

提出了一种针对相机内部参数已标定的多视点图像交替迭代度量重建方法.该方法以目标空间中重建的3D点到匹配特征点的反投影线间的距离作为重建误差的测度,使误差函数形式上更简洁且具有明确的几何意义.重建过程通过对相机外部参数中的旋转矩阵、平移量和3D重建点交替迭代完成,其中平移量和3D点一起估计,避免了它们与旋转矩阵中的元素间的尺度差异引起的数值偏差.利用合成数据和真实图像的计算分析均表明本文方法有较高的重建精度,具有实用性.     

无人飞行器双目视觉位姿估计算法改进与验证

针对无人飞行器(UAV)在未知复杂环境下的导航问题,提出一种基于双目视觉的UAV位置和姿态估计算法.利用基于非线性尺度空间的KAZE特征构建立体图像对的特征点检测与描述,用Knn算法进行特征点匹配,导出相机坐标系下特征点三维坐标,用随机抽样一致(RANSAC)算法与L-M迭代算法获得UAV姿态和位置估计值.实验验证结果表明,基于KAZE特征的UAV双目视觉位姿估计算法的准确性、实时性与可重复性好,能满足UAV实时导航要求.     

基于点云数据的自然地形分类算法

提出一种自然地形分类算法以解决移动机器人导航中的环境理解问题。在单几何特征地形分类方法的基础上,提出的算法使用从点云中提取的复合特征训练分类器。复合特征向量包含一个点几何特征和颜色特征。算法首先计算点的坐标协方差矩阵和平均法向量协方差矩阵的特征值作为几何特征。然后通过标定激光雷达坐标系和相机坐标系使点得到颜色信息,把点的颜色作为颜色特征加入复合特征向量。算法使用最大期望-高斯混合模型(EM-GMM)训练一个分类器,训练数据由人工标注。实验结果表明,与单几何特征分类方法相比,复合特征分类方法在对自然地形分类时能得到更高的正确率。     

面向机器人抓取的双目视觉单步多目标检测方法应用研究

针对工业机器人的抓取技术普遍采用离线示教的方式,目标物的改变就会导致抓取不准的问题,研究了一种面向机器人抓取的双目视觉单目多目标检测方法,强化了机器人的抓取能力;首先搭建机器人抓取视觉检测系统,系统采用双目测距模型定位深度,单步多目标检测器定位像素坐标;通过相机标定和eye-to-Hand手眼标定将图像中的像素坐标以及双目测距模型的深度坐标转换为机器人基坐标的位姿,建立机器人运动学模型完成机器人基坐标到机器人末端坐标的转换,通过ROS实现上位机与机器人通讯,并将定位结果发送给ROS;经过多次实验,表明方法的目标检测误差在3.5 mm以内,深度误差在1.2 mm之内,具有很好的实用推广价值。     

基于平面靶标的三维测量数据拼接方法

为实现列车转向架的大尺寸参数测量,提出了一种基于大尺寸标定板的数据拼接方法。首先,将被测工件分割成若干子区域;接着,通过双目视觉测量系统分别获取每个子区域的测量数据,将平面靶标放在共同视野下,每个子区域采集靶标上的3个及多个非共线的标记点;然后,通过运算获取各区域间的坐标关系,选取其中一个摄像机坐标系作为世界坐标系,可将其他摄像机获取的数据统一至世界坐标系中,实现数据的拼接。最后,通过求解标定板上圆心间距,验证算法精度。实验结果表明:本方法简单易行,精度较高。     

光笔式三维坐标视觉测量方法研究

基于便携式双目测量系统,提出了一种新型便携式光笔测量方法。利用标定参数已知的双目像机进行图像采集,结合图像坐标系与空间坐标系的对应关系求得标志点空间坐标;利用最小二乘方法拟合空间直线,得到测头三维坐标与标志点三维坐标数学关系,求解测头坐标。实验结果表明,在摄像机视场范围内,空间坐标测量精度达到1 mm,证明了该光笔测量系统的实用性。     

基于Faster R-CNN的机器人目标检测及空间定位

基于深度学习的方法,运用Faster R-CNN目标检测架构和ResNet50卷积神经网络,针对配电线路维护机器人系统作业目标的特点对网络进行了训练.在此基础上结合双目视觉测距原理测得作业目标在相机坐标系中的坐标,通过手眼标定将该坐标转换到机器人基座坐标系中,从而完成作业目标的空间定位.实验结果表明:该方法能很好地适应作业场景背景复杂、光照变化以及目标部分遮挡等情况,所提出的手眼标定算法能够满足配电线路维护机器人对目标空间测量定位的要求.     

基于BP神经网络自学习的双目视觉系统的研发

在摄像机标定的过程中,深度信息的丢失,摄像机镜头的畸变以及图像处理时误差等因素都影响标定的精度．本论文采用BP神经网络的自学习的性能,开发出一套双目视觉系统．以匹配点在左、右图像的坐标为网络的四路输入,通过网络得到三路输出,性能指标为该对应点在世界坐标系的坐标和网络输出的差值的平方和,根据梯度下降法来调整各神经元之间的连接权值,求得网络达到给定的误差时的各节点问权值．这样,双目视觉系统两个摄像机的投影矩阵可以用神经网络的权值与激发函数来代替,完成系统的标定．最后对系统进行精度分析．     

基于改进YOLOv5s和传感器融合的目标检测定位

针对无人车环境感知过程中相机无法提供道路目标的位置信息,激光雷达点云稀疏以致检测方面难以达到很好效果的问题,提出一种通过融合两者信息进行目标检测和定位的方法。采用深度学习中YOLOv5s算法进行目标检测,通过联合标定进行相机与激光雷达外参的获取以转换传感器之间的坐标,使雷达点云数据能投影到相机图像数据中,得到检测目标的位置信息,最后进行实车验证。结果表明,所提算法能在搭载TX2嵌入式计算平台的无人车自动驾驶平台上拥有27.2 Hz的检测速度,并且在一段时间的检测环境中保持12.50%的漏检率和35.32 m的最远识别距离以及0.18 m的平均定位精度。将激光雷达和相机融合,可实现嵌入式系统下的道路目标检测定位,为嵌入式平台下环境感知系统的搭建提供了参考。     

一种融合点线特征的视觉里程计架构设计与定位实现

基于视觉的同时定位与地图构建（SLAM）技术是实现移动机器人自主导航的关键.当机器人处在陌生环境中时,通常会利用周围目标的点特征来估计导航相机的位姿,并利用光束法平差来估计相机位姿和特征空间位置.但如果环境中的特征信息不丰富,则无法准确估计相机轨迹,且欧式坐标与反深度信息下的光束法平差部分条件下不收敛.为此,提出了一种在缺少特征点的环境下通过收集深度相机信息,同时利用点特征与线特征融合的视觉里程计,构建了融合视差角光束法平差与基于线特征的光束法平差的策略,从而使重投影误差达到最小化.最后与其他基于特征的SLAM系统进行比较,实验结果表明,在缺少特征点的真实环境中,系统位姿估计的性能与准确度得到提升.