基于正态分布变换的多位姿手掌部三维静脉识别

研究基于三维点云匹配的多位姿手部静脉识别.考虑手部静脉点云的特点,结合双目视觉原理,建立了一种结合三维特征阵列和静脉点云的扩展数据库,提出了一种基于三维特征阵列的静脉点云粗配准算法.在双目静脉图像中提取稳定特征并重建为三维特征,根据三维特征匹配结果初步消除静脉点云位姿差异.并采用改进的正态分布变换算法完成静脉点云匹配.实验表明,本文算法能够有效提高多位姿下的静脉点云识别率,即使手部位姿变化范围较大时,系统的识别率仍超过90%.      

基于特征匹配算法的双目视觉测距

距离测量作为障碍物检测以及路径规划的前提和基础是机器人研究领域的一个重要分支。在众多测距方法中,由于双目立体视觉具有信息丰富、探测距离广等优点被广泛应用。本文将改进的SIFT特征匹配算法应用到双目视觉测距与标定系统中。首先建立双目视觉测距模型,测量值由空间物点在左右摄像机下的像素坐标值决定;其次根据该模型的特点提出了基于平行光轴的双目立体视觉标定方法;最后利用改进的SIFT特征匹配算法,提取匹配点的像素坐标完成视觉测距。实验结果表明,根据测量数据对障碍物进行三维重建,相对距离与真实场景基本吻合,能够有效地指导机器人进行避障。     

基于RANSAC改进算法的单目视觉里程计研究

运用SIFT算法对单目所采集的室外视频图像的相邻两帧进行了特征点的检测与匹配.采用改进的RANSAC算法对所匹配点进行了误匹配点剔除.根据相邻两帧图像特征点的跟踪以及里程计读数作为辅助信息,求解特征点的三维坐标;进而根据视觉里程计模型,达到机器人的定位.实验结果表明,该方法相比传统的里程计定位精度高,比之双目激光等定位方法,又有成本廉价的优点.     

基于随机采样一致改进算法的单目视觉里程计研究

运用SIFT算法对单目所采集的室外视频图像的相邻两帧进行了特征点的检测与匹配。采用改进的RANSAC算法对所匹配点进行了误匹配点剔除。根据相邻两帧图像特征点的跟踪以及里程计读数作为辅助信息,求解特征点的三维坐标;进而根据视觉里程计模型,达到机器人的定位。实验结果表明,该方法相比传统的里程计定位精度高,比之双目激光等定位方法,又有成本廉价的优点。     

基于双目视觉的水泥混凝土路面错台检测方法

针对水泥混凝土路面错台测量手段的不足,提出了一种基于双目视觉的错台测量方法.该方法根据双目摄像机的成像特点和水泥混凝土路面的图像特征,对接缝位置进行定位和错台计算.定位分为2个主要步骤,一是基于灰度投影的粗定位,二是在粗定位的基础上提取接缝附近图像,利用灰度投影和边缘投影精定位.由双目视觉测量系统计算相邻2块水泥板在错台附近点的三维坐标,利用这些坐标计算错台量,其中关键环节是在双目图像匹配时提出了一种基于匹配点位置估计的匹配算法.试验表明,与直尺测量结果吻合.     

双目视觉下基于边缘特征的机器人作业环境检测方法

作业环境的实时信息是工业机器人智能决策的重要依据,针对三维环境信息检测的实时性和自适应性,文中提出了一种基于双目视觉的机器人作业环境(目标体或障碍物的形状、尺寸和位置)检测方法.首先,将Canny算子和Otsu算法相结合,采用降采样和压缩梯度幅值级策略实现目标边缘的自动检测;接着采用基于灰度相关的边缘点分类匹配算法对边缘点进行分类和匹配,解决了传统立体匹配难以兼顾效率与精度的问题;然后基于点云数据环形排序数据结构型式,提出了基于边缘曲率角的轮廓三维几何及位置信息的自动提取方法.机器人自主作业中实时检测动态环境实验结果表明,文中提出的方法能准确地获取作业环境中物体的三维信息,正确分辨出作业目标和障碍物,检测平面尺寸平均误差为0.65%,高度误差为1.69%,机器人能依据目标位置和动态障碍物的实时位置实现预期的作业任务.     

基于激光雷达点云密度特征的智能车障碍物检测与跟踪

现有的基于点云数据的车载三维激光雷达障碍物检测和跟踪存在实时性差、准确率不高以及场景内障碍物数目增多时难以有效关联等问题。针对这些不足,文章提出了结合区域生长与密度聚类的算法以及同时考虑了障碍物几何特征与点云密度特征的关联方法。基于栅格地图,运用最大、最小高度图法去除背景点云数据;在得到可靠障碍栅格地图后,搜索匹配8邻域栅格属性,结合自适应阈值的密度特征进行聚类,提高了障碍物检测准确率;考虑了障碍物的点云密度特征和高度特征,提高了障碍物关联的可靠性并运用卡尔曼滤波器对动态障碍物进行了跟踪。在自行搭建的智能车平台上进行的实车实验验证了该文算法的有效性。     

基于OpenMV的目标方位追踪算法

提出一种基于OpenM V的目标方位追踪算法.算法以机器视觉模块OpenM V为图像输入及处理平台,通过自带的摄像头采集目标图像信息,使用通用加速分割检测算法(AGAST)获取目标的特征点,将采集到的特征点与目标特征进行匹配,达到追踪目标并检测其方位信息的目的 .实验结果表明,该算法在目标方位追踪上具有较高的准确率.     

港口集装箱自主识别定位技术

针对港口集装箱自动装卸问题,结合双目视觉和深度学习技术,设计了一种基于Faster R-CNN(faster regions with convolutional neural network)模型的集装箱三维识别定位方法。首先利用双目摄像头采集装箱图像,用于训练Faster R-CNN模型,然后使用该模型检测图像中的集装箱目标,对识别出的目标添加矩形框,并提取其中心点图像坐标,接着通过对双目摄像头进行标定和匹配,获取集装箱矩形框中图像坐标点的深度,实现对集装箱的三维定位,最后将集装箱的三维坐标转换到轮胎吊吊具坐标系下,获得所有集装箱目标中心和吊具中心距离。实验结果表明,系统运行速度可以达到30 fps,平均定位误差在5 mm以内,系统可以有效解决集装箱三维实时识别和定位问题,提升港口集装箱自动化装卸能力。     

排球扣球动作的三维手势重建系统设计

为了精确、快速、低成本地获得运动员的排球扣球动作三维手势模型并对其进行数字化模拟,需要对排球扣球动作的三维手势进行重建系统设计。传统的基于多台Kinect的排球扣球动作三维手势重建系统设计方法,首先使用两台Kinect分别采集运动员排球扣球动作二维手势图像的点云数据,通过标定得到两台Kinect采集到的排球扣球动作二维手势图像姿态关系;然后基于标定结果,使用迭代最近点算法对两部分排球扣球动作三维手势图像的点云数据进行配准得到完整的排球扣球动作三维模型。存在重建成本高,噪声干扰严重导致重建系统失真严重的问题。为了降低噪声干扰,提高重建精确度,降低成本,提出一种基于立体视觉的排球扣球动作三维手势重建系统设计方法,首先通过传感器或摄像机等设备获取排球扣球动作二维手势图像,并对其进行平滑去噪;然后采用基于2D平面标靶的标定原理,建立摄像机成像的排球扣球动作三维手势图像几何模型并获得其参数;最后利用双目立体视觉算法实现对排球扣球动作三维手势图像的特征提取与匹配,完成三维手势重建。实验结果分析证明,所提方法可以提高排球扣球动作三维手势重建效率,提高重建精确度,降低噪声影响,具有更加广泛的使用价值。     

基于双目立体视觉的海浪波面三维重建技术

为了提高海面特征点检测的准确度和三维重建的精度,在基于传统的Harris算法的基础上,提出1种基于高斯金字塔图像的改进Harris特征点检测算法.利用搭建的双目相机平台,对海浪图像进行采集并完成相机的标定过程,然后根据改进的角点提取算法对图像的角点进行检测,利用尺度不变特征变换(scale-invariant feature transform,SIFT)算法对海浪图像特征点进行立体匹配得出视差图,最后根据三角测量原理获取图像的深度信息,实现海浪波面的三维信息重建.实验结果证明,在针对海浪图像时,该方法具有更高的精度和准确度.     

基于改进YOLOv5s和传感器融合的目标检测定位

针对无人车环境感知过程中相机无法提供道路目标的位置信息,激光雷达点云稀疏以致检测方面难以达到很好效果的问题,提出一种通过融合两者信息进行目标检测和定位的方法。采用深度学习中YOLOv5s算法进行目标检测,通过联合标定进行相机与激光雷达外参的获取以转换传感器之间的坐标,使雷达点云数据能投影到相机图像数据中,得到检测目标的位置信息,最后进行实车验证。结果表明,所提算法能在搭载TX2嵌入式计算平台的无人车自动驾驶平台上拥有27.2 Hz的检测速度,并且在一段时间的检测环境中保持12.50%的漏检率和35.32 m的最远识别距离以及0.18 m的平均定位精度。将激光雷达和相机融合,可实现嵌入式系统下的道路目标检测定位,为嵌入式平台下环境感知系统的搭建提供了参考。     

ICP算法在双目结构光系统点云匹配中的应用

双目结构光系统在测量物体时有更好的效果,测量物体视野是单目测量系统的两倍。该文根据针孔成像理论给出了双目结构光重构的数学表达式,并通过Zhang氏标定法给出了标定结果。在双目系统中,投影仪和摄像机的标定误差、仪器设备的系统误差,都会导致得到的两组三维点云数据不能很好地重合。因此,该文提出将标定获得的两个摄像机关系矩阵做为点云匹配的初值,使用改进的最近迭代点(iterative closest points,ICP)算法,加速点云匹配时间,并对经过初值变换的点云数据进行再次匹配,进一步减小系统在标定过程中的误差,从而达到对标定误差进行补偿的目的。实验结果表明:改进的ICP算法使标定后的点云能够很好地重合,并对标定值进行了修正,点云匹配的时间缩短为0.3s。     

基于深度学习的障碍物检测与深度估计

提出了一种针对交通场景的基于深度学习的障碍物检测与深度估计方法。该方法对现有的YOLOv3模型进行改进,使用DenseNet网络代替原网络尺度较小的传输层,得到一种新的障碍物检测模型Dense-YOLO。然后采用立体匹配模型PSMNet得到双目图像的视差图,根据双目测距原理对被测目标深度进行估计。在KITTI数据集和实际交通场景中的实验结果表明,与YOLOv3模型相比,Dense-YOLO模型有效地提高了交通场景中障碍物检测的可靠性和正确率,对轿车、行人、骑行者和卡车这4类障碍物检测的平均精确率（average precision, AP）提高了3%～5%,平均精确率均值（mean average precision, mAP）提高了约4%。障碍物深度估计结果与真实值的平均相对误差约为3%。     

一种并联机器人双目主动视觉监测平台避障方法的研究

一种基于圆型轨道的双目主动视觉监测平台的建立,解决了并联机器人的"盲"工作状态问题.然而在摄像机和并联机器人的加工位置之间常常有障碍物出现,为了避免摄像机的观测视线被遮挡,提出了一种在摄像机运动空间上求解障碍区域的方法.该方法中引入了最小面积凸包围盒算法,简化了求解过程,从而能实现视觉监测平台的快速避障.算例实验表明该方法是正确、有效的.     

基于双目立体视觉系统的测量研究

为了实现摄像机与目标物体之间距离的信息,由双目测量原理,采取结合OpenCV与Matlab的方式,设计出一套关于双目测距的立体视觉系统;系统首先对双目摄像机的内外参数进行标定,从黑白格组成的标定板中获得角点信息,使用亚像素角点检测法对角点坐标信息进行更精确检测,在黑白格组成的标定板分别距离双目摄像机300、400、500、600、700mm处获取不同位置的标定图像,经过张正友标定法最终可以得到双目摄像机所需内外参数;其次通过BM(Block Matching)立体匹配算法在VS2017坏境与opencv3.4.7库配合下完成了摄像机的立体校正、立体匹配进而得到视差图;最后在实验中使用了双目摄像头,并编写了代码通过鼠标点击所得到的视差图获取对应的世界坐标来实现物距的测量;实验结果表明:被测物距离摄像头光心500~700mm这一范围时,实测距离和实际距离相对误差百分比在0.171% ~0.192%之间,且实测距离在2 950mm内实验误差小于5%满足实验精度要求。     

基于四叉树扇形层值聚类的无人船障碍物检测

为了实现无人船自主导航过程中对障碍物的精确检测,提出了一种基于四叉树扇形层值聚类的无人船障碍物检测方法。首先基于四叉树扇形划分进行障碍物点云数据地检索,并剔除扇形象限内不可信数据;然后利用所获得的四叉树层值来求取全局密度距离,进而获得层值阈值,以此来对不规则多线形障碍物特征进行检测;最后通过建立数据点之间的空间拓扑关系来求取参考距离,并以参考距离为基准对障碍物点云数据进行聚类判定,提高聚类分割准确性。多线形障碍物特征识别性能测试及水面无人船障碍物检测实验结果表明,相较于其他密度聚类算法,在正检率、误检率和漏检率性能指标方面,前者测试中文中算法分别平均下降了9.86%、5.04%、3.10%,后者测试中文中算法分别平均下降了10.50% 、6.97%、2.95%。     

基于单目视觉的横穿障碍物检测

提出一种基于单目视觉的横穿障碍物检测方法.首先,基于道路平面假设,根据特征点的位置约束以及逆透视投影变换下的性质,提取地面特征点对.其次,采用迭代加权最小二乘法估计自车平移和旋转运动参数.然后,利用估计的运动参数对图像光流进行旋转补偿,并基于道路C 速度空间生成障碍物的候选标记点.最后,对候选标记点进行分组聚类和验证,确定横穿障碍物区域.不同交通场景下的实验结果表明,上述方法能够适用于各种自车运动,有效检测横穿障碍物.     

基于双目视觉技术的物体深度信息的提取

传统的双目匹配算法得到的数据是左右视图匹配点的二维坐标;但二维坐标将丢失物体的三维深度信息。提出一种利用视差原理在世界坐标系内计算该物点在现实中所对应点的三维坐标的新方法。该方法分为三部分:第一部分为双目相机的标定,包括内参(主点、焦距、径向畸变、不垂直因子)以及两相机之间的外参(旋转矩阵和平移矩阵)。第二部分为特征点的提取与匹配,特征点的提取则是利用SIFT算子提取左右视图的特征点,匹配则是将两视图中的对应点(现实中为同一点)利用SIFT算法进行匹配。第三部分为物体深度信息的计算,利用双目相机的视差原理和已经得出的双目相机的参数进行空间还原得到相应的左右视图投影投射矩阵,结合空间几何线性关系计算出该点在世界坐标系的三维坐标,从而得出其深度信息。     

基于立体视觉的被动测距技术研究

为了实现基于立体视觉的被动测距技术,该文搭建了一套双目成像测距系统实验平台,研究了基于双目立体视觉的被动成像处理算法;设计了可实现多目标的实时跟踪测距的双目成像测距应用软件,对提出的一种基于SIFT搜索窗口大小随着目标尺寸变化自适应调整的跟踪算法进行了验证.测试结果表明该软件在跟踪、测距方面表现出色,在1~2个目标时具有较好的实时性.通过平面标定法进行准确的摄像机标定,采用SIFT特征匹配算法进行立体匹配,测试结果表明在取octave层数为4时,匹配准确度一般可在0.05个像素范围内.实际外场测试实验表明,该算法对一定距离范围内的目标物体进行测量具有较好的准确性.