机器人双目图像实时立体匹配算法

针对移动机器人平台上的双目视觉深度信息获取问题,研究了一种适用于动态图像序列的双目图像立体匹配算法.采用成熟的半全局立体匹配算法对图像快速立体匹配;分析了在复杂环境下的运动平台上完成立体匹配所面临的主要噪声干扰,包括白斑噪声和断层闪烁噪声;为此,分别提出了白斑滤波算法和视差图时间域滤波方法以抑制这两种噪声.试验结果表明,所提出的算法能够有效抑制动态双目图像在立体匹配时的噪声干扰,最终能够实时获得连续清晰的视差图序列.      

基于视差分析的3D电视质量评价系统的设计与实现

在众多影响3D舒适度的因素中,制作人员更多的会选择视差信息来检测、调整、优化3D节目的质量,因此3D电视素材的左右图像的视差分析成了关键问题。本文设计了一种基于双目立体视觉的3D电视视差检测系统,该系统应用了双边滤波及SGBM立体匹配算法,计算左右图像的视差,并根据视差与立体视觉舒适度的关系,将可能会引起观众不适的图像部分进行分级标注,便于后续的3D调整工作。     

一种基于PSMNet改进的立体匹配算法

为了解决双目视觉中的立体匹配问题、减少立体匹配网络的参数数量、降低算法的计算复杂度、提高算法的实用性。在PSMNet立体匹配网络的基础上进行改进,提出了一种具备浅层结构与宽阔视野的立体匹配算法——SWNet。浅层结构表示网络层数更少、参数更少、处理速度更快;宽阔视野则表示网络的感受野更宽广,能够获取并保留更多的空间信息。SWNet由特征提取、3D卷积和视差回归3个部分构成。在特征提取部分,引入了深色空间金字塔结构(Atrous Spatial Pyramid Pool,ASPP),用于提取多尺度的空间特征信息,设计了特征融合模块,将不同尺度的特征信息有效地融合起来以构建匹配代价卷;3D卷积神经网络利用堆叠的编码解码结构进一步对匹配代价卷进行规则化处理,获得不同视差条件下特征点之间的对应关系;最后,采用回归的方式得到视差图。SWNet在SceneFlow和KITTI 2015两个公开的数据集上均取得了优异的表现,与参考算法PSMNet相比,参数数量下降了48.9%,且误匹配率仅有2.24%。     

基于道路环境的车载双目系统立体匹配算法

为提高车载双目系统户外工作性能,提出了一种车载双目系统立体匹配算法。在代价计算阶段,提出了一种3bitCensus变换,该变换提高了对局部特征的描述能力并具有较强的鲁棒性;在代价聚合阶段,提出了基于边缘截断的自适应窗口聚合算法,该算法能够根据局部特征和边缘信息自适应的调节聚合窗口,提高了算法匹配精度;在视差计算阶段,利用跳跃式视差计算方法,进一步提高了计算效率。实验证明:基于3bit-Census变换+基于边缘截断的自适应聚合+跳跃式视差计算的立体匹配结构能够有效提高双目系统的鲁棒性、匹配精度及计算效率,适用于车载双目系统。     

基于双目立体视觉的三维重建方法

基于双目立体视觉视差原理,结合halcon视觉开发库标定摄像机的内外参数,利用标定结果校正目标图像;引入多重网格算法以及像素灰度、梯度、平滑度相结合的相似度判断准则对校正图像进行立体匹配,获得连续稠密的视差图;根据深度信息恢复原理获取三维点云,并采用移动最小二乘法对三维点云进行平滑滤波;最后运用基于贪婪算法的三角剖分实现物体可视表面三维重建,并对重建表面进行形态学处理填补黑洞.实验结果表明,物体重建表面光滑连续,视觉效果令人满意.     

立体匹配算法研究综述

立体匹配算法作为双目立体视觉的核心内容,是通过匹配两幅或者多幅图像获得视差并得到相应深度信息的技术。本文通过对国内外立体匹配算法的研究与分析,对立体匹配算法进行了综述,详细阐述了全局立体匹配算法和局部立体匹配算法,最后总结了当前立体匹配算法面临的挑战以及对立体匹配算法的展望。     

基于梯度域引导滤波的视差精炼迭代算法

在立体匹配算法中,视差精炼过程是影响立体匹配精度的重要步骤.针对传统基于权重中值滤波的视差精炼算法,其滤波性能不佳导致精炼后的立体匹配精度不高的问题,本文提出了一种基于梯度域引导滤波的视差精炼迭代算法.该算法首先依据梯度域引导滤波的原理,将其应用于视差精炼的过程,得到改进后的权重中值滤波算法;同时对视差图进行迭代精炼,以提高立体匹配精度.实验仿真结果表明,相较于传统方法,本文算法能够有效地降低视差精炼的平均误差,获得较高精度的视差图.     

基于改进Census变换和多尺度空间的立体匹配算法

为提高双目立体匹配算法在弱纹理区域的匹配精度和多尺度空间的匹配一致性,提出基于窗口内像素均值信息判断和自适应权重的改进Census变换算法进行代价计算,提高像素在视差不连续区域的匹配精度.代价聚合阶段引入高斯金字塔结构,将引导图滤波算法融合到多尺度模型中,并添加正则化约束来提高对弱纹理区域的匹配一致性;视差选择阶段中,采用一系列优化方法如误匹配点检测、区域投票策略和亚像素增强等来提高匹配的正确率.实验结果表明,该算法在Middlebury测试集上的平均误码率为5.91%,在弱纹理区域和视差不连续区域能得到较好的视差图,且具有较好的鲁棒性.     

基于模糊逻辑的多尺度小基高比立体匹配方法

针对小基高比立体匹配中的辐射差异和深度精度问题,提出一种小基高比立体匹配方法。该方法首先通过小波变换对立体图像构建多尺度空间,然后利用HSL色彩模式下的模糊逻辑相似性测度函数和十字支撑臂自适应窗口技术获取初始匹配成本,再依据"胜者全取"策略计算整数级视差,最后以整数级视差为基础利用基于迭代相位相关法的亚像素匹配方法计算亚像素级视差图。研究结果表明:该立体匹配算法克服了小基高比匹配中的辐射差异问题,同时获得了高精度亚像素级视差,其亚像素精度高于1/20个像素。     

基于区域的立体匹配算法研究

提出了基于区域的立体匹配算法,实现从彩色立体图像对中提取深度信息.其中利用平滑函数求取全局错误能量最小化获得的视差图更为可靠,但是计算时间也较长;而采用线性生长算法获得的视差图则计算时间短,但可靠性差.结果是利用滤波去掉了不可靠的视差估计,可以提高视差图的可靠度,还对算法生成的结果进行了比较.     

基于双目立体视觉的海浪波面三维重建技术

为了提高海面特征点检测的准确度和三维重建的精度,在基于传统的Harris算法的基础上,提出1种基于高斯金字塔图像的改进Harris特征点检测算法.利用搭建的双目相机平台,对海浪图像进行采集并完成相机的标定过程,然后根据改进的角点提取算法对图像的角点进行检测,利用尺度不变特征变换(scale-invariant feature transform,SIFT)算法对海浪图像特征点进行立体匹配得出视差图,最后根据三角测量原理获取图像的深度信息,实现海浪波面的三维信息重建.实验结果证明,在针对海浪图像时,该方法具有更高的精度和准确度.     

基于双目立体视觉系统的测量研究

为了实现摄像机与目标物体之间距离的信息,由双目测量原理,采取结合OpenCV与Matlab的方式,设计出一套关于双目测距的立体视觉系统;系统首先对双目摄像机的内外参数进行标定,从黑白格组成的标定板中获得角点信息,使用亚像素角点检测法对角点坐标信息进行更精确检测,在黑白格组成的标定板分别距离双目摄像机300、400、500、600、700mm处获取不同位置的标定图像,经过张正友标定法最终可以得到双目摄像机所需内外参数;其次通过BM(Block Matching)立体匹配算法在VS2017坏境与opencv3.4.7库配合下完成了摄像机的立体校正、立体匹配进而得到视差图;最后在实验中使用了双目摄像头,并编写了代码通过鼠标点击所得到的视差图获取对应的世界坐标来实现物距的测量;实验结果表明:被测物距离摄像头光心500~700mm这一范围时,实测距离和实际距离相对误差百分比在0.171% ~0.192%之间,且实测距离在2 950mm内实验误差小于5%满足实验精度要求。     

基于DAISY描述符和改进型权重核的快速局部立体匹配

为了消除双目立体歧义,提出一种基于DAISY特征和改进型权重核的快速立体匹配。首先,稠密构造局部特征DAISY描述计算初始匹配成本;基于Epanechnikov权重核双通聚合消除特征相似歧义得可靠匹配代价;优胜者全选逐像素优化初始视差。然后,利用改进型双边滤波、对称一致性验证和多方向权重视差外插等策略改善视差。实验表明,该方法能有效提高匹配精度,得到分段光滑、精度高的稠密视差,且结构简单、复杂度低。     

改进rank变换的多窗口彩色图像立体匹配算法

为克服环境变化和双目相机的差异带来的干扰,针对传统立体匹配算法在视差不连续区域存在误匹配率高等问题,提出一种在rank变换域中对彩色图像进行多窗口匹配的算法.首先对标准图像库中的彩色图像进行分等级的改进rank变换,将图像从彩色空间变换到秩空间;然后采用改进的绝对值指数方法计算像素的颜色相似性,减少噪声和光线差异的干扰;最后利用快速多窗口算法进行匹配.实验证明该文算法有较强的抗噪性,能获得实时鲁棒的匹配结果.相对于固定窗口非参数变换匹配算法在视差不连续区域匹配精度提高了18.5%.     

基于双目视觉技术的物体深度信息的提取

传统的双目匹配算法得到的数据是左右视图匹配点的二维坐标;但二维坐标将丢失物体的三维深度信息。提出一种利用视差原理在世界坐标系内计算该物点在现实中所对应点的三维坐标的新方法。该方法分为三部分:第一部分为双目相机的标定,包括内参(主点、焦距、径向畸变、不垂直因子)以及两相机之间的外参(旋转矩阵和平移矩阵)。第二部分为特征点的提取与匹配,特征点的提取则是利用SIFT算子提取左右视图的特征点,匹配则是将两视图中的对应点(现实中为同一点)利用SIFT算法进行匹配。第三部分为物体深度信息的计算,利用双目相机的视差原理和已经得出的双目相机的参数进行空间还原得到相应的左右视图投影投射矩阵,结合空间几何线性关系计算出该点在世界坐标系的三维坐标,从而得出其深度信息。     

融合AD与Census变换的动态规划立体匹配与遮挡处理

针对传统动态规划立体匹配算法具有速度快的优点,但常伴随条纹现象的问题,设计了一种AD(absolute difference)与Census变换相融合的相似性测度算法,结合新的线性平滑项和动态变搜索半径的方法有效避免了上述问题,提高了匹配的速度和准确性.遮挡现象在双目视觉中难以避免,针对这一难题,采用左右一致性的遮挡检测算法对遮挡区域进行遮挡检测,设计了一种基于颜色和距离相似性的视差优化插值算法,改善了遮挡区域的视差估计.实验结果表明,该立体匹配算法能够快速、准确地估计出视差值,满足立体重构的需要.      

光轴外扩式布置的双目相机图像立体校正

摘要： 针对宽视野光轴外扩式布置双目图像采集和显示系统的图像立体校正问题,利用三维重建误差,提出了一种基于双目图像视差特性的立体校正方法.在分析光轴外扩式布置双目相机图像视差特性的基础上,针对相机光心与显示投影中心间的位置误差和相机光轴与显示视轴间的角度误差,建立图像仿射变换、水平视差畸变和垂直视差的校正函数,利用一组空间采样点的三维重投影误差作为目标函数通过优化方法求解校正参数.仿真实验表明：在视轴外扩夹角为30°时,本方法可以有效地消除光心位置误差和光轴角度误差对图像视差造成的影响.真实图像校正实验表明：校正后的图像水平畸变小,在显示宽视野双目图像时,能保持正确的三维立体感.
关键词：中图分类号：文献标志码： A     

立体视差调整的快速估计方法

立体图像的视差调整多用于会聚调节和视差校正．为准确地计算出立体图像视差调整量的取值范围,建立了立体视差调整的快速估计方法．算法首先将人类立体视觉的Panum融合区应用于立体显示空间,给出计算立体显示屏幕Panum融合区的方法,然后推导出立体显示屏幕Panum融合区对视差调整量的限定,最后通过对立体图像深度线索的稀疏匹配快速估计出Panum融合区限定下视差调整量的适用范围．经实验验证．本方法可以快速、准确地得到视差调整量的适用范围,最大限度地避免立体图像中出现双眼复视的情况．