基于双目立体视觉和SVM算法行人检测方法

提出了一种基于双目立体视觉和SVM算法的行人检测方法.采用行人样本的头肩HOG特征训练分类器,通过双目视觉系统获取待检测目标左右图像,经过摄像机标定和立体匹配之后,计算图像共轭点的视差生成深度图,以基于距离的阈值分割确定运动目标所在的ROIs,有效去除背景信息;提取分割图像的HOG特征,投入SVM分类器训练得到检测子;加载分类器在前景图像中做多尺度检测,标记检测出来的运动目标.实验表明:该方法能对复杂场景下不同尺度和姿态的行人进行有效检测,具有较高的鲁棒性和检测率,且具有很好的实时性.     

视觉和毫米波雷达信息融合行人识别算法

提出了一种在主动防碰撞系统中采用视觉和毫米波雷达数据融合来识别行人的算法.在基于单目视觉获取的图像中提取HOG特征,采用支持向量机的分类方法检测行人,获取行人信息,通过快速容差中频匹配算法快速地检测目标,并获取目标信息,将基于视觉的行人信息传递给毫米波雷达;根据视觉检测的行人信息与毫米波雷达检测的目标信息进行比对,将匹配通过的目标识别为行人;将基于视觉的行人特征信息与毫米波雷达检测的行人特征信息进行融合,得到行人目标的新特征信息.通过采集道路环境的视频和雷达数据对行人正确识别率进行验证.验证结果表明,采用所提出的算法进行行人识别,在获取更加精确的行人特征信息的前提下,正确识别率较高.     

基于道路环境的车载双目系统立体匹配算法

为提高车载双目系统户外工作性能,提出了一种车载双目系统立体匹配算法。在代价计算阶段,提出了一种3bitCensus变换,该变换提高了对局部特征的描述能力并具有较强的鲁棒性;在代价聚合阶段,提出了基于边缘截断的自适应窗口聚合算法,该算法能够根据局部特征和边缘信息自适应的调节聚合窗口,提高了算法匹配精度;在视差计算阶段,利用跳跃式视差计算方法,进一步提高了计算效率。实验证明:基于3bit-Census变换+基于边缘截断的自适应聚合+跳跃式视差计算的立体匹配结构能够有效提高双目系统的鲁棒性、匹配精度及计算效率,适用于车载双目系统。     

机器人双目图像实时立体匹配算法

针对移动机器人平台上的双目视觉深度信息获取问题,研究了一种适用于动态图像序列的双目图像立体匹配算法.采用成熟的半全局立体匹配算法对图像快速立体匹配;分析了在复杂环境下的运动平台上完成立体匹配所面临的主要噪声干扰,包括白斑噪声和断层闪烁噪声;为此,分别提出了白斑滤波算法和视差图时间域滤波方法以抑制这两种噪声.试验结果表明,所提出的算法能够有效抑制动态双目图像在立体匹配时的噪声干扰,最终能够实时获得连续清晰的视差图序列.      

室内环境下结合里程计的双目视觉SLAM研究

针对视觉SLAM要解决的定位精度低和鲁棒性低的问题,提出一种基于双目视觉传感器与里程计信息的扩展卡尔曼滤波SLAM方法,应用改进的SIFT算子提取双目视觉图像的环境特征获得特征点,并构建出视觉特征地图;应用扩展卡尔曼滤波算法融合视觉信息与机器人位姿信息,完成同时定位与地图创建。这种方法既可以解决单目视觉利用特殊初始化方法获取特征点信息不准确的问题,也可以避免双目视觉里程计利用图像信息恢复运动带来的计算量极大和运动估计不鲁棒的缺点。仿真实验表明,在未知室内环境下,算法运行稳定,定位精度高。     

面向室内环境的主动视觉即时定位与地图构建系统

提出了一个主动视觉即时定位与地图构建(SLAM)系统,能够避开障碍物,预测行人运动方向并且躲避行人,同时能够在未知环境中获得有效路径和进行稀疏三维点云地图构建.该系统由机器人平台、RGB-D摄像机和双目摄像机构成.RGB-D摄像机基于RGB-D上半身探测器进行行人检测与跟踪,同时使用RGB-D摄像机进行三维地图构建.双目摄像机通过获取深度信息寻找可通行路径.该系统实现了主动地图构建并且避免了由传统方法构建的静态地图包含行人的情况.实验验证了该系统的有效性.     

刀具磨损图像视差图的非标定方法

刀具磨损检测的视场范围很小、现场工况复杂(存在机床护罩和刀具保持架的遮挡),而以往对摄像机进行标定的方法多用于大视场环境,并不适合于加工现场的刀具磨损检测。为此,文中提出一种采用非标定双目视觉方法获取刀具磨损图像视差图的方法,无需标定参考物和人工干预。首先,利用SURF(speeded-up robust features)算法检测图像对中的特征点;其次,利用8点算法计算基本矩阵,再利用极点无穷远变换完成图像对的校正;最后,利用基本区域匹配方法完成图像对视差的计算。进行了加工现场的磨损刀具图像获取实验,先对比了重构出的刀具视差图轮廓与实际轮廓,接着分析了刀具视差图的精度。结果显示,重构轮廓与实际轮廓基本相符,重构出的视差图的绝对误差在5个像素点以下,相对误差在10%至30%之间,说明在小视场和复杂工况下,用非标定方法获取的刀具视差图能够满足现场检测的精度要求,并且该方法具有灵活和高效的特点。     

液压四足机器人在野外随行中的定位研究

针对液压四足机器人在野外环境中有效随行的问题,提出了一种相对于引导员的定位方法.通过双目视觉定位和单目视觉定位融合方法来提高系统定位精度和鲁棒性,其中双目立体视觉采用轮廓检测和动态规划法求取整体最优估计,并利用Newton迭代法估计最优位姿.由于引导员可能穿着与周围环境相似的迷彩服,还设计了一种识别性高、检测容易的标志作为引导员的标志.最后,通过仿真实验验证了系统的有效性和定位精度,并且在液压四足机器人的实物上进行了实验,证明了本系统的可行性.      

面向裸眼3D的半全局立体匹配视差优化方法

针对基于双目相机的裸眼3D显示的实时性和真实性问题,研究高精度、高效的双目立体匹配算法来获取高质量的深度信息。采用半全局立体匹配算法获取初步的视差估计量,在此基础上,建立基于一致性检验、中值滤波、多层次均值滤波和视差绘制方法的组合优化方法。实验结果表明,视差优化方法能够使视差的均方根误差下降40%左右、像素错误匹配比率下降20%以上,从而获取高精度的深度信息,为裸眼3D的虚拟视点实时精确绘制奠定技术基础。     

双目视觉变焦测距技术

双目视觉测距是根据视差原理,将三维空间求深度信息的问题转化成二维空间求视差.提出一种改进的变焦测距方案,使得传统双目视觉测距系统的测量范围得到更好的延展性,测量精度有了更好的自适应性.提出测距系统的“灵敏度”定义,它是决定系统有效量程和测量精度的重要指标.根据灵敏度函数的具体标定,提出自适应的变焦测距策略,在实际的测量应用测试中已收到较好的效果.     

单目视觉行人身体多部件距离融合估计算法

针对现有自主汽车辅助驾驶系统中,单目摄像头行人距离估计精度不高的问题,提出一种单目视觉行人身体多部件距离融合计算法。联合脚部件与头部件共同对行人目标进行距离估计,分别采用半水波形等距线脚部部件距离估计与头部部件高度插值距离估计算法来获取行人的距离估计结果,使得算法能够同时具备精准性和稳定性。经仿真验证,该算法在非遮挡条件下,35 m内能够将误差控制在1 m以内,在半遮挡条件下,35 m内能够将误差控制在2 m以内,满足车载辅助驾驶对行人距离估计精度的要求。     

基于功能磁共振成像的立体图像分辨

视觉是人与外界互动获取信息的主要手段,而双目视差信息是人脑估计外界环境深度结构的重要视觉线索之一.因此,研究人脑处理双目视差的神经机制对了解人类的视觉系统意义重大.功能磁共振成像(f MRI)技术为双目视差研究提供了有效手段.目前在f MRI研究中,虽然已经有很多研究利用f MRI技术深入探究了人脑处理双目视差信息的神经机制,但是利用该技术采集的人脑信号如何分辨包含双目视差信息的立体图像依然有待研究.针对这一问题,设计了一种基于f MRI的实验,该实验选用随机点图生成人造立体视图像作为实验刺激;相较于自然立体图像,该种立体图像可以更加方便地提取出立体图像中包含的图像特征.结合实验特性提出了一种基于lasso回归算法的体素编码模型,该模型利用了视觉感受野的稀疏特性,可以较好地借助立体图像中的二维特征并对fMRI数据进行编码分析和解码分析.其编码分析结果表明利用体素编码模型可以较好预测人脑接收立体图像的脑信号的体素广泛分布在人脑的各个视觉区中,并且大部分体素分布在初级视区V1、V2d和V3d中.解码分析结果表明,初级视觉区V1可以利用立体图像中的二维特征实现立体图像的识别,并且背侧视觉区V3d、V7和h MT+/V5可以与V1协同工作进行立体图像的识别.     

基于双目立体视觉的三维重建方法

基于双目立体视觉视差原理,结合halcon视觉开发库标定摄像机的内外参数,利用标定结果校正目标图像;引入多重网格算法以及像素灰度、梯度、平滑度相结合的相似度判断准则对校正图像进行立体匹配,获得连续稠密的视差图;根据深度信息恢复原理获取三维点云,并采用移动最小二乘法对三维点云进行平滑滤波;最后运用基于贪婪算法的三角剖分实现物体可视表面三维重建,并对重建表面进行形态学处理填补黑洞.实验结果表明,物体重建表面光滑连续,视觉效果令人满意.     

基于视差分析的3D电视质量评价系统的设计与实现

在众多影响3D舒适度的因素中,制作人员更多的会选择视差信息来检测、调整、优化3D节目的质量,因此3D电视素材的左右图像的视差分析成了关键问题。本文设计了一种基于双目立体视觉的3D电视视差检测系统,该系统应用了双边滤波及SGBM立体匹配算法,计算左右图像的视差,并根据视差与立体视觉舒适度的关系,将可能会引起观众不适的图像部分进行分级标注,便于后续的3D调整工作。     

基于激光散斑的实时立体匹配算法及其应用

立体匹配是双目立体视觉的关键步骤和难点问题,制约着双目视觉系统的应用。图像的噪声、遮挡、弱纹理等问题使得匹配精度低。为了解决这些难点问题,文中提出了一种基于激光散斑的立体匹配算法。首先根据激光散斑特点,提出了一种基于梯度方向的匹配代价计算方法;然后将半全局匹配和导向滤波器串联起来进行代价聚合,以满足实时性要求和提高算法对倾斜平面的适应能力;最后,根据匹配代价的平均值与最小值,提出了一种可靠性检验方法,以处理遮挡和物体边缘视差不连续的问题。文中匹配算法在物流行业中的应用结果表明,该算法可以实时测量包裹尺寸,测量精度可以达到±5%。     

基于DAISY描述符和改进型权重核的快速局部立体匹配

为了消除双目立体歧义,提出一种基于DAISY特征和改进型权重核的快速立体匹配。首先,稠密构造局部特征DAISY描述计算初始匹配成本;基于Epanechnikov权重核双通聚合消除特征相似歧义得可靠匹配代价;优胜者全选逐像素优化初始视差。然后,利用改进型双边滤波、对称一致性验证和多方向权重视差外插等策略改善视差。实验表明,该方法能有效提高匹配精度,得到分段光滑、精度高的稠密视差,且结构简单、复杂度低。     

基于双目立体视觉的列车目标识别和测距技术

随着近几年铁路运输量的大幅度提升,铁路运输自动化被提上了日程,现如今火车的调车与编组的效率都有了大幅度提高,但是,火车的摘钩分解操作依旧是需要人工完成.针对摘钩作业时间短,需要在机器人和车厢同步时准确识别目标把手和测距的问题,提出使用双目立体视觉技术配合机械臂自动摘取车钩的方法并对视觉部分进行深入研究:通过图像预处理和模板匹配技术识别目标把手,在利用特征检测和匹配算法恢复双目摄像机间的位姿信息,并对双目摄像机的位姿信息进行校正.为了克服立体匹配时光照不均的影响,提出了基于局部融合的立体匹配算法获取视差图,最后使用三角测量计算列车分解区域中目标把手的深度信息,实现三维重建.此方法可以在识别把手位置后,测量把手距双目视觉系统的物理距离,为机器人自动摘钩提供数据基础.     

融合AD与Census变换的动态规划立体匹配与遮挡处理

针对传统动态规划立体匹配算法具有速度快的优点,但常伴随条纹现象的问题,设计了一种AD(absolute difference)与Census变换相融合的相似性测度算法,结合新的线性平滑项和动态变搜索半径的方法有效避免了上述问题,提高了匹配的速度和准确性.遮挡现象在双目视觉中难以避免,针对这一难题,采用左右一致性的遮挡检测算法对遮挡区域进行遮挡检测,设计了一种基于颜色和距离相似性的视差优化插值算法,改善了遮挡区域的视差估计.实验结果表明,该立体匹配算法能够快速、准确地估计出视差值,满足立体重构的需要.      

基于跨尺度随机游走的立体匹配算法

传统的立体匹配算法大都基于两幅图像像素点或者局部块的对应性,在单一尺度下求取视差图,但这不能很好地建模低纹理及重复纹理区域的对应关系,致使获得的视差图精度有限。为了改善上述问题,考虑到人眼视觉系统在不同尺度上处理所接收到的视觉信号,提出了跨尺度的重启动与随机游走算法。首先计算场景图像的匹配代价,其次利用超像素分割进行快速初始聚合,然后使用重启动与随机游走算法对其进行全局上的优化,最后采用跨尺度模型实现匹配代价的有效融合更新,继而获取场景图像的视差图。在Middlebury数据集上的实验仿真结果表明,相较于传统的跨尺度立体匹配算法,该算法能够有效地将场景图像在所有区域及非遮挡区域的加权平均误匹配率分别降低1个百分点和3个百分点,获得高精度的视差图。     

基于边缘分割的车载单目远红外行人检测方法

基于机器学习的车载单目远红外行人检测方法存在实时性较差和检测精度较低的问题.为此,文中提出了基于边缘分割的头部-方向梯度直方图-支持向量机(Head-HOGSVM)行人检测方法,引入加权Sobel算子强化行人的垂直边缘以分割行人候选区域;根据不同距离行人的外观模式选择行人检测方法:使用头部特征检测中、近距离行人以改善系统的实时性,使用头部识别级联基于方向梯度直方图特征的支持向量机(HOG-SVM)分类器检测成像模糊的远距离行人.在多个郊区场景视频数据集上的实验结果表明,与基于双阈值分割的HOG-SVM分类方法相比,文中方法的检测精度和检测速度分别提高了约33%和200%.