三目立体视觉中线段基元的匹配方法研究

提出了利用金字塔图传播匹配的三目线段基元立体视觉方法。该方法中匹配起始三元组的选择建立在透视投影的可靠基础之上,而进行传播匹配大大限制了搜索范围,因而可以加速计算,并避免了可能的误匹配。传播匹配利用立体图像组在二值边界图像金字塔图中的结构相似性,而整个匹配结果的考察与认定是通过传播率的比较实现的。该方法能够有效地克服双目立体视觉方法的某些本质局限性,确保匹配结果精确可靠。     

基于立体图像显著区域的舒适亮度定量研究

研究立体图像观看舒适度的影响因素已成为立体显示领域的关键技术之一.本文首次结合视觉注意机制定量研究了亮度因素对立体图像观看舒适度的影响.首先,采用视差图和平面图像显著图相结合的方法获得显著立体图像;然后采用改进的逐级逼近法进行主观实验,得到显著立体图像的舒适亮度匹配图和差异图.本文所得亮度范围能够更好地反映立体图像的舒适度,为立体图像舒适度评价及立体显示技术的改进提供了新的依据.此外,论文采用眼动仪验证了所得立体图像显著区域的正确性.     

眨眼特征与颜色不对称立体图像视觉舒适度的相关性分析

提出了一种从眼动生理指标角度客观评价立体内容视觉舒适度的模型.选用颜色色调不对称的立体图像进行了视觉舒适度的主观评价实验,并开展了记录眨眼数据的眼球追踪实验,通过对主客实验数据的分析,验证了在色调不对称立体图像的刺激下视觉舒适度与眨眼次数呈高度负相关关系,而与平均眨眼持续时间没有明显的相关关系;得到了基于眨眼次数的立体图像视觉舒适度客观评价模型.分析模型可知：观看颜色色调不对称立体图像10 s内平均眨眼次数超过9.99次时,开始感觉到视觉不舒适.研究结果可为立体显示的视觉适度评价提供借鉴.     

双目立体视觉系统设计

双目立体视觉是一种对目标点进行准确快速定位行之有效的方法,通过对双目立体视觉系统标定、立体匹配等关键技术的研究,设计开发了一种可以广泛应用的双目立体视觉系统。该系统采用了两种匹配算法,分别采用传统上基于极线约束的特征点灰度相关匹配算法和基于SIFT(Scale Invariant FeatureTransform)特征描述子的改进匹配算法实现。在实现双目立体视觉系统的目标点定位基础上,进行了两种匹配算法的性能比较和分析。实验表明该双目视觉系统设计具有良好的实用价值。     

双目立体视觉匹配的预处理技术

针对双目立体视觉图对区域匹配应用中存在的问题, 提出一种三阶段的匹配预处理方法. 该方法将小波阈值去噪算法和直方图均衡化技术相结合, 有效地去除了图像随机噪声和高斯噪声, 实现了立体图对间亮度差异的平衡, 并经过拉普拉斯锐化处理提高了图像对的对比度. 实验结果表明, 三阶段匹配预处理算法可有效提高立体图对间的匹配准确率.     

基于图像的焊件深度信息提取

阐述了一种简化的基于竞争匹配机制的双目立体图像匹配算法.通过对摄像机安装位置进行配置,使得双目视觉传感器的模型大为简化.使用竞争匹配机制对图像中的对应点进行匹配.然后把各个点在图像上的坐标系代入简化后的传感器模型,计算出三维焊缝的空间坐标.最后在VC 平台上对所介绍的方法编程实现,并通过双目测距实验证明该算法的实时性和可靠性.     

基于双目立体视觉的标定技术及应用

为提升双目立体视觉装置的准确度和精度,提出基于双目立体视觉的标定技术。针对双目立体视觉中两 个相机的特点,采用圆形标志阵列标定板为图像源,通过对图像预处理,以径向误差做约束条件,根据圆的几 何关系和最小二乘法综合提取特征点的算法获取图像标识点坐标并求取单应性矩阵,最后推导得到理想的外 参和内参,从而获得双目立体视觉装置准确的参数。实验结果为该装置对待测数据的获取提供了精确的数据 基础和可靠的矫正条件,进而提升了双目立体视觉装置的准确度和精度。     

基于体视显微镜的立体视觉测量系统

该文基于体视显微镜(SLM),根据双目视觉原理,构建了显微立体视觉测量系统;通过图像采集、系统标定、图像预处理、图像匹配、物体重建等步骤实现微观物体的立体重构和测量。系统采用改进的DLT(direct linear transformation)方法;在图像匹配过程中,依据被测量物体不同的特征,采用了基于特征的匹配和基于图割的全局匹配2种方式。该统实现了微型物体的立体重建及尺寸测量功能。     

半智能排爆机器人单手双目手眼系统的研究

针对目前排爆机器人手动控制方式的不足,研究和开发了一个单手双目手眼系统用于半智能排爆机器人的自动控制.单手双目手眼系统是半智能排爆机器人的重要组成部分和关键技术,该视觉系统利用双目立体视觉原理,采用Matlab7.0作为运算引擎,调用机器视觉处理软件EVision6.2中的EasyMatch模式匹配库进行立体图像匹配,能实时捕获排爆机器人周围的图像信息、进行摄像机标定、图像预处理、立体图像匹配、确定机器人未端手爪与可疑目标物的相对位置坐标,并把图像实时显示在控制台,自动控制手臂靠近并准确地抓取可疑目标物.该半智能排爆机器人成功地抓取实验,表明了该立体视觉系统在精度上能够满足半智能排爆机器人的项目要求.     

基于OpenCV的双目立体视觉监控跟踪系统

现阶段的监控设备无法自主获取目标区域的距离信息,而且在一定范围之外,由于图像模糊程度加深而无法对特定个体进行识别确认。针对以上存在的问题,设计并开发了基于计算机视觉库OpenCV(IntelOpen Source Computer Vision Library)的双目立体视觉监控跟踪系统。利用OpenCV强大的计算机视觉和图像处理能力,结合自行研究的双目立体视觉测距改进法和轮廓搜索法,能实现对监控区域内的物体进行距离测量和轮廓识别。通过实验结果表明,基于OpenCV的双目立体视觉监控跟踪系统运行可靠稳定,在一定范围内达到了实验要求。     

双通道立体图像质量评价方法的研究

针对立体图像质量评价问题,基于人眼观测图像的感知特性,提出一种双通道立体图像质量评价算法。首先,获取双目视图的拉普拉斯金字塔序列构建融合图,采用并行域分解多权重化策略提取双目局部质量感知特征;然后,结合视觉平衡特性引入语义特征通道提取双目高层次语义特征;最后,在支持向量回归的基础上得到双通道主客观图像质量评价值的关系映射。双通道网络集成了包含视差信息的多局部细节特征与全局语义特征,在LIVE 3D 立体图像库进行性能测试,结果表明,算法所得预测值与主观评价值间具有良好的一致性。     

Motion direction, speed and orientation in binocular matching

The spatial differences between the images seen by the two eyes, called binocular disparities, can be used to recover the volumetric (three-dimensional) aspects of a scene. The computation of disparity depends upon the correct identification of corresponding features in the two images. Understanding what image features are used by the brain to solve this matching problem is one of the main issues in stereoscopic vision. Many cortical neurons in visual areas V1 (ref. 2), MT (refs 3, 4) and MST (refs 5, 6) that are tuned to binocular disparity are also tuned to orientation, motion direction and speed. Although psychophysical work has shown that motion direction can facilitate binocular matching, the psychophysical literature on the role of orientation is mixed, and it has been argued that speed differences are ineffective in aiding correspondence. Here we use a different psychophysical paradigm to show that the visual system uses similarities in orientation, motion direction and speed to achieve binocular correspondence. These results indicate that cells that multiplex orientation, motion direction, speed and binocular disparity may help to solve the binocular matching problem.     

对立体视觉中对称性假设的检验

指出了基于立体视觉研究中的隐性对称性假设,即认为匹配的选取与哪只眼观察哪一图像无关,而仅取决于两眼映像特征的相似性,因此交换左眼和右眼图像这样一种实验操作,被认为提供了一种非常简便有效的技术,用于鉴定双眼性视差和其他不同于双眼性视差的因素对立体深度的贡献.采用2:2直线型常规立体视构型,对比了左右眼图像交换前后的匹配结果,发现匹配融合产生中间第3根直线的两根直线在图像交换前后会发生改变,并导致中间直线的深度在图像交换前后不发生颠倒.实验结果证明:立体视觉研究中的隐性对称性假设不成立;交换左眼和右眼图像后深度是否颠倒,并不是判断深度是来源于匹配视差还是其他因素的依据.     

基于权重组合学习的无参考立体图像质量评价

深度学习被广泛应用于2D 图像的质量评价(2D-IQA) 研究中,而在3D 图像质量评价(3D-IQA) 中还没有展开深入研究.针对对齐失真立体图像,本文提出了一种基于权重组合学习的无参考立体图像质量评价模型.通过有效融合两支独立的单视图质量评价深度网络模型,将左右眼视图作为整体对象进行评估; 再根据双目竞争原理,又设计了一种权重深度网络用以估计左右眼的不同能量分布; 最后,这两个子网络组合成端到端的权重组合学习深度质量网络.实验结果证明: 该模型对于对称失真的立体图像质量评价有显著提升.     

基于小波包分解的无参考立体图像质量评价

立体图像质量评价在立体图像处理领域中应用广泛.基于小波包分解的精细分辨率,提出了一种全新的无参考立体图像质量评价算法.选取合值图和差值图作为融合图来评估立体图像,首先,对立体图像对进行小波包分解,基于双眼竞争和双眼抑制原理,将分解后的左右视图进行融合得到合值图和差值图.然后,分别在融合图上提取自然场景统计(NSS)特征和信息熵;另外,考虑到左右视图之间的内在相关联系,提取结构相似度特征.最后,运用支持向量回归(SVR)来建立感知特征和主观分数模型并预测得到客观评价分数.采用该算法在LIVE 3D立体图像数据库上进行测试,实验结果表明,该算法与人眼主观评价结果一致性较高,优于当前主流的立体图像质量评价算法,符合人眼视觉感知特性.     

Probing the human stereoscopic system with reverse correlation.

Our two eyes obtain slightly different views of the world. The resulting differences in the two retinal images, called binocular disparities, provide us with a stereoscopic sense of depth. The primary visual cortex (V1) contains neurons that are selective for the disparity of individual elements in an image, but this information must be further analysed to complete the stereoscopic process. Here we apply the psychophysical technique of reverse correlation to investigate disparity processing in human vision. Observers viewed binocular random-dot patterns, with 'signal' dots in a specific depth plane plus 'noise' dots with randomly assigned disparities. By examining the correlation between the observers' ability to detect the plane and the particular sample of 'noise' disparities presented on each trial, we revealed detection 'filters', whose disparity selectivity was remarkably similar to that of individual neurons in monkey V1. Moreover, if the noise dots were of opposite contrast in the two eyes, the tuning inverted, just like the response patterns of V1 neurons. Reverse correlation appears to probe disparity processing at the earliest stages of binocular combination, prior to the generation of a full stereoscopic depth percept.     

基于双目立体视觉的列车目标识别和测距技术

随着近几年铁路运输量的大幅度提升,铁路运输自动化被提上了日程,现如今火车的调车与编组的效率都有了大幅度提高,但是,火车的摘钩分解操作依旧是需要人工完成.针对摘钩作业时间短,需要在机器人和车厢同步时准确识别目标把手和测距的问题,提出使用双目立体视觉技术配合机械臂自动摘取车钩的方法并对视觉部分进行深入研究:通过图像预处理和模板匹配技术识别目标把手,在利用特征检测和匹配算法恢复双目摄像机间的位姿信息,并对双目摄像机的位姿信息进行校正.为了克服立体匹配时光照不均的影响,提出了基于局部融合的立体匹配算法获取视差图,最后使用三角测量计算列车分解区域中目标把手的深度信息,实现三维重建.此方法可以在识别把手位置后,测量把手距双目视觉系统的物理距离,为机器人自动摘钩提供数据基础.     

应用人类视觉特性的立体图像质量评价方法

提出了一种适合立体图像的质量评价方法,该方法基于平面图像的加权平均结构相似性评价规则,考虑了心理立体视觉的物理线索,联合了心理、生理立体视觉特性,最终给出了2种不同复杂度的实现方法．实验结果表明,2种复杂度不同的方法均能很好地用于立体图像的质量评价,且评价结果与主观评价结果相关性很强．     

基于特征提取的虚拟现实中全景图像生成算法研究

当前全景图像生成算法通常依据计算机图形实现,建模时间较长,且生成的全景图像效果不佳,无法满足人们的需求。为此,提出一种新的基于特征提取的虚拟现实中全景图像生成算法,对图像中各像素点的Hessian矩阵行列式进行计算,获取SURF特征点值,通过特征点之间的欧氏距离对图像间的相似性进行衡量,实现特征匹配。通过正投影把所有待合成图像投影至圆柱面上,相邻图像将重合部分融合,获取投影图像后,通过特征匹配实现无缝拼接,将正投影过程生成的立体图像从某一位置剖开,并投影至某一平面上,获取视觉一致的全景图像。实验结果表明,采用所提算法生成的全景图像重叠区域之间几乎没有缝隙,亮度差异不大,可消除“鬼影”现象,且占用内存与消耗时间少。     

Depth is encoded in the visual cortex by a specialized receptive field structure

Binocular neurons in the visual cortex are thought to perform the first stage of processing for the fine stereoscopic depth discrimination exhibited by animals with frontally located eyes. Because lateral separation of the eyes gives a slightly different view to each eye, there are small variations in position (disparities), mainly along the horizontal dimension, between corresponding features in the two retinal images. The visual system uses these disparities to gauge depth. We studied neurons in the cat's visual cortex to determine whether the visual system uses the anisotropy in the range of horizontal and vertical disparities. We report here that there is a corresponding anisotropy in the cortical representation of binocular information: receptive-field profiles for left and right eyes are matched for cells that are tuned to horizontal orientations of image contours. For neurons tuned to vertical orientations, left and right receptive fields are predominantly dissimilar. Therefore, a major modification is required of the conventional notion of disparity processing. The modified scheme allows a unified encoding of monocular form and binocular disparity information.