基于监视器的双目立体视觉的立体效果

首先提出了一个基于监视器的双目立体视觉模型，然后重点分析了由视差引起的立体效果，以及直线段立体成像的立体效果．最后通过实验证实了论文的结论，并给出了一个虚拟植物可视化立体展现的实例．对于直线段立体成像的情形，定量分析和实验表明，当观察者保持双眼平行地远离或靠近屏幕时，看到的各点深度都相同的图像虽然会产生移动，但是不会感到有明显的形变．这为立体图像尺寸的测定提供了可行的方法．     

立体视差调整的快速估计方法

立体图像的视差调整多用于会聚调节和视差校正．为准确地计算出立体图像视差调整量的取值范围,建立了立体视差调整的快速估计方法．算法首先将人类立体视觉的Panum融合区应用于立体显示空间,给出计算立体显示屏幕Panum融合区的方法,然后推导出立体显示屏幕Panum融合区对视差调整量的限定,最后通过对立体图像深度线索的稀疏匹配快速估计出Panum融合区限定下视差调整量的适用范围．经实验验证．本方法可以快速、准确地得到视差调整量的适用范围,最大限度地避免立体图像中出现双眼复视的情况．     

基于视觉感知的立体图像零水印算法研究

人眼感知立体图像,主要是对图像内容和深度信息的感知,而视点之间的差异是形成立体图像深度感知的一个重要原因。本文基于人眼视觉感知特性,提出了视点零水印和视差零水印算法,视点零水印将视点图像的亮度Y分量分块做DCT变换,并根据DCT域中低频系数的大小关系来构造视点零水印,提高了水印的鲁棒性和不可见性;视差零水印通过求取左右视图的视差值,搜索得到左右视图的匹配区域,根据匹配区域内左右图像块的DC系数大小关系来构造视差零水印。统计两类零水印恢复率,达到对立体图像质量和立体感知质量客观评价的目的。实验结果表明,该水印算法具有良好的鲁棒性和不可见性,通过水印恢复率客观评价图像质量和立体感知质量,与人眼主观评价具有一致性。     

基于光线跟踪的虚拟场景立体图像对视差研究

立体图像对的视差是立体显示的基础,双目立体显示的基本原理就是将具有视差的立体图像对中的左右眼图像分别送入左右眼中,从而产生立体感.本文给出了一种在虚拟场景中利用光线跟踪计算立体图像对视差的方法,生成了视差图和深度图,并对视差的特点和影响视差的因素进行了分析.     

基于笔划的立体图像风格化

为实现双目图像的风格化渲染,提出了一套完整的基于笔划的立体图像风格化系统。首先,将笔划基于颜色梯度和深度梯度确定左视图初始笔划的位置;然后,通过求解由视差约束和位置约束构成的能量优化方程,决定笔划的控制点在左、右眼视图中的最终位置,以保持笔划在两视图中的匹配。系统可以采用不同的笔划属性,生成不同风格的立体图像风格化结果。实验结果表明,所提方法为立体图像的风格化提供了有效快捷的方法。     

立体电视中对比灵敏度方程的影响因素

在开关眼镜式和偏振光眼镜式2种立体液晶电视中进行视觉感知实验,通过改变测试图像的景深和空间频率,研究了眼镜式立体电视中立体图像的视差对人眼对比灵敏度感知阈值的影响.实验中共选用3种景深和10种空间频率的图像.实验结果表明,液晶电视中显示的二维图像与传统成像方法显示的二维图像在不同空间频率处对人眼对比灵敏度阈值的影响不同.2种立体液晶电视中三维模式下显示的立体图像和二维模式下显示的平面图像,对人眼对比灵敏度阈值有显著性影响.但在三维显示模式下,不同景深的立体图像对人眼对比灵敏度感知阈值的影响不显著.     

基于BJND和JNDD的立体视频深度感知增强技术综述

人类视觉系统是一个具有多种视觉特性的复杂处理系统,视觉感知是人眼多种视觉特性共同作用的结果。立体视频图像因视差和深度的存在有着与平面图像不同的视觉感受,且深度感与视差有着紧密的关系。恰可察觉差别(Just Noticeable Difference,JND)或者称为恰可察觉失真(Just Noticeable Distortion,JND)是一种基于视觉心理学和生理学的视觉特性,双目恰可察觉差别(Binocular JND,BJND)和恰可察觉深度差别(Just Noticeable Depth Difference,JNDD)影响人们对立体视频的用户体验。在阐述JND基础上,综述人类视觉感知立体视频的BJND、JNDD模型及国内外研究现状,分析视差图质量和深度图信息对立体视频感知影响,提出了基于JNDD的深度图处理方法,寻求人眼对立体视频深度感知增强技术,建立基于BJND和JNDD的立体视频图像质量客观评价方法,为立体视频图像处理及应用提供指导。     

基于相似性概率约束的立体视觉稠密匹配算法

本文提出一种面向非结构化环境的快速立体视觉稠密匹配算法,能有效解决弱纹理、岩石局部遮挡条件下的精确立体视觉稠密匹配问题。该算法利用外极线约束缩小搜索区域的候选匹配点,有效解决遮挡和深度不连续的影响,利用Mean-Shift算法构建一个自适应阈值函数来分割图像,再对稠密视差图进行初值优化,提高了高相似度与弱纹理区域内的视差估计精度。利用本算法对实际环境图像和标准测试图像进行处理,实验结果表明对环境中的遮挡和弱纹理问题具有良好的鲁棒性,在室内外环境下均能够获取高质量稠密视差图。     

基于视差分析的3D电视质量评价系统的设计与实现

在众多影响3D舒适度的因素中,制作人员更多的会选择视差信息来检测、调整、优化3D节目的质量,因此3D电视素材的左右图像的视差分析成了关键问题。本文设计了一种基于双目立体视觉的3D电视视差检测系统,该系统应用了双边滤波及SGBM立体匹配算法,计算左右图像的视差,并根据视差与立体视觉舒适度的关系,将可能会引起观众不适的图像部分进行分级标注,便于后续的3D调整工作。     

基于立体图像显著区域的舒适亮度定量研究

研究立体图像观看舒适度的影响因素已成为立体显示领域的关键技术之一.本文首次结合视觉注意机制定量研究了亮度因素对立体图像观看舒适度的影响.首先,采用视差图和平面图像显著图相结合的方法获得显著立体图像;然后采用改进的逐级逼近法进行主观实验,得到显著立体图像的舒适亮度匹配图和差异图.本文所得亮度范围能够更好地反映立体图像的舒适度,为立体图像舒适度评价及立体显示技术的改进提供了新的依据.此外,论文采用眼动仪验证了所得立体图像显著区域的正确性.     

Probing the human stereoscopic system with reverse correlation.

Our two eyes obtain slightly different views of the world. The resulting differences in the two retinal images, called binocular disparities, provide us with a stereoscopic sense of depth. The primary visual cortex (V1) contains neurons that are selective for the disparity of individual elements in an image, but this information must be further analysed to complete the stereoscopic process. Here we apply the psychophysical technique of reverse correlation to investigate disparity processing in human vision. Observers viewed binocular random-dot patterns, with 'signal' dots in a specific depth plane plus 'noise' dots with randomly assigned disparities. By examining the correlation between the observers' ability to detect the plane and the particular sample of 'noise' disparities presented on each trial, we revealed detection 'filters', whose disparity selectivity was remarkably similar to that of individual neurons in monkey V1. Moreover, if the noise dots were of opposite contrast in the two eyes, the tuning inverted, just like the response patterns of V1 neurons. Reverse correlation appears to probe disparity processing at the earliest stages of binocular combination, prior to the generation of a full stereoscopic depth percept.     

Depth is encoded in the visual cortex by a specialized receptive field structure

Binocular neurons in the visual cortex are thought to perform the first stage of processing for the fine stereoscopic depth discrimination exhibited by animals with frontally located eyes. Because lateral separation of the eyes gives a slightly different view to each eye, there are small variations in position (disparities), mainly along the horizontal dimension, between corresponding features in the two retinal images. The visual system uses these disparities to gauge depth. We studied neurons in the cat's visual cortex to determine whether the visual system uses the anisotropy in the range of horizontal and vertical disparities. We report here that there is a corresponding anisotropy in the cortical representation of binocular information: receptive-field profiles for left and right eyes are matched for cells that are tuned to horizontal orientations of image contours. For neurons tuned to vertical orientations, left and right receptive fields are predominantly dissimilar. Therefore, a major modification is required of the conventional notion of disparity processing. The modified scheme allows a unified encoding of monocular form and binocular disparity information.     

Motion direction, speed and orientation in binocular matching

The spatial differences between the images seen by the two eyes, called binocular disparities, can be used to recover the volumetric (three-dimensional) aspects of a scene. The computation of disparity depends upon the correct identification of corresponding features in the two images. Understanding what image features are used by the brain to solve this matching problem is one of the main issues in stereoscopic vision. Many cortical neurons in visual areas V1 (ref. 2), MT (refs 3, 4) and MST (refs 5, 6) that are tuned to binocular disparity are also tuned to orientation, motion direction and speed. Although psychophysical work has shown that motion direction can facilitate binocular matching, the psychophysical literature on the role of orientation is mixed, and it has been argued that speed differences are ineffective in aiding correspondence. Here we use a different psychophysical paradigm to show that the visual system uses similarities in orientation, motion direction and speed to achieve binocular correspondence. These results indicate that cells that multiplex orientation, motion direction, speed and binocular disparity may help to solve the binocular matching problem.     

基于双目立体视觉的列车目标识别和测距技术

随着近几年铁路运输量的大幅度提升,铁路运输自动化被提上了日程,现如今火车的调车与编组的效率都有了大幅度提高,但是,火车的摘钩分解操作依旧是需要人工完成.针对摘钩作业时间短,需要在机器人和车厢同步时准确识别目标把手和测距的问题,提出使用双目立体视觉技术配合机械臂自动摘取车钩的方法并对视觉部分进行深入研究:通过图像预处理和模板匹配技术识别目标把手,在利用特征检测和匹配算法恢复双目摄像机间的位姿信息,并对双目摄像机的位姿信息进行校正.为了克服立体匹配时光照不均的影响,提出了基于局部融合的立体匹配算法获取视差图,最后使用三角测量计算列车分解区域中目标把手的深度信息,实现三维重建.此方法可以在识别把手位置后,测量把手距双目视觉系统的物理距离,为机器人自动摘钩提供数据基础.     

双通道立体图像质量评价方法的研究

针对立体图像质量评价问题,基于人眼观测图像的感知特性,提出一种双通道立体图像质量评价算法。首先,获取双目视图的拉普拉斯金字塔序列构建融合图,采用并行域分解多权重化策略提取双目局部质量感知特征;然后,结合视觉平衡特性引入语义特征通道提取双目高层次语义特征;最后,在支持向量回归的基础上得到双通道主客观图像质量评价值的关系映射。双通道网络集成了包含视差信息的多局部细节特征与全局语义特征,在LIVE 3D 立体图像库进行性能测试,结果表明,算法所得预测值与主观评价值间具有良好的一致性。     

影响立体图像舒适度的饱和度范围测定

针对立体成像领域的视觉舒适度问题,结合人眼视觉系统的特性定量研究了饱和度因素对观看双目立体图像舒适度的影响．采用三级步长逼近法,通过大量主观实验定义了双目立体图像舒适饱和度匹配图和舒适饱和度差异图,得到了立体图像饱和度匹配范围,并进一步验证了两图的普适性,根据两图判定立体图像是否舒适的准确率达到92％．实验结果能够为立体图像舒适度的主客观评价提供依据．     

机器人双目图像实时立体匹配算法

针对移动机器人平台上的双目视觉深度信息获取问题,研究了一种适用于动态图像序列的双目图像立体匹配算法.采用成熟的半全局立体匹配算法对图像快速立体匹配;分析了在复杂环境下的运动平台上完成立体匹配所面临的主要噪声干扰,包括白斑噪声和断层闪烁噪声;为此,分别提出了白斑滤波算法和视差图时间域滤波方法以抑制这两种噪声.试验结果表明,所提出的算法能够有效抑制动态双目图像在立体匹配时的噪声干扰,最终能够实时获得连续清晰的视差图序列.      

光轴外扩式布置的双目相机图像立体校正

摘要： 针对宽视野光轴外扩式布置双目图像采集和显示系统的图像立体校正问题,利用三维重建误差,提出了一种基于双目图像视差特性的立体校正方法.在分析光轴外扩式布置双目相机图像视差特性的基础上,针对相机光心与显示投影中心间的位置误差和相机光轴与显示视轴间的角度误差,建立图像仿射变换、水平视差畸变和垂直视差的校正函数,利用一组空间采样点的三维重投影误差作为目标函数通过优化方法求解校正参数.仿真实验表明：在视轴外扩夹角为30°时,本方法可以有效地消除光心位置误差和光轴角度误差对图像视差造成的影响.真实图像校正实验表明：校正后的图像水平畸变小,在显示宽视野双目图像时,能保持正确的三维立体感.
关键词：中图分类号：文献标志码： A     

基于深度学习的障碍物检测与深度估计

提出了一种针对交通场景的基于深度学习的障碍物检测与深度估计方法。该方法对现有的YOLOv3模型进行改进,使用DenseNet网络代替原网络尺度较小的传输层,得到一种新的障碍物检测模型Dense-YOLO。然后采用立体匹配模型PSMNet得到双目图像的视差图,根据双目测距原理对被测目标深度进行估计。在KITTI数据集和实际交通场景中的实验结果表明,与YOLOv3模型相比,Dense-YOLO模型有效地提高了交通场景中障碍物检测的可靠性和正确率,对轿车、行人、骑行者和卡车这4类障碍物检测的平均精确率（average precision, AP）提高了3%～5%,平均精确率均值（mean average precision, mAP）提高了约4%。障碍物深度估计结果与真实值的平均相对误差约为3%。