基于BJND和JNDD的立体视频深度感知增强技术综述

人类视觉系统是一个具有多种视觉特性的复杂处理系统,视觉感知是人眼多种视觉特性共同作用的结果。立体视频图像因视差和深度的存在有着与平面图像不同的视觉感受,且深度感与视差有着紧密的关系。恰可察觉差别(Just Noticeable Difference,JND)或者称为恰可察觉失真(Just Noticeable Distortion,JND)是一种基于视觉心理学和生理学的视觉特性,双目恰可察觉差别(Binocular JND,BJND)和恰可察觉深度差别(Just Noticeable Depth Difference,JNDD)影响人们对立体视频的用户体验。在阐述JND基础上,综述人类视觉感知立体视频的BJND、JNDD模型及国内外研究现状,分析视差图质量和深度图信息对立体视频感知影响,提出了基于JNDD的深度图处理方法,寻求人眼对立体视频深度感知增强技术,建立基于BJND和JNDD的立体视频图像质量客观评价方法,为立体视频图像处理及应用提供指导。     

一种基于运动和纹理特征的深度图提取方法

2D至3D的立体转换技术可以提供大量的3D立体视频内容,从而解决3D立体视频内容不足的问题.而2D到3D转换技术中关键的一步是怎样提取出质量较好的深度图.提出一种基于运动和纹理特征相结合的深度图提取方法.为了估计深度图,首先将前景和背景分离,然后分别进行基于运动的前景深度提取和基于纹理特征的背景深度提取,最后再将二者有效融合得到最终深度图.实验结果显示,使用本文提出的方法可以得到满足需求的深度图.     

3DTV的系统组成及其关键技术和新发展

综述3DTV系统的3种类型,包括基于双目的3DTV、基于多视的3DTV和由2D视频转换为3D视频的3DTV系统,并在概述各自实现方法的基础上,指出相应的优缺点.对作为今后发展主流的多视3DTV系统,分析其尚需突破的三方面关键技术,并进一步介绍有利于解决这些关键技术的以多视+深度表示的3DTV新模式,以及课题组对此新模式所取得的研究进展.最后,对3DTV系统的发展和应用前景进行展望.     

自动驾驶中基于深度学习的3D目标检测方法综述

随着激光雷达传感器和深度学习技术的快速发展,针对自动驾驶3D目标检测算法的研究呈现爆发式增长。为了探究3D目标检测技术的发展和演变,对该领域中基于深度学习的3D检测算法进行了综述。根据车载传感器的不同,将当前基于深度学习的自动驾驶3D目标检测算法分为基于相机RGB图像、基于激光雷达点云、基于RGB图像–激光雷达点云融合的3D目标检测3种类型。在此基础上,分析了各类算法的技术原理及其发展历程,并根据平均检测精度（mAP）指标,对比了它们的性能差异与模型优缺点。最后,总结和展望了当前自动驾驶3D目标检测中仍然面临的技术挑战及未来发展趋势。     

计算机三维立体图像原理及制作

本文首先介绍了三维立体图像的起源、成像原理和分类,然后着重介绍了利用PSDTO3D软件设计三维立体图像的方法和要注意的问题,最后研究了三维立体图像的使用场合和发展趋势。     

基于双目立体视觉原理的立体视频自动生成软件开发

面向三维场景、基于双目立体视觉原理的渲染是立体视频制作的常用方式之一,但因控制左右虚拟摄像机的位置和设置渲染参数等往往通过手动设置模式来完成,较好效果的立体视频需要重复“编辑场景”和“渲染”等过程,影响了立体视频制作的效率.为此,本文针对3DS Max场景文件、基于双目立体视觉原理实现了立体视频的自动生成:首先采用3DS Max内嵌的脚本语言(MaxScript)对3D场景进行预处理,自动添加模拟人的左眼虚拟摄像机和右眼虚拟摄像机,然后以左眼虚拟摄像机和右眼虚拟摄像机作为视点,通过命令行渲染方式生成左眼视域和右眼视域等两路视频,作为立体视频的原始素材.     

一种适用于多种场景的深度图提取算法

文章提出了一种自动的深度图提取算法。将图片分为消失线型、上下结构型和左右结构型3类,采取不同的算法分别进行深度估计,为了使得图像中同一物体的深度信息保持一致,运用K-means进行图像分割,提出了一种新颖的估算每个像素点深度值的算法,使得深度信息的层次不再局限于K-means中K的取值;采用了双边滤波的方法对得到的深度图进行去噪,在去噪的同时保证了图像的边缘轮廓。实验结果表明,该算法适用性广泛,在3D效果和耗时方面也表现出优良的性能,适合于实时的2D视频转3D视频。     

人工智能为3D影视行业注入新动力

 介绍了3D视觉产生的原理和人类对3D视觉的探索历程，分析了3D内容的制作方式。伴随计算机视觉和人工智能技术发展，提出并研发了一种新的3D转制技术--人工智能2D转3D，该技术可根据2D图像自动生成3D内容，在无损品质下，将3D转制效率提升了1000余倍。并指出基于这项技术，可开发3D直播、3D浏览器等新应用，也有望彻底解决3D内容匮乏问题。     

一种基于三阶亮度校正的平面视频转立体视频快速算法

本文提出了一种新的平面视频转立体视频的快速算法.这种算法能够实时的将平面视频转换成立体视频,并能在三维显示设备上呈现出逼真的立体效果.首先将原始平面视频中的图像按照高斯分布进行立体变换,然后将视频中的图像序列生成加权平均亮度图,并将亮度分为3个等级,分别对这3个等级区域中的图像进行立体校正,最终得到完整的立体视频.我们的方法替代了传统方法中,生成深度图像的步骤,从而大大的提升了运算的速度,能够在原始平面视频的实时播放过程中,直接输出带有立体效果的画面.     

立体视频镜头误差检测和质量分析

针对立体视频在拍摄过程中由于镜头配置和调整导致的立体效果的失真, 如左右眼图像的高度误差、旋转误差、尺寸误差、亮度色度误差等, 提出一种立体镜头误差检测的方法。在对左右眼图像进行立体匹配的基础上, 根据图像的几何关系计算每对匹配特征点的各种误差值, 然后计算所有误差值的统计特征, 得到图像的总体误差值。在收录的实际拍摄的3DTV电视节目视频库中进行的实验表明, 该方法能够有效识别存在立体镜头误差的视频片段。进一步的主观视频质量实验分析了立体镜头误差与主观质量的关系。     

3D立体成像研究

本文首先介绍了3D立体成像技术的起源、发展以及成像原理,然后着重研究了3D立体成像在眼镜式和裸眼式技术中的几种主要技术,指出了3D立体成像技术的缺陷,最后分析了3D立体成像技术的发展趋势。     

四大亚运技术:引领未来新生活

<正>身临其境的视听感受:AVS3D技术2010年11月12日,亚运开幕式不仅开启了广州亚运会的序幕,同时,番禺区的一万户同步收看的居民,也通过全新的AVS3D立体电视系统,开启了我们3D电视时代的大门。广州巧借亚运契机,成为第一个大范围铺开AVS3D电视的试点城市。核心技术:AVS是我国第一套3D立体电视系统技术,拥有自主知识产权。立体电视的基本原理是,利用两路有视差的普通平面视频形成立体视频,立体电视机等显示产品     

基于权重组合学习的无参考立体图像质量评价

深度学习被广泛应用于2D 图像的质量评价(2D-IQA) 研究中,而在3D 图像质量评价(3D-IQA) 中还没有展开深入研究.针对对齐失真立体图像,本文提出了一种基于权重组合学习的无参考立体图像质量评价模型.通过有效融合两支独立的单视图质量评价深度网络模型,将左右眼视图作为整体对象进行评估; 再根据双目竞争原理,又设计了一种权重深度网络用以估计左右眼的不同能量分布; 最后,这两个子网络组合成端到端的权重组合学习深度质量网络.实验结果证明: 该模型对于对称失真的立体图像质量评价有显著提升.     

基于支持向量机的图像深度提取方法

在目前的2D-3D视频转换技术的研究中,大多数方案都是利用一种线索或者几种线索简单组合的方法来提取图像的深度信息,导致方案的受场景限制而准确性不高.为了提高深度提取方案的准确性,提出基于支持向量机的图像深度提取方法.该算法通过支持向量机的学习获得各线索合理的结合原则,利用图像中提取的纹理变化、纹理梯度以及雾度等线索进行深度预测,从而提高深度提取算法的准确性,实验结果表明该算法是有效的.     

基于视差分析的3D电视质量评价系统的设计与实现

在众多影响3D舒适度的因素中,制作人员更多的会选择视差信息来检测、调整、优化3D节目的质量,因此3D电视素材的左右图像的视差分析成了关键问题。本文设计了一种基于双目立体视觉的3D电视视差检测系统,该系统应用了双边滤波及SGBM立体匹配算法,计算左右图像的视差,并根据视差与立体视觉舒适度的关系,将可能会引起观众不适的图像部分进行分级标注,便于后续的3D调整工作。     

3D电视视频质量主客观评价最新技术研究

3D电视视频质量从评价指标角度可以分为单眼平面视频质量和双眼立体视频质量两大类;从评价方法角度可分为主观和客观两种。本文首先从3D电视技术链的角度分析了3D视频从制作到播出共六大环节对视频质量分别造成的损伤,然后提出了针对不同损伤的视频质量主客观评价指标和测评方法,最后分析了客观评价的最新技术。     

一种简化的2D至3D视频转换技术——以虚拟校园3D视频制作为例

以虚拟校园3D视频制作为例,阐述一种简化的2D至3D视频转换技术．首先,明确2D至3D视频转换技术的含义,并指出传统方法的不足之处．其次,形成便捷转换新方法,同时介绍流程示意图、软硬件配置．最后,依次从准备素材、建模烘焙、录像转换三大流程,详细说明转换步骤与注意事项．     

Solidworks中二维图形与三维模型的互化问题研究

介绍了利用Solidworks中的2D到3D工具条将二维图形创建成三维立体模型的方法,阐述了由三维模型自动转化生成二维工程图时贯彻国标和灵活适应国标的问题.     

多视成像实时校正与立体显示

手工摆放的平行摄像机阵列所拍摄的多视点立体图像往往会产生垂直视差. 为了消除多视点图像的垂直视差, 必须进行多视点图像的校正. 提出一种简单有效的多视图校正算法, 并基于该算法构建了自由立体显示系统. 应用多线程进行摄像机软同步以及后续的实时优化. 当摄像机图像的上传分辨率为1 280×960、上传速率为25 帧/s、目标3D 显示器的分辨率为1 920×1 080 时, 采用双线性插值, 可达到20 帧/s 左右的显示速率; 若采用复杂度更低的插值方法, 则可达到20 帧/s以上的显示速率. 该算法实现了8路摄像机实时校正和立体显示的3D电视系统.     

3D小波变换的抗裁剪鲁棒数字图像水印算法

为解决抗裁剪的鲁棒数字水印问题,提出了一种基于3D小波变换的数字水印算法.该算法根据离散小波变换理论和对视频序列进行3D小波变换的研究结果,将原图像拆分为一个图像视频帧,将水印自适应地加入到每个图像帧二维小波变换中频域的不同位置,利用图像二维小波变换中频域的特性和人类视觉系统特性,大大提高了水印算法的有效性,对严重的裁剪攻击具有很强的抗攻击性,在图像被裁剪一半以上情况下仍能非常清晰地得到水印.实验表明,该水印算法对图像裁剪有很强的鲁棒性.