基于关键点滤波的深度图提取

基于单帧视频2D/3D转换,深度估计是关键。提出一种在伴有相机移动情况下,基于运动的深度估计新方法,采用关键点滤波获取每帧视频像素级的运动矢量。由于相机的移动会引起伪运动矢量,从而导致深度信息模糊,为解决这一问题,采用鲁棒的RANSAC算法估计相机移动模型。首先,通过无相机移动的运动矢量来估计初始深度图。然后,利用基于同类点的后置滤波修正运动物体边缘像素的深度信息。实验结果表明,在有相机移动情况下,该方法对深度图的估计可以取得较好效果。     

Kinect深度图像快速修复算法

深度提取是基于“纹理+深度”自由立体视频系统的关键技术,而立体视频实际应用系统需要高效快速的深度图提取.提出一种针对Kinect提取深度图的快速修复算法.首先,对Kinect提取的彩色纹理图和深度图进行对齐裁剪,并采用背景填充算法对裁剪后的深度图进行初步修复;然后,对初步修复后的深度图进行基于颜色匹配的快速修复,得到质量较好的可用深度图.实验结果表明,本算法能有效修复原始深度图中由于遮挡而引起的空洞,获取的深度图整体平滑度好、边缘清晰;在普通PC机上达到25~30 帧/s的处理帧率,实现了深度图的实时提取.     

基于运动矢量场的二维到三维视频转换技术

给出了基于运动矢量场分析的二维到三维视频转换方案.提出了基于运动矢量场分析的背景运动矢量自动调整算法,并且给出了通过最大运动矢量对深度伸缩系数调节方法.实验证明,采用该方法对背景运动的视频同样取得了较好的深度图效果.并且对提高三维视频生成的质量有益.     

基于时空显著性检测的3D视频生成方法

为了解决3D视频生成方法在获取深度线索方面的难题,使用显著图代替深度图进行3D视频生成。显著图和深度图在性质上有所不同,但是显著图是通过视觉注意力分析得到的,因此也可以给予人眼良好的感官体验。为了得到更适合进行视频内容转换的显著图,将时间信息融入到了深度学习模型当中。通过实验证明了本文方法在两个广泛使用的视频显著性数据集上拥有很好的表现力,所生成的3D内容也具有良好的视觉效果,证明了基于显著性检测的3D视频生成方法具有一定的可行性。     

基于深度学习的无人机人机交互系统

现行的无人机控制(UAV)主要依靠专业的设备,由经过专业训练的人来完成.为了更方便的人机交互,本文提出了一种基于双目视觉和深度学习的手势控制无人机(HRI)方法.用双目视觉提取深度图,跟踪提取人物所在区域并且设置阈值将人物与背景分离开来,从而得到只含有人物的深度图.其次,通过对深度图序列的处理并叠加,将视频转换为同时含有时间与空间信息的彩色纹理图.本文用深度学习工具Caffe对所得到的彩色纹理图进行了训练与识别,根据识别结果生成无人机的控制指令.本文所述方法在室内和室外均可使用,有效范围达到10,m,可以简化无人机控制复杂度,对促进无人机普及及拓展无人机应用范围都具有重要意义.     

基于多层级跨模态特征融合的深度图重建算法

针对稀疏深度图像的重建问题,提出了一种基于深度学习的多层级跨模态特征融合的深度图重建算法.利用卷积神经网络对彩色信息和稀疏深度信息分别编码并在多个尺度下进行自适应融合,在解码阶段通过残差学习进一步细化重建结果.模型通过复用深度编码支路的短路连接引导特征上采样,输出初始深度图,同时复用彩色编码支路提取的丰富语义特征,将多个尺度下输出的上采样特征图进行金字塔迭代上采样,进而学习与最终重建结果的残差,提高了重建结果的质量.在NYU-Depth-v2和KITTI数据集上的实验结果表明：本文方法与现有的主流方法相比,具有较好的深度图重建性能,同时在视觉比较上生成了更为锐利的深度边界.     

基于支持向量机的图像深度提取方法

在目前的2D-3D视频转换技术的研究中,大多数方案都是利用一种线索或者几种线索简单组合的方法来提取图像的深度信息,导致方案的受场景限制而准确性不高.为了提高深度提取方案的准确性,提出基于支持向量机的图像深度提取方法.该算法通过支持向量机的学习获得各线索合理的结合原则,利用图像中提取的纹理变化、纹理梯度以及雾度等线索进行深度预测,从而提高深度提取算法的准确性,实验结果表明该算法是有效的.     

基于边缘检测的深度图与单视图配准算法

为解决由单视点图像和相关深度数据所创建的立体图像部分存在的重影问题,提出基于边缘检测的深度图与单视图配准算法.对单视图和深度图进行边缘检测得到各自的边界后,以单视图的边界为基准,配准深度图的边界及其邻域的深度数据.实验结果表明,该算法与已有的算法相比,匹配质量明显提高,使在立体图像中的重影现象得到了缓解.     

多线索非参数化融合的单目视频深度估计

为解决二维视频的三维转化问题,提出了一种基于非参数化学习和多线索融合的单目视频深度图提取方法.首先,利用单目图像的区域边界轮廓和几何透视结构线索,基于前景背景融合来估计单目视频中各帧的深度图像;然后,利用视频帧间空时相关性,借助非参数学习实现单目视频深度估计;最后,利用全局背景深度分段约束和去抖动来增强深度视频序列.实验结果表明,与其他现有方法相比,该方法能得到更为准确的单目视频深度图序列,无论在主观质量还是均方根误差(RMS)和结构相似性度量(SSIM)上,均能取得较好的效果.     

自动2D-to-3D视频转换技术研究

目前3D视频内容不足是制约3D技术发展的重要因素之一,自动2D-to-3D视频系统可以快速且低成本地将二维图像转换成双目立体图像,具有很好的发展前景。自动2D-to-3D视频系统分为图像分割、深度信息提取、深度的融合与分配、立体图像生成等多个部分,本文对自动2D-to-3D系统的各个组成部分的原理与主要算法进行了介绍与分析,最后,还介绍了自动2D-to-3D系统生成的图像客观评价的发展情况。     

多视图几何轻量级三维重建算法

针对现有深度学习三维重建网络内存消耗严重、效率低下的问题，提出了高效的多视图几何三维重建网络(high efficiency multi-view stereo network,H-MVSNet)模型，将原始图片序列和预测的粗略深度图融合，进一步提高最终深度图的质量;构建轻量级的特征提取模块和正则化模块，减少提取冗余度;采用由粗到精的策略，建立高效的深度图细化模块，减少计算量。实验表明，H-MVSNet模型在DTU数据集中的精度误差可达0.327mm，计算一张分辨率为640×480的深度图仅需0.44s，内存消耗可低至2.46GB，显著提高了三维重建的精度和准确度。     

对布尔代数中卡诺图的研究

由于卡诺图具有几何相邻与逻辑相邻之间的良好对应关系 ,故在布尔代数中得到广泛应用 ,文章分析了传统卡诺图在简化多变量 ( n >5 )函数时 ,其对应关系所面临的困难 ,提出三维卡诺图及卡诺图阵列的概念。采用适当的排列方式可将图中几何相邻与逻辑相邻的对应项增加到 6个以上 ,为了使其具有实用性 ,又引入一定的画图规则 ,对三维卡诺图加以改进 ,并举例说明它们的使用方法。结果表明 ,采用该方法对六变量至八变量的逻辑函数进行综合化简时 ,仍具有简便直观、可靠性高及易操作等优点 ,且有较好的实用价值。     

深度图的快速自适应帧内预测模式选择算法

基于高效率视频编码(high efficiency video coding, HEVC)三维视频扩展的深度编码,引入了深度模型编码模式(depth modeling mode, DMM)和区域边界链编码(region boundary chain, RBC)模式. RBC 模式通过遍历编码单元(coding unit, CU)当前深度下所有的边缘线预测模板来得到最佳的预测模板, 但在显著提升编码效率的同时, 其计算复杂度也增加了数倍. 深入研究了在HEVC 模式粗选过程中选出的最优预测模式与DMM 和RBC 这两种模式的相关性, 以及与直接Wedgelet 搜索模板集合各个方向的相关性, 并在此基础上提出了一种快速的自适应深度图帧内预测模式选择算法. 该算法将编码块分为平坦块、方向性编码块以及纹理复杂块3 种. 对平坦块跳过DMM 和RBC 模式, 而对方向性编码块的直接Wedgelet 搜索过程则跳过不必要的方向模板搜索, 从而提高编码速度. 实验结果表明, 在全I 帧模式下,该深度图帧内预测模式选择方法平均节省了75.4% 的编码时间, 而在合成视点端仅带来0.4%的性能损失.     

基于光线跟踪的虚拟场景立体图像对视差研究

立体图像对的视差是立体显示的基础,双目立体显示的基本原理就是将具有视差的立体图像对中的左右眼图像分别送入左右眼中,从而产生立体感.本文给出了一种在虚拟场景中利用光线跟踪计算立体图像对视差的方法,生成了视差图和深度图,并对视差的特点和影响视差的因素进行了分析.     

基于多RGBD摄像机的动态场景实时三维重建系统

使用多台基于FPGA嵌入立体计算的RGBD摄像机搭建动态场景实时三维重建系统. RGBD摄像机能够以视频速度输出场景的彩色(RGB)图像及对应的稠密视差(disparity)图像,由视差图像可进一步得到场景的深度图. 多台RGBD摄像机运行在统一的外部时钟和控制信号下,可实现对目标场景数据的同步采集. 为了提高各视点所获取的场景深度图质量,根据多RGBD摄像机系统视点分布较为稀疏的特点,使用概率密度函数估计的方法进行多视点深度图的融合. 融合后的深度图由PC集群进行处理,可实时生成所拍摄场景的三维空间点云. 实验结果表明,本文系统可以有效地重建包含多个运动目标的大型动态场景.      

基于ORB-SLAM2的三维占据网格地图的实时构建

针对ORB-SLAM2系统只能输出相机的运动轨迹图,而不能生成用于路径规划和导航地图的问题,提出了一种基于ORB-SLAM2的跳表地图(Skip List Map)构建算法,可用于三维占据网格地图实时构建。首先搭建了一个用于三维占据网格地图实时构建的Skip List Map模型,其时间复杂度仅为O(lgn);其次对Skip List Map三维占据网格地图的生成与更新做了详细推导;最后设计了ORB-SLAM2与Skip List Map算法相结合的方案。通过效率对比实验,表明本文算法具有较高的时间效率与灵活性;搭建实验所需平台并进行了真实场景实时实验,实验表明本文算法能实现三维网格地图的实时构建;且能清晰标识出环境中障碍物的位置,验证了本文算法的有效性。     

用多基线立体视觉系统恢复稠密深度图像

为有效地减少错误匹配,提高匹配精度并恢复稠密深度图像。利用多基线立体视觉恢复景物深度数据的冗余性,使用简单条纹模式投影光源标记景物,很好地解决了弱纹理区域或无纹理区域的对应性问题。通过对图像进行避部规范化处理,在外极线、唯一性和连续性约束条件下,使用应用域知识和统计模型,建立准确的匹配关系,实现三维景物高精度恢复。所恢复景物的高精度稠密深度图像,在１．５～３．５ｍ的距离范围内,深度值偏差小于２ｍｍ     

小波阈值去噪与 Sobel 算子相结合的深度图像边缘检测技术

提出一种基于小波阈值去噪和Sobel算子相结合的图像边缘检测算法。由于图像边缘部分集中的大部分信息对图像场景的识别与理解起着重要的作用,而使用传统边缘算子在边缘检测时存在一定的缺陷。因此,通过对几种传统算子的边缘检测效果进行对比,并且将几种经典滤波方法相比较,提出在进行Sobel算子边缘检测前,用小波阈值去噪法以有效降低噪声影响。理论分析和实验结果表明该方法计算量较小、边缘定位准确,适用于基于深度图像的快速三维视频编码。     

基于反馈的立体匹配算法

针对因传统的置信度传播( BP:Belief Propagation)算法生成的深度图并非十分精确而导致深度图的绘制及立体重现存在的失真问题,提出一种基于反馈的立体匹配算法,使生成的深度图进一步优化.该算法首先通过BP算法生成深度图,然后由左视点图像与深度数据绘制右视点图像,将绘制出的右视点图像与真实右视点图像进行比较...