基于边缘的面向虚拟视绘制的深度编码算法

深度图由锐边缘包围纹理的匀质区域组成, 因此边缘信息对于虚拟视的绘制至关重要. 由于深度图不同区域的失真会对绘制虚拟视质量产生不同的影响, 提出一种基于边缘的面向虚拟视绘制的深度编码算法. 将深度图划分为边缘区域和平坦区域: 对于边缘区域, 采用全搜索策略, 以提高边缘区域的编码质量; 对于平坦区域, 采用SKIP模式和16×16模式, 以提高编码效率. 除此之外, 在去块滤波中, 提出一种利用纹理图和深度图边缘相似性的可保护深度图片边缘的中值三边滤波器. 实验结果表明, 与JM编码方案相比, 该方法在码率基本不变的前提下, 提高了编码效率和虚拟视绘制的主观质量.     

一种深度图失真引入的虚拟视失真估计方法

提出了一种深度图失真引入的虚拟视失真估计方法. 该方法依据能量一致性假设要求, 将深度图宏块划分为平坦宏块和非平坦宏块. 平坦宏块使用频域块级方法, 非平坦宏块使用时域像素级方法估计由深度图失真造成的绘制视失真. 虚拟视失真采用左右绘制视融合计算, 并计入虚拟视中空洞修复引入的失真. 该方法在宏块分类判据中综合了相机参数, 对于不同拍摄条件下的视频序列可以使用相同的判别阈值获得最佳区域划分, 通用性较强. 实验结果证明, 该方法兼顾了估计准确性和复杂度, 对于在有限码率预算条件下提高深度视频编码效率、优化三维视频码率分配具有重要的指导意义.     

抑制编码误差扩散的深度图帧内编码

为进一步提高深度图编码的质量和三维视频虚拟的合成质量,提出了抑制编码误差扩散的深度图帧内编码方法.首先根据深度图的特性将深度图划分为平坦区域和边缘区域,并分析这两个区域的误差扩散特性.基于此特性,在宏块的率失真优化计算中,利用修正值修正易引起误差扩散的块或子块,使其后续大量受误差扩散影响的块或子块具有较低的率失真代价函数.实验结果表明,与JMVC8.5的帧内编码方法和基于分割的帧内预测方法相比,文中方法虚拟合成的平均峰值信噪比分别提升0.30和0.25dB.     

基于边缘检测的深度图与单视图配准算法

为解决由单视点图像和相关深度数据所创建的立体图像部分存在的重影问题,提出基于边缘检测的深度图与单视图配准算法.对单视图和深度图进行边缘检测得到各自的边界后,以单视图的边界为基准,配准深度图的边界及其邻域的深度数据.实验结果表明,该算法与已有的算法相比,匹配质量明显提高,使在立体图像中的重影现象得到了缓解.     

面向虚拟视点合成的深度图编码

针对H.264/AVC标准采用统一量化参数对深度图进行压缩, 并不能很好地保留深度图的边缘, 解码后深度图像严重影响虚拟合成视点主观质量这一问题, 在H.264/AVC扩展多视点编码（JMVC：Joint Multi-view Video Coding）框架基础上, 引进一种新的面向虚拟视点合成的深度图编码方法。根据深度图结构特点, 使用Sobel算子分析深度图当前块的边缘信息。如果当前块中含有目标边缘信息, 则通过减少Q_P值进行压缩编码; 如果当前块中不含边缘信息, 则增加Q_P值进行压缩编码。通过计算所有16×16,8×8,4×4块的率失真代价, 选择最小的率失真代价的预测模式。实验结果表明, 使用解码后的深度图合成虚拟视点, 该方法在与原JMVC几乎同等比特率的情况下, 提高了虚拟视点的主观合成质量。     

3D视频中基于前景的过渡像素深度划归方法

DIBR(Depth Image Based Rendering)算法的提出,使得3D视频只需要一个原始视点的纹理信息及其对应的深度信息就能绘制出新的虚拟视点,因此深度信息的精准与否将直接影响到绘制的虚拟视点质量。由于深度失真经常发生在前景与背景的过渡区域,本文对该区域像素定义为过渡像素,针对这种过渡像素的深度失真问题进行了分析,并提出了一种基于前景的过渡像素深度划归方法。主要思想是:通过阈值判断找出过渡像素的位置,然后将前景的深度值赋予过渡像素。实验表明,这种方法能够有效的减少绘制过程的失真,提高虚拟视点的质量。     

基于反馈的立体匹配算法

针对因传统的置信度传播( BP:Belief Propagation)算法生成的深度图并非十分精确而导致深度图的绘制及立体重现存在的失真问题,提出一种基于反馈的立体匹配算法,使生成的深度图进一步优化.该算法首先通过BP算法生成深度图,然后由左视点图像与深度数据绘制右视点图像,将绘制出的右视点图像与真实右视点图像进行比较...     

纹理图的3D-HEVC深度图编码单元快速划分算法

为了降低3D-HEVC编码标准中深度图的帧内预测编码复杂度和编码时间,使用概率统计分析纹理图的最大编码单元(LCU)划分分布与深度映射图的LCU划分分布之间的相关性,提出一种快速算法,通过判断纹理图中LCU的划分深度,跳过深度映射图中一些不必要的LCU划分和模式判别过程,从而在基本不影响视频质量的前提下,提高编码效率。实验结果表明,可以在保证峰值信噪比(PSNR)和比特率(bit-rate)基本不变的情况下,大幅度减少深度图的编码时间。     

基于可伸缩备选区域的CVBF算法

采用HEVC对3D视频的深度序列进行压缩编码时,会使深度图的边缘出现伪影,最终导致合成的新视点出现空洞影响视频观看质量。CFBV算法采用备选像素代替深度边缘不可信像素,是目前较为有效且简单的深度边缘滤波算法。为了获得更为准确的深度数据,提出基于可伸缩区域的备选像素提取算法,来提高CVBF算法的鲁棒性。滤波过程中,部分备选像素的值由可信度高的区域求平均获得。实验结果表明,使用改进的滤波方法后,合成虚拟视点的PSNR较采用CVBF算法最高提高了0.12 d B.该滤波方法可有效提高压缩编码后的深度序列边界数据的可靠性,进而提高虚拟视点合成质量。     

DIBR中一种基于视图判定的褶皱消除方法

为消除基于深度图像绘制(DIBR)技术生成目标图像时可能出现的“褶皱”现象,提出了一种通过视图判定来确定参考图像像素点扫描顺序的方法.首先设定极点的z坐标为一个无穷小量,然后由该极点的齐次坐标得出绘制左、右视图时参考图像像素点的扫描顺序.该方法只需判断目标图像是左视图还是右视图,便可确定参考图像像素点的扫描顺序.试验表明,该方法能消除褶皱现象,且复杂度比Z-buffer 算法小,适用于虚拟视点水平移动时的虚拟视图绘制.     

一种高效的三维视频深度图帧内编码算法

针对三维视频深度图的压缩问题,提出一种高效的帧内编码算法.该算法根据深度图的典型特征,通过二级变换有效减少了原始深度图的数据量.首先利用深度图由大片均质区域构成以及深度图边缘与对应视频图像边缘呈高相关性的特性,采用超像素分割和赋值策略对原始深度图进行尺寸变换;然后利用深度图灰度等级偏少的特性,采用直方图统计策略对深度图进行灰度变换;最后采用H.264无损帧内编码算法对二级变换后的深度图进行编码以实现对深度图边缘的有效保护.实验结果表明:与现有算法相比,本文算法大幅提高了深度图编码效率和虚拟视点合成质量.     

基于肤色及深度信息的人脸轮廓提取

提出并实现了一种新的提取人脸封闭轮廓的方法.首先通过三目立体视觉系统获得彩色图和深度图,然后利用彩色图的肤色信息和深度图的深度信息而惟一确定的面部区域,最后再通过对面部肤色区域轮廓提取并结合活动轮廓模型(Snake)提取下巴,从而完成整个人脸轮廓的提取.该算法能够较好地提取人脸的轮廓线,克服了下巴边界难以从颈部区域提出的困难,定位精度高,边缘连续性好,满足了人脸轮廓特征提取的要求.     

基于显著性信息和视点合成预测的3D-HEVC编码方法

传统的视频编码标准大多着重从减少信息冗余来提高率失真性能,而忽视了人类视觉系统(human visual system, HVS)多样性对视频编码的影响.针对目前先进的3D高效率视频编码(high efficiency video coding, HEVC)技术,提出了一种融合人眼视觉特性的编码方法.首先建立3D显著性模型,根据显著性信息进行分区域编码;然后对原有的视点合成预测算法进行改进,避免深度块的边界效应;最后绘制生成新视点的视频.实验结果证明,该方法在保证主观质量基本不变的情况下, BD-rate可下降10%左右,绘制生成的新视点峰值信噪比(peak signal to noise ratio, PSNR)可提高0.1 dB左右,能有效提高编码效率.     

深度图的快速自适应帧内预测模式选择算法

基于高效率视频编码(high efficiency video coding, HEVC)三维视频扩展的深度编码,引入了深度模型编码模式(depth modeling mode, DMM)和区域边界链编码(region boundary chain, RBC)模式. RBC 模式通过遍历编码单元(coding unit, CU)当前深度下所有的边缘线预测模板来得到最佳的预测模板, 但在显著提升编码效率的同时, 其计算复杂度也增加了数倍. 深入研究了在HEVC 模式粗选过程中选出的最优预测模式与DMM 和RBC 这两种模式的相关性, 以及与直接Wedgelet 搜索模板集合各个方向的相关性, 并在此基础上提出了一种快速的自适应深度图帧内预测模式选择算法. 该算法将编码块分为平坦块、方向性编码块以及纹理复杂块3 种. 对平坦块跳过DMM 和RBC 模式, 而对方向性编码块的直接Wedgelet 搜索过程则跳过不必要的方向模板搜索, 从而提高编码速度. 实验结果表明, 在全I 帧模式下,该深度图帧内预测模式选择方法平均节省了75.4% 的编码时间, 而在合成视点端仅带来0.4%的性能损失.     

一种基于WMF-ACA的深度图像修复算法

针对RGBD相机由于硬件条件的限制,所获取的深度图像往往存在空洞与噪声的问题,提出一种彩色图像引导的深度图像空洞填补方法.对深度图像边缘区域采用基于局部直方图的加权模式滤波器(WMF)进行处理,在有效保留深度图边缘与细节的前提下,消除图像噪声.对深度图像非边缘区域采用一种异步元胞自动机(ACA)模型算法,根据邻域和迭代规则对深度图空洞进行填补,快速、准确地完成任务.在立体匹配数据集Middlebury上测试所提算法实现性能,实验结果表明:该算法的结构相似性(SSIM)与峰值信噪比(PSNR)更高,能够准确地填补深度图空洞,同时保持深度图边缘清晰.     

基于多层级跨模态特征融合的深度图重建算法

针对稀疏深度图像的重建问题,提出了一种基于深度学习的多层级跨模态特征融合的深度图重建算法.利用卷积神经网络对彩色信息和稀疏深度信息分别编码并在多个尺度下进行自适应融合,在解码阶段通过残差学习进一步细化重建结果.模型通过复用深度编码支路的短路连接引导特征上采样,输出初始深度图,同时复用彩色编码支路提取的丰富语义特征,将多个尺度下输出的上采样特征图进行金字塔迭代上采样,进而学习与最终重建结果的残差,提高了重建结果的质量.在NYU-Depth-v2和KITTI数据集上的实验结果表明：本文方法与现有的主流方法相比,具有较好的深度图重建性能,同时在视觉比较上生成了更为锐利的深度边界.     

任意视点电视系统中深度数据的自适应非均匀量化方法

为了降低现有任意视点电视系统中深度数据量化所带来的量化失真,提出一种自适应非均匀深度量化方法.首先根据深度数据的统计特性,选取有效深度子空间;然后对有效深度子空间重新进行精细划分,得到对应的自适应量化表;最后使用该自适应量化表对原深度数据进行自适应量化.实验结果表明,与现有的均匀量化和普通非均匀量化方法相比,使用所提出的方法可使深度数据的量化信噪比平均提高20 dB.因此,自适应非均匀量化方法能够显著降低深度数据量化误差,有助于在任意视点电视系统的接收端获得高精度深度数据,从而得到主观效果更好的虚拟视图.     

适用于DIBR的匹配误差校正算法

由于可见性变化、深度图像的不精确性以及计算的不精确等原因,采用基于深度图像绘制(DIBR)技术生成的虚拟视点视图中可能会存在匹配误差.为此,提出了一种适用于DIBR的匹配误差校正算法——零交叉校正(ZCC)算法.该算法建立在顺序匹配约束的基础上,通过分析目标图像像素点与参考图像上对应匹配点的映射关系来确定匹配误差区域,...     

一种基于两视点DIBR的改进虚拟视点合成方法

虚拟视点合成是裸眼3D电视的关键技术,而基于深度的图像渲染(depth-image-based rendering,DIBR)则是一种经典的虚拟视点合成方法。为解决经典DIBR方法存在的空洞问题,提高虚拟视点图像质量,提出了一种基于DIBR的改进虚拟视点合成方法。首先,只在深度边缘处进行深度图的预处理,这可减少空洞数量且不产生大的几何失真;其次,为得到既没有伪影也没有大空洞的虚拟视点图像,提出了基于距离与深度的图像融合方法,并在融合左右两侧参考视点目标图像前,对其空洞掩膜图进行膨胀;最后,利用逐层收缩的融合后空洞填充方法对剩余小空洞进行迭代填充。实验的主观质量与客观评价都显示本文方法能够取得令人满意的结果。     

引入拉格朗日算子的纹理深度联合比特分配方法

为了提高三维视频合成质量,提出一种新的纹理视频和深度图编码比特分配方法.该方法在比特分配中引入拉格朗日算子参量,从而在限制比特下进一步降低虚拟合成误差.首先依据统计实验并采用最小二乘拟合的方法,对纹理视频和深度图分别建立以拉格朗日算子为参数的编码误差模型和编码比特模型,然后利用编码误差和虚拟合成误差的相关性进一步推导出基于拉格朗日算子的虚拟合成误差的模型,最后结合所推导的模型建立虚拟合成误差最小化目标函数,利用无约束优化方法求解最优的纹理视频和深度图编码拉格朗日算子,并依据此算子进行比特分配.实验结果证明:与固定比特算法和全搜索量化步长算法相比,该方法在不同的编码条件下使合成视频质量平均提高0.25dB和0.68dB,且得到的编码总比特与目标比特最为接近,平均误差仅为0.45%.