基于双目立体视觉原理的立体视频自动生成软件开发

面向三维场景、基于双目立体视觉原理的渲染是立体视频制作的常用方式之一,但因控制左右虚拟摄像机的位置和设置渲染参数等往往通过手动设置模式来完成,较好效果的立体视频需要重复“编辑场景”和“渲染”等过程,影响了立体视频制作的效率.为此,本文针对3DS Max场景文件、基于双目立体视觉原理实现了立体视频的自动生成:首先采用3DS Max内嵌的脚本语言(MaxScript)对3D场景进行预处理,自动添加模拟人的左眼虚拟摄像机和右眼虚拟摄像机,然后以左眼虚拟摄像机和右眼虚拟摄像机作为视点,通过命令行渲染方式生成左眼视域和右眼视域等两路视频,作为立体视频的原始素材.     

一种基于视觉显著性分析的视频转码算法

根据人眼视觉的特点,提出一种基于视觉显著性分析的视频转码算法.首先利用H.264码流中的运动矢量场进行全局运动估计和局部运动分割,然后结合编码比特数的分布特点生成最终的视觉显著性图,最后在转码的重编码过程中,利用视觉显著性图对非显著性区域进行自适应频率系数压制,以在保持视频主观质量的前提下进一步提高压缩效率.实验结果表明:与现有视觉显著性区域检测方法相比,本算法能更准确完整地检测出视频中的显著性区域;而与参考的标准转码算法相比,平均降低约14%的编码比特率,同时保持了几乎相同的主观质量.     

多视点视频编码框架及关键技术

多视点视频编码(MVC)技术是今后视频领域研究的热点之一,也是立体视频编码技术的进一步延伸.在给出多视点视频概念之后,详细描述了MVC框架.接着详细介绍了MVC预测编码、DMVC边信息生成、MVC码率控制等多项关键技术.最后,给出了MVC标准化过程及相关国际标准.     

基于视差变化连续性调节的3D视频舒适度增强

为解决3D 视频因视差变化不连续而引起的视觉疲劳, 提出一种非舒适帧视差调节方法。该方法根据舒适度评价模型, 利用JMVC(Joint Multi-view Video Coding)多视点编码系统中的当前帧运动矢量和视差矢量信息, 找到影响舒适度的视频帧。通过非舒适帧的视差调节方法, 对影响舒适度的视频帧进行视差调节, 得到提高人眼观视舒适度的新视频。观视者根据自身生理症状和疲劳反应进行主观打分。通过多组实验前后对比的结果表明, 通过非舒适帧的视差调节后得到的立体视频观看舒适度比处理前提高5. 13%, 而且在保证视频质量的基础上, 提高了立体视频观视舒适度。     

基于可伸缩备选区域的CVBF算法

采用HEVC对3D视频的深度序列进行压缩编码时,会使深度图的边缘出现伪影,最终导致合成的新视点出现空洞影响视频观看质量。CFBV算法采用备选像素代替深度边缘不可信像素,是目前较为有效且简单的深度边缘滤波算法。为了获得更为准确的深度数据,提出基于可伸缩区域的备选像素提取算法,来提高CVBF算法的鲁棒性。滤波过程中,部分备选像素的值由可信度高的区域求平均获得。实验结果表明,使用改进的滤波方法后,合成虚拟视点的PSNR较采用CVBF算法最高提高了0.12 d B.该滤波方法可有效提高压缩编码后的深度序列边界数据的可靠性,进而提高虚拟视点合成质量。     

基于时空显著性检测的3D视频生成方法

为了解决3D视频生成方法在获取深度线索方面的难题,使用显著图代替深度图进行3D视频生成。显著图和深度图在性质上有所不同,但是显著图是通过视觉注意力分析得到的,因此也可以给予人眼良好的感官体验。为了得到更适合进行视频内容转换的显著图,将时间信息融入到了深度学习模型当中。通过实验证明了本文方法在两个广泛使用的视频显著性数据集上拥有很好的表现力,所生成的3D内容也具有良好的视觉效果,证明了基于显著性检测的3D视频生成方法具有一定的可行性。     

融合深度学习和视觉文本的视频描述方法

为解决当前视频描述任务中,生成描述视频的文本整体质量不高的问题,提出一种融合深度网络和视觉文本的视频描述模型.首先在编码阶段,将注意力机制引入3D残差模块,通过一维通道注意力与二维空间注意力增强视频特征映射,降低无关目标与噪声的影响;其次,解码阶段利用双层长短期记忆(long short-term memory,LSTM)深度网络的时序性特征,输出表述视频高层语义的文本描述;最后,为有效利用视觉文本信息丰富视频生成的语义描述,利用基于神经网络的主题模型提取出视频中的主题作为视觉文本融合进模型中.实验结果表明,本文方法在不同性能指标方面具有较好的准确性,能够更加准确地利用自然语言描述视频高层语义信息.     

HEVC标准的多层视频编码扩展

随着网络和视频技术的飞速发展,越来越多新的视频应用需要制定相应的国际标准,如3D视频、多视点视频、可分级视频、超高清视频、屏幕内容等。为此,JCT-VC和JCT-3V针对这些需求进行HEVC多层视频编码扩展标准的开发,形成了HEVC的4个附录。针对多层视频编码,HEVC扩展有多处重要改进,提供了多项先进的编码工具,文中对此进行简要分析和介绍。     

3D视频中基于前景的过渡像素深度划归方法

DIBR(Depth Image Based Rendering)算法的提出,使得3D视频只需要一个原始视点的纹理信息及其对应的深度信息就能绘制出新的虚拟视点,因此深度信息的精准与否将直接影响到绘制的虚拟视点质量。由于深度失真经常发生在前景与背景的过渡区域,本文对该区域像素定义为过渡像素,针对这种过渡像素的深度失真问题进行了分析,并提出了一种基于前景的过渡像素深度划归方法。主要思想是:通过阈值判断找出过渡像素的位置,然后将前景的深度值赋予过渡像素。实验表明,这种方法能够有效的减少绘制过程的失真,提高虚拟视点的质量。     

基于C3D和视觉元素的视频描述

随着深度学习技术的发展,利用卷积神经网络(CNN)提取视频帧特征,再用循环神经网络(RNN)生成句子的方法被广泛用于视频描述任务中.然而,这种直接转换方式忽略了很多视频内在信息,如视频序列的时序信息、运动信息及丰富的视觉元素信息等.为此,文中提出了一种基于自适应帧循环填充法的多模态视频描述(AFCF-MVC)模型;采用自适应特征提取法提取含有丰富时空信息和运动信息的视频C3D特征,使得C3D特征包含了整个视频序列所有帧的信息,并将其作为神经网络的输入;针对不同视频的标注句子长度不同问题,提出了自适应帧循环填充法,即根据标注句子的长度自适应地控制输入特征的个数,在保证句子输入完整的前提下为神经网络提供尽可能多的特征输入,并起到重复学习的作用;为了充分利用视频丰富的视觉元素信息,通过视觉检测器检测出视频帧的视觉元素信息,编码后作为额外的补充信息融合进AFCF-MVC模型中.在M-VAD和MPII-MD数据集上的实验结果显示,该模型既能准确地描述视频中的内容,也能在语法结构上模拟出人类语言的丰富性.     

联合多视点视频编码中的快速搜索算法分析

对比分析联合多视点视频编码中的全搜索算法和TZSearch(TZS)快速算法,描述TZS算法的原理及搜索过程并对其进行分析,并根据实验统计结果设置了使搜索提前终止的阈值.实验表明,在编码比特率轻微增加和峰值信噪比略微下降的条件下,设置了阈值的TZS算法比原有的联合多视点视频编码中的TZS算法在编码时间上大幅减少.对于运...     

基于反馈的立体匹配算法

针对因传统的置信度传播( BP:Belief Propagation)算法生成的深度图并非十分精确而导致深度图的绘制及立体重现存在的失真问题,提出一种基于反馈的立体匹配算法,使生成的深度图进一步优化.该算法首先通过BP算法生成深度图,然后由左视点图像与深度数据绘制右视点图像,将绘制出的右视点图像与真实右视点图像进行比较...     

一种高效低时延的多视点分布式视频编码

分布式视频编码是一种可以将编码端复杂度转移到解码端的视频编码方式.多视点分布式视频编码在视点内部大都采用运动补偿内插法来降低时间冗余,但是因为运动补偿内插法的解码顺序与视频顺序不一致,从而导致视频解码出现时延.因此,基于运动补偿外推法提出了一种高效低时延的多视点分布式视频编解码方法.此外,一般运动补偿外推法的重构质量要低于运动补偿内插法.在使用运动补偿外推法降低时间冗余的基础上,使用视差矢量内插法降低视点间冗余,经过融合算法提高重构质量.实验证明,所提出的这种高效低时延的多视点分布式视频编码,在重构质量相当的情况下,解码时间降低了0.3s.     

基于深度学习的虚拟视点重建研究

基于人眼立体视觉的裸眼3D显示技术通过虚拟视点快速渲染可以获得具有密集视点的3D内容,让用户不需要任何辅助设备就可以身临其境地感受三维场景.针对传统获取方法因渲染速度慢、重建质量不高、视差受限等问题,提出基于无监督神经网络的虚拟视点重建方法,基于单目立体深度估计和傅里叶切片理论将2D图像直接生成任意视角虚拟视点.试验结果表明,本文算法比传统方法对任意视角视点的理论渲染速度大幅提升,空洞区域修复更自然.     

应用多恰可感知失真等级的视频感知编码

为了对视频编码中的视觉感知冗余进行充分挖掘,提升视频的主观质量,根据人眼感知特性对视频内容进行分类,建立了一种更符合人眼感知的多恰可感知失真等级视频感知失真测度模型,并将其应用于高效视频编码(HEVC).通过改善传统编码器的比特分配方式,对帧内编码帧与帧间编码帧分别进行处理,根据重分配的比特更新量化参数(QP),实现了视频感知编码.实验结果显示:与HEVC标准测试模型(HM)中的方法相比,提出的算法能够在近似同等的码率下获得更好的视频主观质量.     

基于 3D 相邻区域宏块相关性的多视点视频快速编码算法

针对多视点视频编码的高复杂度,提出一种利用相邻宏块编码信息的相关性进行编码的快速算法。利用多视点视频相邻宏块率失真代价分布的相关性,对当前宏块进行SKIP模式下的提前判决;根据视点间、时间和空间相邻区域运动矢量差值对当前宏块运动类型进行快速分类;针对不同的运动类型调整搜索范围,选择相应尺寸大小的编码模式。通过对具有不同运动特性的多视点视频编码性能测试,结果表明,相对于联合多视点视频模型（joint multi view video model,JMVM）遍历模式,在增加0．75％输出比特率和降低0．04 dB峰值信噪比的情况下,该快速编码算法能平均减少66％的编码时间。     

基于Motion Skip模式的低时延随机访问多视点视频编码方法

为了实现多视点视频编码的低时延随机访问,优化多视点视频随机访问性能,提出一种改进的多视点视频编码方法.该方法首先修改anchor帧图像视点问的预测关系,将视差补偿预测应用于anchor帧图像,而对non-an-chor帧图像仅采用运动补偿预测;其次,根据视点间图像的运动信息具有高度相关性原理,对non-anchor帧图像应用基于自适应运动矢量精细化的Motion skip模式来优化其运动补偿预测性能.实验结果表明,文中所提的多视点视频编码方法在保证高压缩效率的前提下,具有较低的计算复杂度,并提高了视点的随机访问性能.     

一种面向交互应用的多视点视频编码方案

视点切换是交互式多视点视频应用需要解决的难题之一,该文为此提出一种交互式多视点视频的编码方案。通过消除预测帧之间的相关性,改善视点切换的性能,以共享关键帧和时-空预测编码方式,在时间和空间上去除多视点视频数据的冗余,提高编码效率。该方案不增加任何辅助数据,即可在任意的P帧上进行快速视点切换,具有极低的视点切换延时,并且兼顾了编码效率和单一视点的解码代价。采用H.264/AVC编码器实现该方案,并得到满意的测试结果。     

一种用于层间预测的自适应插值方法

为消除可分级视频编码中的层间冗余,提出了一种用于可分级视频编码层间预测的自适应插值方法.用于亮度信息的插值滤波器根据量化参数从3种滤波器中选择,包括双线性滤波器、双三次滤波器和六抽头滤波器;对色度信息进行插值时,使用双线性滤波器代替联合可分级视频编码模型(JSVM)使用的六抽头滤波器.实验结果表明,与JSVM所使用的固定插值滤波器相比,提出的自适应插值方法性能提高0.05dB,同时改善了重建视频中快速运动物体的主观质量.     

融合颜色与运动信息的视频显著性滤波器

根据人眼视觉的特点,提出一种融合颜色及运动信息的视频显著性滤波器.该滤波器分三个步骤检测视频图像的显著性区域:首先利用超像素分割算法将视频图像划分为若干视觉近似一致的紧凑子块;其次以统一的多维高斯滤波形式计算四个测度,分别表征每个子块的颜色独立性、颜色空间分布、运动独立性以及运动空间分布;最后同样通过多维高斯滤波对四个测度进行融合以生成视觉显著性图,进而检测出视频中的显著性区域.实验结果表明:与其他现有的显著性检测方法相比,该滤波器能更准确地检测出视频中的显著性区域.