融合颜色与运动信息的视频显著性滤波器

根据人眼视觉的特点,提出一种融合颜色及运动信息的视频显著性滤波器.该滤波器分三个步骤检测视频图像的显著性区域:首先利用超像素分割算法将视频图像划分为若干视觉近似一致的紧凑子块;其次以统一的多维高斯滤波形式计算四个测度,分别表征每个子块的颜色独立性、颜色空间分布、运动独立性以及运动空间分布;最后同样通过多维高斯滤波对四个测度进行融合以生成视觉显著性图,进而检测出视频中的显著性区域.实验结果表明:与其他现有的显著性检测方法相比,该滤波器能更准确地检测出视频中的显著性区域.     

基于视觉显著性特征的粒子滤波跟踪算法

针对复杂环境下的运动目标跟踪问题,提出了一种基于视觉显著性特征的粒子滤波跟踪算法.该算法利用显著性检测算法对序列图片进行检测,生成视觉显著图,然后利用二阶自回归模型对目标状态进行预测,再根据中心强化-四周弱化的机制,生成最终显著图.利用视觉显著图中目标区域像素值较大的特点,提取视觉显著性特征,与颜色特征进行自适应融合,从而完成跟踪.实验结果表明,该算法能够有效应对跟踪过程中出现的场景光照变化和目标姿态变化等问题,具有较强的鲁棒性.     

联网监控图像转码平台技术实现

针对当前高速公路联网视频监控中,多种异构图像兼容的瓶颈,设计了基于H.264转码的联网视频监控平台.H.264编码在相同画质下带宽只需要MPEG2编码的1/5,MPEG4编码的1/2.虽然H.264较之传统的编码格式效率高出很多,但后者使用广泛,短期之内无法将其全部取代,而且低带宽所带来的是编码和解码复杂度的提高,传统编码格式与H.264格式的共存和传统编码格式向H.264格式的转码便成为问题的关键.传统编码格式到H.264转码算法可分为级联像素域转码和DCT域转码,级联像素域转码是将出入图像解码至像素域后进行重新编码,转码前后图像编码方式差别较大时,适合采用此算法 DCT域转码是对输入图像进行部分解码,获取其运动矢量,宏块类型等参数后进行宏块编码类型映射,压缩域运动补偿等进而完成转码,转码前后图像编码方式相类似时,适合采用DCT域转码.联网监控平台中转码服务器由接收模块,管理控制模块,核心转码模块和网络发送模块构成,采用DCT域转码算法对输入图像进行转码,转码后数据封装为IP包发送.转码平台测试实验使用的视频采集自江苏省宁连,宁通,通启高速公路视频监控系统,采用DELL490服务器,CPU：IntelCore2 Q6600（1.86GHz）四核,内存：DDR2 667 1GB,结果表明,在25帧/秒条件下,可以同时完成16路CIF或4路D1视频的转码,平台运行至今,工作稳定,图像清晰,实现了区域监控视频的联网.     

H.264/AVC网络视频编码失真评估的比特流层模型

为了实现对采用H.264/AVC标准编码的网络视频质量的实时监测,提出一种评估视频编码质量的比特流层模型.该模型无需完全解码,只通过简单解析视频的量化参数、编码比特率以及运动矢量等信息评估视频流质量.首先,通过主观评估实验分析确定量化参数与视频编码失真的基本关系模型,然后利用量化参数和编码比特率预测视频的空间复杂度,利用运动矢量信息预测视频的时间复杂度,并结合空域掩盖效应和时域掩盖效应建立起一个能够反映人视觉特性的视频质量评估模型.实验结果表明,与解析码流的无参考网络视频质量评估模型相比,利用该模型得到的客观质量分数与主观质量分数的皮尔森相关系数提高了0.0160,均方根误差下降了0.0797.     

视觉显著性驱动的运动鱼体视频分割算法

针对养殖监控视频中运动鱼体目标检测问题,提出一种基于视觉显著性计算的运动鱼体视频分割算法.首先,将运动特征通道引入基于图论的显著性计算模型中,对多通道特征进行自动加权,生成全局视觉显著图.其次,利用基于方向梯度直方图的支持向量机分类器对显著区域进行目标确认,得到包含前景目标的感兴趣区域.最后,分割出运动鱼体目标,并将其标注在视频序列中.实验结果表明,所提方法在室内养殖监控数据集上能够很好地剔除水面杂波、反光等复杂背景干扰,实现运动鱼体的视频分割.     

应用多恰可感知失真等级的视频感知编码

为了对视频编码中的视觉感知冗余进行充分挖掘,提升视频的主观质量,根据人眼感知特性对视频内容进行分类,建立了一种更符合人眼感知的多恰可感知失真等级视频感知失真测度模型,并将其应用于高效视频编码(HEVC).通过改善传统编码器的比特分配方式,对帧内编码帧与帧间编码帧分别进行处理,根据重分配的比特更新量化参数(QP),实现了视频感知编码.实验结果显示:与HEVC标准测试模型(HM)中的方法相比,提出的算法能够在近似同等的码率下获得更好的视频主观质量.     

自适应块区域 DWT 低码率视频编码算法的研究

为了降低低码率视频编码算法的块效应与环效应，提出了一种基于块区域子波变换和重叠运动补偿的视频编码算法。通过分层游动窗块区域形成算法检测出帧间预测误差场的高能量区域，仅对这些区域进行子波变换和量化，有效节省码率，或在保持码率不变的条件下，有效的降低振荡环效应；根据人类视觉系统（ＨＶＳ）的空－频和时－频特性，给出基于ＨＶＳ的量化模型，以期在信噪比约束下获得最好的主观测试质量。模拟结果表明，对于公共交互格式（ＣＩＦ）图象，在低码率和甚低码率下仍能得到满意的图象质量。该算法可以应用于低码率视频会议系统中。     

基于视觉感知的HEVC率失真优化算法

为了充分挖掘视频的视觉感知冗余,提高视频的主观质量,提出了基于视觉感知的HEVC率失真优化方法。首先,采用GBVS(Graph-Based Visual Saliency)算法提取视觉显著图。其次,将视频图像分为显著区域和背景区域,同时得到权重因子指导码率分配。最后,根据分配的目标码率对拉格朗日因子进行调整,修正拉格朗日因子和量化参数,从而选择最优编码模式实现率失真优化。实验结果表明,相对于传统的高效视频编码,在维持码率基本不变的情况下,在全I帧配置下显著区域的Y-PSND提高了0.53 d B而背景区域和总体的Y-PSND有轻微下降,视频主观感受质量得到有效提高。     

一种新的低复杂度监控视频ROI编码方案

在H.264视频编码框架下,针对静止摄像机采集的监控视频的特点,提出并实现了一种基于运动目标检测的感兴趣区域ROI编码方案。该方案以运动目标为ROI编码对象,根据ROI检测结果生成画面分割信息文件,并由此选择各宏块编码模式以及参考帧数量,通过调整相应运动宏块的量化参数值来完成对ROI对象的精细编码,从而达到减少算法复杂度、提高运动目标画面质量的目的。多个标准测试序列的测试表明,与H.264相比,该方案在编码时间上大大缩减,且重建画面的主观评测效果更好。     

基于视觉显著度的H.264冗余片编码技术

针对现有显著度模型不能同时兼顾快速运动场景和慢速运动场景的问题,对显著度模型建模方法中的运动特征提取算法进行改进,提升运动显著度子图的精确性。在此基础上,考虑到人眼视觉系统对图像局部内容更关注的特点,将改进的显著度模型用于H.264视频的冗余片编码技术中,对图像中人眼关注的区域进行冗余片编码,从而提高视频流的传输容错能力。实验结果表明,该技术在丢包网络中能明显提高解码图像的主客观质量。     

基于自适应冗余片嵌入的容错视频转码方法

为提升视频码流在传输中的容错能力,提出了一种容错视频转码方法,通过向原码流嵌入冗余片来保护图像的感兴趣区域.引入了一种感兴趣区域的提取方法,利用肤色和运动信息确定每一帧图像的感兴趣区域.为避免不必要的比特消耗,通过计算感兴趣区域的率失真性能来判断是否需要对当前帧的码流嵌入冗余片.若选择需要嵌入,则会在熵编码过程中生成冗余片并嵌入码流,避免二次编码.实验结果表明:该方法能够显著改善丢包传输时视频的主观质量,实现较好的率失真性能.     

基于视觉显著性的突变运动目标跟踪

针对突变运动下的目标跟踪问题,提出一种基于视觉显著性的粒子滤波跟踪算法.该算法将基于视觉注意机制的视觉显著图引入粒子滤波框架中,根据视觉显著图的显著性区域,按"胜者为王"和"返回抑制"机制进行目标检测,并以检测结果为全局建议分布进行粒子采样,从而完成全局状态空间的搜索,有效地避免了陷入局部极大值.同时,为增强目标区域在视觉显著图中的显著性,将自底向上和自顶向下的计算模型相结合,根据目标模板对各个特征显著图进行自适应权值计算,并按权值融合产生视觉显著图.实验结果表明,针对不同类型的突变运动跟踪场景,该算法均能表现出较好的鲁棒性.     

H.264/AVC中基于感兴趣区域的计算资源的优化分配算法

H.264/AVC视频编码标准在获得更高压缩效率的同时是以编码复杂度的提升为代价的。视频编码算法的高计算复杂度对于实时视频通信以及计算资源有限的应用场合都是巨大的挑战。该文提出了一种基于感兴趣区域的计算资源的优化分配算法。该方法利用人眼对图像不同区域敏感度的差异,根据不同区域的特点确定不同的计算复杂度级别和编码参数集合,将更多的计算资源优先分配给感兴趣区域,实现了计算资源的优化分配。实验结果表明:与标准算法相比,该算法在保证图像主观质量的同时减少了35%左右的编码时间,而客观质量仅下降平均0.2dB左右。     

利用视觉显著性的前景目标分割

针对图像中的前景目标分割问题,提出一种视觉显著性引导的前景目标分割算法.对原始图像进行预处理后分解为互不重叠的超像素区域.将这些区域构成一个无向图,相邻两个区域间存在边,通过计算相邻区域间的特征差异得到边的权值.提取图像边缘的超像素区域作为背景区域,利用无向图计算各超像素区域相对于背景区域的视觉显著性,得到初始显著图.对初始显著图进行改进和优化,根据视觉显著性计算结果采用自适应阈值进行前景目标分割.在公开的图像数据集MASR-1000、ECSSD、Pascal-S和SOD上进行实验验证,并和目前流行的算法进行对比.结果表明,本研究算法在查准率、召回率、平均绝对误差及F-Measure等方面优于目前流行的几种算法,用于图像和视频的前景目标检测与分割是正确有效的.     

基于H.264感兴趣区域平稳视频主观质量的码率控制

为提高低延时低码率条件下的视频质量,提出一种H.264帧层和宏块层的码率控制算法,实现平滑主观质量和平稳缓冲区波动的一种新的权衡。帧层采用比例-积分-微分算法进行帧层码率分配;在宏块层建立一种新的基于运动外推的编码复杂度传播模型,在保证感兴趣区域具有平稳质量的前提下,在感兴趣区域和非感兴趣区域之间进行比特分配;在各区域中,根据编码复杂度传播模型,基于率失真优化选择宏块量化参数。仿真结果表明:和传统JM算法相比,感兴趣区域的质量波动可减少达35.5%～57.1%。该算法在保证较低缓冲区波动的前提下,具有平滑的主观视频质量。     

基于H.264感兴趣区域平稳视频主观质量的码率控制

为提高低延时低码率条件下的视频质量,提出一种H.264帧层和宏块层的码率控制算法,实现平滑主观质量和平稳缓冲区波动的一种新的权衡。帧层采用比例-积分-微分算法进行帧层码率分配;在宏块层建立一种新的基于运动外推的编码复杂度传播模型,在保证感兴趣区域具有平稳质量的前提下,在感兴趣区域和非感兴趣区域之间进行比特分配;在各区域中,根据编码复杂度传播模型,基于率失真优化选择宏块量化参数。仿真结果表明:和传统JM算法相比,感兴趣区域的质量波动可减少达35.5%～57.1%。该算法在保证较低缓冲区波动的前提下,具有平滑的主观视频质量。     

基于显著性信息和视点合成预测的3D-HEVC编码方法

传统的视频编码标准大多着重从减少信息冗余来提高率失真性能,而忽视了人类视觉系统(human visual system, HVS)多样性对视频编码的影响.针对目前先进的3D高效率视频编码(high efficiency video coding, HEVC)技术,提出了一种融合人眼视觉特性的编码方法.首先建立3D显著性模型,根据显著性信息进行分区域编码;然后对原有的视点合成预测算法进行改进,避免深度块的边界效应;最后绘制生成新视点的视频.实验结果证明,该方法在保证主观质量基本不变的情况下, BD-rate可下降10%左右,绘制生成的新视点峰值信噪比(peak signal to noise ratio, PSNR)可提高0.1 dB左右,能有效提高编码效率.     

AMR与G.729之间的转码算法

提出了AMR与G.729语音编码标准之间的2种新型转码算法--索引域转码算法和语音域转码算法.它们分别针对具有相同和不同固定码本结构的语音编码标准进行转码.索引域转码算法直接对2个编码的索引值进行相互转换;语音域转码算法则需要在语音域重新对转换的固定码本及增益进行搜索.实验结果表明,这2种转码算法都能有效地降低转码复杂度,语音域转码算法的算法复杂度仅为传统Tandem转码的55%左右,而索引域转码算法的算法复杂度则不到Tandem转码的10%.同时,索引域转码算法的语音质量相对Tandem转码有所提高,而语音域转码算法则保持了约略相当的语音质量.     

基于混合搜索的匹配跟踪位分配

提出了一种基于混合搜索的匹配跟踪位分配策略,该方法依据人眼高级视觉特性在编码过程中动态确定编码质量优先的区域,并以此作为依据调整原有原子搜索策略,使得原子函数分布集中在感兴趣区域附近,从而改善整个匹配跟踪视频编码器的图像恢复质量.实验结果表明,利用该法所获得的图像恢复质量基本符合人眼的主观判断,而且算法复杂度较低,具有较高实用价值.     

视频转码技术研究

视频转码技术有效地实现了异构网络、不同终端之间视频数据的传送,并保证了服务质量.本文对各种视频转码技术进行了深入分析,主要包括:比特率转码、分辨率转码、视频编码格式转码、信息嵌入式转码、基于对象的转码和联合转码等各类转码技术的体系结构和主要算法,同时对转码技术的研究方向也进行了讨论.