应用多恰可感知失真等级的视频感知编码

为了对视频编码中的视觉感知冗余进行充分挖掘,提升视频的主观质量,根据人眼感知特性对视频内容进行分类,建立了一种更符合人眼感知的多恰可感知失真等级视频感知失真测度模型,并将其应用于高效视频编码(HEVC).通过改善传统编码器的比特分配方式,对帧内编码帧与帧间编码帧分别进行处理,根据重分配的比特更新量化参数(QP),实现了视频感知编码.实验结果显示:与HEVC标准测试模型(HM)中的方法相比,提出的算法能够在近似同等的码率下获得更好的视频主观质量.     

一种改进时空域联合的视频对象分割算法

针对移动缓慢的视频对象,提出一种改进时空域联合的视频对象分割算法。时域上通过改进高阶统计算法,利用累积帧差的递归高阶统计算法检测出视频序列中视频对象运动区域。空域上利用Canny算子获得较精确的单帧目标边缘,进行了时域和空域的融合,得到精确运动对象模板后提取运动对象。实验结果表明,该算法与传统递归高阶统计算法相比能精确地对移动缓慢的视频对象进行提取,有一定的理论意义和适用性。     

联合结构预测和运动补偿的视频自适应压缩感知

视频压缩感知是解决无线多媒体网络中海量数据存储和传输问题的有效方法,但常规基于单帧处理的压缩重构质量较差,限制了应用效果。文中提出了基于BCS的结构预测和运动补偿的提高视频GOP序列重构质量的方法。对视频GOP序列,首先,利用分块压缩感知对关键帧和压缩帧分别进行压缩采样,并给出了一种视频稀疏性定量估算方法,实现了压缩采样率自适应选择;然后,基于迭代阈值投影重构算法,对关键帧和压缩帧分别进行压缩重构。在此基础上,利用视频帧区域块的结构相关性进行帧内结构预测,提高重构质量;最后,利用帧间的时间冗余性,通过运动估计和运动补偿进一步提高重构质量。仿真结果表明,结构预测和运动补偿能提高视频重构的峰值信噪比(PSNR)。该算法考虑了视频序列帧内和帧间相关性进行预测和补偿,提高了GOP序列的重构质量。     

基于失真类型预测的图像质量评价方法

目的克服单个图像质量评价方法针对各种失真类型的性能表现不均衡的问题。方法首先从多个角度测量参考与测试图像的视觉相似性(包括人眼视觉系统,低层次视觉处理和本地纹理),接着分别利用粗糙集和支持向量机完成特征简化与图像失真类型预测,并最终根据测试图像所遭受的失真类型选取适当的质量评价算法。结果提出一种基于失真类型预测的图像质量评价算法。结论该算法在整体性能上要优于传统的图像质量评价算法,更好地体现了主客观评价的一致性;针对单个失真类型开发性能优的质量评价方法,可以进一步提升该算法的性能。     

基于时-空特征的全卷积网络用于视频人眼关注预测的研究

视频人眼关注预测是在视频中标注能够吸引人眼关注的感兴趣显著区域,对于自动提取大量视频的语义信息有着重要的应用.该研究从目前显著性处理主流算法全卷积网络的局限性出发,提出了一种基于时间-空间特征的深度学习模型用于预测视频中的人眼关注区域.首先,采用全卷积网络提取视频帧图像的空间特征,光流方法用于提取相邻帧之间的时间运动特征,通过长短期记忆网络处理当前帧与其前6帧的空间特征与时间特征,得到最终的人眼关注区域预测图.使用INB和IVB两个人眼关注视频数据库进行计算.实验结果表明,在地球移动距离、受试者工作特征曲线下面积、标准化扫描路径显著性、线性相关性等4个性能评估标准分别取得了0.375 1、0.818 6、2.024 1、0.745 7和0.413 7、0.785 6、1.964 5、0.734 9的结果,预测性能优于5种对比算法,表明本文方法在视频人眼关注预测上能够取得较准确的结果.     

一种基于深度卷积神经网络的摄像机覆盖质量评价算法

随着视频监控系统的大规模普及,视频监控系统的效用评价成为一个重要的研究课题.当前视频监控系统评价只考虑了摄像机的覆盖率,缺少对摄像机覆盖质量的量化评价.该文提出了一种基于深度卷积神经网络的监控摄像机覆盖质量评价算法.将摄像机覆盖质量评价问题转化为对摄像机所采集视频帧的质量评价问题,探讨了基于视频帧的摄像机覆盖质量等级的分级策略,标注了一个摄像机视频帧质量等级数据集; 设计了一种新颖的多维标签赋值方法,利用深度卷积网络学习鲁棒的视频帧表示,进一步基于支持向量回归机(SVR)学习视频质量回归函数,从而实现对摄像机覆盖质量的鲁棒估计.实验结果表明:该算法能够准确地对监控摄像机的覆盖质量进行自动评测,有效监测了摄像机监控质量的实时变化.     

基于BJND和JNDD的立体视频深度感知增强技术综述

人类视觉系统是一个具有多种视觉特性的复杂处理系统,视觉感知是人眼多种视觉特性共同作用的结果。立体视频图像因视差和深度的存在有着与平面图像不同的视觉感受,且深度感与视差有着紧密的关系。恰可察觉差别(Just Noticeable Difference,JND)或者称为恰可察觉失真(Just Noticeable Distortion,JND)是一种基于视觉心理学和生理学的视觉特性,双目恰可察觉差别(Binocular JND,BJND)和恰可察觉深度差别(Just Noticeable Depth Difference,JNDD)影响人们对立体视频的用户体验。在阐述JND基础上,综述人类视觉感知立体视频的BJND、JNDD模型及国内外研究现状,分析视差图质量和深度图信息对立体视频感知影响,提出了基于JNDD的深度图处理方法,寻求人眼对立体视频深度感知增强技术,建立基于BJND和JNDD的立体视频图像质量客观评价方法,为立体视频图像处理及应用提供指导。     

基于TCS-LBP算子的视频帧复制篡改检测算法

针对监控视频帧复制篡改,提出一种基于时空域特征的篡改检测算法.受空域局部二值模式(LBP)算子设计的启发,设计一种时域TCS-LBP算子,反映当前视频帧与其前后若干帧在同一空间位置像素之间的关系;然后在当前图像上逐点计算TCS-LBP特征值,构造能同时反映当前视频帧时域和空域特征的特征图像;利用特征图像,逐帧检测是否存在帧复制;对于初步检测到的篡改区域,再进行虚警和漏检的修正以及篡改边界的精确定位.实验结果表明,文中算法具有良好的性能,与现有的2种同类算法相比,性能明显提升.     

基于频域的结构相似度的视频质量评价

基于结构相似度的视频质量评价方法(VSSIM)结构简单,性能优于峰值信噪比(PSNR),但是在研究中发现VSSIM不能很好地评价严重模糊的低码率视频。该文提出一种基于频域的结构相似度的视频质量评价方法。该方法将频域信息作为主要的结构信息,根据人眼对不同频率分量的敏感程度不同,对离散余弦变换后的各频率分量加权得到频域函数。由频域函数、亮度函数和对比度函数经过视频内容的加权计算得到结构相似度。实验结果表明:该方法比VSSIM和PSNR更符合人眼视觉系统特性,能较好的评价视频质量。     

结合梯度结构相似度的AVS帧内模式选择算法

结合帧内模式选择主客观评价方法,提出了一种新的帧内模式选择算法,提高了主观质量,同时兼顾了算法处理效率。传统AVS帧内模式选择率失真优化使用绝对误差和(SAD)作为失真度度量,方法简单,但不能很好符合人眼视觉系统(HVS);基于梯度幅度值的结构相似度图像质量评价方法(GSIM)符合HVS的特性,且能评价严重模糊的降质图像,但计算复杂,不利于实时编码。本算法结合SAD和GSIM的优点,采用两者的结合作为失真度度量,并利用预测模式间的相关性进行帧内预测模式选择。取SAD的最优值和次优值,计算其差值,根据差值和阈值的比较判断是否需要GSIM计算,其中阈值的选择根据预测模式间相关性自适应确定。需要计算GSIM值时,根据GSIM的最优值和次优值的情况判断是否需要对帧内模式进行修正。实验结果表明,本算法较传统算法有较好的主观质量,编码时间增加很少。     

基于小波变换的无参考视频质量评价

无参考视频质量评价算法均是针对特定的失真类型,但一个失真视频中往往有多种失真类型存在,仅对某种特定的失真进行评价无法全面反映出视频质量;鉴于此,基于小波变换提出了一种能够对多种失真类型进行综合评价的图像质量评价算法;最后,通过亮度和运动估计帧加权的方式将上述方法扩展到视频质量评价中;实验证明了本方法具有较高的评价准确性。     

一种基于量化索引调制的视频盲水印算法

针对传统视频水印算法鲁棒性较差、计算复杂度较高的问题,结合伪三维DCT（discrete cosine transform）变换,提出了一种新的基于量化索引调制的非压缩域视频盲水印方法。该算法随机选择帧提取亮度分量,进行伪三维DCT变换,并计算交流分量的权值和,利用量化索引调制与人类视觉系统特性将水印嵌入视频,还生成了一个随机密钥,有效提高了视频水印的安全性。提取水印时不需要原始视频序列,减少了算法运行时间。实验结果表明,该算法对视频质量的影响较小,并且能有效抵御旋转、缩放、剪切、加噪、滤波、帧交换、帧删除及帧平均等多种攻击,具有较强的鲁棒性。     

基于运动估计的置信度传播立体视频匹配算法

基于置信度传播(BP:Belief Propagation)的立体匹配算法与局部算法相比,视差准确度高,但需要耗费大量的计算时间。为此,提出一个基于运动估计的置信度传播立体视频匹配算法。该算法首先通过传统的BP算法获得I帧的匹配视差图,并保存每个像素获得最佳视差值的传递信息;然后,通过参考I帧的运动估计信息,得到重新排列的I帧视差值的传递信息,将其作为P帧置信度传播算法的初值进行迭代运算,从而大大减少了P帧置信度传播算法的迭代次数。实验结果表明,该算法能大大提高置信度传播立体视频的匹配效率。     

基于运动对齐预测模型的分布式视频压缩感知重构

为了提高分布式视频压缩感知（Distributed Video Compressive Sensing,DVCS）的率失真性能,文中提出根据视频非关键帧图像的时间相关性将帧内各块分为静止块与运动块两类,并对它们设定不同的测量率以提高压缩感知（Compressive Sensing,CS）捕获信息的效率.在重构过程中,提出运动对齐多假设预测模型进行重构,该预测模型在测量域内实现运动估计,并根据运动信息在参考帧内寻找到待重构块的若干候选匹配块,利用它们的线性加权和残差重构得到非关键帧图像的重构结果.仿真实验结果表明,文中所提出的DVCS重构算法能有效提升系统的率失真性能,与现有方法相比,在重构时间基本不变的情况下,获得更好的主客观视频重构质量.     

一种新的视频质量评价中帧对齐算法

在全参考或者部分参考的视频质量评价算法中,由于视频序列在传输过程中总会存在丢帧、跳帧、停滞等现象,因此在视频质量评价之前进行的帧对齐处理是非常重要的步骤.提出了一种新的帧对齐算法,该方法在国际电信联盟(ITU)的ITU-T J.244和J.247的基础上,对源视频和劣化视频序列进行预处理和相关特征参数的提取,并采用类似滑动窗口的原理对二者进行相似度的运算,根据运算结果可判断是否达到帧对齐.结果表明,该方法可以明显甄别出视频序列相应帧的对齐情况,算法简单、实时性较好,具有一定的实用价值.     

考虑丢包特性的无参考网络视频质量评估模型

针对相同丢包率条件下不同的包丢失集中度对视频质量影响不同的问题,提出一种考虑丢包特性并且不需要对视频解码的无参考网络视频质量评估模型.首先依据码流信息在压缩域计算视频的时域复杂度,然后在压缩域计算包丢失集中度和包丢失率对视频质量的影响因子.考虑到人眼视觉系统的空域掩盖效应和时域掩盖效应,进而提出由于丢包引起的视频质量下降的视频质量评估模型.该模型不需要对视频进行完全解码,具有资源开销小、实时性好的特点,适合对实时传输的视频流进行质量评估.实验结果表明,使用该视频质量评估模型测得的视频包丢失质量评分与其主观质量评分有很好的一致性,相比于国际标准G.1070中的丢包视频质量评价模型,无参考网络视频质量评价模型与主观质量评价的相关性平均提高了6.18%.     

基于计算机视觉的车流量检测算法

提出了一种基于计算机视觉的车流量检测算法。通过分析CCD摄像头采集的现场交通视频数据,运有用图像处理的方法提取图像中通行车辆的车速以及通过视场内的车流量,研究了视场距离标定算法和基于灰度统计的通行车辆识别算法,仿真结果表明了该算法的正确性和有效性。     

基于FPGA的多路视频实时处理系统

针对传统多路视频监控系统控制不灵活,处理速度慢,系统无法对各路视频信号进行视频算法等问题,介绍了一种采用FPGA设计多路视频实时处理和显示的系统方案. 通过使用单片FPGA硬件方式实现多路视频的采集、格式转化、视频缓存、视频算法处理、视频拼接和显示,并可以进行多路视频与其中任意一路视频切换显示和处理,同时系统支持对每一路视频进行不同的算法处理. 该方案利用FPGA的并行处理能力,可以实时处理和显示4路视频,帧频达到了15帧/秒,每一路视频信号的处理时间不超过4 ms. 该方案具有低成本、低功耗、实时性好、扩展性强等特点,适用于目前常用的视频监控应用场景.     

基于H.264/AVC改进的时空域错误掩藏算法

对H.264编码的视频流解码出现宏块丢失进行错误掩藏时,使用传统的时空域错误掩藏算法,并不能很好地恢复出原始视频帧,影响了主观观赏效果和客观视频质量.因此,分别对时空域提出了相应的改进算法.时域通过增加参考帧、运动矢量,改进匹配算法等,提高了运动矢量的搜索精确度和运动剧烈视频帧的错误恢复质量.空域通过自适应的选择加权像素平均插值和方向插值,并改进了方向插值算法,明显提高了视频帧的恢复质量,避免了错误边缘的产生.实验结果表明,改进的时空域错误掩藏算法,不仅提高了方向插值的准确性和宏块匹配的精确度,而且可以减少块效应的出现,从而有效地提高了丢失宏块的恢复质量.