基于视觉特征提取的压缩域在线视频摘要快速提取

为了在有限的时间内产生质量可接受的视频摘要以达到在线使用的要求,提出一种基于视觉特征提取(visual features extraction,VFE)的压缩域视频摘要快速提取方法.从每帧输入视频中提取视觉特征,采用零均值归一化交叉相关(zero mean normalized cross correlation,ZNCC)指标检测有相似内容的视频帧组,为每组选择代表性帧,运用2个量化直方图过滤所选择的帧,从而避免视频摘要中可能的冗余或无意义帧.在视频检索国际权威评测(TREC video retrieval evaluation,TRECVID) 2007数据集上的实验结果表明,与基于聚类的高斯混合模型、基于熵的模糊C均值聚类和关键帧提取方法相比,该方法提取的视频摘要质量更高,且在时间和空间复杂度上具有明显优势,适合在线实时处理.     

一种新的镜头边界检测和静态视频摘要提取方法

提出一种新的融合图像分割和注意力模型的静态视频摘要自动生成方法.该方法将视频中的每帧图像分割成块,分别计算连续2帧对应块的匹配距离;在此基础之上,根据各个块不同的重要性用线性融合的方法求出2帧之间的匹配距离;然后通过计算匹配距离的期望和标准差自动地求出阈值,进而检测出镜头边缘;最后根据每个镜头的匹配距离,提取出静态视频摘要.仿真结果表明:与同类方法相比,该方法能够快速高效地检测出各种镜头边界,提取的静态视频摘要能够有效反映视频的内容.     

自适应CCV及等价关系聚类的视频摘要的生成

在静态视频摘要生成过程中,提取代表帧是关键。通过分析视频帧底层的颜色特征,根据其内容自动设置连通阈值,提取颜色聚合向量,并以此进行基于等价关系的自适应聚类。在确定整体划分后,根据时序特征进行局部修正。整个过程无需设定任何阈值和人为干预,对变化程度不同的各种视频进行实验,结果比较满意。     

一种基于最短路径的视频摘要方法

以简短的内容概括原始视频,是对原始视频的浓缩或者总结。传统的视频摘要方法有基于聚类的方法,通过视频帧的局部或全局特征将视频帧分成多个有代表性的集群,在每个集群中提取关键帧,最后去除冗余生成摘要;也有基于图模型的方法,将视频帧作为顶点,连接顶点的边表示帧间的关系,通过图的模块化信息提取关键帧。文章将聚类方法和图模型的方法结合并优化,提出了一种新的基于最短路径算法的视频摘要方法(shortest path for video summary,SPVS)。SPVS方法将视频摘要问题转化为最短路径求解问题,路径上的帧即为关键帧,在数据集上的大量主客观实验结果都表明其具有良好的性能。     

一种基于背景的视频运动对象分割算法

就如何从视频序列中分割出具有语义意义的运动对象，本文提出了一种自动的基于背景的运动对象分割算法，利用颜色、形状和灰度等特征对第一帧图像进行初步分割，然后根据帧间运动信息构造背景图像，最后以背景图像和帧差图像作为参考图像，对同一场景中的所有视频帧进行快速可靠的分割．     

基于场景切换的H.264码率控制技术

在H.264/AVC编码器中,由于采用了固定长度的图像组(GOP)结构,不能有效地处理视频序列中的场景切换,导致场景切换帧后续各帧编码质量严重下降。为了有效解决该问题,提出了一种自适应的码率控制算法,通过场景切换的快速检测方法检测视频序列中的场景切换,在场景切换帧处终止当前GOP并对GOP层的码率分配算法做出修正。仿真结果表明:采用该算法可以有效地降低场景切换对后续帧编码质量的影响,而且合理地分配码率资源,提高了整个视频序列的编码质量。在相同码率条件下,整体编码质量可以提高0.3-0.5dB。     

基于场景切换的H.264码率控制技术

在H.264/AVC编码器中,由于采用了固定长度的图像组(GOP)结构,不能有效地处理视频序列中的场景切换,导致场景切换帧后续各帧编码质量严重下降。为了有效解决该问题,提出一种自适应的码率控制算法,通过场景切换的快速检测方法检测视频序列中的场景切换,在场景切换帧处终止当前GOP并对GOP层的码率分配算法做出修正。仿真结果表明:采用该算法可以有效地降低场景切换对后续帧编码质量的影响,而且合理地分配码率资源,提高了整个视频序列的编码质量。在相同码率条件下,整体编码质量可以提高0.3~0.5 dB。     

基于运动行为的复杂监控事件探测

针对视频监控过程,使用运动目标的状态特征描述场景中存在的语义内容.基于DBSCAN聚类模型学习特征集的潜在结构,生成了运动行为模式集.使用高级Petri网刻画模式间的连续、并发等时序关系,构成复杂语义事件探测模型.无监督式的模式学习过程对低层噪声有较强的鲁棒性,而定性的事件描述模型对于高层事件的推理具有更强的灵活性.在实验中,通过聚类学习得到的行为模式,给出了事件Petri网的具体建模过程,并演示了"停留"与"偷车"两个感兴趣事件的探测结果.     

融合时空切片和双注意力机制的视频摘要方法

为解决现有视频摘要方法的视频帧特征信息提取不充分、摘要结果过分依赖单一特征的问题,提出了一种融合时空切片和双注意力机制的视频摘要方法。在原视频的精准分段阶段,提出了基于时空切片的核时序分割算法(STS-KTS),将视频场景信息反映为时空切片纹理信息,采用水平映射法将预处理后的时空切片投影为一维数组,作为KTS的输入特征;以双注意力机制和分组卷积为基本组件,结合BiLSTM构建时空特征提取网络,以快速提取丰富的时空特征信息,从而配合纹理特征信息消除现有摘要模型对单一特征的过分依赖;采用帧参数预测模块获取最佳的视频帧贡献度分数、中心度分数以及帧序列位置;将帧分数转化为镜头分数,以选取内容丰富的片段,进而生成动态视频摘要。在SumMe和TVSum数据集上的实验表明：所提方法能提高生成摘要的准确性,比现有方法性能更高,尤其在SumMe数据集上的生成摘要准确性相比于现有方法提升了0.58%。     

基于HOG-LBP特征和SVM分类器的视频摘要方法

为了提高视频摘要质量、高效地获取视频信息,提出了一种基于HOG-LBP特征和SVM分类器的视频摘要方法。首先,从分解到的视频序列中提取形状和纹理特征。其次,利用训练好的支持向量机对待检测图像进行分类,并将分类正确的帧暂定为关键帧。最后,运用图像余弦相似度方法剔除其中的冗余帧,并将最终保留下的关键帧按照原始视频中出现的时间顺序依次组合起来,形成视频摘要。实验结果表明,提出的算法在三个不同场景视频中提取关键帧的平均正确率达到94.08%,平均错误率仅为23.18%。算法提取到的关键帧准确率较高且内容具有代表性,视频摘要质量得到有效改善。     

基于H.264的多描述视频编码方案以及整帧丢失的误码掩盖

为增强视频传输的稳健性和提高视频传输的质量,提出了一种基于H.264的多描述视频编码方案以及整帧丢失时的误码掩盖方案。该方案在编码器端编码之前进行必要的预处理工作,利用标准的H.264编码器产生多描述码流及相关的编码信息,在解码器端解码之后进行必要的后处理,再根据接收到的编码信息进行多路视频的加权合成以得到较好的视频质量。整帧丢失时的误码掩盖方案利用其他描述正确解码的相应帧进行替换的方法,误码掩盖之后进行视频加权合成。实验结果证明该方案在各种条件下均取得了相当大的增益,特别是当2路视频质量相差较大时,增益可以达到2.38 dB,在发生整帧丢失的时,也有几个dB的增益。     

基于DWT-DCT-SVD的鲁棒盲视频水印算法

为更有效地保护多媒体数据,文中提出了一种基于DWT(discrete wavelet transform)、DCT(discrete cosine transform)与SVD(singular value decomposition)结合的盲视频水印算法.利用视频帧内的R、G通道的颜色差值进行关键帧的快速选取,将关键帧的B分量进行多级离散小波变换,对变换后的子带进行Arnold置乱,将水印嵌入到置乱后的子带奇异值中.当嵌入水印视频受到攻击时,利用彩色图像各颜色通道间像素差值很小和奇异值分解的稳定性,用嵌入水印视频关键帧的G分量代替原始视频关键帧的B分量,实现水印的盲提取.实验结果表明,该算法对噪声、滤波、裁剪、帧置乱、帧平均、MPEG(moving pictures experts group)压缩等攻击具有较好的鲁棒性.     

Key Frame Extraction Using Unsupervised Clustering Based on a Statistical Model

This paper proposes a novel algorithm for extracting key frames to represent video shots. Regarding whether, or how well, a key frame represents a shot, different interpretations have been suggested.We develop our algorithm on the assumption that more important content may demand more attention and may last relatively more frames. Unsupervised clustering is used to divide the frames into clusters within a shot, and then a key frame is selected from each candidate cluster. To make the algorithm independent of video sequences, we employ a statistical model to calculate the clustering threshold. The proposed algorithm can capture the important yet salient content as the key frame. Its robustness and adaptability are validated by experiments with various kinds of video sequences.     

面向视频编码的运动对象分割和提取

多媒体通信的发展迫切需要面向对象的视频编解码技术,其关键是视频对象（VO）的提取和视频对象平面（VOP）的分割,提出一种自动分割VOP的新方法。根据初始帧,使用形态运动滤波技术,初始运动对象首先被提取出;在后继帧中使用活动轮廓（Snake)技术对运动对象进行拟合匹配,最后根据一系列精确的二值轮廓导出运动对象的提取。实验结果表明,该算法可有效地提取视频对象和分割视频对象平面。除了个别参数需要调节外,整个过程是自动完成的。     

一种基于深度卷积神经网络的摄像机覆盖质量评价算法

随着视频监控系统的大规模普及,视频监控系统的效用评价成为一个重要的研究课题.当前视频监控系统评价只考虑了摄像机的覆盖率,缺少对摄像机覆盖质量的量化评价.该文提出了一种基于深度卷积神经网络的监控摄像机覆盖质量评价算法.将摄像机覆盖质量评价问题转化为对摄像机所采集视频帧的质量评价问题,探讨了基于视频帧的摄像机覆盖质量等级的分级策略,标注了一个摄像机视频帧质量等级数据集; 设计了一种新颖的多维标签赋值方法,利用深度卷积网络学习鲁棒的视频帧表示,进一步基于支持向量回归机(SVR)学习视频质量回归函数,从而实现对摄像机覆盖质量的鲁棒估计.实验结果表明:该算法能够准确地对监控摄像机的覆盖质量进行自动评测,有效监测了摄像机监控质量的实时变化.     

摄相机运动识别及视频分割的组合检测新方法

针对视频镜头分割处理的需求，提出了一种综合运动参数曲线法．它以由压缩域视频流中运动信息估计出的摄像机运动参数为基础，对视频流进行基于内容的分析．该方法的特点是在对视频流处理中将摄像机的运动识别与视频分割问题综合考虑，在求取帧间摄像机运动参数以及判断连续帧间的摄像机运动趋势的同时，可一并实现对视频流时域上的自动分割，以及近景镜头等的识别，对各种类型视频均采用相同的技术操作和统一的门限值，具有上佳的鲁棒性，对MPEG组织专用于内容检索的10类共计284min的标准视频进行了实验，查全率达92％～100％，查准率也高达86％以上(动画及体育片段除外)，证实了所提方法的有效性。     

一种改进的全局Retinex监控视频图像增强方法

考虑到监控视频每相邻帧图像背景及光照近似,合理运用帧间信息,构建了一种改进的Retinex图像增强算法。对每一帧图像进行不同尺度及参数的高斯低通滤波,滤波结果取模极小提取各帧背景信息,通过融合多帧图像背景,获取该时刻上视频图像的准确背景,使用该背景进行Retinex算法增强。实验结果表明,算法增强后的图像暗处细节信息更加丰富,获得了更舒适的视觉效果。     

一种基于关键帧的视频保护方案的设计与实现

视频作为目前最广泛的流媒体之一,其版权保护逐渐得到人们的重视.为了对视频文件进行保护,从加密算法、索引序列和关键帧加密三个角度,设计了一套基于关键帧加密的视频保护方案.首先利用AES算法对解码前视频流的关键帧进行加密;然后利用MD5对I帧及其随后的连串的B、P帧产生索引序列,保证数据的安全性与完整性.方案避免了转码过程出现的失真与大量时耗,同时利用了FFmpeg良好的视频编解码处理能力,克服了单纯靠加密算法保证安全的单一性;最后在理论与实验中分析了其安全性、实用性和高效性.     

一种新的基于分块的视频压缩感知算法

提出了一种新的基于分块的视频压缩感知算法,可以将视频采集和压缩编码有机结合起来同时进行. 为利用视频时间轴上的冗余,对参考帧和非参考帧使用不同的采样策略:对于参考帧,先进行分块然后进行常规的压缩感知采样;对于非参考帧,将分块后和参考帧对应块作比较然后调整采样策略. 非参考帧的采样可以为参考帧提供更多的信息,使得在采样数目很少的情况下得到更高的视频质量. 同时算法可以根据视频帧内部的纹理复杂程度自适应地调整采样速率,优化资源配置. 实验结果表明,相对于一般的压缩采样算法,本算法使用比以往算法少20%以上的采样值,得到的结果既符合人眼观察又有最高的信噪比.      

基于RGB彩色空间的运动补偿与分形相结合的视频压缩方法

提出基于RGB彩色空间的运动补偿与分形压缩技术相结合的方法.该方法先区分出彩色视频序列的I帧和P帧,同时分别分离出R、G、B三种颜色;其次对于I帧每种颜色均单独采用分形图像压缩算法进行编码,对于P帧每种颜色均通过运动补偿进行预测编码,得到运动误差,而这些运动误差的数值是很小的,有很大的相似性,此时采用自适应四叉树的分形视频压缩方法来对运动误差进行编码.实验结果表明,与传统的分形视频压缩相比,该方法能够在保证压缩质量的情况下大幅度地提高压缩比.