基于视觉特征提取的压缩域在线视频摘要快速提取

为了在有限的时间内产生质量可接受的视频摘要以达到在线使用的要求,提出一种基于视觉特征提取(visual features extraction,VFE)的压缩域视频摘要快速提取方法.从每帧输入视频中提取视觉特征,采用零均值归一化交叉相关(zero mean normalized cross correlation,ZNCC)指标检测有相似内容的视频帧组,为每组选择代表性帧,运用2个量化直方图过滤所选择的帧,从而避免视频摘要中可能的冗余或无意义帧.在视频检索国际权威评测(TREC video retrieval evaluation,TRECVID) 2007数据集上的实验结果表明,与基于聚类的高斯混合模型、基于熵的模糊C均值聚类和关键帧提取方法相比,该方法提取的视频摘要质量更高,且在时间和空间复杂度上具有明显优势,适合在线实时处理.     

基于GEP自动聚类算法的视频关键帧提取方法

视频关键帧提取技术是视频数据处理研究领域的热点研究问题.该文针对现有的镜头边界检测技术不能有效提取关键帧的不足,提出一种基于小波边缘检测算子的自适应分块视频镜头边界检测算法.通过检测视频镜头变化,得到分割的镜头,然后对视频帧提取图像特征,并利用基因表达式编程(GEP)的自动聚类功能对视频帧进行聚类,提出并实现了基于GEP自动聚类的视频关键帧提取算法(KFC‐GEP).实验证明该方法能较好的提取视频序列的关键帧.     

基于聚类和超限学习机分类模型的跌倒检测算法

针对视频跌倒检测中对目标运动状态描述不完整和识别准确率不高的问题,提出一种基于聚类和超限学习机分类模型的跌倒检测算法,通过聚类算法对视频进行关键帧采样,建立特征模型,构建基于超限学习机的跌倒检测分类器,从而实现对跌倒行为的判断。结果表明:采用聚类的方法提取关键帧能够有效地剔除冗余图像帧,提高算法的准确度,也证明了超限学习机分类模型相较于其他分类器具有更好的分类性能。     

最优距离聚类和特征融合表达的关键帧提取

为了提高视频关键帧提取的质量和效率,提出一种基于最优距离聚类和特征融合表达的视频关键帧提取算法。在视频帧间差异性分析基础上,寻找并确定最优帧间距离阈值,采用无监督聚类算法对帧间距离进行聚类,获得类别数目最优的类图像集;计算图像的颜色复杂度和信息熵并融合,按照类中图像特征值"平均"的思想提取类代表帧,组成视频关键帧。对4个监测视频进行实验,结果显示:该算法提取关键帧的平均保真度为96.72%、平均压缩率为96.42%,运行时间也较短,与两种典型的基于聚类的关键帧提取方法相比,在相同的压缩率情况下,算法保真度大幅度提高,而运行时间较小或相当。该算法解决了无监督聚类对阈值的依赖性问题,兼顾了视频中运动目标变化和环境异常两种情况,具有良好的性能和适应性。     

基于场景的视频摘要生成方法

针对如何在语义层次上形成视频摘要问题,提出了一种基于场景的视频摘要生成算法.首先利用类内和类间损失对场景进行分类,然后根据语义概念"重要度"从镜头类和场景提取视频摘要的构成帧,最后将选取的关键帧根据时间顺序排序,构成静态浏览型的视频摘要.实验证明该方法可以用少量的视频帧有效地表示视频的主要内容,并能有效地保持视频内容的连续性.     

基于HOG-LBP特征和SVM分类器的视频摘要方法

为了提高视频摘要质量、高效地获取视频信息,提出了一种基于HOG-LBP特征和SVM分类器的视频摘要方法。首先,从分解到的视频序列中提取形状和纹理特征。其次,利用训练好的支持向量机对待检测图像进行分类,并将分类正确的帧暂定为关键帧。最后,运用图像余弦相似度方法剔除其中的冗余帧,并将最终保留下的关键帧按照原始视频中出现的时间顺序依次组合起来,形成视频摘要。实验结果表明,提出的算法在三个不同场景视频中提取关键帧的平均正确率达到94.08%,平均错误率仅为23.18%。算法提取到的关键帧准确率较高且内容具有代表性,视频摘要质量得到有效改善。     

基于人工免疫有序聚类的视频关键帧提取方法

针对现有的基于无监督聚类的视频关键帧提取方法没有考虑镜头内容的时序性、对初始类的划分较敏感、易陷入局部最优等问题,提出了一种新的基于人工免疫的有序样本聚类算法.在传统人工免疫聚类算法的基础上引入了抗原记忆识别机制及改进了抗体的克隆与超变异机制,并在此基础上给出了基于人工免疫有序聚类的视频关键帧提取方法.该方法将镜头帧序列看成一个入侵机体的抗原序列,然后基于首次应答与再次应答机制依次为每个抗原产生记忆细胞池,最终每个记忆细胞池能识别的邻近抗原对应一个类别并选取距其类中心最近的帧为关键帧.对大量不同类型的视频进行了试验.结果表明,该方法能得到较高的保真度和压缩率,能够十分有效地提取出反映镜头内容变化的关键帧.     

基于二分K均值聚类和最近特征线的视频超分辨率重建方法

提出一种基于二分K均值聚类和最近特征线的视频超分辨率重建方法.该方法在生成图像块训练样本库阶段,为了解决传统K均值算法对图像块聚类时间复杂度较大的问题,设计一种基于二分K均值图像块聚类算法,用以实现快速构建初始训练样本库;在视频帧超分重建阶段,通过改进的最近特征线方法扩充样本库,并舍弃其中的不合适样本,提升样本库的表达能力.该视频超分辨率重建方法应用于基于关键帧的视频超分辨率重建,首先对时序上近邻的两个关键帧下采样并分块,然后使用图像块聚类算法构建初始训练样本库;对于这两个关键帧之间的低分辨率帧,使用改进的最近特征线方法扩充的训练样本库重建出对应的高分辨率帧.实验结果表明,提高了视频超分辨率重建的时间效率,同时也提升了每一帧重建图像的主客观质量,证明了算法的有效性.     

基于自适应阈值的聚类算法提取关键帧研究

针对当前预先指定聚类算法阈值提取关键帧的问题,使用MPEG-7标准中的主颜色描述子对视频帧进行描述, 以镜头内相邻两帧的相似性测度为数据样本,自适应地确定聚类所需的阈值,并以该阈值去指导同类视频的关键帧提取,提高关键帧提取的效率.实验证明,该方法能较好的提取视频序列的关键帧.     

采用非线性块稀疏字典选择的视频总结

针对基于稀疏表示的视频总结未充分考虑视频帧之间的非线性关系和关键帧的块稀疏特性,提出了一种采用非线性块稀疏字典选择的视频总结方法。首先考虑视频帧之间的非线性关系,通过核函数把原始视频样本映射到高维空间,使线性不可分的样本变得线性可分,从而实现非线性到线性的转化,建立非线性稀疏字典选择模型;然后考虑关键帧的块稀疏特性,将视频帧分成帧块,每个帧块内的内容具有一定的相似性,进一步建立非线性块稀疏字典选择模型来提取关键帧块;最后设计了一种核化的联合块正交匹配追踪算法对提出的模型进行优化。在基准视频数据集上的实验表明,所提算法能明显提升视频总结的性能指标F值,且计算复杂度较低,从而验证了联合使用非线性和块稀疏的有效性。     

基于分层聚类法的视频摘要技术

介绍基于分层聚类法的视频摘要技术，与以往视频摘要技术相比较，这种方法不用选取阚值，可以方便地控制关键帧数量，并对关键帧采用分层显示的方法，使视频摘要简单明了，为用户提供了非线形浏览视频的服务。最后提出一些改进措施。     

基于子镜头聚类方法的关键帧提取技术

分析主流的关键帧提取技术,提出了一种基于子镜头聚类的关键帧提取算法.该方法在重新定位镜头的起始和终止帧号后,利用帧与帧之间的颜色直方图特征,通过子镜头检测和聚类进行关键帧提取.实验结果表明,该算法具有良好的适应性,既降低了关键帧提取算法的计算复杂度,正确率高,同时能有效避免关键帧的冗余,达到了很好的关键帧提取效果.     

视频分割与场景聚类算法研究

本文介绍了实现视频分割和场景聚类的算法.首先用X2直方图匹配法检测镜头切换,梯度法检测镜头淡入淡出;然后对镜头内非相邻帧间距离经过阈值判断提取关键帧;进一步基于镜头的关键帧集计算镜头间的相似度,对相似度大于阈值的镜头进行聚类;最后给出了典型实验结果,表明上述算法对视频分割和镜头聚类有较好的性能.     

动态时域检测窗口的快速关键帧提取方法

在镜头检测基础上对帧图像进行逐帧处理、分析,从而获取关键帧的方法导致提取速度较慢,无法满足实时性要求。针对上述缺点,提出动态时域检测窗口的快速关键帧提取方法。该方法通过时域检测窗口把视频序列分割成长度不等的单元,并对窗口左右边缘帧以及窗口内的抽样帧进行分析、对比,从而判断视频单元的内容变化。同时,采用窗口混合增长模式和窗口慢检测机制保证关键帧提取的质量和速度。最终,对提取的关键帧序列进行聚类,得到最优的关键帧。实验证明,对于不同类型的视频,该方法都具有较高的综合评价性能。     

一种基于视频结构的视频快速预览方法

面对日益增多的数字视频节目,需要一种能让用户更快、更准确地定位到自己感兴趣的视频内容的快速预览方法．对此,文中设计了一种基于视频结构的视频快速预览方法．该方法先直接将压缩视频序列中的所有I帧作为候选关键帧,接下来对这些候选关键帧进行筛选,按镜头与场景进行聚类,并生成视频的关键帧与结构信息,然后将这些信息封装成RTP包后传输,以实现用户快速预览与定位其所喜爱的视频片断的目的．     

一种新的视频镜头边界检测及关键帧提取方法

根据视频邻域片段变化的特点提出了镜头边界系数模型,镜头边界系数具有良好的抗噪能力,且对视频帧的时域变化有较好的描述能力,可用于镜头边界检测与关键帧提取.它可以单独检测镜头边界,也可以与传统的基于帧差的镜头边界检测方法相结合检测镜头边界.在提取关键帧时,根据镜头边界系数的分布,自适应地确定镜头内的关键帧数,用非极大值抑制方法与基于镜头边界系数的优先级方法确定关键帧的位置.实验结果表明,该方法在镜头边界检测性能上要优于已有的基于帧差的镜头边界检测方法,提取的关键帧对镜头的视觉内容具有较好的表达能力,且可在视频回放时实时执行.     

基于视觉注意模型和互补性融合的关键帧提取

利用视觉注意模型提取的视频关键帧,不能全面地表达视频内容,针对这一问题,提出了基于视觉注意模型和互补性融合的关键帧提取方法。该方法利用视频帧的空间显著度和运动显著度的互补性,分别提取关键帧,再根据它们之间的相关性,消除冗余的关键帧。实验表明,该方法提取的关键帧能比较全面的表达视频内容,并且符合人类的视觉特性。     

旅行商问题的一种启发式算法

用一个有向图表示旅行商避开某一城市到1个顶点的所有最短路径,并在每条弧上定义一个线性表,用以记录所有包含该弧的图,从而将判断某条弧和某个顶点是否应该存在于某个子图中的最短路径上的问题转化为线性表的相关操作,进而讨论了图上的弧都在某一最短路径上的充要条件,以及如何顺序产生第1列到第n列的顶点上的图,如何从这些图上搜索出近似最优解的方法.     

基于多特征分层的视频摘要提取算法

视频数据的大量出现显示了对视频摘要的更大需求,现有基于特征的和基于镜头分割的视频摘要提取方法计算量大、准确性和可靠性都难以满足实际需求.利用视频的多特征分层进行镜头分割,采用先粗后细的策略,用计算简单的特征分割后再用复杂特征聚类,得到准确的视频片段及各段关键帧,再对各关键帧提取全局特征,相似度比较后生成最终的视频摘要.这样无需考虑多特征权重,自适应生成视频摘要.在VSUMM等公共视频数据集上的实验结果显示,多特征分层方法有效地改进了视频摘要提取性能,精确率和召回率均优于传统方法,且计算复杂度明显降低.     

基于时空切片的关键帧提取研究

关键帧提取技术是视频检索和视频摘要等领域的关键技术之一。针对现有关键帧提取方法缺乏时空特性分析,而且提取结果不符合人眼视觉感知,为此提出了一种新的关键帧提取方法。首先提取视频镜头的时空切片,然后对视频切片进行K均值聚类,最后根据视频的时间连续性,在每个类中提取关键帧。大量实验表明,本方法能捕捉视频的主要内容,以极低的冗余性反映视频的动态特性,符合人眼视觉感知。