最优距离聚类和特征融合表达的关键帧提取

为了提高视频关键帧提取的质量和效率,提出一种基于最优距离聚类和特征融合表达的视频关键帧提取算法。在视频帧间差异性分析基础上,寻找并确定最优帧间距离阈值,采用无监督聚类算法对帧间距离进行聚类,获得类别数目最优的类图像集;计算图像的颜色复杂度和信息熵并融合,按照类中图像特征值"平均"的思想提取类代表帧,组成视频关键帧。对4个监测视频进行实验,结果显示:该算法提取关键帧的平均保真度为96.72%、平均压缩率为96.42%,运行时间也较短,与两种典型的基于聚类的关键帧提取方法相比,在相同的压缩率情况下,算法保真度大幅度提高,而运行时间较小或相当。该算法解决了无监督聚类对阈值的依赖性问题,兼顾了视频中运动目标变化和环境异常两种情况,具有良好的性能和适应性。     

基于GEP自动聚类算法的视频关键帧提取方法

视频关键帧提取技术是视频数据处理研究领域的热点研究问题.该文针对现有的镜头边界检测技术不能有效提取关键帧的不足,提出一种基于小波边缘检测算子的自适应分块视频镜头边界检测算法.通过检测视频镜头变化,得到分割的镜头,然后对视频帧提取图像特征,并利用基因表达式编程(GEP)的自动聚类功能对视频帧进行聚类,提出并实现了基于GEP自动聚类的视频关键帧提取算法(KFC‐GEP).实验证明该方法能较好的提取视频序列的关键帧.     

一种基于最短路径的视频摘要方法

以简短的内容概括原始视频,是对原始视频的浓缩或者总结。传统的视频摘要方法有基于聚类的方法,通过视频帧的局部或全局特征将视频帧分成多个有代表性的集群,在每个集群中提取关键帧,最后去除冗余生成摘要;也有基于图模型的方法,将视频帧作为顶点,连接顶点的边表示帧间的关系,通过图的模块化信息提取关键帧。文章将聚类方法和图模型的方法结合并优化,提出了一种新的基于最短路径算法的视频摘要方法(shortest path for video summary,SPVS)。SPVS方法将视频摘要问题转化为最短路径求解问题,路径上的帧即为关键帧,在数据集上的大量主客观实验结果都表明其具有良好的性能。     

视频摘要系统的技术研究与实现

本文针对未进行后期编辑的视频序列设计了一个视频摘要系统.以视频帧图像的累积直方图来提取图像特征,有效地解决了光照的改变使镜头内直方图差异较大以及直方图对物体/摄像机的运动的鲁棒性有限两大问题,并结合了滑动窗口算法,有效地实现对视频序列的镜头边界检测.另外,本文还提出了一种基于镜头和图像内容的关键帧提取算法,降低计算的复杂度,并且提取的关键帧能更全面准确地体现原视频的内容.     

一种基于MPEG-7颜色特征和块运动信息的关键帧提取方法

为了改进现有关键帧提取方法在相邻帧间相似性测度方面的不足,提出一种基于MPEG-7颜色布局特征匹配和块运动信息度量的关键帧选取方法。给出颜色布局特征的提取、相似度计算方法以及利用图像分块计算运动信息的方法,并结合距离累加算法提取视频镜头关键帧。实验结果表明,本方法比基于图像综合特征关键帧提取方法检索性能有明显提高,不易产生冗余和漏检,提取的关键帧能够充分代表镜头的内容。     

基于场景的视频摘要生成方法

针对如何在语义层次上形成视频摘要问题,提出了一种基于场景的视频摘要生成算法.首先利用类内和类间损失对场景进行分类,然后根据语义概念"重要度"从镜头类和场景提取视频摘要的构成帧,最后将选取的关键帧根据时间顺序排序,构成静态浏览型的视频摘要.实验证明该方法可以用少量的视频帧有效地表示视频的主要内容,并能有效地保持视频内容的连续性.     

基于聚类和超限学习机分类模型的跌倒检测算法

针对视频跌倒检测中对目标运动状态描述不完整和识别准确率不高的问题,提出一种基于聚类和超限学习机分类模型的跌倒检测算法,通过聚类算法对视频进行关键帧采样,建立特征模型,构建基于超限学习机的跌倒检测分类器,从而实现对跌倒行为的判断。结果表明:采用聚类的方法提取关键帧能够有效地剔除冗余图像帧,提高算法的准确度,也证明了超限学习机分类模型相较于其他分类器具有更好的分类性能。     

基于Adaboost关键帧选择的多尺度人体动作识别方法

针对手工制作关键帧检测器和最初“特征包”方法的局限性,提出一种基于Adaboost关键帧选择和多尺度运动特征表示的人体动作识别方法.首先,从视频序列中提取兴趣点,使用生物启发特征结合光流的多尺度方法提取运动特征;然后,利用Adaboost学习方法从一个大的特征池中选取最具辨识度的几帧图像,并将排列前十的Adaboost帧作为相应的关键帧;最后,利用相关图表示关键帧,由支持向量机(support vector machine,SVM)完成人体动作分类.在KTH、多视图IXMAS和TUM数据库上的实验结果显示,该方法在3个数据库上的识别精度可分别高达95.5％,93.7％和91.5％,识别性能明显优于其他几种较新的方法,表明利用Adaboost学习算法可有效选取每个视频动作序列的关键帧,并有效解决了“特征包”方法的局限性问题.     

一种视频时空特征提取算法及其应用研究

目前基于内容特征的视频检索系统,大多采用提取视频关键帧的颜色、纹理、形状等底层特征,来进行视频相识度匹配,这些底层特征是基于全局统计或者人工设计的特征提取方式,存在泛化抽象能力不强、易受光照和噪声的影响等问题,同时,由于未考虑视频帧时序上的关联性,导致视频检索精度偏低。为此,基于深度学习框架,提出了一种视频时空特征提取算法。该算法以关键帧附近16帧图像作为学习源,采用三维卷积神经网络,融合帧的内容特性和时序变化特性,获取4 096维特征向量作为新的视视时空特征描述子。在标准动作视频数据集UCF-101上进行实验,结果表明该特征能显著提高视频检索精度,在查全率为90%的情况下,平均查准率不低于84%,检索效果优于传统视频检索方法。     

动态时域检测窗口的快速关键帧提取方法

在镜头检测基础上对帧图像进行逐帧处理、分析,从而获取关键帧的方法导致提取速度较慢,无法满足实时性要求。针对上述缺点,提出动态时域检测窗口的快速关键帧提取方法。该方法通过时域检测窗口把视频序列分割成长度不等的单元,并对窗口左右边缘帧以及窗口内的抽样帧进行分析、对比,从而判断视频单元的内容变化。同时,采用窗口混合增长模式和窗口慢检测机制保证关键帧提取的质量和速度。最终,对提取的关键帧序列进行聚类,得到最优的关键帧。实验证明,对于不同类型的视频,该方法都具有较高的综合评价性能。     

基于二分K均值聚类和最近特征线的视频超分辨率重建方法

提出一种基于二分K均值聚类和最近特征线的视频超分辨率重建方法.该方法在生成图像块训练样本库阶段,为了解决传统K均值算法对图像块聚类时间复杂度较大的问题,设计一种基于二分K均值图像块聚类算法,用以实现快速构建初始训练样本库;在视频帧超分重建阶段,通过改进的最近特征线方法扩充样本库,并舍弃其中的不合适样本,提升样本库的表达能力.该视频超分辨率重建方法应用于基于关键帧的视频超分辨率重建,首先对时序上近邻的两个关键帧下采样并分块,然后使用图像块聚类算法构建初始训练样本库;对于这两个关键帧之间的低分辨率帧,使用改进的最近特征线方法扩充的训练样本库重建出对应的高分辨率帧.实验结果表明,提高了视频超分辨率重建的时间效率,同时也提升了每一帧重建图像的主客观质量,证明了算法的有效性.     

飞行机器人电塔巡检视频关键帧提取预处理

针对架空输电线路飞行机器人巡检视频的关键帧提取问题,提出了一种地理信息、导航数据、航拍数据和相机参数相结合的关键帧提取预处理方法.首先通过将地理坐标系中的坐标转化到空间直角坐标系中,对地理信息进行处理;其次通过空间直角坐标系中的坐标转化成图像坐标系中的坐标,确定巡检目标在图像中的位置;最后通过判断巡检目标在图像坐标系下的位置以确定图像是否可以作为关键帧的候选帧.实验结果表明:提出的预处理方法在不降低从视频中提取出来的关键帧准确度前提下,减少了图像层面上的计算量,缩短了关键帧提取时间.     

基于视觉特征提取的压缩域在线视频摘要快速提取

为了在有限的时间内产生质量可接受的视频摘要以达到在线使用的要求,提出一种基于视觉特征提取(visual features extraction,VFE)的压缩域视频摘要快速提取方法.从每帧输入视频中提取视觉特征,采用零均值归一化交叉相关(zero mean normalized cross correlation,ZNCC)指标检测有相似内容的视频帧组,为每组选择代表性帧,运用2个量化直方图过滤所选择的帧,从而避免视频摘要中可能的冗余或无意义帧.在视频检索国际权威评测(TREC video retrieval evaluation,TRECVID) 2007数据集上的实验结果表明,与基于聚类的高斯混合模型、基于熵的模糊C均值聚类和关键帧提取方法相比,该方法提取的视频摘要质量更高,且在时间和空间复杂度上具有明显优势,适合在线实时处理.     

多特征融合和最小二乘支持向量机的运动视频图像分类研究

为了提高运动视频图像分类精度,提出了利用多特征融合和最小二乘支持向量机的运动视频图像分类方法.采集运动视频,采用两帧差分法分割运动视频图像,并提取运动视频图像的多个特征;将不同特征输入到最小二乘支持向量机中进行学习和训练,获得单一特征的运动视频图像分类结果;利用证据理论对单一特征的运动视频图像分类结果进行融合,得到运动...     

一种新的自适应的视频关键帧提取方法

针对目前关键帧提取存在的关键帧数目难以确定、对内容渐变的视频的处理效果欠佳和算法复杂等问题,文章提出一种自适应的视频关键帧提取方法,利用梯度方向直方图(histogram of oriented gradients,HOG)特征计算当前帧的代表性指标,初步选出候选关键帧,使用结合目标分割和颜色直方图的高级特征进行冗余度检查,最终确定关键帧集合。通过对大量包含各种场景的视频进行实验,结果表明使用该文算法提取的关键帧能更全面地表达视频的主要内容,尤其是处理内容渐变的视频时,效果更佳,并且能够根据视频的内容自适应地确定关键帧数目。     

基于奇异值分解的视频拷贝检测研究

针对传统的视频拷贝检测算法计算量大、对视频变化敏感等问题,提出一种新的视频指纹算法来产生包含时空域信息的关键帧。采用奇异值分解的方法提取视频关键帧的特征向量,对视频特征序列进行降维。改进的视频拷贝检测算法对噪声、帧平移、帧旋转、丢帧等有很好的鲁棒性。与以往的拷贝算法相比,提高了视频拷贝检测的查全率和准确率,降低了误码率,与源视频具有较高的匹配率。     

基于相对编辑相似度的近似重复视频检索和定位

为有效对近似重复视频进行检索和定位,提出了一种基于相对编辑相似度的检索和定位算法.算法包括基于局部特征的视频编码和基于相对编辑相似度的在线检索和定位两部分.基于局部特征的视频编码首先提取数据库视频的关键帧,然后在关键帧中提取Root-SIFT特征描述符并应用层次K-Means聚类算法构建词典,之后将关键帧量化至词袋模型的单词并编码.基于相对编辑相似度的在线检索和定位首先对查询视频进行编码,然后应用相对编辑相似度算法,筛选近似重复视频并对近似重复片段进行定位.实验结果表明,LD算法比Yeh等提出的算法在平均F₁评价准则上效果要高8.55%,并且NDCR降低为原来的29%,效果提升明显.      

基于DCE算法的压缩域视频镜头分割方法

镜头分割是视频检索的结构化基础,为此提出一种高效的视频镜头分割方法.首先,在压缩域中提取视频流中I帧携带的特征信息,并生成帧间特征分布曲线;然后,利用离散曲线演化(DCE)算法对预处理过的曲线进行分析与演进;最后,分割出视频镜头并提取关键帧.试验结果表明:该方法充分考虑了视频编码的时序特点,具有较好的分割效果,鲁棒性强.     

基于DWT-DCT-SVD的鲁棒盲视频水印算法

为更有效地保护多媒体数据,文中提出了一种基于DWT(discrete wavelet transform)、DCT(discrete cosine transform)与SVD(singular value decomposition)结合的盲视频水印算法.利用视频帧内的R、G通道的颜色差值进行关键帧的快速选取,将关键帧的B分量进行多级离散小波变换,对变换后的子带进行Arnold置乱,将水印嵌入到置乱后的子带奇异值中.当嵌入水印视频受到攻击时,利用彩色图像各颜色通道间像素差值很小和奇异值分解的稳定性,用嵌入水印视频关键帧的G分量代替原始视频关键帧的B分量,实现水印的盲提取.实验结果表明,该算法对噪声、滤波、裁剪、帧置乱、帧平均、MPEG(moving pictures experts group)压缩等攻击具有较好的鲁棒性.     

CVS中基于块分类的自适应阈值调整组稀疏重构

针对基于结构相似性的帧间组稀疏表示重构(SSIM-InterF-GSR)算法在重构平稳区域时未能充分利用高质量重构的关键帧信息,且稀疏化处理阈值的数值设置不合理的问题,提出了基于块分类的自适应阈值调整组稀疏重构(BC-ATA-GSR)算法。首先,根据块内物体运动状态分类图像块并分配合理的参考帧,以提高视频序列平稳区域的重构质量;然后,根据采样率以及图像块种类自适应设置稀疏化初始阈值,以保留足够的结构信息;最后,提出了迭代阈值梯度缩减方案,以便在提升迭代后期重构质量的同时也加快迭代收敛速度。与SSIM-InterF-GSR算法相比,BC-ATA-GSR算法取得了更好的重构质量,重构QCIF和CIF视频序列的平均PSNR分别最高提升了3.77、2.28 dB,时间复杂度最多下降了42.08%。