基于人工免疫有序聚类的视频关键帧提取方法

针对现有的基于无监督聚类的视频关键帧提取方法没有考虑镜头内容的时序性、对初始类的划分较敏感、易陷入局部最优等问题,提出了一种新的基于人工免疫的有序样本聚类算法.在传统人工免疫聚类算法的基础上引入了抗原记忆识别机制及改进了抗体的克隆与超变异机制,并在此基础上给出了基于人工免疫有序聚类的视频关键帧提取方法.该方法将镜头帧序列看成一个入侵机体的抗原序列,然后基于首次应答与再次应答机制依次为每个抗原产生记忆细胞池,最终每个记忆细胞池能识别的邻近抗原对应一个类别并选取距其类中心最近的帧为关键帧.对大量不同类型的视频进行了试验.结果表明,该方法能得到较高的保真度和压缩率,能够十分有效地提取出反映镜头内容变化的关键帧.     

视频分割与场景聚类算法研究

本文介绍了实现视频分割和场景聚类的算法.首先用X2直方图匹配法检测镜头切换,梯度法检测镜头淡入淡出;然后对镜头内非相邻帧间距离经过阈值判断提取关键帧;进一步基于镜头的关键帧集计算镜头间的相似度,对相似度大于阈值的镜头进行聚类;最后给出了典型实验结果,表明上述算法对视频分割和镜头聚类有较好的性能.     

基于GEP自动聚类算法的视频关键帧提取方法

视频关键帧提取技术是视频数据处理研究领域的热点研究问题.该文针对现有的镜头边界检测技术不能有效提取关键帧的不足,提出一种基于小波边缘检测算子的自适应分块视频镜头边界检测算法.通过检测视频镜头变化,得到分割的镜头,然后对视频帧提取图像特征,并利用基因表达式编程(GEP)的自动聚类功能对视频帧进行聚类,提出并实现了基于GEP自动聚类的视频关键帧提取算法(KFC‐GEP).实验证明该方法能较好的提取视频序列的关键帧.     

基于自适应阈值的聚类算法提取关键帧研究

针对当前预先指定聚类算法阈值提取关键帧的问题,使用MPEG-7标准中的主颜色描述子对视频帧进行描述, 以镜头内相邻两帧的相似性测度为数据样本,自适应地确定聚类所需的阈值,并以该阈值去指导同类视频的关键帧提取,提高关键帧提取的效率.实验证明,该方法能较好的提取视频序列的关键帧.     

基于动态帧的视频关键帧提取算法研究

针对基于内容的视频检索系统,提出了一种关键帧提取算法.为了提高算法的保真度和压缩比,首先构造了动态帧,它的每个像素对应一个像素代表灰度集合,该集合中的元素可以最大限度地代表镜头中相应像素的灰度值,然后根据镜头中每一帧与该镜头动态帧之间的距离来确定关键帧.为了验证本算法的有效性,选取了大量视频与TMOF算法及SKF算法进行比较.结果表明:该算法具有较高的准确性和可靠性,保真度和压缩比均高于其他两种算法.     

一种基于MPEG-7颜色特征和块运动信息的关键帧提取方法

为了改进现有关键帧提取方法在相邻帧间相似性测度方面的不足,提出一种基于MPEG-7颜色布局特征匹配和块运动信息度量的关键帧选取方法。给出颜色布局特征的提取、相似度计算方法以及利用图像分块计算运动信息的方法,并结合距离累加算法提取视频镜头关键帧。实验结果表明,本方法比基于图像综合特征关键帧提取方法检索性能有明显提高,不易产生冗余和漏检,提取的关键帧能够充分代表镜头的内容。     

面向手语识别的视频关键帧提取和优化算法

基于计算机视觉的手语识别技术可以为聋校的双语教学带来很大的便利,而手语识别技术的难点之一在于视频关键帧的提取.根据手语视频关键帧的特点和手语者的手语习惯,提出了一种面向手语识别的视频关键帧提取和优化算法.首先利用卷积自编码器提取视频帧的深度特征,对其进行K-means聚类,在每类视频帧中采用清晰度筛选取出最清晰的视频帧...     

基于聚类和超限学习机分类模型的跌倒检测算法

针对视频跌倒检测中对目标运动状态描述不完整和识别准确率不高的问题,提出一种基于聚类和超限学习机分类模型的跌倒检测算法,通过聚类算法对视频进行关键帧采样,建立特征模型,构建基于超限学习机的跌倒检测分类器,从而实现对跌倒行为的判断。结果表明:采用聚类的方法提取关键帧能够有效地剔除冗余图像帧,提高算法的准确度,也证明了超限学习机分类模型相较于其他分类器具有更好的分类性能。     

基于HOG-LBP特征和SVM分类器的视频摘要方法

为了提高视频摘要质量、高效地获取视频信息,提出了一种基于HOG-LBP特征和SVM分类器的视频摘要方法。首先,从分解到的视频序列中提取形状和纹理特征。其次,利用训练好的支持向量机对待检测图像进行分类,并将分类正确的帧暂定为关键帧。最后,运用图像余弦相似度方法剔除其中的冗余帧,并将最终保留下的关键帧按照原始视频中出现的时间顺序依次组合起来,形成视频摘要。实验结果表明,提出的算法在三个不同场景视频中提取关键帧的平均正确率达到94.08%,平均错误率仅为23.18%。算法提取到的关键帧准确率较高且内容具有代表性,视频摘要质量得到有效改善。     

基于二分K均值聚类和最近特征线的视频超分辨率重建方法

提出一种基于二分K均值聚类和最近特征线的视频超分辨率重建方法.该方法在生成图像块训练样本库阶段,为了解决传统K均值算法对图像块聚类时间复杂度较大的问题,设计一种基于二分K均值图像块聚类算法,用以实现快速构建初始训练样本库;在视频帧超分重建阶段,通过改进的最近特征线方法扩充样本库,并舍弃其中的不合适样本,提升样本库的表达能力.该视频超分辨率重建方法应用于基于关键帧的视频超分辨率重建,首先对时序上近邻的两个关键帧下采样并分块,然后使用图像块聚类算法构建初始训练样本库;对于这两个关键帧之间的低分辨率帧,使用改进的最近特征线方法扩充的训练样本库重建出对应的高分辨率帧.实验结果表明,提高了视频超分辨率重建的时间效率,同时也提升了每一帧重建图像的主客观质量,证明了算法的有效性.     

基于子镜头聚类方法的关键帧提取技术

分析主流的关键帧提取技术,提出了一种基于子镜头聚类的关键帧提取算法.该方法在重新定位镜头的起始和终止帧号后,利用帧与帧之间的颜色直方图特征,通过子镜头检测和聚类进行关键帧提取.实验结果表明,该算法具有良好的适应性,既降低了关键帧提取算法的计算复杂度,正确率高,同时能有效避免关键帧的冗余,达到了很好的关键帧提取效果.     

一种基于最短路径的视频摘要方法

以简短的内容概括原始视频,是对原始视频的浓缩或者总结。传统的视频摘要方法有基于聚类的方法,通过视频帧的局部或全局特征将视频帧分成多个有代表性的集群,在每个集群中提取关键帧,最后去除冗余生成摘要;也有基于图模型的方法,将视频帧作为顶点,连接顶点的边表示帧间的关系,通过图的模块化信息提取关键帧。文章将聚类方法和图模型的方法结合并优化,提出了一种新的基于最短路径算法的视频摘要方法(shortest path for video summary,SPVS)。SPVS方法将视频摘要问题转化为最短路径求解问题,路径上的帧即为关键帧,在数据集上的大量主客观实验结果都表明其具有良好的性能。     

动态时域检测窗口的快速关键帧提取方法

在镜头检测基础上对帧图像进行逐帧处理、分析,从而获取关键帧的方法导致提取速度较慢,无法满足实时性要求。针对上述缺点,提出动态时域检测窗口的快速关键帧提取方法。该方法通过时域检测窗口把视频序列分割成长度不等的单元,并对窗口左右边缘帧以及窗口内的抽样帧进行分析、对比,从而判断视频单元的内容变化。同时,采用窗口混合增长模式和窗口慢检测机制保证关键帧提取的质量和速度。最终,对提取的关键帧序列进行聚类,得到最优的关键帧。实验证明,对于不同类型的视频,该方法都具有较高的综合评价性能。     

视频媒体网络中基于轨迹优化的监控图像聚类算法

为了解决视频媒体网络环境中监控图像随机性较强、特征较为复杂,导致聚类效果不佳、空间畸变率高等问题,引入轨迹优化技术对视频媒体网络中监控图像进行聚类。通过采集视频媒体网络中监控图像的关键帧,挖掘监控图像的时空轨迹,并根据监控视频图像背景的隶属度计算结果,提取监控图像色彩、边缘等基本特征;计算监控内容、时间及空间的相似度,采用层次聚类算法对相似度较高的监控图像进行单元合并,并以视频轨迹为标准实现聚类融合,输出最终的聚类结果。实验结果表明,使用本文算法得出的聚类结果,平均畸变率仅为0.85%,比传统算法降低了4.65%。     

一种视频时空特征提取算法及其应用研究

目前基于内容特征的视频检索系统,大多采用提取视频关键帧的颜色、纹理、形状等底层特征,来进行视频相识度匹配,这些底层特征是基于全局统计或者人工设计的特征提取方式,存在泛化抽象能力不强、易受光照和噪声的影响等问题,同时,由于未考虑视频帧时序上的关联性,导致视频检索精度偏低。为此,基于深度学习框架,提出了一种视频时空特征提取算法。该算法以关键帧附近16帧图像作为学习源,采用三维卷积神经网络,融合帧的内容特性和时序变化特性,获取4 096维特征向量作为新的视视时空特征描述子。在标准动作视频数据集UCF-101上进行实验,结果表明该特征能显著提高视频检索精度,在查全率为90%的情况下,平均查准率不低于84%,检索效果优于传统视频检索方法。     

基于场景的视频摘要生成方法

针对如何在语义层次上形成视频摘要问题,提出了一种基于场景的视频摘要生成算法.首先利用类内和类间损失对场景进行分类,然后根据语义概念"重要度"从镜头类和场景提取视频摘要的构成帧,最后将选取的关键帧根据时间顺序排序,构成静态浏览型的视频摘要.实验证明该方法可以用少量的视频帧有效地表示视频的主要内容,并能有效地保持视频内容的连续性.     

视频摘要系统的技术研究与实现

本文针对未进行后期编辑的视频序列设计了一个视频摘要系统.以视频帧图像的累积直方图来提取图像特征,有效地解决了光照的改变使镜头内直方图差异较大以及直方图对物体/摄像机的运动的鲁棒性有限两大问题,并结合了滑动窗口算法,有效地实现对视频序列的镜头边界检测.另外,本文还提出了一种基于镜头和图像内容的关键帧提取算法,降低计算的复杂度,并且提取的关键帧能更全面准确地体现原视频的内容.     

使用日夜两用型红外摄像机进行火焰检测

为了提高火灾监控的准确性和及时性,并最大限度地利用已有硬件设备,提出一种使用日夜两用型红外摄像机的火灾自动监控方法.根据红外图像RGB空间的色彩分布特点,设计视频类型判断算法,实现视频图像类型自动切换.通过红外状态与可见光状态两类状态下的焰色模型提取火焰疑似区域.对疑似火焰区域提取不规则度、角点量、闪烁频率和帧间相关性等4个静态及动态检测特征.通过减聚类和模糊C均值聚类相融合的方式优化训练样本,并分别训练2种状态下的火焰识别神经网络分类器.实验结果表明:视频类型判别平均准确率93.07%,21段火焰或干扰视频均能正确检测,报警时间小于8s,帧处理速度达到25帧/s以上.对室内自动火灾监控的精度高、抗干扰能力强、处理速度实时和适应全天候监控等.     

基于改进关键帧选择的RGB-D SLAM算法

关键帧选择是提高视觉SLAM(simultaneous localization and mapping)算法精度及实时性的重要因素.关键帧常以图像的帧间相对运动距离为选择依据.该方法虽简单有效,但实时性、鲁棒性较差且容易产生大量冗余关键帧.针对上述问题,提出一种改进的关键帧选择算法.该算法整合了帧间相对运动距离、帧间特征点跟踪以及最小视觉变化来选择关键帧并删除冗余关键帧.基于该算法,结合具有较好方向和光照不变性的ORB(oriented FAST and rotated BRIEF)特征,实现了RGB-D SLAM算法.在RGB-D数据集上的实验表明,改进的关键帧选择算法能够更精准、及时地选择关键帧,并在减少RGB-D SLAM中冗余关键帧的同时提高算法的实时性、建图和定位精度.     

基于相对编辑相似度的近似重复视频检索和定位

为有效对近似重复视频进行检索和定位,提出了一种基于相对编辑相似度的检索和定位算法.算法包括基于局部特征的视频编码和基于相对编辑相似度的在线检索和定位两部分.基于局部特征的视频编码首先提取数据库视频的关键帧,然后在关键帧中提取Root-SIFT特征描述符并应用层次K-Means聚类算法构建词典,之后将关键帧量化至词袋模型的单词并编码.基于相对编辑相似度的在线检索和定位首先对查询视频进行编码,然后应用相对编辑相似度算法,筛选近似重复视频并对近似重复片段进行定位.实验结果表明,LD算法比Yeh等提出的算法在平均F₁评价准则上效果要高8.55%,并且NDCR降低为原来的29%,效果提升明显.