基于GEP自动聚类算法的视频关键帧提取方法

视频关键帧提取技术是视频数据处理研究领域的热点研究问题.该文针对现有的镜头边界检测技术不能有效提取关键帧的不足,提出一种基于小波边缘检测算子的自适应分块视频镜头边界检测算法.通过检测视频镜头变化,得到分割的镜头,然后对视频帧提取图像特征,并利用基因表达式编程(GEP)的自动聚类功能对视频帧进行聚类,提出并实现了基于GEP自动聚类的视频关键帧提取算法(KFC‐GEP).实验证明该方法能较好的提取视频序列的关键帧.     

一种新的视频镜头边界检测及关键帧提取方法

根据视频邻域片段变化的特点提出了镜头边界系数模型,镜头边界系数具有良好的抗噪能力,且对视频帧的时域变化有较好的描述能力,可用于镜头边界检测与关键帧提取.它可以单独检测镜头边界,也可以与传统的基于帧差的镜头边界检测方法相结合检测镜头边界.在提取关键帧时,根据镜头边界系数的分布,自适应地确定镜头内的关键帧数,用非极大值抑制方法与基于镜头边界系数的优先级方法确定关键帧的位置.实验结果表明,该方法在镜头边界检测性能上要优于已有的基于帧差的镜头边界检测方法,提取的关键帧对镜头的视觉内容具有较好的表达能力,且可在视频回放时实时执行.     

视频摘要系统的技术研究与实现

本文针对未进行后期编辑的视频序列设计了一个视频摘要系统.以视频帧图像的累积直方图来提取图像特征,有效地解决了光照的改变使镜头内直方图差异较大以及直方图对物体/摄像机的运动的鲁棒性有限两大问题,并结合了滑动窗口算法,有效地实现对视频序列的镜头边界检测.另外,本文还提出了一种基于镜头和图像内容的关键帧提取算法,降低计算的复杂度,并且提取的关键帧能更全面准确地体现原视频的内容.     

基于奇异值分解的视频拷贝检测研究

针对传统的视频拷贝检测算法计算量大、对视频变化敏感等问题,提出一种新的视频指纹算法来产生包含时空域信息的关键帧。采用奇异值分解的方法提取视频关键帧的特征向量,对视频特征序列进行降维。改进的视频拷贝检测算法对噪声、帧平移、帧旋转、丢帧等有很好的鲁棒性。与以往的拷贝算法相比,提高了视频拷贝检测的查全率和准确率,降低了误码率,与源视频具有较高的匹配率。     

基于自适应阈值的聚类算法提取关键帧研究

针对当前预先指定聚类算法阈值提取关键帧的问题,使用MPEG-7标准中的主颜色描述子对视频帧进行描述, 以镜头内相邻两帧的相似性测度为数据样本,自适应地确定聚类所需的阈值,并以该阈值去指导同类视频的关键帧提取,提高关键帧提取的效率.实验证明,该方法能较好的提取视频序列的关键帧.     

基于子镜头聚类方法的关键帧提取技术

分析主流的关键帧提取技术,提出了一种基于子镜头聚类的关键帧提取算法.该方法在重新定位镜头的起始和终止帧号后,利用帧与帧之间的颜色直方图特征,通过子镜头检测和聚类进行关键帧提取.实验结果表明,该算法具有良好的适应性,既降低了关键帧提取算法的计算复杂度,正确率高,同时能有效避免关键帧的冗余,达到了很好的关键帧提取效果.     

基于HOG-LBP特征和SVM分类器的视频摘要方法

为了提高视频摘要质量、高效地获取视频信息,提出了一种基于HOG-LBP特征和SVM分类器的视频摘要方法。首先,从分解到的视频序列中提取形状和纹理特征。其次,利用训练好的支持向量机对待检测图像进行分类,并将分类正确的帧暂定为关键帧。最后,运用图像余弦相似度方法剔除其中的冗余帧,并将最终保留下的关键帧按照原始视频中出现的时间顺序依次组合起来,形成视频摘要。实验结果表明,提出的算法在三个不同场景视频中提取关键帧的平均正确率达到94.08%,平均错误率仅为23.18%。算法提取到的关键帧准确率较高且内容具有代表性,视频摘要质量得到有效改善。     

最优距离聚类和特征融合表达的关键帧提取

为了提高视频关键帧提取的质量和效率,提出一种基于最优距离聚类和特征融合表达的视频关键帧提取算法。在视频帧间差异性分析基础上,寻找并确定最优帧间距离阈值,采用无监督聚类算法对帧间距离进行聚类,获得类别数目最优的类图像集;计算图像的颜色复杂度和信息熵并融合,按照类中图像特征值"平均"的思想提取类代表帧,组成视频关键帧。对4个监测视频进行实验,结果显示:该算法提取关键帧的平均保真度为96.72%、平均压缩率为96.42%,运行时间也较短,与两种典型的基于聚类的关键帧提取方法相比,在相同的压缩率情况下,算法保真度大幅度提高,而运行时间较小或相当。该算法解决了无监督聚类对阈值的依赖性问题,兼顾了视频中运动目标变化和环境异常两种情况,具有良好的性能和适应性。     

基于时空域能量可疑度的视频篡改检测与篡改区域定位

针对视频中运动目标从固定背景中移除的情况,提出一种基于能量可疑度计算的视频篡改检测方法,能定位时域和空域上的篡改位置.首先,计算视频各帧能量可疑度,提取时域上的篡改帧序列,再通过帧差法计算可疑运动点图像,提取空域上的可疑运动图像块,根据能量可疑度排除干扰图像块,确定目标移除块,从而实现空域上的篡改定位.实验结果表明,该方法能有效地检测出在固定背景下运动目标是否被移除.     

基于人工免疫有序聚类的视频关键帧提取方法

针对现有的基于无监督聚类的视频关键帧提取方法没有考虑镜头内容的时序性、对初始类的划分较敏感、易陷入局部最优等问题,提出了一种新的基于人工免疫的有序样本聚类算法.在传统人工免疫聚类算法的基础上引入了抗原记忆识别机制及改进了抗体的克隆与超变异机制,并在此基础上给出了基于人工免疫有序聚类的视频关键帧提取方法.该方法将镜头帧序列看成一个入侵机体的抗原序列,然后基于首次应答与再次应答机制依次为每个抗原产生记忆细胞池,最终每个记忆细胞池能识别的邻近抗原对应一个类别并选取距其类中心最近的帧为关键帧.对大量不同类型的视频进行了试验.结果表明,该方法能得到较高的保真度和压缩率,能够十分有效地提取出反映镜头内容变化的关键帧.     

基于分层聚类法的视频摘要技术

介绍基于分层聚类法的视频摘要技术，与以往视频摘要技术相比较，这种方法不用选取阚值，可以方便地控制关键帧数量，并对关键帧采用分层显示的方法，使视频摘要简单明了，为用户提供了非线形浏览视频的服务。最后提出一些改进措施。     

基于两级支持向量机分类的视频镜头分割方法

提出一种基于两级支持向量机分类的视频镜头分割方法.第1级分类器利用分段视频首尾帧直方图距离,结合滑动窗口和陷波方法计算分段视频的特征向量,通过支持向量机来分类筛选含有镜头边界的子段;第2级分类器根据不同间距的帧间直方图的距离特征,采用时间窗口法构造特征向量,利用二叉树支持向量机多分类策略检测镜头边界的位置.结果表明,所提出的方法能够同时提高切变和渐变的镜头边界的检测效果.     

A Study of Video Scenes Clustering Based on Shot Key Frames

0IntroductionRgecreonwtlinyg ,itnhcer aeapspienagrlayn.ceI nan tdh eus per oofce mssuilntig m oefdi aal lh akviend bsee onfmedia ,that of video dataisthe most challengingtask,for vid-eo dataincludes other kinds of media data.Itis difficult to an-alyze, browse and retrieve video data stream due to theirlengths and non-structure characteristics .Inthe past ,the study of video datafocus onthe shots de-tection and videoretrieve based onshot .Butin most video da-ta,the content granularity of shot …     

FEDDR:一套实用的地下排水管道缺陷智能检测系统

地下排水管道缺陷检测是地下管线高效管理的基础，也是实现“智慧城市”的关键性问题。针对工程项目中对管道缺陷判别的需要，提出并实现了一套实用的地下排水管道缺陷智能检测FEDDR(frame extracting-detection-duplicate removal)系统，将视频缺陷检测过程分为检测前的视频预处理阶段、缺陷检测模型构建阶段以及缺陷检测优化3个阶段，采用帧间差分算法及VGG16网络对管道视频抽帧处理，筛选出兴趣检测帧，减少待检测数据量；选取YOLOv3为网络主框架，用轻量高效的EfficientNet结构替换原来的主干网络，采用迁移学习策略，用自建数据集Pipe-DATA对其进行训练，建立起高效的管道缺陷检测模型，并在检测帧输出检测结果时采用两次输出的优化策略来防止缺陷漏检；对检测出的缺陷帧图像进行文字识别，去重优化自动生成结果表单。将该方法应用到了某区域的将近3 km的管道视频数据中，共检测出了656个缺陷，与人工判别结果对比，准确率达94.3%,召回率达到98.7%,整个过程一体化完成，大大减少了人工成本，提高了排水管道缺陷的检测效率，具有工程实用性。     

基于特征提取的健美操分解动作图像自适应识别方法

为了解决传统方法容易受运动速率、光照情况、遮挡、复杂背景等的影响,导致识别结果鲁棒性较差的问题,通过特征提取方法研究了健美操分解动作图像自适应识别问题。通过时间能量金字塔把视频序列划分成若干段,得到结果中动作并非全为健美操动作,含大量干扰信息,通过背景消减法对进行健美操运动的人体目标进行提取,进行进一步处理,得到人体轮廓的二值图像序列,求出轮廓外界矩形宽度和高度之比,依据宽高比获取关键帧,通过拉普拉斯法求解相邻差异帧与间的光流,降低背景杂波产生的影响。针对关键帧提取特征向量,通过相似性检测对待识别健美操分解动作图像和提取特征进行匹配,设定相似性阈值,将相似性高于阈值的图像作为识别结果。结果表明：所提方法对单人健美操视频数据库的识别准确率高,仅存在一定程度的混淆;所提方法对含不同场景的复杂数据库的识别准确性和其它方法相比最高。可见所提方法受外界环境干扰小,可保证高识别精度。     

基于光流重构和深度姿态特征的行人跌倒检测方法

随着我国老龄化人群数量的增长,老年人实时行为轨迹的跟踪检测成为当前智慧社区研究的热点。本文针对现有行人跌倒检测算法在面临电动车流和行人影子的干扰而导致识别准确率不高的问题,提出了一种基于优化yolov5的路边行人跌倒检测方法。首先基于视频抽帧的方式将原始数据输入到yolov5网络进行监控行人视频数据的预处理,实现行人背景重构;然后提取光流和anchor框作为其运动特征;最后对此特征进行判定,进行信息融合的跌倒检测网络进行跌倒特征识别,并在不同帧序列和不同背景下进行对比试验。本文所提出的方法在行人跌倒数据集Multiple cameras fall和Le2i上进行了实验,结果表明本文的算法在基于电动车流和行人影子干扰场景下较传统方法在准确率和召回率上分别提升了9%和10%。     

一种音频辅助的视频分割方法研究

视频分割是视频结构化组织的基础，提出一种结合音频和视觉信息的视频分割新方法，即先对视频作基于边变化率的初步分割，然后提取音频的MFCC及其差分系数特征,利用广义似然比（GLR）距离对音频信息进行相似性比较，并检测相应的音频变化点，在此基础上，应用间频分割点对初步的分割进行验证，获得具有一定语义内容的视频段，实验结果表明，方法简单有效，与单一的基于视觉信息的分割方法相比，获得的视频片段语义信息更为完整，同时也避免了分割的过度细碎。     

基于注意力机制的多尺度仪表检测

为实现复杂场景下多尺度仪表检测,提出了一种基于注意力机制的视频多尺度仪表检测算法。首先,利用基于空间注意力机制的特征提取网络,建模特征的长距离依赖,增强特征的表达能力;其次,提出了一种自适应特征选择模块（Adaptive Feature Selection Module, AFSM）,对不同阶段的特征图进行权重调整,增强网络对多尺度目标的检测能力。在自建的仪表数据集上进行了实验。实验结果表明,相比较原来的Faster RCNN方法,所提出方法的检测精度提高了7.6%;与对比方法相比,检测精度也能达到95.4%。在对实际仪表监测视频的测试中,检测结果以及速度能够满足实际需要。所提方法通过改进特征提取网络和特征选择操作,增强了特征表达能力,有效降低了虚警,提升了网络对多尺度目标的检测性能。     

基于深度学习的监控视频树叶遮挡检测

结合稀疏自编码器的自动提取数据特征能力和深度置信网络较好的分类性能,提出一种基于深度学习的监控视频树叶遮挡检测方法。首先从视频中随机选取一帧图像,通过栈式稀疏自编码器主动学习视频图像的特征信息,然后采用深度置信网络建立分类检测模型,最后引入学习速率自适应调整策略对整个神经网络进行微调。该方法不需要对视频连续取帧,具有较好的图像特征主动学习能力,克服了人工提取特征能力有限的缺陷。实验结果表明,在样本量充足的条件下,使用本文方法进行监控视频树叶遮挡检测可以达到88.97%的准确率。     

基于LBP纹理和改进Camshift算子的车辆检测与跟踪

提出了利用背景图像LBP（局部二值模式）纹理和当前帧图像LBP纹理的相似度分析提取前景的方法,克服了车辆检测中常用的帧差法、背景差分法对光照比较敏感的缺点.同时基于H,S,V分量及改进的LBP纹理的联合直方图与金字塔L-K光流法中心跟踪相结合的Camshift跟踪算法,有效地解决了背景目标颜色相近可能会导致跟踪的目标区域加入背景后变大、处理较大帧间位移的视频跟踪上搜索窗口的位置准确度较低的问题.实验证明,该方法具有良好的检测和追踪效果.