视频分割与场景聚类算法研究

本文介绍了实现视频分割和场景聚类的算法.首先用X2直方图匹配法检测镜头切换,梯度法检测镜头淡入淡出;然后对镜头内非相邻帧间距离经过阈值判断提取关键帧;进一步基于镜头的关键帧集计算镜头间的相似度,对相似度大于阈值的镜头进行聚类;最后给出了典型实验结果,表明上述算法对视频分割和镜头聚类有较好的性能.     

一种基于MPEG-7颜色特征和块运动信息的关键帧提取方法

为了改进现有关键帧提取方法在相邻帧间相似性测度方面的不足,提出一种基于MPEG-7颜色布局特征匹配和块运动信息度量的关键帧选取方法。给出颜色布局特征的提取、相似度计算方法以及利用图像分块计算运动信息的方法,并结合距离累加算法提取视频镜头关键帧。实验结果表明,本方法比基于图像综合特征关键帧提取方法检索性能有明显提高,不易产生冗余和漏检,提取的关键帧能够充分代表镜头的内容。     

基于DCE算法的压缩域视频镜头分割方法

镜头分割是视频检索的结构化基础,为此提出一种高效的视频镜头分割方法.首先,在压缩域中提取视频流中I帧携带的特征信息,并生成帧间特征分布曲线;然后,利用离散曲线演化(DCE)算法对预处理过的曲线进行分析与演进;最后,分割出视频镜头并提取关键帧.试验结果表明:该方法充分考虑了视频编码的时序特点,具有较好的分割效果,鲁棒性强.     

基于GEP自动聚类算法的视频关键帧提取方法

视频关键帧提取技术是视频数据处理研究领域的热点研究问题.该文针对现有的镜头边界检测技术不能有效提取关键帧的不足,提出一种基于小波边缘检测算子的自适应分块视频镜头边界检测算法.通过检测视频镜头变化,得到分割的镜头,然后对视频帧提取图像特征,并利用基因表达式编程(GEP)的自动聚类功能对视频帧进行聚类,提出并实现了基于GEP自动聚类的视频关键帧提取算法(KFC‐GEP).实验证明该方法能较好的提取视频序列的关键帧.     

一种基于互信息量的关键帧提取方法

关键帧提取技术是视频分析和基于内容的视频检索的基础,关键帧的使用大大减少了视频索引的数据量,同时也为视频摘要和检索提供了一个组织框架.介绍了目前的关键帧提取技术,提出了一种基于互信息量的关键帧提取方法,实验证明该方法能较好地提取出视频序列的关键帧.     

视频摘要系统的技术研究与实现

本文针对未进行后期编辑的视频序列设计了一个视频摘要系统.以视频帧图像的累积直方图来提取图像特征,有效地解决了光照的改变使镜头内直方图差异较大以及直方图对物体/摄像机的运动的鲁棒性有限两大问题,并结合了滑动窗口算法,有效地实现对视频序列的镜头边界检测.另外,本文还提出了一种基于镜头和图像内容的关键帧提取算法,降低计算的复杂度,并且提取的关键帧能更全面准确地体现原视频的内容.     

基于人工免疫有序聚类的视频关键帧提取方法

针对现有的基于无监督聚类的视频关键帧提取方法没有考虑镜头内容的时序性、对初始类的划分较敏感、易陷入局部最优等问题,提出了一种新的基于人工免疫的有序样本聚类算法.在传统人工免疫聚类算法的基础上引入了抗原记忆识别机制及改进了抗体的克隆与超变异机制,并在此基础上给出了基于人工免疫有序聚类的视频关键帧提取方法.该方法将镜头帧序列看成一个入侵机体的抗原序列,然后基于首次应答与再次应答机制依次为每个抗原产生记忆细胞池,最终每个记忆细胞池能识别的邻近抗原对应一个类别并选取距其类中心最近的帧为关键帧.对大量不同类型的视频进行了试验.结果表明,该方法能得到较高的保真度和压缩率,能够十分有效地提取出反映镜头内容变化的关键帧.     

基于HOG-LBP特征和SVM分类器的视频摘要方法

为了提高视频摘要质量、高效地获取视频信息,提出了一种基于HOG-LBP特征和SVM分类器的视频摘要方法。首先,从分解到的视频序列中提取形状和纹理特征。其次,利用训练好的支持向量机对待检测图像进行分类,并将分类正确的帧暂定为关键帧。最后,运用图像余弦相似度方法剔除其中的冗余帧,并将最终保留下的关键帧按照原始视频中出现的时间顺序依次组合起来,形成视频摘要。实验结果表明,提出的算法在三个不同场景视频中提取关键帧的平均正确率达到94.08%,平均错误率仅为23.18%。算法提取到的关键帧准确率较高且内容具有代表性,视频摘要质量得到有效改善。     

融合局部特征和全局特征的视频拷贝检测

近年来,出于保护版权以及避免资源浪费等需要,基于内容的视频拷贝检测技术成为了一大研究热点。为了克服局部特征和全局特征的缺陷,该文提出了融合局部特征和全局特征的视频拷贝检测算法。该算法结合了分块Harris角点和分块亮度顺序,避免了采用单一特征鲁棒性差的问题,能够适应视频图像的重编码、亮度、局部遮挡和水平翻转等变化。此外,该文提出了基于信息熵的关键帧提取算法,优化了关键帧的选取;同时结合倒排索引的技术,极大地提高了检索效率。实验表明:该算法能有效地提高视频拷贝检测的准确性,同时在速度上也满足应用需要。     

遗传算法优化LVQ网络的监控视频关键帧内容识别

为解决监控视频检索中公安视频侦查关注目标的识别问题,提出一种基于遗传算法优化LVQ神经网络的关键帧内容识别方法。首先通过运动目标检测及二值图像的聚散熵,对监控视频进行子镜头划分,从而提取视频关键帧。其次归一化关键帧中的待识别目标,提取待识别目标的形状统计特征。再次构造LVQ网络并利用遗传算法对网络的初始权值进行优化,训练网络实现关键帧内容识别。最后列举出该方法的实验结果及性能分析。该方法在关键帧内容识别的准确性和鲁棒性上都有良好表现。     

基于融合MPEG-7描述子和二次预测机制的视频自动分类算法

针对互联网上日益增长的视频数量，提出了一种大量融合MPEG 7描述子并启用二次预测机制的视频自动分类方法.研究了颜色、纹理、形状、运动等9种MPEG 7描述子，从5类视频中提取并融合这些描述子作为视频的整体特征，输入支持向量机（SVM）中进行模型训练和预测.在传统支持向量机的1 1方法中，通过启用二次预测机制来提高分类的准确率.实验结果表明，该方法与其他方法相比有较高的准确率，适合大规模、复杂环境下的视频自动分类任务.     

视频剪辑查询结合时空金字塔匹配的视频检索方法

针对视频检索系统中目标持续移动从而影响检索精度的问题,提出一种基于视频剪辑查询融合时空金字塔匹配(spatio-temporal pyramid matching,STPM)方法.借助基于特征分析和分类的片段编辑检测器将新的视频分割成多个片段,以元数据信息将视频片段存入数据库,利用基于逐帧特征结合弱分类器的boosting算法检测视频片段边界,针对新的查询视频进行分析和线上视频匹配,并利用时空金字塔匹配计算相关反馈值.在中佛罗里达大学(university of central Florida,UCF)数据集和YouTube运动视频上的实验验证了方法的有效性,实验结果表明,方法的平均精度可高达97.6％,相比其他几种较为新颖的匹配方法,取得了更好的检索性能.     

基于深度学习跨清晰度的鞋面检索——从足迹图像到视频中锁定犯罪嫌疑人的应用

如何有效利用鞋样联合监控视频中提取行人所穿鞋子信息进而锁定嫌疑人在视频中的位置是一个新的课题。基于深度学习的跨清晰度的鞋面检索算法可以解决视频提取的低清鞋子与高清鞋面比对检索的难题,从而打通从足迹到视频中锁定嫌疑人的通路。算法在实现过程中,加入网络分支、特定损失函数、随机变换等手段。在1172组样本检索测试中,算法累计查中率首位达到66.2%,前5达到85.8%。实验证明,在客观指标和主观验证均达到较高的应用级别水准。     

基于模糊积分融合的复杂场景下人体行为识别

利用局部特征描述符来表征视频中一系列关键点的方法已被广泛应用于识别复杂场景下的人体行为,但这些关键点之间隐含的结构化的位置关系目前并未得到有效表征.为此,文中首先采用尺度不变的关键点的检测子和3D-Harris检测子检测视频样本中的局部关键点,结合已有的局部特征描述符和形状描述符来表征关键点位置之间结构化的信息,然后利用bag-of-features模型来计算这些特征的分布,再通过模糊积分对这些局部特征进行有效融合,并给出具体的算法描述.在具有复杂场景的YouTube数据集下的实验表明,所提出的局部特征表征方法能够更有效地表征复杂场景中的人体行为,模糊积分融合方法可有效进行决策层融合.     

一种基于局部运动特征的视频检索方法

在基于运动内容的视频检索中 ,视频中的局部物体运动常是用户关心的重点。在利用全局运动模型参数对运动估计的基础上 ,提出了一种从一般视频序列中提取局部物体运动矢量的方法 ,并以局部运动矢量场的方向直方图作为检索特征 ,实现了一个基于局部运动信息的视频检索系统。实验表明 :基于局部运动信息的检索机制使该系统能够较好地检索到符合人们主观理解的运动视频内容     

视频编码中Lagrange乘子自适应调整算法

为改进视频编码算法的率失真性能,提出了一种应用于视频编码率失真优化算法中的Lagrange乘子自适应调整算法。该算法以信源数据的统计分布为理论基础,将视频编码序列的变换系数方差引入到Lagrange乘子的计算过程中来,使得Lagrange乘子的取值可以根据图像内容变化特性进行自适应的调整。实验结果证明,与传统的Lagrange乘子的取值算法相比,该算法可以取得更好的率失真性能,尤其应用在低码率的视频序列中效果更为明显,同等码率下可以将峰值信噪比提高0.1～0.2 dB。     

AVS立体视频编码标准

AVS (audio video coding standard) 工作组是由中国信息产业部科学技术司批准成立的数字音视频编解码技术标准工作组, 其任务是制定面向国内和国际应用需求的一系列技术标准. 2008 年起, AVS工作组展开了双目立体视频编码标准的制定工作,即在AVS-P2 中采用双路拼接和双目联合预测两种立体视频编码方案, 并且为了支持不同终端的立体视频服务, 系统层分别对每种编码方案设置独立的内容描述子, 以告知接收端传输的内容与相关格式. 如今, AVS 双目立体视频编码标准的制定工作已接近尾声, 而多视点视频编码标准和自由视点视频编码标准的制定将成为AVS 3D Adhoc工作组下一阶段的研究目标.     

一种基于音频词袋的暴力视频分类方法

针对网络视频的监管需求,提出了一种基于音频词袋的暴力视频分类方法.采用提取视频中音频流的多媒体内容描述接口（MPEG 7）音频特征（包括音频频谱质心,音频频谱带宽等低层音频特征.）及MPEG 7高层特征——音频签名,来构造每段视频特有的音频词汇,采用该音频词汇出现的频率形成音频词袋特征.采用支持向量机对暴力和非暴力视频进行分类.把词袋模型应用到暴力音频特征分类中,对于不同音频词汇量采用了独特的词汇权重分配机制,同时借助特有的针对暴力视频的分类策略,以提高分类效果.通过3组实验,对不同的音频特征的准确率、不同词汇的分类效果、以及对视觉特征粗分类的精确分类进行了研究.实验结果表明,该方法有较好的查全率.