一种视频时空特征提取算法及其应用研究

目前基于内容特征的视频检索系统,大多采用提取视频关键帧的颜色、纹理、形状等底层特征,来进行视频相识度匹配,这些底层特征是基于全局统计或者人工设计的特征提取方式,存在泛化抽象能力不强、易受光照和噪声的影响等问题,同时,由于未考虑视频帧时序上的关联性,导致视频检索精度偏低。为此,基于深度学习框架,提出了一种视频时空特征提取算法。该算法以关键帧附近16帧图像作为学习源,采用三维卷积神经网络,融合帧的内容特性和时序变化特性,获取4 096维特征向量作为新的视视时空特征描述子。在标准动作视频数据集UCF-101上进行实验,结果表明该特征能显著提高视频检索精度,在查全率为90%的情况下,平均查准率不低于84%,检索效果优于传统视频检索方法。     

一种基于互信息量的关键帧提取方法

关键帧提取技术是视频分析和基于内容的视频检索的基础,关键帧的使用大大减少了视频索引的数据量,同时也为视频摘要和检索提供了一个组织框架.介绍了目前的关键帧提取技术,提出了一种基于互信息量的关键帧提取方法,实验证明该方法能较好地提取出视频序列的关键帧.     

基于相对编辑相似度的近似重复视频检索和定位

为有效对近似重复视频进行检索和定位,提出了一种基于相对编辑相似度的检索和定位算法.算法包括基于局部特征的视频编码和基于相对编辑相似度的在线检索和定位两部分.基于局部特征的视频编码首先提取数据库视频的关键帧,然后在关键帧中提取Root-SIFT特征描述符并应用层次K-Means聚类算法构建词典,之后将关键帧量化至词袋模型的单词并编码.基于相对编辑相似度的在线检索和定位首先对查询视频进行编码,然后应用相对编辑相似度算法,筛选近似重复视频并对近似重复片段进行定位.实验结果表明,LD算法比Yeh等提出的算法在平均F₁评价准则上效果要高8.55%,并且NDCR降低为原来的29%,效果提升明显.      

遗传算法优化LVQ网络的监控视频关键帧内容识别

为解决监控视频检索中公安视频侦查关注目标的识别问题,提出一种基于遗传算法优化LVQ神经网络的关键帧内容识别方法。首先通过运动目标检测及二值图像的聚散熵,对监控视频进行子镜头划分,从而提取视频关键帧。其次归一化关键帧中的待识别目标,提取待识别目标的形状统计特征。再次构造LVQ网络并利用遗传算法对网络的初始权值进行优化,训练网络实现关键帧内容识别。最后列举出该方法的实验结果及性能分析。该方法在关键帧内容识别的准确性和鲁棒性上都有良好表现。     

一种基于MPEG-7颜色特征和块运动信息的关键帧提取方法

为了改进现有关键帧提取方法在相邻帧间相似性测度方面的不足,提出一种基于MPEG-7颜色布局特征匹配和块运动信息度量的关键帧选取方法。给出颜色布局特征的提取、相似度计算方法以及利用图像分块计算运动信息的方法,并结合距离累加算法提取视频镜头关键帧。实验结果表明,本方法比基于图像综合特征关键帧提取方法检索性能有明显提高,不易产生冗余和漏检,提取的关键帧能够充分代表镜头的内容。     

视频新闻检索系统的实现

与一般基于内容的视频检索相比,新闻视频的管理和检索尤其特殊性,对于关键帧检索很难准确描述的动态信息内容特征。为此,提出基于静态内容特征和运动特征结合检索的方案。整个系统包括了特征提取、视频信息浏览、数据库生成、相似结果反馈等功能。实验表明,该系统依靠不同性质的特征,可以找出与查询要求接近的视频新闻或视频片断,是个有效的基于示例的视频新闻检索系统。     

基于内容的图像检索系统的关键技术

给出了基于内容的图像检索系统的基本框架结构,详细分析了基于内容的图像检索中涉及到的关键技术:镜头分割、关键帧提取、特征检索以及相关反馈等的原理和实现的方法,对基于内容的图像检索的研究进行了展望.     

视频剪辑查询结合时空金字塔匹配的视频检索方法

针对视频检索系统中目标持续移动从而影响检索精度的问题,提出一种基于视频剪辑查询融合时空金字塔匹配(spatio-temporal pyramid matching,STPM)方法.借助基于特征分析和分类的片段编辑检测器将新的视频分割成多个片段,以元数据信息将视频片段存入数据库,利用基于逐帧特征结合弱分类器的boosting算法检测视频片段边界,针对新的查询视频进行分析和线上视频匹配,并利用时空金字塔匹配计算相关反馈值.在中佛罗里达大学(university of central Florida,UCF)数据集和YouTube运动视频上的实验验证了方法的有效性,实验结果表明,方法的平均精度可高达97.6％,相比其他几种较为新颖的匹配方法,取得了更好的检索性能.     

最优距离聚类和特征融合表达的关键帧提取

为了提高视频关键帧提取的质量和效率,提出一种基于最优距离聚类和特征融合表达的视频关键帧提取算法。在视频帧间差异性分析基础上,寻找并确定最优帧间距离阈值,采用无监督聚类算法对帧间距离进行聚类,获得类别数目最优的类图像集;计算图像的颜色复杂度和信息熵并融合,按照类中图像特征值"平均"的思想提取类代表帧,组成视频关键帧。对4个监测视频进行实验,结果显示:该算法提取关键帧的平均保真度为96.72%、平均压缩率为96.42%,运行时间也较短,与两种典型的基于聚类的关键帧提取方法相比,在相同的压缩率情况下,算法保真度大幅度提高,而运行时间较小或相当。该算法解决了无监督聚类对阈值的依赖性问题,兼顾了视频中运动目标变化和环境异常两种情况,具有良好的性能和适应性。     

基于HOG-LBP特征和SVM分类器的视频摘要方法

为了提高视频摘要质量、高效地获取视频信息,提出了一种基于HOG-LBP特征和SVM分类器的视频摘要方法。首先,从分解到的视频序列中提取形状和纹理特征。其次,利用训练好的支持向量机对待检测图像进行分类,并将分类正确的帧暂定为关键帧。最后,运用图像余弦相似度方法剔除其中的冗余帧,并将最终保留下的关键帧按照原始视频中出现的时间顺序依次组合起来,形成视频摘要。实验结果表明,提出的算法在三个不同场景视频中提取关键帧的平均正确率达到94.08%,平均错误率仅为23.18%。算法提取到的关键帧准确率较高且内容具有代表性,视频摘要质量得到有效改善。     

基于感兴趣区域和神经网络的图像检索

提出一种感兴趣区域的图像检索方法,该方法首先采用遗传FCM算法对图像进行分割,然后提取分割后的区域特征进行检索;为了缩小低层特征和高层语义之间的语义鸿沟,最后提出一种基于神经网络的相关反馈方法,实验表明,该方法具有较好的检索性能,系统具有较高的查全率和查准率.     

基于Agent的个性化智能Web信息检索

介绍了Web信息检索的定义，并对web信息检索的原理、技术进行分析，针对存在的问题，结合智能Agent技术、神经网络、最好优先算法、信息过滤、相关反馈等多种算法，提出了一个基于Agent的个性化智能Web信息检索系统模型。     

基于多查询数据融合和正相关反馈的检索算法

为提高信息检索系统的性能，提出了一种多查询数据融合与正相关反馈相结合的检索算法．算法的核心思想是：利用基于向量表示的余弦相似度测度计算查询与文档之间的相似度，采用多查询数据融合技术将多个检索结果融合，以及从上一次检索结果中取出前M个相关文档和初始查询一起构成新的查询，将新查询提交给系统并继续下一次的检索，如此反复，直到获得满意的结果．实验结果表明，该算法相对于仅使用了多查询数据融合技术的算法和仅使用了正相关反馈技术的算法，其平均准确率分别提高42．6％和23．17%．     

基于支持向量机的相关反馈图像检索算法

相关反馈技术是近年来在图像检索中较为重要的研究方法 ,从机器学习的角度 ,以支持向量机 (SVM)为分类器 ,提出了一种新的相关反馈方法。在每次反馈中对用户标记的正例和反例样本进行学习 ,建立 SVM分类器作为模型 ,并根据学习所得的模型进行检索。由于 SVM分类器在一定程度上勾勒出了相关图像在特征空间中的分布 ,因而对整个图像库进行检索时可以查找到更多的相关图像。使用由9918幅图像组成的图像库进行实验 ,结果表明 :该方法可以通过交互的反馈过程 ,有效地检索出更多的相关图像 ,并且在有限训练样本情况下具有良好的泛化能力     

粒子群优化结合相关反馈的花卉图像检索

针对花卉图像特性,为平衡花卉图像检索系统的检索精度与速度,提出一种将粒子群优化结合于花卉检索相关反馈的算法.算法以2RGB为花卉图像的颜色模型,选取计算量较小的图像低层特征描述,按用户的满意度对检索结果进行评价,指导反馈过程中粒子的最优运动方向.实验结果表明,该算法能有效提高系统的检索效率.     

基于非负矩阵分解的相关反馈图像检索算法

提出了一种新的基于非负矩阵分解(NMF)的相关反馈检索算法．在每次反馈过程中,由用户标记与查询图像相似的正例样本的特征向量构成样本矩阵,进行NMF分解,得到NMF的基矩阵和样本的系数矩阵,然后根据分解所得的模型进行检索．由于NMF在一定程度上勾勒出了相关图像在基矩阵所代表的空间中的分布,因而可以有效地提高检索的查准率．使用由500幅图像组成的图像库进行实验,通过与特征加权以及支撑向量机相关反馈方法的比较表明,该方法通过交互的NMF相关反馈,确实能使图像检索的查准率得到较大的提高．     

图像索引和相关反馈在RBIR中的应用

图像索引和相关反馈是改进基于区域的图像检索(RBIR)的2种有效的方法.本研究在图像索引方面采用随机局部搜索(RLS)算法对图像上的区域进行聚类,并引入倒查文件技术对图像库进行索引;在相关反馈方面,采用基于支持向量机的相关反馈算法来改善检索结果,并提出了一种新的核函数使该算法更适宜基于区域的图像表示.在海量图像数据库上的实验结果说明了该算法的有效性.     

图像检索中相关性反馈模型研究

相关性反馈是图像检索中一个重要的组成部分。本文介绍了文本检索中相关性反馈技术及相关性反馈模型。在此基础上,引入基于内容的图像相关性反馈技术及相关性反馈模型。     

采用相关反馈和文档相似度的维吾尔语检索词加权方法

针对维吾尔语Web文档的有效检索问题,提出一种基于相关反馈和文档相似度的检索词加权方法.首先,对维吾尔语文档进行预处理,获得相应的词干集.然后,当用户输入多个检索词时,执行初始检索,并基于局部相关反馈思想提取出排名靠前的N个文档.接着,利用TF-IDF算法计算检索词与反馈文档之间的词频相似度,通过余弦距离计算文档之间的相似度,并以此对检索词进行两次加权.最后,根据加权后的检索词进行文档检索.实验结果表明:该方法能够准确地检索出用户所需的文档,并将其靠前排序.