基于视频片段的视频检索

为提高视频检索的查询效率,提出一种基于视频片段的视频检索方法。该方法利用相邻帧之间的HIS(Hue,Saturation,Intensity)颜色信息特征将视频流分割成子片段,并采用高维索引结构Vector-Approximation Trie(VA-Trie)来组织视频子片段,然后,利用空间和纹理特征定义视频片段的相似度模型,在此基础上采用基于限定性滑动窗口的高效视频检索算法进行视频片段检索。研究结果表明:与其他检索方法相比,该方法能有效地提高视频检索的查全率和查询率,适合用于运动视频检索。     

基于相关反馈的视频检索算法

针对信息检索中如何提高检索的精度问题,提出了一个基于相关反馈的视频检索算法。利用信号在神经网络中来回传递实现自动相关反馈,提高了检索精度,且最大限度地减少了相关反馈中人的参与,最后检索的结果是与查询最接近的一段视频片段。给出了神经网络的构造和具体的检索算法,并与基于关键帧的视频检索方法进行了比较。实验结果表明,用该算法检索的准确度比用基于关键帧的视频检索方法平均提高6%以上。     

基于小波和动态时间弯曲的时间序列相似匹配

提出了一种基于小波和动态时间弯曲(DTW)距离的时间序列索引和相似匹配方法. 该方法采用小波变换进行数据降维,利用R·-tree建立多维索引结构. 给出了查询序列的DTW距离边界和其在小波空间的查询超矩形的计算方法,从而将原始空间的基于DTW距离的相似匹配转换为小波空间基于欧氏距离的相似匹配. 证明了此匹配方法不会产生漏报,给出了基于DTW距离的范围查询算法和近邻查询算法. 实验结果表明该方法具有较高匹配精度和其较低的计算代价.     

一种视频时空特征提取算法及其应用研究

目前基于内容特征的视频检索系统,大多采用提取视频关键帧的颜色、纹理、形状等底层特征,来进行视频相识度匹配,这些底层特征是基于全局统计或者人工设计的特征提取方式,存在泛化抽象能力不强、易受光照和噪声的影响等问题,同时,由于未考虑视频帧时序上的关联性,导致视频检索精度偏低。为此,基于深度学习框架,提出了一种视频时空特征提取算法。该算法以关键帧附近16帧图像作为学习源,采用三维卷积神经网络,融合帧的内容特性和时序变化特性,获取4 096维特征向量作为新的视视时空特征描述子。在标准动作视频数据集UCF-101上进行实验,结果表明该特征能显著提高视频检索精度,在查全率为90%的情况下,平均查准率不低于84%,检索效果优于传统视频检索方法。     

结合注意力机制与时空特征融合的长时程行为识别方法

为了建立基于视频行为识别的长时程图像序列的时空信息模型,文章提出了一种嵌入注意力的时空特征融合网络(attention-embedded spatial-temporal feature fusion network, ASTFFN)的深度神经网络模型。ASTFFN将一个包含动作的长时程图像序列分割成多个重叠的片段,并使用一个注意力嵌入特征提取网络(attention-embedded feature extraction network, AFEN)从每个片段中的RGB图像或光流图像中提取经过注意力加权的时空特征,进而融合每个片段的时空加权特征,生成行为识别的视频级预测。基于UCF101和HMDB51行为识别数据库进行了大量的实验,验证了方法的有效性。与目前主流的行为识别算法相比,该文方法在识别精度上取得了较好的效果。     

基于语句特征的音乐哼唱快速检索技术

哼唱检索作为音乐检索的重要方式,由于其有效性和方便性,引起了广泛的关注.本文提出了一种新的基于语句特征的音乐哼唱快速检索技术,可以实现哼唱音乐的快速检索.该技术将音乐数据库和用户提供的哼唱片段,按自然停顿方式划分音乐语句,使用BDTW算法对音乐语句片段进行音高相似性计算,并允许用户根据自己哼唱情况,对匹配条件进行个性化设置,限制数据库音乐片段和查询序列的局部最大差异长度.另外,对音乐库建立支持音乐语句查询的索引结构DIS,减少了检索时间.实验结果表明所提出的检索方法能够快速有效地返回查询结果.     

基于词袋模型的监控视频异常活动检测算法

针对监控视频异常活动检测算法检测准确率与鲁棒性较低的问题,提出了一种基于词袋模型与无向图建模的视频异常活动检测算法.(1)将输入视频划分为大小相等的视频片段,提取每个视频片段的时空兴趣点;(2)生成一个局部活动的无向图集,图的顶点表示时空兴趣点,边表示兴趣点之间的关系;(3)分别对局部异常活动和全局异常活动进行分类处理,识别出异常活动.基于公共数据集UMN的仿真实验结果表明,本算法对视频监控中异常活动具有较好的检测准确率.     

一种基于帧-音符方式的哼唱检索算法

为了提高哼唱检索旋律匹配的速度和精度,提出了一种基于帧-音符方式的匹配算法。该算法针对旋律曲线的形状特点,采用基频序列表示哼唱片段,采用音符序列表示模板片段,根据累积权重估计基频跳变点位置,然后计算哼唱片段和模板片段之间的编辑距离。在MIREX08数据库上进行的实验结果表明:该算法检索时间为动态时间规整算法的0.013倍;与动态时间规整算法结果进行融合,最终平均排序倒数精度指标可以达到91.2%。     

基于相对编辑相似度的近似重复视频检索和定位

为有效对近似重复视频进行检索和定位,提出了一种基于相对编辑相似度的检索和定位算法.算法包括基于局部特征的视频编码和基于相对编辑相似度的在线检索和定位两部分.基于局部特征的视频编码首先提取数据库视频的关键帧,然后在关键帧中提取Root-SIFT特征描述符并应用层次K-Means聚类算法构建词典,之后将关键帧量化至词袋模型的单词并编码.基于相对编辑相似度的在线检索和定位首先对查询视频进行编码,然后应用相对编辑相似度算法,筛选近似重复视频并对近似重复片段进行定位.实验结果表明,LD算法比Yeh等提出的算法在平均F₁评价准则上效果要高8.55%,并且NDCR降低为原来的29%,效果提升明显.      

基于深度学习跨清晰度的鞋面检索——从足迹图像到视频中锁定犯罪嫌疑人的应用

如何有效利用鞋样联合监控视频中提取行人所穿鞋子信息进而锁定嫌疑人在视频中的位置是一个新的课题。基于深度学习的跨清晰度的鞋面检索算法可以解决视频提取的低清鞋子与高清鞋面比对检索的难题,从而打通从足迹到视频中锁定嫌疑人的通路。算法在实现过程中,加入网络分支、特定损失函数、随机变换等手段。在1172组样本检索测试中,算法累计查中率首位达到66.2%,前5达到85.8%。实验证明,在客观指标和主观验证均达到较高的应用级别水准。     

基于引导滤波器和加权二维主成分分析的视频融合

可见光视频可以提供纹理信息,而红外视频可以提供隐藏的热信息。通过2种视频的融合可以提高移动用户的视频观看体验。然而,由于移动设备资源有限,复杂的视频处理任务被迁移到资源(计算、存储和电池资源)相对丰富的微云上执行。基于均值哈希的帧间冗余检测算法被提出,将去冗之后的视频帧传输到微云等待处理,基于引导滤波器和加权二维主成分分析(W2DPCA,weighted two-dimensional principal component analysis)的视频融合算法被提出。该算法首先使用引导滤波器将待融合视频帧分成基层和细层,然后,利用改进的自适应W2DPCA融合可见光帧的基层和红外帧的基层。最后,通过组合融合基层和细层来获取融合帧。实验结果表明,帧间冗余检测方法最大限度地减少了微云中冗余数据的传输量,降低了移动设备的能耗。与现有方法相比,提出的视频融合算法得到的融合帧具有与原始帧更多的互信息和更高的结构相似度,同时融合结果也具有较高的整体标准差和峰值信噪比,所以具有更好的整体融合效果。     

动态时域检测窗口的快速关键帧提取方法

在镜头检测基础上对帧图像进行逐帧处理、分析,从而获取关键帧的方法导致提取速度较慢,无法满足实时性要求。针对上述缺点,提出动态时域检测窗口的快速关键帧提取方法。该方法通过时域检测窗口把视频序列分割成长度不等的单元,并对窗口左右边缘帧以及窗口内的抽样帧进行分析、对比,从而判断视频单元的内容变化。同时,采用窗口混合增长模式和窗口慢检测机制保证关键帧提取的质量和速度。最终,对提取的关键帧序列进行聚类,得到最优的关键帧。实验证明,对于不同类型的视频,该方法都具有较高的综合评价性能。     

图像视频检索的研究和应用

目前使用较广泛的视频检索系统是基于文本方式的。使用字或自由文本描述视频数据库中的视频，采用文本匹配检索．基于内容的视频检索利用了视频本身的很多特征，提供了更可靠更有效的视频检索方式．介绍了利用VB和Access建立的街道视频数据库，提供2个城区街道浏览、查询、检索等功能，并给出了核心代码．     

一种基于局部运动特征的视频检索方法

在基于运动内容的视频检索中 ,视频中的局部物体运动常是用户关心的重点。在利用全局运动模型参数对运动估计的基础上 ,提出了一种从一般视频序列中提取局部物体运动矢量的方法 ,并以局部运动矢量场的方向直方图作为检索特征 ,实现了一个基于局部运动信息的视频检索系统。实验表明 :基于局部运动信息的检索机制使该系统能够较好地检索到符合人们主观理解的运动视频内容     

体育视频中基于语义推理的事件检测方法

为了对视频内容进行语义级别的事件分析和索引 ,进一步满足用户访问大规模体育视频库的需求 ,提出一种 3层次的视频语义推理方案。在最底层 ,提取视频特征 ,并提出一种视频语义片段自动分割算法 ;在第二层 ,把各语义片段映射到语义概念 ;在最高层 ,建立视频语义事件的有限状态自动机模型 ,进行事件推理和识别。实验结果表明 ,该方案可以有效地进行视频事件识别 ,检测的精度和速度都可以得到很好的保证     

基于视频动态纹理与粒子系统的雨景模拟

用计算机来模拟雨景是影视制作中经常面临的一个课题.目前主要采用的粒子系统方法一般都需要大量的粒子和复杂的物理模型,而基于视频处理的降雨绘制算法虽然能用于图像和视频处理,还无法支持三维场景的绘制.本文提出了基于视频动态纹理与粒子系统相结合的思想,结合了粒子系统随机性、高效性,视频纹理方法简单,计算量小的特点,基于VC++...     

视频抖动矫正系统中的运动滤波

数码相机拍摄的视频往往带有因为拍摄人手的不稳定而引入的抖动,因此该文给出了一个视频抖动矫正方案,包括全局运动估计、运动的抖动分量滤除、抖动补偿3个模块。对摄像机运动模型,该文考虑了最常见的水平、垂直平动和平面转动这3个运动参数来进行全局运动估计,首先采用基于块匹配运动估计方法来得到运动参数的初始值,然后用Newton迭代法进行参数优化;从运动学的角度出发设计了一种以二次B样条方法为基础来拟合摄像机的运动轨迹方案。实验证明这种滤波器的设计方法能够很好地去除视频抖动,明显改善视频的主观效果。该方法不仅简单,而且不需要预知抖动的模式就能够确保运动轨迹的平滑。     

基于底层特征的视像检索

在因特网(Internet)上基于关键词利用谷歌(Google)、百度(Baidu)等搜索引擎检索所需信息有它的局限性,还远不能满足在海量视像中快速检索所需资料的要求.因此视像检索就成为目前国内外信息检索领域的一个热点研究课题.本文通过从视像中提取的颜色、纹理等图像底层特征进行视像概念检测,并采用NIST为TRECVID评估提供的数据对本系统的性能进行了评测,结果表明,采用颜色和纹理相结合的办法可以有效地提高系统的检索效率.