融合时空切片和双注意力机制的视频摘要方法

为解决现有视频摘要方法的视频帧特征信息提取不充分、摘要结果过分依赖单一特征的问题,提出了一种融合时空切片和双注意力机制的视频摘要方法。在原视频的精准分段阶段,提出了基于时空切片的核时序分割算法(STS-KTS),将视频场景信息反映为时空切片纹理信息,采用水平映射法将预处理后的时空切片投影为一维数组,作为KTS的输入特征;以双注意力机制和分组卷积为基本组件,结合BiLSTM构建时空特征提取网络,以快速提取丰富的时空特征信息,从而配合纹理特征信息消除现有摘要模型对单一特征的过分依赖;采用帧参数预测模块获取最佳的视频帧贡献度分数、中心度分数以及帧序列位置;将帧分数转化为镜头分数,以选取内容丰富的片段,进而生成动态视频摘要。在SumMe和TVSum数据集上的实验表明：所提方法能提高生成摘要的准确性,比现有方法性能更高,尤其在SumMe数据集上的生成摘要准确性相比于现有方法提升了0.58%。     

柔性姿态估计和时空特征结合的乒乓球动作视频片段关键帧提取

为了解决传统方法在场景复杂的情况下,因无法保证时间与空间上的连续性,导致乒乓球动作识别错误,影响关键帧提取性能的问题,将柔性姿态估计和时空特征结合在一起,研究乒乓球动作视频片段关键帧提取问题。依据稠密光流对乒乓球动作视频片段进行分段。对单帧图像人体柔性姿态进行估计,通过可分离线性滤波器时空特征点检测方法对乒乓球动作视频图像序列特征点的检测,将时空特征点当成中心建立时空立方体,提取时空立方体的像素建立时空特征。为了保证时间与空间上的连续性,引入时空特征边,得到有时空特征的柔性姿态估计结果。通过直方图相交法求出乒乓球动作视频片段中姿态相似度,计算全部姿态的Hog间差异度,构成差异度矩阵。在当前帧姿态差异度超过阈值的情况下认为当前帧为关键帧。实验结果表明,所提方法针对不同场景的保真率与压缩率一直高于0. 7,处于较高水平;主观评价结果好,可提取合理关键帧。可见所提方法对复杂场景的关键帧提取性能优,主观与客观评价结果好。     

基于多特征分层的视频摘要提取算法

视频数据的大量出现显示了对视频摘要的更大需求,现有基于特征的和基于镜头分割的视频摘要提取方法计算量大、准确性和可靠性都难以满足实际需求.利用视频的多特征分层进行镜头分割,采用先粗后细的策略,用计算简单的特征分割后再用复杂特征聚类,得到准确的视频片段及各段关键帧,再对各关键帧提取全局特征,相似度比较后生成最终的视频摘要.这样无需考虑多特征权重,自适应生成视频摘要.在VSUMM等公共视频数据集上的实验结果显示,多特征分层方法有效地改进了视频摘要提取性能,精确率和召回率均优于传统方法,且计算复杂度明显降低.     

视频剪辑查询结合时空金字塔匹配的视频检索方法

针对视频检索系统中目标持续移动从而影响检索精度的问题,提出一种基于视频剪辑查询融合时空金字塔匹配(spatio-temporal pyramid matching,STPM)方法.借助基于特征分析和分类的片段编辑检测器将新的视频分割成多个片段,以元数据信息将视频片段存入数据库,利用基于逐帧特征结合弱分类器的boosting算法检测视频片段边界,针对新的查询视频进行分析和线上视频匹配,并利用时空金字塔匹配计算相关反馈值.在中佛罗里达大学(university of central Florida,UCF)数据集和YouTube运动视频上的实验验证了方法的有效性,实验结果表明,方法的平均精度可高达97.6％,相比其他几种较为新颖的匹配方法,取得了更好的检索性能.     

基于模糊推理的视频监控方法

针对拥挤情形下的人员目标跟踪问题,提出了一种使用模糊推理机制的视频监控新方法。首先采用背景减除法获得目标的前景图像,再利用特征搜索法去测量目标的新的位置变化,然后使用混合的模糊信息推理机制的方法去验证跟踪结果,并且根据需要对误差进行补偿。针对不同场景进行了实验,实验显示,对误差进行补偿之后,在拥挤情形下的召回率和准确率都能达到90%以上,平均误差降低了10%以上。实验结果证明,能够有效提高视频监控系统对于拥挤情形下多目标跟踪的性能。     

基于模糊推理的人员目标监控

针对拥挤情形下的人员目标跟踪问题,提出了一种使用模糊推理机制的视频监控新方法。首先采用背景减除法获得目标的前景图像,再利用特征搜索法去测量目标的新的位置变化,然后使用混合的模糊信息推理机制的方法去验证跟踪结果,并且根据需要对误差进行补偿。针对不同场景进行了实验,实验显示,使用本方法对误差进行补偿之后,在拥挤情形下的召回率和准确率都能达到90%以上,平均误差降低了10%以上。实验结果证明,本方法能够有效提高视频监控系统对于拥挤情形下多目标跟踪的性能。     

基于词袋模型的监控视频异常活动检测算法

针对监控视频异常活动检测算法检测准确率与鲁棒性较低的问题,提出了一种基于词袋模型与无向图建模的视频异常活动检测算法.(1)将输入视频划分为大小相等的视频片段,提取每个视频片段的时空兴趣点;(2)生成一个局部活动的无向图集,图的顶点表示时空兴趣点,边表示兴趣点之间的关系;(3)分别对局部异常活动和全局异常活动进行分类处理,识别出异常活动.基于公共数据集UMN的仿真实验结果表明,本算法对视频监控中异常活动具有较好的检测准确率.     

基于矩形框的人群密度数值估计算法研究

摘 要：公共场景监控下的人群密度估计已经是公共安全管理中的一个重要环节,为了提高对视频监控中人群密度估计的实时性和准确率,提出一种改进的混合高斯背景建模进行前景提取并用大小随目标边缘可变的矩形框对人群目标进行圈定以代替传统的边缘像素数和前景像素数,通过最小二乘法拟合估计人数和实际人数的线性关系,使用平均相对误差和平均绝对误差进行定量对比分析。实验结果表明：与基于边缘像素统计和阈值分割像素统计的算法相比,该算法能够直接统计出有效人数,较为准确的估计出视频图像中的人群数目,且误差最低。     

基于分区灰度投影稳像的运动目标检测算法

针对视频监控系统中,复杂环境引起摄像机抖动,造成运动目标检测不准确的问题,提出了一种基于分区灰度投影稳像的运动目标检测算法.首先对每帧图像进行分区,利用分区灰度投影算法对图像各分区的运动矢量进行准确提取和相关性分析,进行抖动判断,并对抖动帧进行运动补偿.然后利用高斯混合背景建模算法进行运动目标提取.最后对目标提取结果进行形态学处理,以进一步提高目标提取的精度.实验结果表明,本文算法较好地消除了场景中运动目标对运动矢量计算的干扰,实现了在摄像机抖动视频场景中的运动目标的准确检测和提取,大大降低了抖动视频目标检测的虚警率.     

基于支持向量机的视频语义场景分割算法研究

针对视频分割中存在的低层特征与高层语义之间“语义鸿沟”问题,在对视频进行镜头边界检测的基础上,引入视频语义概念矢量的定义,实现了一种基于支持向量机的视频语义场景构造方法。根据镜头关键帧画面语义的不同,提取镜头关键帧的颜色特征,并将其归一化;然后利用支持向量机对归一化后的特征量进行语义分类预测,从而生成语义矢量;将生成的语义矢量应用于已有的重叠镜头链方法,对镜头关键帧进行聚类,按语义差别构造出不同场景。实验结果证明了该方法的有效性。     

基于图割框架下视频目标的自动实时提取算法

提出了一种在图割框架下自动实时的前景目标提取算法.通过混合高斯背景建模与基于颜色和局部表观的阴影判别相融合的方法,设置能量函数的数据项,并基于局部二值模型算子构建能量函数的平滑项.利用动态的图割算法,求取目标函数极值,实现视频目标的自动提取.在不同视频上对提出的分割算法进行性能测试,结果表明算法具有较好的分割性能且计算复杂度较低.     

视频分割与场景聚类算法研究

本文介绍了实现视频分割和场景聚类的算法.首先用X2直方图匹配法检测镜头切换,梯度法检测镜头淡入淡出;然后对镜头内非相邻帧间距离经过阈值判断提取关键帧;进一步基于镜头的关键帧集计算镜头间的相似度,对相似度大于阈值的镜头进行聚类;最后给出了典型实验结果,表明上述算法对视频分割和镜头聚类有较好的性能.     

视频监控中多视角目标智能定位追踪方法研究

在视频监控中对目标进行定位追踪时,容易出现遮挡情况。当前定位追踪方法需预先检测出遮挡状况,再对目标位置进行校正,计算量大,且追踪结果不可靠。为此,提出一种新的视频监控中多视角目标智能定位追踪方法,针对每个摄像头采集到的图像,对其进行二值化处理,通过稀疏表示方法对目标进行定位。构建了视频监控中多视角目标跟踪的概率框架,针对每个智能摄像机,建立视频监控中多视角目标追踪模型。通过不同视角中的视频数据求出本地似然函数。为了避免维度灾难问题,对联合后验概率进行分解获取边缘概率乘积的形式,通过边缘概率求出被追踪目标在摄像机视角下的位置。依据消息传递机制实现信息融合,达到目标追踪的目的。实验结果表明,所提方法有很高的定位和追踪精度。     

多特征融合的视频目标深度跟踪

针对现有基于卷积神经网络跟踪中需要大量离线训练以及在线更新耗时的问题,提出了一种多特征融合的视频目标卷积跟踪算法。算法首先设计了一种浅层前向自学习卷积网络提取目标候选区域的局部卷积特征;然后计算融合了空间信息的颜色直方图特征;在此基础上,采用归一化加权方法在全连接层融合卷积特征和全局颜色特征形成目标的表观描述;最后基于粒子滤波算法,通过计算目标模板与候选目标之间的相似度,估计目标位置。采用OTB-2013公开测试集验证所提跟踪算法的性能,与8种主流目标跟踪算法进行了分析对比。实验结果表明,本文算法的目标跟踪精度和跟踪成功率在多种场景下取得了不错的性能,在保证跟踪精确率的前提下,跟踪鲁棒性优于其他算法。可见提出的多特征融合的卷积跟踪算法通过提取所跟踪视频的自身特征生成卷积器而无需进行大量离线训练,且与手动特征进行融合增强了目标的表达能力,这种策略具有一定的借鉴性。     

基于深度学习的监控视频树叶遮挡检测

结合稀疏自编码器的自动提取数据特征能力和深度置信网络较好的分类性能,提出一种基于深度学习的监控视频树叶遮挡检测方法。首先从视频中随机选取一帧图像,通过栈式稀疏自编码器主动学习视频图像的特征信息,然后采用深度置信网络建立分类检测模型,最后引入学习速率自适应调整策略对整个神经网络进行微调。该方法不需要对视频连续取帧,具有较好的图像特征主动学习能力,克服了人工提取特征能力有限的缺陷。实验结果表明,在样本量充足的条件下,使用本文方法进行监控视频树叶遮挡检测可以达到88.97%的准确率。     

基于动静背景下的视频对象自适应提取算法

在MPEG-4标准中提出了VOP(Video Object Planes)的概念,可以通过VOP实现基于内容的操作。这样,从场景中自动地分割出视频对象就成为基于对象视频编码的先决条件。为此,提出一种基于动静背景下的视频对象自适应提取算法。该算法可以自动提取动态背景、静态背景,也可以在视频序列中出现背景和对象都停止变化时实现视频对象的提取。同时,该算法引入了视频前景和背景预处理,克服了由于视频图像对比度低造成的提取出的部分视频对象轮廓不完整的问题。     

基于超像素分割的视频目标检索

针对视频监控中的颜色特征检索,提出一种基于超像素分割的视频目标检索算法:该算法首先对视频帧序列按颜色及空间位置进行超像素分割,分割成若干个超像素区域;然后对每个超像素区域颜色值进行均值化处理;最后基于超像素区域进行颜色目标检索.为了验证算法的有效性,以监控拍摄的户外视频数据进行仿真实验,实验结果表明该算法能准确检索出所...     

融合码本和纹理的双层视频背景建模方法

基于背景建模的运动目标分割是智能视频监控的重要任务,模型的质量直接影响到检测、跟踪、识别等运动分析的准确性.当前的建模方法多是单层的,忽略了像素特征在时域和空域上的联系,模型描述不够准确,对于背景扰动、全局光照变化及复杂的室内外场景等多种情况鲁棒性不强,导致了分割中出现空洞和噪声点.针对这些问题提出了一种双层建模的方法,在第一层提取时域上的像素亮度特征采用码本建模,第二层提取邻域纹理特征采用基于中心对称的局部二值模式建模.实验证明该方法在用于运动分割时,比常用方法具有更好的准确性和鲁棒性.     

基于对象的视频摘要算法的实现与加速

现有基于对象的视频摘要算法较少考虑计算效率,导致其难以满足大规模安防监控领域的性能要求.为此,文中提出了改进的基于对象的视频摘要算法,通过降低帧率和分辨率、运动片段检测以及基于重心的对象跟踪等策略来提升算法效率.此外,为充分挖掘CPU和GPU的计算能力,设计了相应的多线程算法,并对关键步骤进行GPU优化,以进一步加速算法性能.实验结果表明,改进算法和加速策略可以大幅提升视频摘要的计算速度.     

基于显式运动建模的视频伪装目标检测

目前的视频伪装目标检测方法通常采用隐式运动建模或直接输入存在噪声的离线光流图来获取运动线索,这会影响模型性能。为了解决这一问题,提出一种新的基于显式运动建模的视频伪装目标检测框架,称为SMHNet。首先,该框架将显式运动建模与伪装目标检测联合在同一个框架中进行学习。然后利用特征双向更新模块实现两个分支的双向交互更新,相互补充、优化和纠错,输出光流估计结果和目标检测图。此外,为了解决缺少光流真值图这一问题,采用自监督策略对显式运动建模分支进行监督。在两个数据集上的对比实验结果表明,SMHNet有效地提高了视频场景中伪装目标检测的性能。