基于支持向量机的视频语义场景分割算法研究

针对视频分割中存在的低层特征与高层语义之间“语义鸿沟”问题,在对视频进行镜头边界检测的基础上,引入视频语义概念矢量的定义,实现了一种基于支持向量机的视频语义场景构造方法。根据镜头关键帧画面语义的不同,提取镜头关键帧的颜色特征,并将其归一化;然后利用支持向量机对归一化后的特征量进行语义分类预测,从而生成语义矢量;将生成的语义矢量应用于已有的重叠镜头链方法,对镜头关键帧进行聚类,按语义差别构造出不同场景。实验结果证明了该方法的有效性。     

多线索多层次的视频语义事件检测模型

视频语义事件检测分析技术是近年来研究的热点问题。本文综合考虑视频语义事件多线索的特点以及事件之间的层次关系,在前人研究成果的基础上,基于动态贝叶斯网络提出了多线索多层次视频语义事件检测模型,该模型具有较高的查全率和查准率,较强的鲁棒性,是一种很有前景的视频语义分析模型。     

体育视频中基于语义推理的事件检测方法

为了对视频内容进行语义级别的事件分析和索引 ,进一步满足用户访问大规模体育视频库的需求 ,提出一种 3层次的视频语义推理方案。在最底层 ,提取视频特征 ,并提出一种视频语义片段自动分割算法 ;在第二层 ,把各语义片段映射到语义概念 ;在最高层 ,建立视频语义事件的有限状态自动机模型 ,进行事件推理和识别。实验结果表明 ,该方案可以有效地进行视频事件识别 ,检测的精度和速度都可以得到很好的保证     

基于自适应双阈值和主色率的足球视频镜头的分割

为了有效地实现对足球视频镜头边界检测,该文提出了一种基于自适应双阈值并结合主色率的镜头分割算法.该算法首先采用滑动窗口,基于颜色直方图的分布得到局部自适应的双闽值,然后在HSV颜色空间中提取当前帧图像的主色,并基于圆柱距离求出主色像素点,接着在此基础上获取该帧的主色率,最后用双阈值结合主色率对足球视频镜头分割.实验结果证明:该方法对足球视频能较好地实现突变和渐变检测,为基于语义的足球视频的检索奠定了很好的结构化基础.     

融合事件特征及语义角色标注的藏文信息抽取技术

本文在藏语短语句法分析的基础上,融入功能语义信息线索,采用在藏语短语句法树库的基础上加入语义角色标注的方法,并融合事件触发词信息,对藏文信息进行抽取,并通过实验进行了对比分析。本文事件特征融合与已标注信息对藏文信息抽取有帮助,本文模型可以很好地应用于藏文信息抽取工作。     

基于多特征分层的视频摘要提取算法

视频数据的大量出现显示了对视频摘要的更大需求,现有基于特征的和基于镜头分割的视频摘要提取方法计算量大、准确性和可靠性都难以满足实际需求.利用视频的多特征分层进行镜头分割,采用先粗后细的策略,用计算简单的特征分割后再用复杂特征聚类,得到准确的视频片段及各段关键帧,再对各关键帧提取全局特征,相似度比较后生成最终的视频摘要.这样无需考虑多特征权重,自适应生成视频摘要.在VSUMM等公共视频数据集上的实验结果显示,多特征分层方法有效地改进了视频摘要提取性能,精确率和召回率均优于传统方法,且计算复杂度明显降低.     

摄相机运动识别及视频分割的组合检测新方法

针对视频镜头分割处理的需求，提出了一种综合运动参数曲线法．它以由压缩域视频流中运动信息估计出的摄像机运动参数为基础，对视频流进行基于内容的分析．该方法的特点是在对视频流处理中将摄像机的运动识别与视频分割问题综合考虑，在求取帧间摄像机运动参数以及判断连续帧间的摄像机运动趋势的同时，可一并实现对视频流时域上的自动分割，以及近景镜头等的识别，对各种类型视频均采用相同的技术操作和统一的门限值，具有上佳的鲁棒性，对MPEG组织专用于内容检索的10类共计284min的标准视频进行了实验，查全率达92％～100％，查准率也高达86％以上(动画及体育片段除外)，证实了所提方法的有效性。     

基于记分牌时间和新闻文本提取足球视频精彩事件

基于移动视频搜索等媒体应用对视频语义事件分析的迫切需求,提出一种新的足球视频精彩事件多模分析方法(简称多模事件分析法),即从体育网站新闻中抽取文本,利用音视频特征合成的情感激励曲线确定视频事件位置和精彩程度,基于自动提取的记分牌时间对齐文本事件和视频事件,实现了多模精彩事件的准确抽取和丰富语义标注。结果表明,多模事件分析法在进球、射门、犯规、角球、任意球等事件检测中不仅具有较高的准确率和查全率,而且标注结果更丰富,包含精彩程度、事件类型和文本描述等多模语义信息。     

基于DCE算法的压缩域视频镜头分割方法

镜头分割是视频检索的结构化基础,为此提出一种高效的视频镜头分割方法.首先,在压缩域中提取视频流中I帧携带的特征信息,并生成帧间特征分布曲线;然后,利用离散曲线演化(DCE)算法对预处理过的曲线进行分析与演进;最后,分割出视频镜头并提取关键帧.试验结果表明:该方法充分考虑了视频编码的时序特点,具有较好的分割效果,鲁棒性强.     

结合语义概念和双流特征模型的复杂事件检测

针对已有复杂视频事件检测方法未能有效利用语义概念信息的问题,提出了结合语义概念和双流特征模型的复杂事件检测方法.该方法采用动作检测器和对象概念检测器,得到动态概念和静态概念.提出针对任务的优选概念子集生成方法,并以此构建基于优选概念子集的视频事件检测器.同时构建光流图像和空间流序列的双流特征卷积神经网络模型加LSTM的事件分析表达模型,进而将两流事件分析结果进行融合分类检测.最后将基于语义概念的事件分类分析结果和基于双流模型的事件分类分析结果进行决策融合,最终检测出复杂事件.在典型的复杂事件数据集上将所提算法与相关算法进行了对比试验.结果表明,所提的方法有了实质性的改进,准确率达到了81.1%,相比于最优算法提高了5.7%.     

基于运动行为的复杂监控事件探测

针对视频监控过程,使用运动目标的状态特征描述场景中存在的语义内容.基于DBSCAN聚类模型学习特征集的潜在结构,生成了运动行为模式集.使用高级Petri网刻画模式间的连续、并发等时序关系,构成复杂语义事件探测模型.无监督式的模式学习过程对低层噪声有较强的鲁棒性,而定性的事件描述模型对于高层事件的推理具有更强的灵活性.在实验中,通过聚类学习得到的行为模式,给出了事件Petri网的具体建模过程,并演示了"停留"与"偷车"两个感兴趣事件的探测结果.     

基于颜色与边缘分布的足球视频镜头分类方法

针对足球视频镜头的特点,提出了一种基于颜色与边缘分布的视频镜头分类方法.首先利用高斯混合模型(GMM)对草地颜色建模,然后利用已建立的GMM计算出每个镜头的草地颜色分布特征.针对颜色特征对光照的敏感性,提出利用边缘分布作为颜色特征的补充,二者的结合突出了不同镜头的特点.利用所提出的特征,采用适合小样本分类问题的支持向量机(SVM)对足球视频镜头分类.实验表明,新方法的平均分类准确率可达92%以上.     

足球比赛场景中交互行为分析方法研究

目前的视频处理研究主要关注足球视频的基础方面的问题, 而在视频语义方面的工作尚不完善。 为此, 对足球比赛视频中存在的交互行为进行分析, 研究了足球比赛视频语义理解的关键问题, 为实现从一般比赛场景去理解和分析比赛进行了有益的探索。 首先进行场景分析, 利用主颜色提取视频中场地区域并标定场地线; 其次, 检测场景中的球员并判定其队属, 同时利用 Kalman 滤波实现对足球目标的跟踪; 最后, 判定球队的进攻方向的目的语义, 同时获取足球真实轨迹, 进行轨迹分割, 识别球员与足球的交互行为, 并在此基础上结合足球领域的知识进行进攻策略的分析。 实验结果表明, 该算法能很好地解决视频分析各阶段的问题, 能有效分析视频中存在的交互行为, 并从足球领域的角度实现进攻策略分析,进攻模式识别结果查准率达到 71% 以上, 查全率达到 85% 以上, 有益于计算机视觉的应用研究和足球视频科学分析。     

基于推理线索构建的事件关系识别方法

利用同一话题下的事件元素在话题内的分布特性以及事件元素在话题演化过程中的语义依存规律, 提出基于推理线索构建的事件关系识别方法。实验结果显示, 相比于基于核心词和实体推理的事件关系识别方法, 所提出的方法在F值上获得9.57%的性能提升。     

基于MPEG-7的视频语义描述方法

基于对视频语义信息的3个层次划分，提出了一个基于MPEG－7的视频数据模型，并运用扩展标记语言（XML），以实例阐述了视频内容的视频对象、视频事件和视频元数据构造和描述方法。所提出的方法能支持不同抽象层次上复杂语义关系的描述，能够使用户更加灵活地访问数字视频库，获得自己所需的视频信息。     

基于语义依存线索的事件关系识别方法研究

以事件为基本语义单元, 基于事件的篇章结构信息及语义特征, 通过分析事件的语义依存关系及其在演化过程中的语义依存规律, 提出基于语义依存线索的事件关系识别方法, 实现事件语义关系的浅层检测: 判定事件之间是否存在语义关系。实验结果显示, 相比于传统的基于语义相似度的识别方法, 新提出的基于事件语义依存线索的事件关系识别方法获得了5%的性能提升。     

基于高层先验语义的显著目标检测

为解决图像低级特征不能够均匀进行显著目标检测的问题,将高层先验语义和低级特征进行结合,提出一种新颖的基于高层先验语义的显著目标检测算法模型。利用深度卷积神经网络对输入图像以及显式显著性先验信息分别进行语义分割提取,得到显式显著性检测图;通过将图像中隐含的先验显著性特征与显著性值进行映射得到训练模型计算隐式显著性图;将显式显著性检测图和隐式显著性检测图进行自适应融合,形成均匀覆盖显著目标像素的精确显著检测图。为验证算法模型的有效性,将算法在具有挑战性的ECSSD和DUT-OMRON图像数据集进行实验仿真,实验结果表明,该算法的显著目标检测效果较其他方法有较为显著的提升。     

基于递归长短期记忆网络和镜头序列注意网络的视频摘要生成

为解决基于长短期记忆网络LSTM的视频摘要生成方法当输入序列过长时LSTM网络中的记忆单元不能集中在长时间序列的跨度上。通过深度学习的方法研究了一种基于递归长短期记忆网络(ReLSTM)和序列注意(SSA)的视频摘要生成模型用以提高深度学习网络学习时序特征的能力。该模型使用ReLSTM网络提取时间特征。同时,利用SSA动态调整每个视频序列输入到ReLSTM网络中的特征权重。结果表明：在数据集TVSum上F1-score平均提高2.5%,最高提高0.2%。在数据集SumMe上F1-score平均提高7.8%,最高提高3.4%。可见该方法能有效地学习镜头之间的时序特征。