体育视频中基于语义推理的事件检测方法

为了对视频内容进行语义级别的事件分析和索引 ,进一步满足用户访问大规模体育视频库的需求 ,提出一种 3层次的视频语义推理方案。在最底层 ,提取视频特征 ,并提出一种视频语义片段自动分割算法 ;在第二层 ,把各语义片段映射到语义概念 ;在最高层 ,建立视频语义事件的有限状态自动机模型 ,进行事件推理和识别。实验结果表明 ,该方案可以有效地进行视频事件识别 ,检测的精度和速度都可以得到很好的保证     

基于场景的视频摘要生成方法

针对如何在语义层次上形成视频摘要问题,提出了一种基于场景的视频摘要生成算法.首先利用类内和类间损失对场景进行分类,然后根据语义概念"重要度"从镜头类和场景提取视频摘要的构成帧,最后将选取的关键帧根据时间顺序排序,构成静态浏览型的视频摘要.实验证明该方法可以用少量的视频帧有效地表示视频的主要内容,并能有效地保持视频内容的连续性.     

基于量子演化理论的行人检测改进算法

对视频中移动摄像头下的行人检测问题进行了研究,在AdaBoost行人分类算法、支持向量机(SVM)理论和多目标优化原理的基础之上,并结合三者的特点,提出了一种基于量子演化算法的行人检测优化算法。首先,使用传统的AdaBoost算法对行人进行粗粒度的分类,然后使用支持向量机(SVM)设计精度更高的行人检测器。针对SVM的分类器参数多、关系复杂,而且无好的调节准则,根据核函数的构建条件,将实值量子演化算法引入到SVM参数的寻优问题中,对于分类性能采用多目标优化的方法,取得了较好的效果;同时从理论上分析了算法的复杂度。经过实例测试,算法与经典多目标优化算法NSGA-II的相比,改进效果明显。最后的实验说明了算法检测的准确性。     

利用深度神经网络的无监督视频表示

在计算机视觉领域中,大多数的视频表示方法都是有监督的,需要大量带有标签的训练视频集,但标注大量视频数据会花费极大的人力和物力.为了解决这个问题,提出了一种基于深度神经网络的无监督视频表示方法.该方法利用改进的稠密轨迹(iDT)算法提取的视频块交替地训练深度卷积神经网络和特征聚类,得到可提取视频特征的深度卷积神经网络模型;通过视频的中层语义特征,实现了无监督视频表示.该模型在HMDB 51行为识别数据库和CCV事件检测数据库上分别进行了动作识别和事件检测的实验,获得了62.6%的识别率和43.6%的检测率,证明了本文方法的有效性.     

基于HHMM的多线索融合和事件推理方法

为了解决基于内容检索技术中低层特征与高层语义之间存在语义间隔问题提出了基于多层次线索与事件的分层模型,以及相应的基于分层隐Markov模型(HHMM)的多线索融合和事件推理方法。其中线索是对事件进行推理的要素,它是低层特征与事件之间的中间层次。在将视频流分割为镜头后,从各个镜头中抽取若干与事件密切相关的线索,构造并训练各事件的HMM模型,用于融合线索和进行事件推理。由于输入视频通常包含多个事件,不可避免会遇到时域分割问题,因此构造一个HHMM模型用于同时进行视频流的合理分割和事件的识别。对足球视频的大量实验结果表明,该方法可有效地检测足球视频事件,并在抽取的线索不完全可靠的情况下具有一定的鲁棒性。     

基于引导滤波器和加权二维主成分分析的视频融合

可见光视频可以提供纹理信息,而红外视频可以提供隐藏的热信息。通过2种视频的融合可以提高移动用户的视频观看体验。然而,由于移动设备资源有限,复杂的视频处理任务被迁移到资源(计算、存储和电池资源)相对丰富的微云上执行。基于均值哈希的帧间冗余检测算法被提出,将去冗之后的视频帧传输到微云等待处理,基于引导滤波器和加权二维主成分分析(W2DPCA,weighted two-dimensional principal component analysis)的视频融合算法被提出。该算法首先使用引导滤波器将待融合视频帧分成基层和细层,然后,利用改进的自适应W2DPCA融合可见光帧的基层和红外帧的基层。最后,通过组合融合基层和细层来获取融合帧。实验结果表明,帧间冗余检测方法最大限度地减少了微云中冗余数据的传输量,降低了移动设备的能耗。与现有方法相比,提出的视频融合算法得到的融合帧具有与原始帧更多的互信息和更高的结构相似度,同时融合结果也具有较高的整体标准差和峰值信噪比,所以具有更好的整体融合效果。     

视频剪辑查询结合时空金字塔匹配的视频检索方法

针对视频检索系统中目标持续移动从而影响检索精度的问题,提出一种基于视频剪辑查询融合时空金字塔匹配(spatio-temporal pyramid matching,STPM)方法.借助基于特征分析和分类的片段编辑检测器将新的视频分割成多个片段,以元数据信息将视频片段存入数据库,利用基于逐帧特征结合弱分类器的boosting算法检测视频片段边界,针对新的查询视频进行分析和线上视频匹配,并利用时空金字塔匹配计算相关反馈值.在中佛罗里达大学(university of central Florida,UCF)数据集和YouTube运动视频上的实验验证了方法的有效性,实验结果表明,方法的平均精度可高达97.6％,相比其他几种较为新颖的匹配方法,取得了更好的检索性能.     

基于多模型检测的视频监控行人跟踪算法

研究了网络视频监控中行人检测和跟踪技术,并提出了基于多模型检测的视频监控行人跟踪算法.首先在已有检测算法的基础上,根据实验结果,分析了算法的优势和存在问题,提出了多模型融合检测算法,多模型融合检测算法充分利用各个单模型算法的优势,提高模型检测准确率,并使用快速特征金字塔算法提高了算法的实时性.随后在提出的检测算法基础上,结合卡尔曼滤波算法和匈牙利最优匹配算法实现多目标行人检测和实时跟踪.MOT测试视频实验结果表明:提出的跟踪算法能够较好地实现多目标行人检测和跟踪,适合网络视频监控场景.     

基于支持向量机的视频语义场景分割算法研究

针对视频分割中存在的低层特征与高层语义之间“语义鸿沟”问题,在对视频进行镜头边界检测的基础上,引入视频语义概念矢量的定义,实现了一种基于支持向量机的视频语义场景构造方法。根据镜头关键帧画面语义的不同,提取镜头关键帧的颜色特征,并将其归一化;然后利用支持向量机对归一化后的特征量进行语义分类预测,从而生成语义矢量;将生成的语义矢量应用于已有的重叠镜头链方法,对镜头关键帧进行聚类,按语义差别构造出不同场景。实验结果证明了该方法的有效性。     

基于边缘特征分析和线性判断的文本帧检测算法

为保证视频文本检测作用于含有文本的视频帧中,提出一种基于边缘特征和分量线性的文本帧检测算法。算法首先去除模糊视频帧,通过融合颜色和梯度信息以及文本聚类的方法得到边缘图,利用启发式规则滤除非文本分量;然后根据视频文本分量质心位置及最小外接矩形大小规律构建候选文本行;并结合文本行内字符结构特征定义线性关系。最后对候选文本行进行线性判断,若有候选文本行符合线性关系则将视频帧标记为文本帧。实验结果表明所提文本帧检测算法比其他类似算法检测性能更好。     

基于概念的视频检索中概念语义匹配算法研究

为了实现基于概念视频检索中从底层内容到查询的语义贯通,应用基于WordNet词典的语义相似度算法,通过对三种不同原理的算法对比应用,得出基于信息量算法在本应用中更有优势,语义匹配可以提高检索精度,最优映射数目为2至3个,以及在目前发展水平下,映射到合适的概念比检测器精度更合适四个重要结论．     

注意力融合双流特征的局部GAN生成人脸检测算法

为解决现有局部生成式对抗网络(GAN)生成人脸检测算法在检测经过后处理的图像时性能严重下降的问题，提出一种注意力融合双流特征的局部GAN生成人脸检测算法.该算法利用双流网络分别从RGB颜色空间和YCbCr颜色空间中提取鲁棒特征，并引入注意力特征融合模块在不同网络层上融合双流特征以获得更鲁棒的特征.同时采用多层次特征融合决策提高网络对局部生成区域特征的提取和辨别能力.实验结果表明，所提算法的鲁棒性优于现有算法，尤其是针对JPEG压缩和双边滤波后处理.在FFHQ+规则子集上与次优算法相比，该算法在3种强度的JPEG压缩和双边滤波上的平均准确率分别提高了1.88%和2.64%;在FFHQ+不规则子集上与次优算法相比，该算法在3种强度的JPEG压缩和双边滤波上的平均准确率分别提高了2.85%和1.60%.     

基于双通道特征自适应融合的红外行为识别方法

针对现有行为识别算法在红外视频中表现不佳的问题,提出一种基于双通道特征自适应融合的红外行为识别算法.在该方法中,2个通道提取的特征分别是改进的密集轨迹特征和光流卷积神经网络特征.改进的密集轨迹特征是在原始密集轨迹特征中加入灰度值权重,强调红外视频的成像特征;光流卷积神经网络特征是在原始视频对应的光流图序列中提取的,该特征具有较强的全局描述能力.通过自适应融合模型将2个通道特征的概率输出进行自适应融合,得到最终识别结果.实验结果表明,在现有红外行为识别数据集上,该算法有效地提高了识别准确率.     

高密度RFID事件流上的复杂事件检测

由于高密度事件流具有实时性和海量性特点,应用已有的复杂事件检测技术处理时,存在时间效率不高、占用内存空间较大等不足.针对这些问题,提出了一种基于哈希链表结构的复杂事件检测算法.该算法设计有效的哈希映射分类来保存中间结果,加快了匹配过程,同时,提出高效的更新机制及时删除内存中过期的数据.针对常见的事件流的乱序现象,对原有自动机处理机制进行了改进.实验和分析证明,复杂事件流检测方法具有理论上的可行性和操作上的高效性与正确性.     

多线索多层次的视频语义事件检测模型

视频语义事件检测分析技术是近年来研究的热点问题。本文综合考虑视频语义事件多线索的特点以及事件之间的层次关系,在前人研究成果的基础上,基于动态贝叶斯网络提出了多线索多层次视频语义事件检测模型,该模型具有较高的查全率和查准率,较强的鲁棒性,是一种很有前景的视频语义分析模型。     

基于多尺度相位谱的显著性运动目标检测

针对视频序列中的显著性运动目标检测问题,提出一种基于图像频域中的多尺度多特征显著性运动目标的快速检测方法.所提算法在对视频序列多尺度运算的基础上,通过提取视频序列底层特征,分析其离散余弦频域中的时空域相位信息,最终构建时空域显著性视频序列,完成序列中的显著性运动目标检测.实验结果表明,所提算法在复杂背景环境下,特别是各...     

基于感兴趣区域AdaBoost分类器的视频车辆检测研究

近年来基于视频的车辆自动检测作为城市智能交通系统的一项重要技术一直受到关注.针对AdaBoost分类器目标检测所存在的漏检、误检和计算量过大等问题,提出一种基于混合高斯模型运动区域提取和Haar-like特征的AdaBoost级联分类器的交通视频车辆检测算法,首先通过建立混合高斯模型对运动目标的总体区域进行检测,进而提取基于车辆运动的感兴趣区域,再对其进行基于Haar-like特征的区域AdaBoost级联分类,实现对运动车辆的检测.由于采用了基于运动区域提取和分类相结合的检测模式,通过混合高斯背景模型较准确的提取出ROI作为车辆的候选区域,约束了每帧的搜索区域,使AdaBoost分类器的目标检测更具针对性,提高了检测的准确性,降低了漏检率;同时也减少了分类算法滑动窗口扫描所需要的时间,提高了检测速度.实验结果验证了所提出算法对复杂交通环境车辆检测的适应性和有效性.     

一种面向微博的突发事件触发词识别方法研究

事件触发词识别是事件抽取技术中核心任务之一,在面向微博的突发事件触发词识别中,提出一种基于扩展触发词表和多值分类模型(P-Multi模型)相融合的触发词识别方法,进行事件触发词识别。以多值分类模型以扩展触发词为基础,结合基于模式规则匹配,对文本进行潜在语义分析,进一步挖掘触发词语义信息,将模式匹配和语义分析融合在微博突发事件触发词识别之中。实验结果在触发词识别准确率、召回率上均有所提升,证明了该方法的有效性。     

交通领域本体的构建及应用

目前, 虽然监控视频数据量迅速增加, 但是每年仍因交通违规行为造成大量的交通事故和人身伤亡. 海量监控视频的检索系统存在“找不到”和“难理解”的问题. 为了解决上述问题, 在交通领域中引入本体. 首先详细介绍视频语义内容模型, 并对模型中包含的对象、概念、事件、时间关系、空间关系等语义知识进行形式化描述; 然后以交通违规领域为例, 用软件protégé 4.2构建该领域的本体, 并用JCreator 编辑器导出交通违规领域本体的代码; 最后将该模型应用于南昌的有关项目中, 取得了良好的效果.