基于MPEG-7视频检索系统的设计与实现

MPEG7是一个用于描述多媒体内容特征的国际标准。该文基于MPEG7设计实现了一个视频内容检索系统。首先,设计基于MPEG7的视频特征存储方法,即研究如何有效解析MPEG7视频描述文档,从中提取视频语义特征,建立视频特征库;然后,设计基于内容特征的视频检索方法,即设计一个有效的内容视频查询接口和相应的视频查询处理方法,以从视频数据库中检索出目标视频;最后,实验评估验证了该视频检索系统的有效性。     

融合深度学习和视觉文本的视频描述方法

为解决当前视频描述任务中,生成描述视频的文本整体质量不高的问题,提出一种融合深度网络和视觉文本的视频描述模型.首先在编码阶段,将注意力机制引入3D残差模块,通过一维通道注意力与二维空间注意力增强视频特征映射,降低无关目标与噪声的影响;其次,解码阶段利用双层长短期记忆(long short-term memory,LSTM)深度网络的时序性特征,输出表述视频高层语义的文本描述;最后,为有效利用视觉文本信息丰富视频生成的语义描述,利用基于神经网络的主题模型提取出视频中的主题作为视觉文本融合进模型中.实验结果表明,本文方法在不同性能指标方面具有较好的准确性,能够更加准确地利用自然语言描述视频高层语义信息.     

基于MPEG-7的视频语义描述方法

基于对视频语义信息的3个层次划分，提出了一个基于MPEG－7的视频数据模型，并运用扩展标记语言（XML），以实例阐述了视频内容的视频对象、视频事件和视频元数据构造和描述方法。所提出的方法能支持不同抽象层次上复杂语义关系的描述，能够使用户更加灵活地访问数字视频库，获得自己所需的视频信息。     

基于融合MPEG-7描述子和二次预测机制的视频自动分类算法

针对互联网上日益增长的视频数量，提出了一种大量融合MPEG 7描述子并启用二次预测机制的视频自动分类方法.研究了颜色、纹理、形状、运动等9种MPEG 7描述子，从5类视频中提取并融合这些描述子作为视频的整体特征，输入支持向量机（SVM）中进行模型训练和预测.在传统支持向量机的1 1方法中，通过启用二次预测机制来提高分类的准确率.实验结果表明，该方法与其他方法相比有较高的准确率，适合大规模、复杂环境下的视频自动分类任务.     

基于本体与MPEG-7视频语义描述模型

运用本体论原理,结合MPEG-7的视频特征描述接口以及视频语义信息的层次结构,建立一个基于MPEG-7的视频语义信息模型.利用RDFS和OWL强大的语义描述能力以及自扩展机制来描述这个模型的组织结构,克服了MPEG-7的XML schema 不能有效表达视频语义信息的缺点,从而能够在模型的基础上建立有效的语义推理引擎．     

基于语义感知的行人重识别技术研究

针对由于行人拍摄相机参数、拍摄环境以及角度等的差异,使行人重识别算法的准确率较低的问题,提出了一种基于行人语义感知信息以及深度学习的行人重新识别算法。首先,超分辨率重构行人视图,提升行人视图细节特征,提取行人的整体特征值,并用其识别体型差异较大的行人。其次,感知行人图像的语义信息,根据上述结果提取行人语义信息的特征值,用于识别体型相同或相似的行人。然后将行人视频中的人体宏观特征值以及语义感知的信息特征值融合为综合的特征值。使用生成的特征值计算与不同个体视频特征值的间距,识别海量人物图像。最后,在不同的数据集中验证了算法的性能。实验结果表明,该基于语言感知行人重识别算法的mAP和rand-1值最高。     

基于多模注意力机制的密集型视频描述

为了解决密集型视频描述(dense video captioning, DVC)任务中视频特征利用不充分，视频定位分段不准确，语义描述效果不丰富的问题，采用多模注意力机制的密集型视频描述方法，提取视频中的视觉特征、音频特征和语音特征.通过多模注意力机制，在编码器中计算不同模态视频帧特征间的关联程度，在解码器中计算描述词序列特征与编码器输出的多模态视频帧特征间的关联程度，并将编码器、解码器输出特征分别作用于视频定位分段模型和语义描述模型获得视频分段和分段描述.提出的方法在ActivityNet Captions数据集上进行了理论分析和实验验证，其中F1-score达到60.09,METEOR指标达到8.78.该方法有效提高了视频定位分段和语义描述的准确性.     

一种基于音频词袋的暴力视频分类方法

针对网络视频的监管需求,提出了一种基于音频词袋的暴力视频分类方法.采用提取视频中音频流的多媒体内容描述接口（MPEG 7）音频特征（包括音频频谱质心,音频频谱带宽等低层音频特征.）及MPEG 7高层特征——音频签名,来构造每段视频特有的音频词汇,采用该音频词汇出现的频率形成音频词袋特征.采用支持向量机对暴力和非暴力视频进行分类.把词袋模型应用到暴力音频特征分类中,对于不同音频词汇量采用了独特的词汇权重分配机制,同时借助特有的针对暴力视频的分类策略,以提高分类效果.通过3组实验,对不同的音频特征的准确率、不同词汇的分类效果、以及对视觉特征粗分类的精确分类进行了研究.实验结果表明,该方法有较好的查全率.     

结合有向场景运动模式的粒子滤波行人跟踪方法

针对现有行人跟踪算法较少考虑场景运动模式信息的问题,建立一种面向有向场景运动模式的在线学习模型以描述区域行人的共有运动特性,并以此提出了一种新型的粒子滤波行人跟踪算法。通过对行人运动特性的选择性在线统计,探索在非高密度行人跟踪问题中场景模式信息和运动历史信息的运用方式。模型由一个表征行人运动状态相空间局域运动特性的二阶直方图矩阵来描述,并根据每个跟踪单元的加权投票实施更新。通过修正粒子转移后似然概率分布,该算法能够加速粒子向真实的后验分布收敛。通过对两个不同特点的公共数据集视频中的行人进行跟踪实验并与标准的粒子滤波算法结果比较,该算法的平均跟踪误差均低于标准粒子滤波平均跟踪误差的40%,且其运算速度可达6~15帧/s,满足近实时应用帧率。     

基于内容的图像检索在数字图书馆中的应用

介绍了基于内容的图像检索技术CBIR,指出了CBIR系统主要是根据图像的色彩、纹理、形状、轮廓、空间关系、时间关系等底层图像特征,建立图像的特征矢量,表征图像的语义信息,提出了基于内容的图像检索技术CBIR应用于数字图书馆中多媒体信息检索的一些方法,把MPEG-7这种多媒体内容描述接口与数字图书馆之间的许多协同性结合,将使数字图书馆的信息检索具有更大的效率．     

MPEG-4形状编码研究

MPEG-4标准实现了从基于像素的编码向基于对象和内容的编码的转变．标准中引入了视频对象平面（VOP）的概念，每个VOP即是一个语义意义上的对象或感兴趣的对象内容，VOP具有形状、纹理和运动三种属性，其中形状编码是MPEG-4与传统视频编码标准的最大区别．通过对MPEG-4的研究探讨，提出一种基于边缘轮廓的形状编码方法：改进的Freeman链码法，将它与传统的链码方法从码长、链码长度、是否独立于旋转操作、链码总位数四个方面进行了比较，给出比较分析结果．     

MPEG-7标准及其应用

MPEG-7是国际标准化组织即将推出的新一代多媒体国际标准,该标准主要用于对各种不同类型的多媒体信息进行标准化描述,并将该描述与所描述的内容相联系,以实现对多媒体信息快速有效的搜索.在未来的多媒体信息检索服务中,MPEG-7将发挥主导作用.本文主要从标准的目标、体系结构及应用等方面对MPEG-7进行了描述.     

基于MPEG-7的现代化教育研究

MPEG-7标准主要用于对各种不同类型的多媒体信息进行标准化描述,并将该描述与所描述的内容相联系,以实现对多媒体信息快速有效的搜索。本文在论述MPEG-7核心内容的基础上,对MPEG-7在现代化教育中的应用作了深入的研究。     

一种基于对象跟踪的视频分割算法

在新一代MPEG-4视频编码标准中,为了支持面向对象编码和实现基于内容的应用,视频分割成为关键技术之一,而半自动的视频分割是常用而且比较精确的一种分割方法.本文提出一种基于对象跟踪的半自动视频分割算法.该算法在用户的参与下,基于图像的时空信息,进行视频对象(VOP)的分割.实验结果表明,该算法能够较精确地连续分割出视频对象.     

基于变化区域检测的运动对象分割方法研究

随着MPEG 4和MPEG 7的研究发展 ,如何从视频序列中分割出在语义上有意义单独运动对象显得极其重要 .最近几年形成的相应分割方法很多 .文章详细讨论了基于变化区域检测的运动对象分割方法如基于参数和非参数等 ,对其算法和性能进行了比较和评述 ,并分析了当前视频对象分割技术尚存在的问题和研究前景 .     

MPEG-4视频业务特性分析

分三方面对MPEG-4的视频业务特性进行分析研究.首先对MPEG-4进行概述,然后分析MPEG-4视频业务的多重分形性,并建立了多重分形小波模型,最后对MPEG-4在NGN中的应用前景进行了探讨.