基于本体的G3M语义增强策略

针对G3M是1个基于多媒体内容描述接口MPEG-7的通用多媒体数据库模型,能充分利用多媒体内容描述接口(MPEG-7)在多媒体元数据描述上的长处,对多媒体数据进行有效的组织管理,但MPEG-7缺乏规范描述基础,导致描述结构含义不明确、描述内容中存在大量隐含语义信息等问题,引入知识本体的方法来增强G3M的多媒体语义表达和检索能力。研究结果表明:将本体与MPEG-7元数据及多媒体实例无缝关联在关系数据库中,能为G3M多媒体描述结构连接正确的语义,增强其高级语义提取、表达和检索能力;将基于本体的查询建立在经典的关系查询引擎上,能有效地提供基于语义的查询重写和查询推理。     

基于MPEG-7的通用多媒体数据库模型G3M

在MPEG-7的基础上提出了一个通用多媒体数据库模型G3M,给出了模型的形式化描述.与通常的用XML数据库方案来存储和检索MPEG-7媒体描述信息不同,G3M充分利用了MPEG-7的多媒体描述模式(MDS),将多媒体数据中包含的复杂语义信息提取出来,并根据用户的兴趣在对象-关系数据库上进行建模.强大的多媒体表达能力,使得G3M能引入领域知识,为语义推理和智能化检索奠定了基础.     

基于MPEG-7标准的行人模型描述与实现

智能交通系统中的行人检测一直是难点和热点。为了对交通混合流视频中的行人信息进行自动和规范化描述,实现一种基于MPEG—7标准的行人描述模型。由于MPEG—7标准是一种用来描述所有多媒体数据的接口框架,因此它的结构非常复杂。为了描述的可操作性、规范性和易用性,在MPEG—7描述的视觉描述的基础上构建了基于语义行人描述模型,除了对视频中行人对象视觉信息做了系统化的描述,该模型还对视频中的行人做出了语义分析,并按照MPEG—7标准进行了相应的描述。实验详细的阐述了自动获取高层语义信息的过程,实验最后给出了描述模型实现的结果。     

基于MPEG-7标准的视频检索技术研究

MPEG-7标准的制定解决了多媒体内容描述的标准化问题,可满足用户对多媒体内容快速、有效检索的需求,提高多媒体内容的利用价值。本文在介绍MPEG-7标准的核心内容及多媒体描述方案的基础上重点分析了基于内容的视频信息检索关键技术及基于MPEG-7标准的视频信息检索流程。     

融合深度学习和视觉文本的视频描述方法

为解决当前视频描述任务中,生成描述视频的文本整体质量不高的问题,提出一种融合深度网络和视觉文本的视频描述模型.首先在编码阶段,将注意力机制引入3D残差模块,通过一维通道注意力与二维空间注意力增强视频特征映射,降低无关目标与噪声的影响;其次,解码阶段利用双层长短期记忆(long short-term memory,LSTM)深度网络的时序性特征,输出表述视频高层语义的文本描述;最后,为有效利用视觉文本信息丰富视频生成的语义描述,利用基于神经网络的主题模型提取出视频中的主题作为视觉文本融合进模型中.实验结果表明,本文方法在不同性能指标方面具有较好的准确性,能够更加准确地利用自然语言描述视频高层语义信息.     

基于MPEG-7视频检索系统的设计与实现

MPEG7是一个用于描述多媒体内容特征的国际标准。该文基于MPEG7设计实现了一个视频内容检索系统。首先,设计基于MPEG7的视频特征存储方法,即研究如何有效解析MPEG7视频描述文档,从中提取视频语义特征,建立视频特征库;然后,设计基于内容特征的视频检索方法,即设计一个有效的内容视频查询接口和相应的视频查询处理方法,以从视频数据库中检索出目标视频;最后,实验评估验证了该视频检索系统的有效性。     

基于神经网络的视频量化参数预测研究

神经网络在信息预测中有着广泛地应用．介绍一种神经网络和MPEG-4的率失真模型相结合的视频帧量化参数预测方法．实验结果表明,利用人工神经网络的强预测性和高容错性,提高了视频编码中量化参数的预测效果．在MPEG-4校验模型中,使用本方法取代MPEG-4的率失真模型对视频序列Akiyo的前300帧量化参数进行预测,并用于量化编码,在同等条件下,视频序列的编码帧数增加了6．7％,同时,预测时间和图象复原质量没有受到明显影响．     

基于MPEG-7的视频语义描述方法

基于对视频语义信息的3个层次划分，提出了一个基于MPEG－7的视频数据模型，并运用扩展标记语言（XML），以实例阐述了视频内容的视频对象、视频事件和视频元数据构造和描述方法。所提出的方法能支持不同抽象层次上复杂语义关系的描述，能够使用户更加灵活地访问数字视频库，获得自己所需的视频信息。     

基于多模注意力机制的密集型视频描述

为了解决密集型视频描述(dense video captioning, DVC)任务中视频特征利用不充分，视频定位分段不准确，语义描述效果不丰富的问题，采用多模注意力机制的密集型视频描述方法，提取视频中的视觉特征、音频特征和语音特征.通过多模注意力机制，在编码器中计算不同模态视频帧特征间的关联程度，在解码器中计算描述词序列特征与编码器输出的多模态视频帧特征间的关联程度，并将编码器、解码器输出特征分别作用于视频定位分段模型和语义描述模型获得视频分段和分段描述.提出的方法在ActivityNet Captions数据集上进行了理论分析和实验验证，其中F1-score达到60.09,METEOR指标达到8.78.该方法有效提高了视频定位分段和语义描述的准确性.     

基于内容的图像检索在数字图书馆中的应用

介绍了基于内容的图像检索技术CBIR,指出了CBIR系统主要是根据图像的色彩、纹理、形状、轮廓、空间关系、时间关系等底层图像特征,建立图像的特征矢量,表征图像的语义信息,提出了基于内容的图像检索技术CBIR应用于数字图书馆中多媒体信息检索的一些方法,把MPEG-7这种多媒体内容描述接口与数字图书馆之间的许多协同性结合,将使数字图书馆的信息检索具有更大的效率．     

基于MPEG-7的现代化教育研究

MPEG-7标准主要用于对各种不同类型的多媒体信息进行标准化描述,并将该描述与所描述的内容相联系,以实现对多媒体信息快速有效的搜索。本文在论述MPEG-7核心内容的基础上,对MPEG-7在现代化教育中的应用作了深入的研究。     

MPEG-7标准及其应用

MPEG-7是国际标准化组织即将推出的新一代多媒体国际标准,该标准主要用于对各种不同类型的多媒体信息进行标准化描述,并将该描述与所描述的内容相联系,以实现对多媒体信息快速有效的搜索.在未来的多媒体信息检索服务中,MPEG-7将发挥主导作用.本文主要从标准的目标、体系结构及应用等方面对MPEG-7进行了描述.     

MPEG-4形状编码研究

MPEG-4标准实现了从基于像素的编码向基于对象和内容的编码的转变．标准中引入了视频对象平面（VOP）的概念，每个VOP即是一个语义意义上的对象或感兴趣的对象内容，VOP具有形状、纹理和运动三种属性，其中形状编码是MPEG-4与传统视频编码标准的最大区别．通过对MPEG-4的研究探讨，提出一种基于边缘轮廓的形状编码方法：改进的Freeman链码法，将它与传统的链码方法从码长、链码长度、是否独立于旋转操作、链码总位数四个方面进行了比较，给出比较分析结果．     

基于MPEG-7和消隐镜头检测的视频检索系统

视频是一种非格式化、时空并存、大数据量的媒体数据,传统的基于文本的信息查询技术已不能满足人们的要求,所以有关视频特征描述、查询、浏览及管理中存在的障碍亟需解决.本文在基于内容的视频检索系统中提出了一种消隐镜头的检测算法--基于局部特征时变一致性的检测算法.同时利用MPEG-7标准中描述符的结构定义描述视频检索系统的特征库,实验结果验证了系统的有效性.     

基于BIFS的场景更新应用研究

文章介绍了基于MPEG-4 BIFS的交互场景的实现机制,与VRML交互场景进行了比较,分析了基于BIFS的场景构成,并具体构造了一个动态文本显示的场景描述。由于基于MPEG-4标准的视频、音频信息编码效率高,并提供了丰富的交互功能,使其特别适合于视频聊天、网络会议、视频监控和视频交互游戏等领域。