多媒体数据库管理的数据表示模型与融合

通过定义角色、虚拟角色、观点和虚拟观点,解决了多媒体信息的格式不同给用户造成的使用不便,同时也较好地解决了多媒体数据融合的技术关键。角色和观点掩饰了所有由信息和日常所需的格式的复杂性,利用角色和观点来支撑多媒体对象的动态扩展,致使多媒体制造者能够很容易地在运行时延伸对象的使用。     

多媒体数据流描述模型及同步化的实现

通过对视频、音频、文本及静止图像等多媒体数据流序列结构化描述模型的建立,实现以此为基础的多媒体数据流分类、分割及同步描述等功能。为确定多媒体数据流的每个对象在时间和空间上的位置问题,提供了描述、传输、存储的结构化同步描述方法。     

多媒体同步传输方法研究

|为实现多媒体数据同步传输,在分析多媒体数据特点的基础上,给出了时域内考察多媒体同步关系的多媒体数据组成,并对目前多媒体同步传输方法进行比较,提出一种多媒体同步传输设计方法。该设计方法结合反馈控制机制,实现了没有全网同步时钟的相对时间戳同步控制,并为播放端设置了缓冲区,以抵消时延抖动,保证媒体内和媒体间的同步传输。设计采用相对时间戳方法,不需要获得精确时间,只要保证音视频同步打上时间戳即可,实现简单。     

内容的新闻视频的切变镜头检测算法

为解决新闻视频组织和检索中对新闻视频进行基于内容分割的问题,提出了一种新的镜头分割方法。该方法利用相邻帧之间特征值之差初步判定镜头的切变位置,其特征值差阈值能自适应调整并对潜在的镜头切变位置进行闪光检测。试验结果表明,该算法能快速、准确地检测出新闻视频中的切变镜头。其中查全率和查准率平均能达到94%和89%,较原来方法都有所提高。     

基于LLE和SVM的人像识别方法

在人像识别方面,传统的特征提取方法大都是线性的,不能很好地保持样本的拓扑结构.支持向量机能提高学习的泛化能力,防止过学习,是一种很好的分类器.为此,提出一种增强的LLE(Locally Linear Em-bedding)和SVM(SuppoR Vector Machine)结合的人像识别方法,采用PCA(Principal Component Analysis)与眦相结合算法,对光照归一化处理过的人脸图像进行特征提取,利用SVM的分类机制对人脸图像样本集进行训练和识别.在ORL(Olivetti Research laboratory)人脸数据库上实验表明,该算法稳健、快速,识别率达到了90%以上.     

基于内容的视频多模式检索方法

在视频数据的检索方法方面,采用单一媒体的处理技术比较多,基于视频数据所表现的内容语义进行检索的提案很少,而且能够将视频数据与其相关的其他形式的数据整合并高效利用,保障视频数据在安全、高效的网络下进行多模式检索的研究也不多见。在检索方法上从解决这个问题入手,提出了多模式的视频特征提取与检索方法。该方法从视频语义特征的角度构建视频数据的语义特征库,将与视频语义相关的声音、字幕、音乐、剧情脚本、新闻文稿等信息特征进行整合,以人像、字幕、语音、视频镜头识别和剧情脚本分析的组合技术,利用语音相关性测定、选择字幕帧,边缘提取、字幕区域二值化和小波包分解、核函数技术等方法从语音、视频中提取语义特征,建立视频数据语义特征的多模式提取和检索模型。