一种基于最短路径的视频摘要方法

以简短的内容概括原始视频,是对原始视频的浓缩或者总结。传统的视频摘要方法有基于聚类的方法,通过视频帧的局部或全局特征将视频帧分成多个有代表性的集群,在每个集群中提取关键帧,最后去除冗余生成摘要;也有基于图模型的方法,将视频帧作为顶点,连接顶点的边表示帧间的关系,通过图的模块化信息提取关键帧。文章将聚类方法和图模型的方法结合并优化,提出了一种新的基于最短路径算法的视频摘要方法(shortest path for video summary,SPVS)。SPVS方法将视频摘要问题转化为最短路径求解问题,路径上的帧即为关键帧,在数据集上的大量主客观实验结果都表明其具有良好的性能。     

基于视觉特征提取的压缩域在线视频摘要快速提取

为了在有限的时间内产生质量可接受的视频摘要以达到在线使用的要求,提出一种基于视觉特征提取(visual features extraction,VFE)的压缩域视频摘要快速提取方法.从每帧输入视频中提取视觉特征,采用零均值归一化交叉相关(zero mean normalized cross correlation,ZNCC)指标检测有相似内容的视频帧组,为每组选择代表性帧,运用2个量化直方图过滤所选择的帧,从而避免视频摘要中可能的冗余或无意义帧.在视频检索国际权威评测(TREC video retrieval evaluation,TRECVID) 2007数据集上的实验结果表明,与基于聚类的高斯混合模型、基于熵的模糊C均值聚类和关键帧提取方法相比,该方法提取的视频摘要质量更高,且在时间和空间复杂度上具有明显优势,适合在线实时处理.     

基于解码器注意力机制的视频摘要

作为一种快速浏览和理解视频内容的方式,视频摘要技术引起了广泛的关注.本文将视频摘要任务看作是序列到序列的预测问题,设计了一种新颖的基于解码器的视觉注意力机制,并基于此提出一种有监督视频摘要算法.所提方法考虑到视频帧之间的内在关联性,利用长短时记忆网络将注意力集中在历史的解码序列,融合历史的解码信息有效地指导解码,提升模型预测的准确性.所提算法主要在TVSum和Sum Me数据集上进行了大量实验,验证了其有效性及先进性.     

基于HOG-LBP特征和SVM分类器的视频摘要方法

为了提高视频摘要质量、高效地获取视频信息,提出了一种基于HOG-LBP特征和SVM分类器的视频摘要方法。首先,从分解到的视频序列中提取形状和纹理特征。其次,利用训练好的支持向量机对待检测图像进行分类,并将分类正确的帧暂定为关键帧。最后,运用图像余弦相似度方法剔除其中的冗余帧,并将最终保留下的关键帧按照原始视频中出现的时间顺序依次组合起来,形成视频摘要。实验结果表明,提出的算法在三个不同场景视频中提取关键帧的平均正确率达到94.08%,平均错误率仅为23.18%。算法提取到的关键帧准确率较高且内容具有代表性,视频摘要质量得到有效改善。     

一种基于内容的视频信息检索技术的研究

在多媒体技术迅速发展的今天,作为多媒体信息中最复杂的视频信息,用传统的文件检索方法已无法满足用户的查询要求,而新的基于内容的检索技术将更好地满足视频信息的查询和检索．文章从基于内容的检索中用户的查询要求出发,将视频流划分成多个视频段,用对象和事件来表达每个视频段的视频内容,并在考虑时态特性的基础上,提出新的索引结构和查询算法,以有效地支持基于内容的检索和查询。     

基于MPEG-7和消隐镜头检测的视频检索系统

视频是一种非格式化、时空并存、大数据量的媒体数据,传统的基于文本的信息查询技术已不能满足人们的要求,所以有关视频特征描述、查询、浏览及管理中存在的障碍亟需解决.本文在基于内容的视频检索系统中提出了一种消隐镜头的检测算法--基于局部特征时变一致性的检测算法.同时利用MPEG-7标准中描述符的结构定义描述视频检索系统的特征库,实验结果验证了系统的有效性.     

基于多特征分层的视频摘要提取算法

视频数据的大量出现显示了对视频摘要的更大需求,现有基于特征的和基于镜头分割的视频摘要提取方法计算量大、准确性和可靠性都难以满足实际需求.利用视频的多特征分层进行镜头分割,采用先粗后细的策略,用计算简单的特征分割后再用复杂特征聚类,得到准确的视频片段及各段关键帧,再对各关键帧提取全局特征,相似度比较后生成最终的视频摘要.这样无需考虑多特征权重,自适应生成视频摘要.在VSUMM等公共视频数据集上的实验结果显示,多特征分层方法有效地改进了视频摘要提取性能,精确率和召回率均优于传统方法,且计算复杂度明显降低.     

基于IF-PGN模型的短文本摘要生成

针对以往提出的模型生成的摘要准确性不够,且含有过多冗余信息的问题,提出一种生成式文本摘要模型——信息过滤-指针生成网络.该模型对神经网络编码解码结构进行扩展,引入信息过滤网络和指针生成网络,可以有效地捕获原文信息,免于无效信息的影响,且让指针网络的复制概率更加准确,生成的摘要内容更加丰富、连贯.在CNN/Ddily Mail数据集上的实验结果表明,ROUGE指标有明显提升.     

基于多粒度Top-k查询的流式数据事件获取方法

流式数据中事件的查询及获取是研究流式数据各类操作的基础.现有流式数据系统中的事件查询只针对流中的异常数据点进行查询,而在实际情况下,流式数据中的事件多为一段连续时间的异常,包含时间、空间位置等多种信息,因此,传统的阈值查询方法无法从不同的时间及空间角度对事件进行全面分析,查询准确性极低,导致无法获取事件的全部信息.针对这些问题,本文提出一种基于多粒度Top-k查询的流式数据事件获取方法.该方法首先在监测区域内构建基于投影分区的区域监测簇;在此基础上,提出一种改进的多粒度空间Top-k查询方法对点进行查询,获取异常事件发生的空间位置信息;其次,基于事件峰谷点信息,对流式数据进行时间多粒度Top-k查询,找出异常事件的触发点和终止点,从而获得事件的完整信息.实验表明,本文提出的方法在系统资源开销、查询效率等方面均具有很大优势.     

一种社交网络环境下并行短文本查询算法

随着移动社交网络的迅速发展,如何从海量带有时间属性和地理位置属性的短文本信息中快速查询到有效信息具有重要意义.社交网络环境下传统短文本查询算法忽略时间维度,并且在海量数据下无法满足用户快速响应的需求.针对以上问题,提出一种社交网络环境下并行短文本查询算法.提出的算法设计了基于MapReduce模型下的查询框架,该框架使用了基于滑动窗口下的多版本时空索引(MVSTR-tree),保证了查询过程中融合了时间和空间属性,实现了对海量数据高效查询的目标.最后,通过真实数据集的实验证明该算法能有效缩短查询时间.     

基于人体骨架特征学习的动作识别

动作识别是计算机视觉研究中的一个基本但具有挑战性的问题.在过去的几年中,许多基于RGB视频的识别技术已经得到了巨大的发展,并取得了显著的成果.但是,处理RGB视频可能非常耗时.其中,在动作识别领域,人体骨架数据具有轻量级的特点,同时对人体外观、环境背景等信息具有不变性,因此,这种数据模态受到了越来越多的关注.然而,基于人体骨架的动作识别面临两个问题:人体骨架数据的噪声问题和数据标注的依赖问题.噪声问题是指骨架数据中存在噪声影响数据的准确性,而数据标注依赖问题则是指在监督学习中,需要大量的标签数据进行训练.本文针对人体骨架数据在采集中的噪声问题,提出了一种基于噪声适应的动作识别模型,设计了回归模型和生成模型充分利用不同场景下的噪声数据特点.并且针对人体骨架数据过于依赖标签数据,利用自监督学习方法,提出了一个基于多任务自监督学习的动作识别方法.     

视频剪辑查询结合时空金字塔匹配的视频检索方法

针对视频检索系统中目标持续移动从而影响检索精度的问题,提出一种基于视频剪辑查询融合时空金字塔匹配(spatio-temporal pyramid matching,STPM)方法.借助基于特征分析和分类的片段编辑检测器将新的视频分割成多个片段,以元数据信息将视频片段存入数据库,利用基于逐帧特征结合弱分类器的boosting算法检测视频片段边界,针对新的查询视频进行分析和线上视频匹配,并利用时空金字塔匹配计算相关反馈值.在中佛罗里达大学(university of central Florida,UCF)数据集和YouTube运动视频上的实验验证了方法的有效性,实验结果表明,方法的平均精度可高达97.6％,相比其他几种较为新颖的匹配方法,取得了更好的检索性能.     

基于WSRF的网格资源信息服务架构

为了满足视频服务网格中资源信息服务的要求,特别是视频信息资源的组织和管理,提出了一种基于WSRF的多副本一致性信息服务架构,并基于MDS4实现.该系统主要包括资源注册、信息采集、信息查询、资源监控和报警处理等五大功能模块.同时,提供了Web页面的形式,便于用户进行资源的查询和监控.据此设计的原型系统已经应用于实践,取得了良好的效果.     

基于场景的视频摘要生成方法

针对如何在语义层次上形成视频摘要问题,提出了一种基于场景的视频摘要生成算法.首先利用类内和类间损失对场景进行分类,然后根据语义概念"重要度"从镜头类和场景提取视频摘要的构成帧,最后将选取的关键帧根据时间顺序排序,构成静态浏览型的视频摘要.实验证明该方法可以用少量的视频帧有效地表示视频的主要内容,并能有效地保持视频内容的连续性.     

基于多源数据的公路资产管理系统架构

传统的手工方式管理广域的、实时、海量公路资产数据已经显得无能为力,导致了公路资产的数据的快速、有效的获取和数据查询分析成为瓶颈.针对公路资产管理需求,提出一种基于GIS,GPS和多媒体等多源数据集成的公路资产管理信息系统架构.本文着重研究了公路资产数据获取及其预处理,地图匹配,并在此基础上通过对公路资产的空间信息与属性视频信息的交互式查询,从而实现公路资产信息的智能化,可视化管理.     

面向多用户的多层嵌套数据库加密方案

围绕外包数据的安全性问题与用户隐私性问题,展开对加密数据库方案的研究,提出了一个面向多用户的多层嵌套数据库加密方案.该方案根据洋葱模型多层理论,采用多种不同类型的加密算法对用户的外包数据进行多层嵌套加密,实现了既保证数据机密性又满足多种不同SQL查询类型的数据库加密方案.针对用户递交包含敏感信息的查询语句在一定程度上泄露用户自身的隐私这一问题,设计了基于单服务器私有信息检索(private information retrieval,PIR)技术的用户隐私保护机制,实现了用户匿名查询.安全性分析表明,该方案满足数据机密性与用户隐私性.Sysbench基准测试实验分析表明,该方案具有良好的查询处理效率、读写吞吐量以及健壮性.     

不影响隐私的位置服务查询处理模型

基于位置服务的应用中,针对没有可信任的服务器人们的隐私信息将受到严重威胁的问题,提出了一个位置服务查询处理模型.该模型是移动和固定用户在不显示其位置信息的情况下使用基于位置服务的新框架.实验结果显示:该模型位置匿名器采用的金字塔结构较其它算法有一定的优越性,用户数可达到50000个或更多,且用户数越多,位置匿名器的性能越高;隐私感知查询处理器使用过滤算法可大幅减少查询处理时间.该模型具有一定的理论价值和实用价值.     

一种扩展的基于XML的概率数据模型

概率数据模型研究已受到广泛关注，但对于多数据源情况下的概率数据管理却缺乏研究，在已有模型的基础上，提出了一种扩展的基于XML的概率数据模型，使概率查询操作不再局限于模型内部，而是充分利用各数据源自身的信用度及规模等信息，支持多个XML概率数据文档间的归并与查询，此外该模型还解决了用XML表示概率数据所引入的数据依赖问题.     

基于增强现实的心墙堆石坝施工进度可视化仿真

目前心墙堆石坝施工过程可视化仿真研究多是基于施工仿真结果构建的纯虚拟三维可视化,其地形模型多根据前期勘测数据建立,其渲染消耗资源多且不易被修改,且与实际施工场景有很大差别.针对此问题,将增强现实技术(AR)引入水利水电工程施工仿真中,提出了基于增强现实的心墙堆石坝施工过程可视化仿真方法,该方法主要解决两个方面的问题:如何利用虚拟相机的三维注册技术解决虚拟场景与真实场景不处于同一空间的问题,以使可视化仿真具有动态时效性;如何通过视频监控获取的三维场景信息与虚拟物体叠加,以解决传统可视化仿真中地形模型占用过多资源的问题,并提高可视化仿真效率.结合西南某大型水利水电工程,利用AR技术对该工程的施工进度仿真进行可视化展示.首先在无需建立地形模型的情况下实现了施工仿真和施工现场的紧密结合;其次,基于web service的数据查询和传输实现仿真成果的交互式动态三维场景查询,同时通过基于硬件的增强现实方法以更少的资源消耗实现了更真实直观的可视化仿真,为水利水电工程施工可视化仿真提供了新思路.     

对Web网页的查询及信息提取

比较Web查询与传统数据库查询的区别 ,提出一种对Web查询计算的新模型 ,基于这一模型 ,可针对网页结构和内容进行查询 ,再根据HTML的特点 ,从网页中提取数据库数据 .