基于对比学习的弱监督时序动作定位

弱监督时序动作定位旨在于仅在视频级标签的监督下，定位未剪辑视频中的动作时间边界，并识别定位结果所对应的动作类别．由于缺少动作在时间上的标注信息，目前大多数弱监督时序动作定位方法通过聚合具有高激活值的显著动作特征来优化分类损失函数的方式训练动作定位网络，这会导致网络过度关注动作片段的关键部分，忽视了视频中部分难以分类的模糊动作片段，难以保证定位结果的完整性．基于上述问题，提出了一种具有多分支注意力机制的网络框架，分别对视频中的显著动作片段、显著背景片段和难以分类的模糊动作片段进行建模．同时，基于上述的多分支注意力权重，构建了3个相应的时域类激活序列优化动作分类损失函数，使网络能够分离视频中的显著动作特征与显著背景特征．为了使网络捕获更加完整的动作片段，基于对比学习设计了模糊动作对比损失函数，在显著特征的引导下细化视频中的模糊动作特征，使网络能够感知精确的动作时间边界，以避免完整动作的截断现象发生．所提方法在2个主流的弱监督时序动作定位数据集THUMOS-14和ActivityNet-1.2上的定位性能均超过了之前的方法．具体而言，所提方法的定位性能相比于之前的方法在上述两个数据集中分别提...     

基于图卷积及振幅约束的弱监督时序行为检测

针对弱监督时序行为检测缺乏精确的行为起始和结束时间标注,导致时间维度信息匮乏等问题,提出基于挖掘视频片段间联系的方法,捕获一定程度上的时间维度信息,提高行为检测能力,本研究采用图卷积建模弱监督时序行为检测任务,用图节点表达视频片段的特征,图的边表达视频片段间的联系,使得行为检测网络不仅考虑了各视频片段的特征,还考虑了视频片段之间的联系．此外,利用振幅约束和背景约束进一步建模视频片段特征．在公开数据集上的实验结果表明本文方法相对于已有方法具有一定的性能优势．     

视频剪辑查询结合时空金字塔匹配的视频检索方法

针对视频检索系统中目标持续移动从而影响检索精度的问题,提出一种基于视频剪辑查询融合时空金字塔匹配(spatio-temporal pyramid matching,STPM)方法.借助基于特征分析和分类的片段编辑检测器将新的视频分割成多个片段,以元数据信息将视频片段存入数据库,利用基于逐帧特征结合弱分类器的boosting算法检测视频片段边界,针对新的查询视频进行分析和线上视频匹配,并利用时空金字塔匹配计算相关反馈值.在中佛罗里达大学(university of central Florida,UCF)数据集和YouTube运动视频上的实验验证了方法的有效性,实验结果表明,方法的平均精度可高达97.6％,相比其他几种较为新颖的匹配方法,取得了更好的检索性能.     

柔性姿态估计和时空特征结合的乒乓球动作视频片段关键帧提取

为了解决传统方法在场景复杂的情况下,因无法保证时间与空间上的连续性,导致乒乓球动作识别错误,影响关键帧提取性能的问题,将柔性姿态估计和时空特征结合在一起,研究乒乓球动作视频片段关键帧提取问题。依据稠密光流对乒乓球动作视频片段进行分段。对单帧图像人体柔性姿态进行估计,通过可分离线性滤波器时空特征点检测方法对乒乓球动作视频图像序列特征点的检测,将时空特征点当成中心建立时空立方体,提取时空立方体的像素建立时空特征。为了保证时间与空间上的连续性,引入时空特征边,得到有时空特征的柔性姿态估计结果。通过直方图相交法求出乒乓球动作视频片段中姿态相似度,计算全部姿态的Hog间差异度,构成差异度矩阵。在当前帧姿态差异度超过阈值的情况下认为当前帧为关键帧。实验结果表明,所提方法针对不同场景的保真率与压缩率一直高于0. 7,处于较高水平;主观评价结果好,可提取合理关键帧。可见所提方法对复杂场景的关键帧提取性能优,主观与客观评价结果好。     

体育视频中基于语义推理的事件检测方法

为了对视频内容进行语义级别的事件分析和索引 ,进一步满足用户访问大规模体育视频库的需求 ,提出一种 3层次的视频语义推理方案。在最底层 ,提取视频特征 ,并提出一种视频语义片段自动分割算法 ;在第二层 ,把各语义片段映射到语义概念 ;在最高层 ,建立视频语义事件的有限状态自动机模型 ,进行事件推理和识别。实验结果表明 ,该方案可以有效地进行视频事件识别 ,检测的精度和速度都可以得到很好的保证     

利用深度神经网络的无监督视频表示

在计算机视觉领域中,大多数的视频表示方法都是有监督的,需要大量带有标签的训练视频集,但标注大量视频数据会花费极大的人力和物力.为了解决这个问题,提出了一种基于深度神经网络的无监督视频表示方法.该方法利用改进的稠密轨迹(iDT)算法提取的视频块交替地训练深度卷积神经网络和特征聚类,得到可提取视频特征的深度卷积神经网络模型;通过视频的中层语义特征,实现了无监督视频表示.该模型在HMDB 51行为识别数据库和CCV事件检测数据库上分别进行了动作识别和事件检测的实验,获得了62.6%的识别率和43.6%的检测率,证明了本文方法的有效性.     

基于过渡帧插值的音乐驱动舞蹈动作合成

随着动作捕捉技术的发展,基于音乐的舞蹈生成技术逐渐成为一大研究热点,而如何提高音乐和舞蹈的匹配以及舞蹈生成的真实性是研究的关键点.本文提出的基于过渡帧插值的音乐驱动舞蹈合成,旨在解决为音乐合成与其局部节奏和强度匹配且衔接自然的舞蹈动作问题.为了充分挖掘音乐和舞蹈的局部相关性和提高生成舞蹈的丰富性,先对目标音频分段,然后对音乐片段和动作数据库中已有的动作片段进行特征匹配分析,最后对和目标音乐片段特征匹配的动作片段进行过渡帧插值衔接.本文提出的过渡帧插值算法,使插值后的动作同时保留前一帧动作和后一帧动作的特征,避免动作突变,从而实现自然过渡.另外,提出一种音乐驱动舞蹈合成的框架,包含音乐和动作的共同特征提取、特征匹配分析和动作片段的插值衔接.音乐和动作的共同特征提取从节奏和强度出发,特征匹配分析利用节奏点的同步程度和强度分布的相似性.实验结果表明:本文提出的算法能合成逼真的舞蹈动作,具体合成舞蹈视频在项目网站上呈现.     

基于时空特征的生猪动作识别

针对现代化养殖业无人化、智能化的需求,以目标检测网络YOLOv2为基础,提出了一种基于深度学习提取时空特征的生猪动作识别与定位的方法.对待检测视频关键帧中的生猪空间位置信息与视频流时序动作特征进行检测,采用通道注意力模块将这2种特征进行合理且平滑的特征融合,实现了一个端到端的动作识别网络,可以直接从视频序列中预测得到关...     

基于相对编辑相似度的近似重复视频检索和定位

为有效对近似重复视频进行检索和定位,提出了一种基于相对编辑相似度的检索和定位算法.算法包括基于局部特征的视频编码和基于相对编辑相似度的在线检索和定位两部分.基于局部特征的视频编码首先提取数据库视频的关键帧,然后在关键帧中提取Root-SIFT特征描述符并应用层次K-Means聚类算法构建词典,之后将关键帧量化至词袋模型的单词并编码.基于相对编辑相似度的在线检索和定位首先对查询视频进行编码,然后应用相对编辑相似度算法,筛选近似重复视频并对近似重复片段进行定位.实验结果表明,LD算法比Yeh等提出的算法在平均F₁评价准则上效果要高8.55%,并且NDCR降低为原来的29%,效果提升明显.      

基于人体骨架特征学习的动作识别

动作识别是计算机视觉研究中的一个基本但具有挑战性的问题.在过去的几年中,许多基于RGB视频的识别技术已经得到了巨大的发展,并取得了显著的成果.但是,处理RGB视频可能非常耗时.其中,在动作识别领域,人体骨架数据具有轻量级的特点,同时对人体外观、环境背景等信息具有不变性,因此,这种数据模态受到了越来越多的关注.然而,基于人体骨架的动作识别面临两个问题:人体骨架数据的噪声问题和数据标注的依赖问题.噪声问题是指骨架数据中存在噪声影响数据的准确性,而数据标注依赖问题则是指在监督学习中,需要大量的标签数据进行训练.本文针对人体骨架数据在采集中的噪声问题,提出了一种基于噪声适应的动作识别模型,设计了回归模型和生成模型充分利用不同场景下的噪声数据特点.并且针对人体骨架数据过于依赖标签数据,利用自监督学习方法,提出了一个基于多任务自监督学习的动作识别方法.     

整体与局部相互感知的图网络时序动作检测

针对目前动作检测与定位方法未综合利用整体与局部相互感知的时空关系信息、不利于提升动作检测与定位性能的问题,提出整体与局部相互感知的图网络时序动作检测方法.该方法综合利用各动作提案的特征相似性和时序重叠度构建整体关系图推理子网络,通过学习获得提案,该提案包含更丰富的整体时空特征表示;利用提案发生的时间偏序关系,构建局部关系图推理子网络,该子网络包含多个级别三体相似图和三体互补图的结构,通过学习获得不同时间尺度下提案的局部关系信息;最后构成整体与局部关系相互感知的丰富特征表达,用于动作检测与定位.采用平均精度均值作为评价指标在2个公开数据集(Thumos14和ActivityNet1.3)上进行了试验.结果表明,与PGCN、G-TAD、TAL-Net、CDC等先进方法相比,文中方法能有效提高动作检测的性能.     

一种基于内容相似性的重复视频片段检测方法

针对互联网视频内容的复杂性,选择能够表征视频内容的特征,首先通过LSH哈希算法对特征进行索引,并由此确定视频之间的帧匹配序列,然后对于计算出的帧匹配序列,采用随机抽样一致性算法进行拟合,从而得到有效的帧匹配序列.视频之间的相似度依据有效帧匹配序列的相似度计算,由相似度进行互联网视频片段的消重.实验表明,对于大量内容相似的互联网视频片段,该方法能较好地描述相似性,并能有效提高检测准确率.     

基于时空兴趣点和主题模型的动作识别

提出了一种新的基于概率主题模型的人体动作识别方法.该方法利用局部的时空兴趣点特征,采用词袋(bag of words)的方法对跑、跳、挥手等几种常见的动作进行表示.利用概率主题模型,使视频的动作类别标记对应于概率模型中的隐含变量,通过对隐变量的推断,实现对整个视频的动作分类.该算法还可以将每个兴趣点划分为不同的动作类别...     

基于Word2Vec和决策树的故障定位技术

利用Word2Vec方法对Java源代码进行深层语义编码,生成文件级和行级的语义向量,并将其用作输入数据来训练决策树模型,以实现精确的文件级别和行级别故障定位,优化故障检测过程,构建一个综合文件级别与行级别分析的高效故障定位框架. 实验结果表明：该模型在各项目中的故障定位准确率均高于83%.     

基于视频片段的视频检索

为提高视频检索的查询效率,提出一种基于视频片段的视频检索方法。该方法利用相邻帧之间的HIS(Hue,Saturation,Intensity)颜色信息特征将视频流分割成子片段,并采用高维索引结构Vector-Approximation Trie(VA-Trie)来组织视频子片段,然后,利用空间和纹理特征定义视频片段的相似度模型,在此基础上采用基于限定性滑动窗口的高效视频检索算法进行视频片段检索。研究结果表明:与其他检索方法相比,该方法能有效地提高视频检索的查全率和查询率,适合用于运动视频检索。     

基于视频的角色运动提取与运动合成

在基于大量现存的影视片段的基础上,采用一种基于特征的跟踪算法——KL(Kanade-Lucas)算法,对视频中角色的特征关节点实现跟踪,得到运动信息不完全的二维角色运动序列,然后进行三维重建生成满足动画要求的三维角色运动序列,并将三维角色运动序列重定向到三维的虚拟角色中,从而得到逼真的角色动画.实际运行表明,生成的角色动画与视频中的角色动作具有良好的吻合性.     

基于深度CNN的改进弱监督学习方法设计与验证

针对包含目标、尺度和平移变化较强的空间信息难以获取大量训练样本的问题,提出一种基于深度卷积神经网络(deep convolutional neural network,DCCN)的弱监督学习方法,从3个层面对当前卷积神经网络进行扩展。为了提取分辨率更高的局部特征,同时考虑到全卷积网络(full convolution network,FCN)在全监督式学习下的高效性能,使用FCN作为后端模块;为了获取更多的通用特征,增加一个多映射弱监督学习的传输层,对与补充性类模态相关的多个局部特征进行显式学习;为了优化训练过程,改进了池化层,使用全局图像标签进行训练,将空间得分聚合为全局预测。使用图像分类、弱监督逐点目标定位和图像分割3种常用的机器视觉任务进行评估。多个公开数据库的实验结果表明,所提方法能够有效地学习强局部特征,具有良好的分类和定位效果。     

多时间尺度双流CNN与置信融合的视频动作识别

考虑视频采样的变化和目标主体运动速度的不同,针对目前深度网络学习的视频序列特征单一、多种动作分类器分类置信程度不同的问题,提出了一种多时间尺度双流CNN与置信融合的视频动作识别方法.对视频序列采用两流神经网络在多个时间尺度上学习,提取不同时间跨度的视频帧之间的上下文信息特征,并采用LSTM进行多种特征的动作类别预测.然...     

基于轨迹提取算法的视频关联动作跟踪仿真

针对已有视频关联跟踪方法无法准确提取关联动作轨迹, 导致视频关联动作跟踪结果出现较大偏差, 且跟踪速率较低的问题, 提出一种基于轨迹提取算法的视频关联动作跟踪方法. 首先, 根据多元组理念组建多元组轨迹提取模型, 划分运动视频图像特征分布矢量化集合, 计算视频图像分割支持向量机临界值; 其次, 通过颜色系统分离像素特征, 利用虚拟视景重构输出关联动作轨迹提取值; 再次, 在多粒度滤波器训练中设置预期输出值, 采用Fourier变换将卷积计算转变成点乘运算, 计算各粒度下边界最小矩形重叠率; 最后, 通过欧氏距离获得两个边界最小矩阵变换情况, 明确各粒度的轨迹波动程度, 完成视频关联动作跟踪全过程. 实验结果表明, 该方法的视频关联动作跟踪速率为14.9 帧/s, 能有效提高目标跟踪速率, 实现精准的视频关联动作跟踪.     

联合多层时空切片和二分思想的视频浓缩

视频浓缩是高效表达监控视频的重要方式,提取目标管是视频浓缩的基本步骤。现有的视频浓缩大多基于目标检测和跟踪生成目标管,应用于包含拥挤场景的监控视频时,性能表现不佳。文章提出一种稀疏-拥挤视频的浓缩框架(sparse-crowed video synopsis, SCVS),将输入视频分为稀疏和拥挤片段分别处理。首先提出一种基于多层时空切片联合的稀疏和拥挤片段划分方法,以二分思想为基础联合多层时空切片分割稀疏和拥挤片段;其次对分割后的稀疏片段提取目标管,进行管优化重排得到稀疏场景的浓缩视频;最后融合稀疏浓缩视频和拥挤片段生成浓缩视频。实验结果表明,SCVS框架有效避免了现有方法在拥挤场景下性能不佳的问题,具有较高的压缩比和目标留存比以及良好的视觉体验。