基于对比学习的弱监督时序动作定位

弱监督时序动作定位旨在于仅在视频级标签的监督下，定位未剪辑视频中的动作时间边界，并识别定位结果所对应的动作类别．由于缺少动作在时间上的标注信息，目前大多数弱监督时序动作定位方法通过聚合具有高激活值的显著动作特征来优化分类损失函数的方式训练动作定位网络，这会导致网络过度关注动作片段的关键部分，忽视了视频中部分难以分类的模糊动作片段，难以保证定位结果的完整性．基于上述问题，提出了一种具有多分支注意力机制的网络框架，分别对视频中的显著动作片段、显著背景片段和难以分类的模糊动作片段进行建模．同时，基于上述的多分支注意力权重，构建了3个相应的时域类激活序列优化动作分类损失函数，使网络能够分离视频中的显著动作特征与显著背景特征．为了使网络捕获更加完整的动作片段，基于对比学习设计了模糊动作对比损失函数，在显著特征的引导下细化视频中的模糊动作特征，使网络能够感知精确的动作时间边界，以避免完整动作的截断现象发生．所提方法在2个主流的弱监督时序动作定位数据集THUMOS-14和ActivityNet-1.2上的定位性能均超过了之前的方法．具体而言，所提方法的定位性能相比于之前的方法在上述两个数据集中分别提...     

基于关系建模的弱监督时序动作定位

时序动作定位因其广泛的实际应用成为重要且具有挑战性的方向.由于全监督定位方法需要大量的人力对长视频进行视频帧或视频片段级别的细腻标注,近些年来,弱监督学习受到了越来越多的关注.弱监督动作定位在训练阶段只需提供视频级别类别标签,即可定位出视频中动作的区间位置.然而,大多数现存的方法往往只对独立的视频片段进行分类损失约束,...     

融入注意力机制的时间激励与聚集行为识别模型

视频行为识别通常应用短区间动作特征和长区间视频聚集特征进行时序建模.而这种时序建模方式在特征提取过程中,将不同时序区间的动作特征同等看待,忽略了关键通道信息和重要动作内容,不能达到理想的行为识别效果.注意力机制能够重点关注目标区间,在提取时间激励与聚集行为特征基础上融入通道-空间注意力模块.该模型分别通过通道和空间模块改变时序动作的特征分布,通道注意力关注关键通道信息是“哪些”,空间注意力机制关注重要视频内容在“哪里”,突出关键通道信息和重要内容等特征,提高了行为识别的识别率.同时在数据集Something-Something 1,UCF101和HMDB51对模型进行实验,融入通道-空间注意力模块的时间激励与聚集行为识别模型能够有效提高行为识别率.     

治安监控视频中暴力行为的识别与检测

为了充分提取治安监控视频中的时空特征和时序特征,并对暴力行为进行准确的识别与检测,提出一种基于三维卷积神经网络(3DCNN)和卷积长短期记忆网络(Conv LSTM)的暴力行为识别算法。首先,采用一种通用视频描述符—3DCNN结构,提取视频的短时特征,这些特征封装了视频中与目标和场景相关的背景信息,然后,构建Conv LSTM网络对3DCNN提取的短时特征在时间轴上进行建模,进而充分提取视频的高层时序特征。最后,利用Sigmoid函数分类行为动作。为了验证该算法的高效性,对所提出的方法在暴力行为数据集Hockey上进行验证,达到了98.96%的识别精度。测试结果表明,该融合模型在检测效果上优于目前人工提取特征的方法和深度学习的方法。     

基于双帧图模型的视频物体分割

通过将空间及时序信息有效结合, 提出基于双帧图模型的单目视频物体分割算法。首先, 通过手工交互得到初始帧的分割, 并据此训练获取前景物体及背景的颜色模型。然后, 利用双帧图模型融合当前帧的颜色信息以及由颜色差得到的空间和时序约束。根据观测到的颜色差异与物体运动的线性关系, 提出运动自适应的时序约束因子, 它能够随视频中物体运动变化自适应地调节。最后, 通过二值图割法计算当前帧的分割结果并更新颜色模型。利用双帧图模型可循序地对视频中的下一帧进行分割。实验结果证实, 提出的自适应时序约束因子可以提高物体分割结果的准确性和时序一致性, 量化指标表明此算法在视频物体分割中可获得更优结果。     

实时系统时间约束验证

为保证实时系统满足特定的时间约束,该文提出了一种时间约束的建模和验证方法。定义了基本的时间概念,提出了基于改进的STP(simple temporal problem)时间约束建模方法,提出了约束图的一致性检测的约束求解算法,给出了将复杂时间约束转化为基本时间约束的机制,并以典型的数据处理单元(data process unit,DPU)系统的实际时间需求为例,进行了实例分析和实验。该文系统地分析了时间故障模式,与已有的方法相比更加准确地描述时间点、时间区间之间的约束关系,从而可以更有针对性地检验系统的时间缺陷。     

基于稀疏Transformer的长短时序关联动作识别算法

针对主流的视频动作识别算法对时序信息的挖掘不充分,而Transformer能够更好地处理长序列和全局依赖性问题,本文将3DCNN和Transformer结合起来,提出了基于稀疏Transformer的长短时序关联动作识别算法,从而实现对视频的全局时序信息进行建模。该算法提取预训练视频模型各个片段特征,嵌入视频特征聚类模块降低输入特征的潜在噪声,并利用基于稀疏自注意力的Transformer长短时序关联模块,引入稀疏掩码矩阵,对相似度矩阵进行掩码操作,抑制较小的注意力权重,选择性地保留重要的长短时序信息,提高模型对全局上下文信息的注意力集中程度。本文在UCF101和HMDB51数据集上进行了大量的实验,验证了本文算法的有效性,在参数量和计算复杂度较小的情况下准确率高于同类权威算法。     

注意力叠加与时序特征融合的目标检测方法

提出一种基于注意力叠加与时序特征融合的目标检测方法.在端到端目标检测(DETR)网络的基础上,依据注意力机制特性,使用注意力权重叠加的方式提取目标物像素级标识,用于实例轨迹的划分.为使目标检测与轨迹跟踪协同作用,通过时序特征融合的方式融合之前轨迹跟踪信息,调整当前帧目标检测效果,从而充分利用视频载体提供的时间维度信息.在公开数据集上,对文中方法进行验证,结果表明：文中方法能有效识别被遮挡的目标物,具有较强鲁棒性.     

一种基于深度学习的异常行为识别方法

异常行为识别与检测在安防领域有广泛的应用前景,但现有的异常行为识别方法时序信息利用率低,准确率和处理速度还难以满足实际需要.本文采用三维密集连接深度网络结构对采集视频的时序和空间特征进行基于深度学习的建模,对打架、徘徊、抢劫这三类异常行为以及正常行为类进行识别,采用多个可变时序深度的卷积核,并结合深度可分离卷积层重新设计了时序过渡层,更多地利用输入信号中的时序信息.模拟实验结果表明,本文提出的改进方法准确率达92.5%,进一步提高了模型的准确率和泛化性能.     

一种基于维度约减的快速人脸检测方法

针对视频监控中的高维度和复杂环境的困难,文章提出一种基于主成份分析与Adaboost的视频人脸检测算法．该方法先使用PCA方法对特征空间进行降维,并以PCA特征建立误分率最小化弱分类器,最后使用Adaboost算法提升弱分类器性能,将所有已训练的弱分类器联合成一个强分类器．实验证明,在正面人脸样本和具有复杂表情变化的人脸测试集上,该方法可以得到很好的检测结果．     

基于多尺度时序交互的第一人称行为识别方法

对于第一人称行为识别任务,现有方法大多使用了目标边界框和人眼视线数据等非行为类别标签对深度神经网络进行辅助监督,以使其关注视频中手部及其交互物体所在区域。这既需要更多的人工标注数据,又使得视频特征的提取过程变得更为复杂。针对该问题,提出了一种多尺度时序交互模块,通过不同尺度的3D时序卷积使2D神经网络提取的视频帧特征进行时序交互,从而使得单一视频帧的特征融合其近邻帧的特征。在只需行为类别标签作监督的情况下,多尺度时序交互能够促使网络更加关注第一人称视频中手部及其交互物体所在区域。实验结果表明,提出的方法在识别准确率优于现有第一人称行为识别方法。     

人体检测与异常行为识别联合算法

近年来,异常行为识别算法取得了一定的研究进展,但是针对复杂环境、人体遮挡、动作相似度高等多种挑战,识别算法的适应性、效率、准确性都有待进一步提高。为了解决以上问题,提出了基于特征增强的人体检测与异常行为识别联合算法,首先将视频序列分别送入人体检测网络和特征加强网络,再采用爱因斯坦求和法将特征加强网络输出的多头卷积注意力特征与人体检测网络输出的热力图特征融合,得到加强融合特征,然后利用检测网络输出的人体目标位置特征信息和ROI Align模块对加强融合特征进行人体ROI(region of interest)区域特征截取,得到人体ROI区域加强融合特征,最后将人体ROI区域加强融合特征送入Transformer时序建模网络模块进行人体行为特征时序建模和识别。所提算法充分利用检测网络中间过程产生的行为主体区域特征,弱化了复杂环境中背景的干扰,同时实现了检测网络的输出特征共享,避免了识别网络的二次特征提取过程,从而提高了网络运行效率,且利用Transformer网络的建模优势,能够充分挖掘人体行为空间特征、时序特征以及之间的跨域特征的优势。实验结果表明：所提算法在提高了网络效率的同时大幅度地...     

基于显式运动建模的视频伪装目标检测

目前的视频伪装目标检测方法通常采用隐式运动建模或直接输入存在噪声的离线光流图来获取运动线索,这会影响模型性能。为了解决这一问题,提出一种新的基于显式运动建模的视频伪装目标检测框架,称为SMHNet。首先,该框架将显式运动建模与伪装目标检测联合在同一个框架中进行学习。然后利用特征双向更新模块实现两个分支的双向交互更新,相互补充、优化和纠错,输出光流估计结果和目标检测图。此外,为了解决缺少光流真值图这一问题,采用自监督策略对显式运动建模分支进行监督。在两个数据集上的对比实验结果表明,SMHNet有效地提高了视频场景中伪装目标检测的性能。     

基于边界敏感网络的时序行为候选生成算法

针对视频序列中人体行为检测的问题,提出一种基于边界敏感网络的时序行为候选生成算法,在原有边界敏感网络的基础上通过对时序评估模块和候选评估模块引入更深层的卷积神经网络,进而对视频特征有更好的表达。同时在后处理阶段,在NMS(non-maximum suppression)算法中引入新的置信度分数高斯加权衰减方法。实验结果表明,该算法可以有效提高行为检测问题中时序行为候选生成任务的召回率。在公开数据集Activity Net上,提出的方法在保证生成相同数量候选的同时有更高的平均召回率。     

一种基于区域选择的视频对象分割算法

视频对象分割对于行动识别和视频检索等领域具有重要作用。针对现有方案的不足,提出一种新的视频对象分割算法。首先,基于物质度构建出视频主要对象的区域图,然后,视频对象的区域选择被建模为区域图中最大权重派系的寻找问题,为了避免不合理的区域选择所导致的无法求解问题,对同一派系的区域引入两种互斥约束:帧内约束和帧间约束,最后提出了一种新的最大权重派系(MWC)算法来计算满足约束条件的最大加权派系,从而实现视频对象的精确分割。将本文算法用于SegTrack数据库中的多个高难度基准视频进行测试,实验结果表明,本文算法能够实现每帧视频主要对象检测和分割自动化,且分割误差也要明显小于已有的算法。     

基于双尺度串行网络的视频异常行为检测

针对传统视频异常行为检测模型存在的性能不佳与时间开销较大的问题,从空间和时序维度构造双尺度串行网络的视频异常行为检测模型(Dual-Scale Serial Network,DSS-Net)。首先,利用深度可分离卷积对Vgg-16网络进行改进,并利用改进的特征提取器从空间维度提取特征,从而可以通过减少计算参数量来降低模型的时间开销。接着,在此基础上引入注意力机制,从而强化目标特征的表达能力。最后,利用长短期记忆(Long Short-Term Memory,LSTM)网络从时序维度提取运动视频每一帧之间的上下文时序关系。在当前主流的UCSD Ped1和Ped2数据集以及更具挑战性的UCF数据集上进行测试,结果表明,在3个数据集上DSS-Net的ROC(Receiver Operating Characteristic)线下面积(Area Under Curve,AUC)值分别达到95.30%、96.80%、80.60%,等错误率(Equal Error Rate,EER)分别达到10.60%、12.60%、18.50%,同时具有更强的实时性。相比经典的One-class Neural Network (ONN)和Aggregation of Ensembles (AOE)模型,DSS-Net在Ped1和Ped2数据集上的AUC值分别提升了0.42%和0.94%。此外,DSS-Net也在UMN、ShanghaiTech和CUHK Avenue等数据集上进行了泛化能力和鲁棒性的测试,结果与当前主流模型相比具有一定的竞争力。     

基于深度学习的行为检测方法综述

行为检测在自动驾驶、视频监控等领域的广阔应用前景使其成为了视频分析的研究热点。近年来,基于深度学习的方法在行为检测领域取得了巨大的进展,引起了国内外研究者的关注,对这些方法进行了全面的梳理和总结,介绍了行为检测任务的详细定义和面临的主要挑战;从时序行为检测和时空行为检测2个方面对相关文献做了细致地分类,综合分析了每一类别中不同研究方法的思路和优缺点,并阐述了基于弱监督学习、图卷积神经网络、注意力机制等新兴研究话题的相关方法;介绍了行为检测领域常用的数据集以及性能评估指标,在这些数据集上比较了几种典型方法的性能;总结了当前行为检测方法需要解决的问题以及进一步发展的研究方向。     

视频剪辑查询结合时空金字塔匹配的视频检索方法

针对视频检索系统中目标持续移动从而影响检索精度的问题,提出一种基于视频剪辑查询融合时空金字塔匹配(spatio-temporal pyramid matching,STPM)方法.借助基于特征分析和分类的片段编辑检测器将新的视频分割成多个片段,以元数据信息将视频片段存入数据库,利用基于逐帧特征结合弱分类器的boosting算法检测视频片段边界,针对新的查询视频进行分析和线上视频匹配,并利用时空金字塔匹配计算相关反馈值.在中佛罗里达大学(university of central Florida,UCF)数据集和YouTube运动视频上的实验验证了方法的有效性,实验结果表明,方法的平均精度可高达97.6％,相比其他几种较为新颖的匹配方法,取得了更好的检索性能.     

整体与局部相互感知的图网络时序动作检测

针对目前动作检测与定位方法未综合利用整体与局部相互感知的时空关系信息、不利于提升动作检测与定位性能的问题,提出整体与局部相互感知的图网络时序动作检测方法.该方法综合利用各动作提案的特征相似性和时序重叠度构建整体关系图推理子网络,通过学习获得提案,该提案包含更丰富的整体时空特征表示;利用提案发生的时间偏序关系,构建局部关系图推理子网络,该子网络包含多个级别三体相似图和三体互补图的结构,通过学习获得不同时间尺度下提案的局部关系信息;最后构成整体与局部关系相互感知的丰富特征表达,用于动作检测与定位.采用平均精度均值作为评价指标在2个公开数据集(Thumos14和ActivityNet1.3)上进行了试验.结果表明,与PGCN、G-TAD、TAL-Net、CDC等先进方法相比,文中方法能有效提高动作检测的性能.     

基于自由度分析几何约束求解方法中过约束和欠约束的处理

在自由度分析方法的基础上使用依赖图, 解决了约束求解过程中的过约束和欠约束的处理问题. 依赖图中保留了求解问题中变量间的依赖信息. 当系统发现矛盾的过约束时或欠约束时会给使用者显示提示信息, 由用户进行处理.