基于视觉跟踪的实时视频人脸识别

目前基于深度学习的人脸识别方法准确率高,但是模型复杂,识别速度慢.为了实现监控视频中人脸的实时识别,提出了一种基于视觉跟踪的实时视频人脸识别(RFRV-VT)方法.首先将监控视频的帧序列分组,每一组中分为人脸识别帧和人脸跟踪帧;然后在人脸识别帧中使用基于深度学习的人脸检测和人脸特征提取方法,在人脸跟踪帧中使用基于核相关滤波(KCF)的视觉跟踪方法以加快识别速度.将该方法应用于数据集YouTube Faces(YTF)上进行测试,实验结果显示该算法在监控视频中具有实时性和较高的识别准确性(99.60%).     

基于C3D和视觉元素的视频描述

随着深度学习技术的发展,利用卷积神经网络(CNN)提取视频帧特征,再用循环神经网络(RNN)生成句子的方法被广泛用于视频描述任务中.然而,这种直接转换方式忽略了很多视频内在信息,如视频序列的时序信息、运动信息及丰富的视觉元素信息等.为此,文中提出了一种基于自适应帧循环填充法的多模态视频描述(AFCF-MVC)模型;采用自适应特征提取法提取含有丰富时空信息和运动信息的视频C3D特征,使得C3D特征包含了整个视频序列所有帧的信息,并将其作为神经网络的输入;针对不同视频的标注句子长度不同问题,提出了自适应帧循环填充法,即根据标注句子的长度自适应地控制输入特征的个数,在保证句子输入完整的前提下为神经网络提供尽可能多的特征输入,并起到重复学习的作用;为了充分利用视频丰富的视觉元素信息,通过视觉检测器检测出视频帧的视觉元素信息,编码后作为额外的补充信息融合进AFCF-MVC模型中.在M-VAD和MPII-MD数据集上的实验结果显示,该模型既能准确地描述视频中的内容,也能在语法结构上模拟出人类语言的丰富性.     

基于词袋模型的监控视频异常活动检测算法

针对监控视频异常活动检测算法检测准确率与鲁棒性较低的问题,提出了一种基于词袋模型与无向图建模的视频异常活动检测算法.(1)将输入视频划分为大小相等的视频片段,提取每个视频片段的时空兴趣点;(2)生成一个局部活动的无向图集,图的顶点表示时空兴趣点,边表示兴趣点之间的关系;(3)分别对局部异常活动和全局异常活动进行分类处理,识别出异常活动.基于公共数据集UMN的仿真实验结果表明,本算法对视频监控中异常活动具有较好的检测准确率.     

基于深度学习的监控视频树叶遮挡检测

结合稀疏自编码器的自动提取数据特征能力和深度置信网络较好的分类性能,提出一种基于深度学习的监控视频树叶遮挡检测方法。首先从视频中随机选取一帧图像,通过栈式稀疏自编码器主动学习视频图像的特征信息,然后采用深度置信网络建立分类检测模型,最后引入学习速率自适应调整策略对整个神经网络进行微调。该方法不需要对视频连续取帧,具有较好的图像特征主动学习能力,克服了人工提取特征能力有限的缺陷。实验结果表明,在样本量充足的条件下,使用本文方法进行监控视频树叶遮挡检测可以达到88.97%的准确率。     

基于计算机视觉的静态场智能监控系统

本文介绍了一种基于计算机视觉的静态场智能监控系统,用于重要区域的智能视频监控领域。该系统将数字图像处理技术、智能模式识别技术及视频监控技术进行了融合,通过监控现场摄像机分时采集若干帧的视频图像,以此建立场景边缘模型,通过计算机视觉的自适应识别算法分析被监控现场的实时图像资料,并根据相应模式处理被监控现场的异常状况,从而实现重要区域的智能监控。     

一种基于深度卷积神经网络的摄像机覆盖质量评价算法

随着视频监控系统的大规模普及,视频监控系统的效用评价成为一个重要的研究课题.当前视频监控系统评价只考虑了摄像机的覆盖率,缺少对摄像机覆盖质量的量化评价.该文提出了一种基于深度卷积神经网络的监控摄像机覆盖质量评价算法.将摄像机覆盖质量评价问题转化为对摄像机所采集视频帧的质量评价问题,探讨了基于视频帧的摄像机覆盖质量等级的分级策略,标注了一个摄像机视频帧质量等级数据集; 设计了一种新颖的多维标签赋值方法,利用深度卷积网络学习鲁棒的视频帧表示,进一步基于支持向量回归机(SVR)学习视频质量回归函数,从而实现对摄像机覆盖质量的鲁棒估计.实验结果表明:该算法能够准确地对监控摄像机的覆盖质量进行自动评测,有效监测了摄像机监控质量的实时变化.     

帧间差分法在视频监控中的应用研究

分析了现有人工视频监控的不足和智能视频监控的优越性,提出了检测视频中可疑情形的可行方法。为了能够在长时间不间断视频中稳定快速准确地识别出当前监控所遇到的情形,提出了基于视频帧间差分的视频监控处理技术;同时对视频处理进行了区域分割,提高对视频中可疑情况的识别率。实验在Matlab环境下对于录制的视频进行处理,利用改进的帧间差分法检测到视频中的异常情形,得到监控视频中有异常情况的画面,验证了方法的可行性和有效性。     

基于YOLOv5 DeepSORT和虚拟检测区的车轴时空定位方法

为获得道路桥梁上汽车车轴的分布状况,基于YOLOv5 DeepSORT机器视觉技术对监控视频中车轴时空定位的方法进行研究。首先,根据监控视频中车轴多尺度、小目标的特点,提出基于Faster R-CNN算法的图像半自动标注方法,快速构建车轴目标检测数据集;利用YOLOv5算法检测视频中的车轴目标,并对YOLOv5系列算法性能进行评估;然后,提出在视频监测区域中设置虚拟检测区,先利用卡尔曼滤波算法对车轴目标的位置和状态进行预测,再分别利用重识别算法、匈牙利算法和级联匹配方法实现前后2帧车轴目标的匹配,完成基于DeepSORT算法的车轴多目标跟踪,生成车轴轨迹;最后,利用多目标跟踪结果,结合直接线性转换和基于匀速假定的位置推定,实现了对桥上所有车轴的时空定位。结果表明：在目标检测方面,YOLOv5s6模型表现最优,准确率达到96.42%,检测时间19.2 ms/帧,对车轴具有高准确率和更快的检测速度;在多目标跟踪方面,基于虚拟检测区和YOLOv5 DeepSORT的多目标跟踪方法具有更好的检测和跟踪效果,与不设置虚拟检测区对比,多目标跟踪精度(MOTA)和识别精确率与识别召回率的调和平均数(...     

一种基于Android的智能视频监控系统

为了实现视频监控的智能化,提出了一种基于Android 4.0操作系统的智能视频监控系统的方案,系统具有全景视频采集、图像复原和变换、异常行为检测、高清抓拍、数据回传等功能,采用基于时空特征点的Hessian矩阵检测方法进行异常行为识别,采用满全景拼接的方法实现360°全景呈现,最后设计并实现了该系统.实验结果表明,该系统稳定可靠,携带方便,功能基本实现,有一定应用前景.     

基于卡尔曼滤波的考生异常行为检测与识别

为了利用考场的监控视频提高监考效率,节约人力资源,提出了结合累积背景差分与帧差进行异常检测,利用卡尔曼滤波跟踪学生异常行为并提取异常特征,使用Softmax分类器进行分类识别的方法,实现了考生异常行为的自动识别检测与分类。实验结果表明,能够对考生的异常行为进行有效的检测与分类,提高了考场监控能力。     

治安监控视频中暴力行为的识别与检测

为了充分提取治安监控视频中的时空特征和时序特征,并对暴力行为进行准确的识别与检测,提出一种基于三维卷积神经网络(3DCNN)和卷积长短期记忆网络(Conv LSTM)的暴力行为识别算法。首先,采用一种通用视频描述符—3DCNN结构,提取视频的短时特征,这些特征封装了视频中与目标和场景相关的背景信息,然后,构建Conv LSTM网络对3DCNN提取的短时特征在时间轴上进行建模,进而充分提取视频的高层时序特征。最后,利用Sigmoid函数分类行为动作。为了验证该算法的高效性,对所提出的方法在暴力行为数据集Hockey上进行验证,达到了98.96%的识别精度。测试结果表明,该融合模型在检测效果上优于目前人工提取特征的方法和深度学习的方法。     

运动目标检测的三帧差分和背景消减研究

本文介绍了一种基于视频监控系统的运动目标检测方法。这种方法综合利用三帧差分和背景消减来进行运动检测的方法。这种算法在帧差法的基础上,得到完整可靠的运动目标图像。在铁路视频监控系统中主要使用固定摄像机对一固定场景进行监控,因此,图像序列三帧差分方法在智能化铁路视频监控系统中是一种重要的运动目标检测方法。     

基于3D卷积神经网络的IR-BCI脑电视频解码研究

采用3D卷积神经网络模型,对脑电信号进行解码研究,旨在挖掘其深层的特征表达,以提高脑-机接口系统的性能.实验在获取"模拟阅读"脑-机接口系统的多维脑电信号后,将原始的通道特征构建成"脑电视频"的格式.其构造方法为:将通道按实际空间排布为二维矩阵,这样某时刻的多通道采样点在空间上形成一个"视频帧",这些空间信息在连续时间帧上的堆叠,形成"脑电视频".这种自然表达信息的方法,不仅包含大脑的空间分布信息,还反映了时间信息的关联,丰富了数据所包含的事件相关信息.借鉴图像领域特征学习的"局部感受野"和"权值共享"思想,搭建了自主学习脑电信号特征的3D卷积神经网络模型,将已打标签的脑电视频数据对模型进行训练,之后对测试集进行测试.与经典的卷积神经网络和传统的最佳单通道算法相比,分类正确率有了进一步的提高.实验表明,基于脑电视频的3D卷积神经网络能够更有效地学习脑电特征,改善了模拟阅读脑-机接口系统的性能.     

基于时空显著性检测的3D视频生成方法

为了解决3D视频生成方法在获取深度线索方面的难题,使用显著图代替深度图进行3D视频生成。显著图和深度图在性质上有所不同,但是显著图是通过视觉注意力分析得到的,因此也可以给予人眼良好的感官体验。为了得到更适合进行视频内容转换的显著图,将时间信息融入到了深度学习模型当中。通过实验证明了本文方法在两个广泛使用的视频显著性数据集上拥有很好的表现力,所生成的3D内容也具有良好的视觉效果,证明了基于显著性检测的3D视频生成方法具有一定的可行性。     

一种运动区域敏感的监控视频压缩算法

海量监控视频存储是目前监控行业面临的一个亟待解决的难题。文章针对静态背景的监控视频,提出了运动区域敏感的视频压缩算法。首先,针对视频帧,在运动目标检测的基础上结合运动信息和边缘信息,保证剪裁前后边缘能量代价最小并设计相应的代价函数,实现了对视频的单帧剪裁;其次,针对相邻视频帧,引入时空相关性原则并设计相应的代价函数,保证剪裁后相邻帧间的连续性。实验结果表明,该算法不仅对静态背景监控视频有较高压缩效果,还能保证兴趣区域的高质量和剪裁前后视频结构的形似性和完整性。     

一种视频时空特征提取算法及其应用研究

目前基于内容特征的视频检索系统,大多采用提取视频关键帧的颜色、纹理、形状等底层特征,来进行视频相识度匹配,这些底层特征是基于全局统计或者人工设计的特征提取方式,存在泛化抽象能力不强、易受光照和噪声的影响等问题,同时,由于未考虑视频帧时序上的关联性,导致视频检索精度偏低。为此,基于深度学习框架,提出了一种视频时空特征提取算法。该算法以关键帧附近16帧图像作为学习源,采用三维卷积神经网络,融合帧的内容特性和时序变化特性,获取4 096维特征向量作为新的视视时空特征描述子。在标准动作视频数据集UCF-101上进行实验,结果表明该特征能显著提高视频检索精度,在查全率为90%的情况下,平均查准率不低于84%,检索效果优于传统视频检索方法。     

基于自注意力机制的多模态场景分类

针对真实环境场景会同时出现多种事件导致场景分类准确率受到干扰信息影响的问题，本文提出了一种基于自注意力机制的多模态场景分类方法。首先，对音频进行特征提取并使用自注意力机制获得关注信息；然后，对视频进行分帧图片抽取，通过ResNet 50对图片特征进行提取；最后，将两个模态的特征进行拼接并再次使用自注意力机制对特征信息进行抓取分类。基于DCASE2021 Challenge Task 1B数据集的实验结果表明，与其基线系统、双模态信息简单拼接、视频辅助音频和音频辅助视频的分类系统相比，基于自注意力机制的多模态场景分类系统的准确率优于单模态互相辅助决策的场景分类系统。     

基于时空特征融合的端到端无人车控制

基于深度学习的端到端车辆控制器多是由二维卷积神经网络(2D convolutional neural netuark,2D CNN)训练得到的,因未考虑时间维度上的帧间运动信息,使得控制器的可解释性与泛化能力较差,而三维卷积神经网络(3D CNN)可以从连续视频帧中学习时空特征。深度确定性策略梯度强化学习(depth deterministic policy gradient,DDPG)常用于连续动作的控制优化,但DDPG算法仍存在采样方式不合理而导致的样本利用率低的问题。基于此,采用3D CNN与改进DDPG算法相结合的方法对车辆方向盘转角和速度进行预测。通过实车实验实现了车辆在所设置轨道上的自主驾驶,为基于深度学习和强化学习方法解决自动驾驶中的端到端控制问题提供了科学方法。     

视频剪辑查询结合时空金字塔匹配的视频检索方法

针对视频检索系统中目标持续移动从而影响检索精度的问题,提出一种基于视频剪辑查询融合时空金字塔匹配(spatio-temporal pyramid matching,STPM)方法.借助基于特征分析和分类的片段编辑检测器将新的视频分割成多个片段,以元数据信息将视频片段存入数据库,利用基于逐帧特征结合弱分类器的boosting算法检测视频片段边界,针对新的查询视频进行分析和线上视频匹配,并利用时空金字塔匹配计算相关反馈值.在中佛罗里达大学(university of central Florida,UCF)数据集和YouTube运动视频上的实验验证了方法的有效性,实验结果表明,方法的平均精度可高达97.6％,相比其他几种较为新颖的匹配方法,取得了更好的检索性能.     

双交叉注意力自编码器改进视频异常检测

针对视频中包含的异常事件数量稀少,信息密集的特征容易被遗漏等问题,本文提出一种双交叉注意力自编码器的视频异常事件检测方法.首先预处理视频集,提取视频帧中表观和运动特征,然后设计双交叉注意力模块融入自编码器中,使特征图在自编码器中能够更好地关联全局特征.其次将提取后的特征放入各自的自编码器中学习正常行为,使含有正常事件的视频帧能被模型重构,含有异常事件的视频帧则无法被重构.最后通过检测模型得到各个视频帧的重构误差从而进行异常事件判定.该方法可以以局部特征关联全局特征的方式有效提高视频异常事件检测的准确率,通过在多个公开数据集中进行实验验证,证明该方法优于其他同类方法.