基于深度学习的行为检测方法综述

行为检测在自动驾驶、视频监控等领域的广阔应用前景使其成为了视频分析的研究热点。近年来,基于深度学习的方法在行为检测领域取得了巨大的进展,引起了国内外研究者的关注,对这些方法进行了全面的梳理和总结,介绍了行为检测任务的详细定义和面临的主要挑战;从时序行为检测和时空行为检测2个方面对相关文献做了细致地分类,综合分析了每一类别中不同研究方法的思路和优缺点,并阐述了基于弱监督学习、图卷积神经网络、注意力机制等新兴研究话题的相关方法;介绍了行为检测领域常用的数据集以及性能评估指标,在这些数据集上比较了几种典型方法的性能;总结了当前行为检测方法需要解决的问题以及进一步发展的研究方向。     

基于深度学习的监控视频树叶遮挡检测

结合稀疏自编码器的自动提取数据特征能力和深度置信网络较好的分类性能,提出一种基于深度学习的监控视频树叶遮挡检测方法。首先从视频中随机选取一帧图像,通过栈式稀疏自编码器主动学习视频图像的特征信息,然后采用深度置信网络建立分类检测模型,最后引入学习速率自适应调整策略对整个神经网络进行微调。该方法不需要对视频连续取帧,具有较好的图像特征主动学习能力,克服了人工提取特征能力有限的缺陷。实验结果表明,在样本量充足的条件下,使用本文方法进行监控视频树叶遮挡检测可以达到88.97%的准确率。     

基于深度学习的人体行为识别检测综述

人体行为识别检测是计算机视觉领域的研究热点,主要包括行为识别和行为检测两大部分.目前,对行为识别检测的综述主要聚焦在行为识别领域,对行为检测的关注度偏低.针对这一现状,聚焦行为识别和行为检测两个方面,分别综述了行为识别以及行为检测的各种方法,介绍了常用的数据集.首先从网络结构的角度重点论述了基于深度学习的行为识别方法;而后将行为检测划分为时序行为检测和时空行为检测,总结行为检测的各种算法;最后对各种算法的特点进行了总结分析,探索行为识别与行为检测的区别与联系,对当前研究面临的问题以及下一步的工作进行了总结和展望.     

基于去噪自编码器的镜像极限学习机设计

针对极限学习机在高维度、含噪声数据集中需要大量隐含层节点来保证分类性能的问题,设计了镜像极限学习机.该算法使用伪逆法确定输入权值,随机生成输出权值和偏置,在对数据进行分类时,它仅需极少的隐含层节点.为了提升镜像极限学习机的分类性能和抗噪性,将它与去噪自编码器相结合.利用去噪自编码器对输入数据进行特征提取,并将提取到的特征作为镜像极限学习机的输入数据,再进行网络训练.在无噪和含噪声的MNIST,Fashion MNIST,Rectangles和Convex数据集中,将基于去噪自编码器的镜像极限学习机与ELM,PCA-ELM,SAA-2和DAE-ELM作对比实验,结果表明,基于去噪自编码器的镜像极限学习机的综合性能最优,用于分类的网络隐含层节点数最少.     

基于积分通道特征的异常行为检测算法

对视频中的行人异常行为检测问题进行了研究。针对传统行人异常行为检测算法在准确性和兼容性方面的不足,提出一种基于积分通道特征的异常行为检测算法;该算法利用背景分割和行人信息统计的方式,对不同背景下的视频模型进行了建模。结合对行人个体的轨迹分析,对运动个体的位置进行异常行为检测。算法首先对检测区域采取区域划分,然后采用改进的积分通道特征行人检测算法对目标进行检测,最后采取Mean-shift算法对目标进行跟踪。最后的实验数据表明该算法整体性能有所提高。     

基于上下文和稀疏表示的异常行为识别

提出了一种基于上下文和稀疏编码框架的无监督异常行为识别方法。首先对图像进行稠密采样,获得稠密轨迹,并提取轨迹中心周围图像块的形状特征、R–HOG、HOF特征作为特征描述符,加强了对运动信息的描述。其次,将人体行为区域和上下文区域分割开来建立2个独立字典。再将它们组成联合字典最大化字典信息,避免了单独识别人体异常行为而忽略上下文信息所导致的漏报。最后,利用稀疏重构的方法进行异常检测,分别计算测试样本中上下文区域和行为区域的重构误差,相对重构误差为负表示为正常行为,否则判断为异常行为。在KTH行为数据集上进行对比实验,实验结果表明本文算法在不同背景下均能有效识别异常行为。     

基于泊松方程的异常行为检测

异常行为检测是家居监护系统的重要功能之一。提出了一种基于泊松方程的特征提取算法,并采用K均值算法实现人体异常行为——跌倒的检测。首先采用基于混合高斯模型的运动目标检测算法获得运动人体的二值图像序列;然后,对图像序列提取基于二维泊松方程的矩特征描述人体行为;最后采用K均值分类器对异常行为进行检测。所使用的数据库包括6种可能发生的日常行为:站立、走、慢跑、坐、蹲,以及跌倒。实验表明,采用该算法检测异常行为——跌倒的正确识别率为98.72%。     

基于自编码器的无监督机器异常声检测

针对机器异常声音很少发生并且种类多、不稳定的问题,提出了一种基于自编码器的无监督机器异常声检测方法.首先,利用正常声音的频谱特征训练自编码器,对正常声音的特征进行重建;然后,通过自编码器重建待测音频的特征,利用待测音频的特征和重建的特征两者之间的误差值进行异常检测.采用DCASE2020 Challenge Task2...     

基于堆叠自动编码器的网络行为识别

网络行为识别一直是网络安全中的研究热点,随着网络中数据量的海量增大以及数据的非线性等问题的影响,对于网络行为识别的特征提取和识别技术提出更高的要求。文章提出了一种基于堆叠自动编码器的网络行为识别方法,该方法通过构建堆叠自动编码器和SOFTMAX分类器的深度学习框架,结合无监督的预训练和有监督的全局微调,优化堆叠自动编码器的特征提取性能,实现了网络行为特征的深度提取,从而对高校流量数据中上网行为进行分析识别。     

应用交互式网络流模型的高速网络异常行为检测与控制

针对网络异常流量的检测与定位问题,提出了一种根据网络流统计量异常变化和不完整网络流来有效识别并定位网络异常流量的方法.该方法建立在交互式网络流模型的基础上,分析了交互式网络流模型下各种网络流的交互特征;为准确实时获取网络异常源,采用中国余数定理,设计了连接度sketch结构中的哈希函数,满足了网络用户信息逆向求解的需要,实现了高速网络中异常网络流特征参数的实时获取;为减缓网络异常行为的扩散速度,提出采用动态软隔离方法实现网络异常行为的控制.真实环境下的实验结果表明,所提方法对于多种类型的网络异常行为具有良好的检测效果,检测的准确率和速率都得到了提高,同时可以准确地定位网络异常源,为有效控制网络异常行为的扩散奠定了基础.     

基于改进的DSSIM跟踪算法的行人异常行为检测

提出了改进型微分结构相似度（Differential Structural Similarity,DSSIM）算法,用核均值亮度计算SSIM中的亮度均值,并在跟踪过程可能发生遮挡、跟错的情况下,利用GM（1,1）灰色预测模型预测行人可能出现的位置,提高算法的跟踪效果.在稳定跟踪的基础上,对跟踪窗口进行仿射变换,使跟踪窗口可以进行旋转,从而能够检测探身、摔倒.实验结果表明,算法能够在简单场景的跟踪过程中快速有效地检测出游荡、探身、摔倒的人体异常行为.     

基于特征融合的视频异常事件检测方法

为有效对视频数据进行降维并去除特征集合中的冗余信息, 以提高异常事件的检测效率, 从特征提取和选择的角度提出了融合特征区分度和相关性的视频异常事件检测方法。利用视频数据的时空邻域信息进行特征提取。通过分析特征的判别力和相关性进行特征选择, 从而去除特征集合中的冗余信息, 提高异常事件检测的效率和准确性。实验结果表明, 该方法的检测准确率都优于其他传统方法, 能有效地对场景中发生异常事件的区域进行准确定位。     

针对空中监控平台的异常行为检测方法

空中监控平台拍摄的视频具有背景移动、视距较远等特点,结合其特点提出适用于空中监控平台的人群异常行为检测方法。首先通过估计图像的深度信息,适当修正特征点的光流矢量,以减小透视现象导致的对特征点运动速度的估算误差;然后对特征点的光流矢量聚类,并结合背景运动一致性规律检测出前景特征点。通过双高斯混合模型检测异常特征点,用最大期望(EM)算法求取模型参数。最后采用一种时间队列机制检验误判;并通过简化的凝聚层次聚类算法对异常特征点的空间坐标进行聚类,去除孤立的异常特征点并标记出异常群体。多个场景下的实验结果验证了方法的有效性。     

基于跟踪轨迹的车辆异常行为检测

为提高ITS(Intelligent Traffic System)交通事件管理的智能性, 提出基于跟踪轨迹的车辆异常行为检测,分为目标检测跟踪、轨迹分析处理和车辆行为分析3 个步骤。首先利用三帧差法对目标进行初始定位, 采用基于Kalman 预测器的改进跟踪算法对车辆进行跟踪; 然后提出采用最小二乘法自适应分段直线拟合算法对目标跟踪获得的运动轨迹进行快速拟合; 最后结合运动方向变化率和速度变化率两个参数建立车辆异常行为检测模型。实验结果表明, 在道路监控视频中, 该算法能快速准确检测急刹车、急转弯和急转弯刹车等车辆异常行为。     

基于双尺度串行网络的视频异常行为检测

针对传统视频异常行为检测模型存在的性能不佳与时间开销较大的问题,从空间和时序维度构造双尺度串行网络的视频异常行为检测模型(Dual-Scale Serial Network,DSS-Net)。首先,利用深度可分离卷积对Vgg-16网络进行改进,并利用改进的特征提取器从空间维度提取特征,从而可以通过减少计算参数量来降低模型的时间开销。接着,在此基础上引入注意力机制,从而强化目标特征的表达能力。最后,利用长短期记忆(Long Short-Term Memory,LSTM)网络从时序维度提取运动视频每一帧之间的上下文时序关系。在当前主流的UCSD Ped1和Ped2数据集以及更具挑战性的UCF数据集上进行测试,结果表明,在3个数据集上DSS-Net的ROC(Receiver Operating Characteristic)线下面积(Area Under Curve,AUC)值分别达到95.30%、96.80%、80.60%,等错误率(Equal Error Rate,EER)分别达到10.60%、12.60%、18.50%,同时具有更强的实时性。相比经典的One-class Neural Network (ONN)和Aggregation of Ensembles (AOE)模型,DSS-Net在Ped1和Ped2数据集上的AUC值分别提升了0.42%和0.94%。此外,DSS-Net也在UMN、ShanghaiTech和CUHK Avenue等数据集上进行了泛化能力和鲁棒性的测试,结果与当前主流模型相比具有一定的竞争力。     

基于行为采集系统的用户特征挖掘及分析

结合用户行为时间序列和操作频次,融合FP-GROWTH算法设计了用户特征挖掘算法,建立网络形式的用户行为特征表达方法,设计了相应的用户行为采集系统,给出了相应的设计框架和存储结构。并以高校学生为研究对象采集了相应的数据对系统进行测试,实验结果表明该系统可以捕捉和分析用户行为,并对用户的习惯行为进行表达,进而揭示用户的行为习惯。     

人体检测与异常行为识别联合算法

近年来,异常行为识别算法取得了一定的研究进展,但是针对复杂环境、人体遮挡、动作相似度高等多种挑战,识别算法的适应性、效率、准确性都有待进一步提高。为了解决以上问题,提出了基于特征增强的人体检测与异常行为识别联合算法,首先将视频序列分别送入人体检测网络和特征加强网络,再采用爱因斯坦求和法将特征加强网络输出的多头卷积注意力特征与人体检测网络输出的热力图特征融合,得到加强融合特征,然后利用检测网络输出的人体目标位置特征信息和ROI Align模块对加强融合特征进行人体ROI(region of interest)区域特征截取,得到人体ROI区域加强融合特征,最后将人体ROI区域加强融合特征送入Transformer时序建模网络模块进行人体行为特征时序建模和识别。所提算法充分利用检测网络中间过程产生的行为主体区域特征,弱化了复杂环境中背景的干扰,同时实现了检测网络的输出特征共享,避免了识别网络的二次特征提取过程,从而提高了网络运行效率,且利用Transformer网络的建模优势,能够充分挖掘人体行为空间特征、时序特征以及之间的跨域特征的优势。实验结果表明：所提算法在提高了网络效率的同时大幅度地...     

变异特征加权的异常语音说话人识别算法

常用的加权算法难以跟踪非常态语音特征的变异,为此,文中提出了一种变异特征加权的异常语音说话人识别算法.首先统计大量正常语音各阶MFCC特征的概率分布,建立正常语音特征模板;然后用测试语音特征与正常语音特征模板之间的K-L距离和欧氏距离来度量语音的变异程度,确定K-L加权因子和欧氏加权因子;最后利用加权因子对测试语音的MFCC特征进行加权,并将加权后的特征输入高斯混合模型进行异常语音说话人识别.实验结果表明,文中提出的K-L加权和欧氏加权的异常语音说话人识别算法的整体识别率分别为46.61%和42.25%,而基于各阶特征对说话人识别贡献的加权算法和不加权算法的整体识别率分别为39.68%和36.36%.