人体检测与异常行为识别联合算法

近年来,异常行为识别算法取得了一定的研究进展,但是针对复杂环境、人体遮挡、动作相似度高等多种挑战,识别算法的适应性、效率、准确性都有待进一步提高。为了解决以上问题,提出了基于特征增强的人体检测与异常行为识别联合算法,首先将视频序列分别送入人体检测网络和特征加强网络,再采用爱因斯坦求和法将特征加强网络输出的多头卷积注意力特征与人体检测网络输出的热力图特征融合,得到加强融合特征,然后利用检测网络输出的人体目标位置特征信息和ROI Align模块对加强融合特征进行人体ROI(region of interest)区域特征截取,得到人体ROI区域加强融合特征,最后将人体ROI区域加强融合特征送入Transformer时序建模网络模块进行人体行为特征时序建模和识别。所提算法充分利用检测网络中间过程产生的行为主体区域特征,弱化了复杂环境中背景的干扰,同时实现了检测网络的输出特征共享,避免了识别网络的二次特征提取过程,从而提高了网络运行效率,且利用Transformer网络的建模优势,能够充分挖掘人体行为空间特征、时序特征以及之间的跨域特征的优势。实验结果表明：所提算法在提高了网络效率的同时大幅度地...     

基于动作主视图和LSTM网络模型的人体行为识别

人体行为识别是计算机视觉领域的研究热点。针对传统行为识别算法具有计算复杂度较高的问题,提出一种基于动作主视图的长短时记忆模型人体动作识别方法。将三维空间中的动作正投影到二维的平面中,降低动作空间的维度和计算复杂度,利用长短时记忆神经网络处理时序数据的能力,对人体动作进行识别。选用MSRAction 3D公开数据集验证文中算法,采用十次十折交叉验证法,该方法平均识别率达93.06%。实验结果表明,本方法在降低算法复杂度的同时,识别效果较现有的其他算法好。     

基于视频监控的手扶电梯乘客异常行为识别

针对乘客在搭乘扶梯时的危险行为难以被实时准确检测的问题,提出了一种基于视频监控的手扶电梯乘客异常行为识别算法。首先,使用YOLOv3对图像中乘客的位置进行检测;接着,使用MobileNetv2作为基网络,结合反卷积层对检测出来的乘客进行人体骨架提取;然后,使用骨架距离作为跟踪依据,采用匈牙利匹配算法对相邻帧间的人体骨架进行匹配,实现视频中乘客的ID号分配;最后,通过图卷积神经网络对乘客关键点信息进行异常行为识别。在GTX1080GPU上的实验结果表明,文中提出的识别算法的处理速度能达到15 f/s,异常行为识别准确率达94.3%,能够实时准确地识别手扶电梯上乘客的异常行为。     

基于粒子滤波的行为识别方法

行为识别是图像处理的一个热点问题。一些研究表明在监督学习的框架下,通过提取时空兴趣点（Spatial-temporal interest points）能较好地识别人体的行为。由于兴趣点中包含与人体行为无关的噪声点,为了改进兴趣点的提取,提出了一种基于人体骨架的改进方法。该方法通过粒子滤波（Particle filter）算法改进人体骨架的精度,而改进后的人体骨架,能得到更有效的兴趣点。通过在“Weizmann”,“KTH”数据集的测试,实验结果表明,该算法不仅能够提高人体行为的识别,而且能够改进人体骨架的精确度。     

基于人体骨架序列的手扶电梯乘客异常行为识别

手扶电梯(简称扶梯)乘客异常行为识别研究具有重要意义.针对传统行为识别算法易受环境影响、不能实时并准确对多目标进行识别的问题,提出一种基于人体骨架序列的扶梯乘客异常行为识别算法.该算法首先通过结合可变形组件模型特征的支持向量机检测乘客人脸,并用改进的核相关滤波器对其进行跟踪,从而得到乘客在扶梯中的运动轨迹;接着利用卷积神经网络提取轨迹中乘客的人体骨架序列,并通过模板匹配从乘客人体骨架序列中检测异常行为骨架序列;最后利用动态时间规整将其与各类异常行为骨架序列匹配,基于k近邻方法识别异常行为.对10段扶梯视频的实验结果表明,文中所提的异常行为识别算法处理速度达到10帧/秒,识别准确率为93.2%,能够实时、准确地识别多种乘客异常行为.     

基于视频的人体异常行为检测与识别

提出了一种运动目标检测算法,通过三帧差分法,可以从视频图像中提取出运动目标的轮廓.通过三帧差分法分别对人体正常行走和人体摔倒两种行为进行检测,提取出人体在两种行为的运动过程中的特征.提出一种基于改进Hu矩不变性的人体异常行为识别算法,对人正常行走和摔倒两种行为进行识别.正常行走是正常行为,摔倒则为异常行为.实验证明,该方法对在本研究的实验环境下的正常行走和摔倒两种行为识别率很高,有一定实用价值.     

基于粒子滤波的行为识别方法

行为识别是图像处理的一个热点问题。一些研究表明在监督学习的框架下,通过提取时空兴趣点(Spatial-temporalinterest points)能较好地识别人体的行为。由于兴趣点中包含与人体行为无关的噪声点,为了改进兴趣点的提取,提出了一种基于人体骨架的改进方法。该方法通过粒子滤波(Particle filter)算法改进人体骨架的精度,而改进后的人体骨架,能得到更有效的兴趣点。通过在“Weizmann”,“KTH”数据集的测试,实验结果表明,该算法不仅能够提高人体行为的识别,而且能够改进人体骨架的精确度。
     

基于加速度信号几何特征的动作识别

根据人行为动作的特点,提出了一种基于加速度信号几何特征的层次识别算法以识别多种人的行为,例如:步行、下楼、上楼、跑步等.所分析的数据由绑在人体胯部的加速度传感器在实际环境中采集.该算法利用加速度信号的几何特征(周期,波峰值,波谷值)和信号的物理意义(如各方向的能量分布),所选取的特征对个人依赖较小.识别的过程采用了分层识别算法.该算法识别速度快,准确率高,在实际应用中取得了较好的效果.大量的实验表明,该算法对动作的识别正确率在80%以上.     

基于人体属性分析的考场行为识别

在实际监控的边缘设备中利用TSN或者3DCNN网络很难实现实时的、相对准确的监控任务。提出一种结合了人体检测和人体属性分析的考场行为识别算法。相对于以提取时空特征作视频分类算法为主流思想的行为识别,利用视频帧以人体检测和人体属性分析结合的行为识别方法更加快速准确。方法借助了多标签学习、注意力机制和特征金字塔等策略来改进任务,同时利用迁移学习对本地采集的数据集进行再训练,实验结果表明达到了主流数据集的良好性能,并在考场环境具有高效性与实用性。     

基于双语动态系统包的视角无关的人体行为识别

视角无关的人体行为识别是计算机视觉领域研究的热点和难点之一.现有的视角无关的行为识别算法的识别率随着角度的改变差异很大,尤其与俯角相关的识别效果还不够理想.提出了一种基于双语动态系统包的视角无关的人体行为识别方法.首先结合兴趣点检测器和密集采样算法提取视频帧中的时空立方体并对每个时空立方体建立线性动态系统（LDS）;其次对LDSs进行非线性降维聚类形成码本,并根据LDSs在码本中的分布及权重用一个动态系统包（bag of dynamical systems）来表示每个动作样本;最后同时对两个视角下的BoDS采用K-奇异值分解（K-SVD）算法得到一对可迁移字典对,然后根据这对字典对采用正交匹配追踪（OMP）算法得到两个视角下每个动作的稀疏表示.在IXMAS多视角数据库的实验结果表明了文中算法的稳定性和有效性.     

基于运动特征的人体异常行为识别

为了提高监控视频中人体异常行为识别的实时性和准确率,提出了基于运动特征的人体异常行为识别方法。利用分块更新的背景差法从图像中提取出完整的人体轮廓,通过区域关联结合颜色直方图实现人体目标跟踪,解决了非线性运动时漏跟和误跟的问题。通过人体运动轨迹、运动姿态及运动时间3个参数,对人的5种异常行为进行分析判断。实验结果表明,所提算法不仅能实时地对人体进行检测和跟踪,还能快速、准确地识别出异常行为,具有简单实用的特点。     

基于深度学习的人体行为识别检测综述

人体行为识别检测是计算机视觉领域的研究热点,主要包括行为识别和行为检测两大部分.目前,对行为识别检测的综述主要聚焦在行为识别领域,对行为检测的关注度偏低.针对这一现状,聚焦行为识别和行为检测两个方面,分别综述了行为识别以及行为检测的各种方法,介绍了常用的数据集.首先从网络结构的角度重点论述了基于深度学习的行为识别方法;而后将行为检测划分为时序行为检测和时空行为检测,总结行为检测的各种算法;最后对各种算法的特点进行了总结分析,探索行为识别与行为检测的区别与联系,对当前研究面临的问题以及下一步的工作进行了总结和展望.     

基于空间聚类的FMCW雷达双人行为识别方法

为实现双人场景下人体行为的识别,利用调频连续波(frequency modulated continuous wave, FMCW)雷达提出一种基于空间聚类的双人行为识别方法.该方法采用基于密度的DBSCAN(density-based spatial clustering of applications with noise)聚类算法将FMCW雷达采集到的坐标数据聚类成不同的聚类群,使得每一个聚类群对应于单一人体的行为,再对其进行数据处理、特征提取后分别采用机器学习方法分类,实现双人场景下人体行为的识别.文中分析行为特征量、动作关键点以及分类器对识别准确率的影响.实验结果表明,在两人场景中该方法对跌倒、坐下和行走的检测准确率分别可以达到100%、 93.8%和87.3%.     

视频监控中可变人体行为的识别

为有效识别视频监控中的人体行为,提出了新的人体行为识别模型和前景提取方法.对前景提取,采用背景边缘模型与背景模型相结合的前景检测方法,有效避免了光照、阴影等外部因素的影响.为了快速发现人体运动过程中产生的新行为,采用分层Dirichlet过程聚类人体特征数据来判断是否有未知人体行为产生,用无限HMM对含有未知行为模式的...     

基于人体时空骨架特征的图卷积行为识别算法

【目的】为了充分利用动态的人体骨架特征,提高行为识别精度,提出一种基于人体时空骨架特征的图卷积行为识别算法。【方法】首先在空间上确定主关节点,再融合各关节点与主关节点之间的向量和关节点间的骨骼长度,获取瞬时状态下关节点的相对位置关系;然后计算相邻两帧之间由相同关节点构成的时序动作信息来描述运动状态;最后,将时空信息融合到时空图卷积网络中,进行端到端训练。【结果】与时空图卷积网络识别算法相比,在400分类Kinetics行为识别数据集上的Top-1和Top-5指标分别提升了1.78%和1.77%,在NTU RGB+D数据集的两个基准上的Top-1分别提升4.13%和2.61%。【结论】提出的基于人体时空骨架特征的图卷积行为识别算法是有效实用的。     

基于Openpose和Yolo的手持物体分析算法

针对当前模式识别领域少有专门针对手持物体识别的研究,提出了可实时全局分析人体手持物体状 态及手持物体类别的分析算法。以人体姿态估计网络Openpose和物体检测网络Yolo为基础对图像进行初步处理,利用C++API将二者获取到的人体关节点坐标和目标物体坐标进行信息融合,然后针对不同尺寸的物体进行分类并分别设计了判定法则,融合交并比(IOU)算法作为手持状态的辅助判断,最终实现了人体手持物体行为分析算法。采集手持物体的视频流制成数据集,使用多种方法进行数据增强并训练,最终算法识别出手持物体状态的的同时,正确识别手持物体类别的准确率可达91.2%左右,相较于传统方法提高了大约1.3%,且运行速度可达13 fps,验证了算法的准确性。试验证明该算法对手持刀具、枪支等危险品的异常行为检测具有较高应用价值。     

基于骨骼投影信息的人体行为识别

针对复杂环境下深度相机提取人体骨骼信息失效的问题，利用RGB图像提取运动特征，提出结合人体部分重要关节点信息进行行为识别的方法。首先根据人体行为图片捕捉人体各关节点的空间位置信息，建立坐标系描绘出人体骨架，将三视图嵌入二值图像中；利用Lucas-Kanade光流算法得到关节点的运动信息，构成由张量表示的动作序列；估计动作特征描述序列，再映射到格拉斯曼流形上完成人体行为识别和分类。在MSRActinos3D、UCFKinect数据集上的实验结果表明，该方法能够有效识别各种人体行为。     

基于WiFi背景噪音的被动式人体行为识别研究

利用WiFi背景噪音,传统K-NN和Bagging算法可有效识别较少人体行为,但对较多状态:无人、走、坐、站、睡、跌倒、跑,实验发现,单纯使用K-NN和Bagging算法分类效果并不理想,故设计了一种新的融合算法.实验结果证实,融合算法相较于K-NN和Bagging算法可以大幅提高识别准确率,将新算法应用于多人混合状态识别也取得较好的识别准确率.     

基于机器学习的人体动作深度信息识别方法研究

为了实现人体动作的准确检测识别,提出基于机器学习的人体动作深度信息识别方法,构建人体动作的三维图像采集模型,建立人体动作三维重建图像的表面结构重构模型,结合模糊度特征提取方法对人体动作三维重建图像进行多尺度分解,采用三维空间结构重组的方法进行人体动作细节特征识别,建立人体动作图像的多维分割模型;采用机器学习算法进行人体动作的细节特征分类识别,建立人体动作深度信息的提取和分类模型,在机器算法下实现人体动作的深度信息检测和多维识别。仿真结果表明,采用该方法进行人体动作深度信息识别的准确度较高,特征分辨力较好,具有很好的人体动作信息检测和辨识能力。     

基于ISA网络的视频人体行为分类识别

采用基于独立子空间分析(ISA)模型与神经网络理论形成的ISA深度网络模型特征提取方法,并结合数据预处理方法、K-means聚类方法以及支持向量机(SVM)分类器等实现对视频人体行为的分类识别.将本研究方法应用到Hollywood2人体行为数据集上进行人体行为识别实验,并与其他常用人体行为特征提取和识别方法进行对比,实验结果验证了本研究方法在人体行为分类识别中的有效性.