基于3D骨架和MCRF模型的行为识别

针对目前行为识别方法的不足,提出一种基于人体3D骨架和多CRF模型(MCRF)的行为识别方法.3D骨架数据量少且保留了行为关键信息的优点,并具有融合多特征和上下文信息的优势.为此,首先基于3D骨架将人体动作划分为全局运动、手臂运动和腿部运动,通过对动作序列进行多类特征提取,形成多类特征集;然后利用CRF模型对每一特征集建模,再融合所有的CRF模型,得到MCRF模型;最后利用MCRF模型进行行为识别.实验结果表明,该方法具有较高检测率.     

基于光流和深度运动图的行为识别算法

为了融合不易受光照等环境因素影响的深度信息和RGB视频序列中丰富的纹理信息,提出一种基于光流和深度运动图(Depth Motion Map,DMM)的人体行为识别算法.首先从RGB视频序列获取彩色信息(RGB视频帧)和光流信息,并且从同步的深度视频序列获取深度信息,以增强特征互补性,其次把3种特征信息分别作为基于ResNet101的空间流网络、时间流网络和深度流网络的输入,通过LSTMs进行特征融合,最后将特征送入Softmax层得到每个行为类别的概率值.实验结果表明,在具有挑战性的UTD-MHAD数据集和MSR Daily Activity 3D数据集上的行为识别准确率分别为94.86%和97.69%,在与该领域中的同类算法比较中表现优异.     

基于多层感知机改进型Xception人脸表情识别

针对使用深度学习提取人脸表情图像特征时易出现冗余特征,提出了一种基于多 层感知机（MLP）的改进型 Xception 人脸表情识别网络 . 该模型将 Xception 网络提取的特征输 入至多层感知机中进行加权处理,提取出主要特征,滤除冗余特征,从而使得识别准确率得到 提升 . 首先将图像缩放为 48*48,然后对数据集进行增强处理,再将这些经过处理的图片送入 本文所提网络模型中. 消融实验对比表明：本文模型在CK+数据集、JAFFE数据集和MMI数据 集上的正确识别率分别为98.991%、99.02%和80.339%,Xception模型在CK+数据集、JAFFE数 据集和 MMI 数据集上的正确识别率分别为 97.4829%、90.476% 和 74.0678%,Xception+2lay 模 型在 CK+数据集、JAFFE 数据集和 MMI 数据集上的正确识别率分别为 98.04%、84.06% 和 75.593%. 通过以上消融实验对比,本文方法的识别正确率明显优于Xception模型与Xception+ 2lay模型. 与其他模型相比较也验证了本文模型的有效性.     

融合人体骨架和姿势信息特征的轻量级人体动作识别方法

针对人体动作识别任务中特征值选取不当导致识别率低、使用多模态数据导致训练成本高等问题,提出一种轻量级人体动作识别方法。首先使用OpenPose、PoseNet提取出人体骨架信息,使用BWT69CL传感器提取姿势信息;其次对数据进行预处理、特征融合,对人体动作进行深度学习分类识别;最后,为验证此方法的有效性,在公开数据集WISDM、UCIHAR、HASC和自建的人体动作数据集上进行实验验证,并使用改进的目标引导注意力机制(target-guided attention,TGA)–长短期记忆(long short term memory,LSTM)网络输出最终的分类结果。实验结果表明,在自建数据集下融合姿势和骨架特征达到99.87%准确率,相比于只使用姿势信息特征,识别准确率提高了约5.31个百分点;相比于只使用人体骨架特征,识别准确率提高了约1.87个百分点;在识别时间上相比于只使用姿势信息,识别时间降低了约29.73 s;相比于只使用人体骨架数据,识别时间降低了约9 s。使用该方法能及时有效地反映人体的运动意图,有助于提高人体动作和行为的识别准确率和训练效率。     

采用运动传感器的人体运动识别深度模型

针对传统机器学习方法在采用运动传感器数据的人体运动识别领域中识别效果严重依赖人工特征且准确率受限的问题,提出一种改进的卷积网络与双层长短期记忆网络的深层混合(VGGLSTM)模型以实现特征自提取并进行运动识别。该模型结合传感器数据层状、时序的结构特点,将多维传感器数据类比于图像的RGB矩阵进行适应性处理;由一维串联卷积网络与双层长短期记忆网络复合而成。实验结果表明,在开源的人体运动识别(HAR)数据集和无线传感器信息控掘(WISDM)数据集上采用该模型的人体运动识别方法的平均准确率分别达到了97.17%和96.53%,该模型可以有效避免复杂的特征工程,在人体运动识别问题中具有很好的准确性和适应性。     

基于骨骼投影信息的人体行为识别

针对复杂环境下深度相机提取人体骨骼信息失效的问题，利用RGB图像提取运动特征，提出结合人体部分重要关节点信息进行行为识别的方法。首先根据人体行为图片捕捉人体各关节点的空间位置信息，建立坐标系描绘出人体骨架，将三视图嵌入二值图像中；利用Lucas-Kanade光流算法得到关节点的运动信息，构成由张量表示的动作序列；估计动作特征描述序列，再映射到格拉斯曼流形上完成人体行为识别和分类。在MSRActinos3D、UCFKinect数据集上的实验结果表明，该方法能够有效识别各种人体行为。     

矿井皮带区矿工违规行为识别方法

针对矿井皮带区域人员违规行为的识别问题,提出了一种基于改进运动历史图描述矿工行为过程的方法,并提出金字塔几何矩特征。使用基于贝叶斯理论融合的金字塔几何矩与方向梯度直方图(HOG)特征向量识别矿工行为。首先,对三元色光(RGB)视频数据流提取关键帧,使用运动历史图描述矿工行为并在此基础上计算特征向量,使用K-最近邻(KNN)分类算法对矿工行为进行识别。使用深度学习法识别安全帽等目标,结合环境对矿工行为是否违规进行判识。实验结果表明:本文提出的方法识别准确率较高,可以达到96.5%,且时间复杂度较低,可以满足实时要求。同时,在KTH与Weizmann两个公共数据集上均取得较好的效果。     

基于SAT-GCN的花样滑冰选手动作检测算法研究

针对花样滑冰运动人体运动轨迹复杂、动作类型多样、普通人肉眼难以区分且常规的行为识别方法识别准确率低的问题，提出了一种基于时空图卷积网络与多通道注意力机制融合方法 (SAT-GCN)的花样滑冰动作识别算法。该算法首先将视频提取成连续的单独帧，使用OpenPose算法提取人体骨骼关键点数据，降低背景噪声干扰；然后使用时空图卷积算法对骨骼关键点数据进行动作分类。算法对时空图卷积算法进行改进，加入了多通道时空注意力机制融合模块，使得模型更加关注重要的关键点、时间帧片段、特征；使用时序卷积网络(TCN)提取人体骨架关键点在时间序列上的特征；使用SoftMax对提取后的特征进行动作分类。在花样滑冰数据集FSD-10和公开的人类行为数据集Kinetics-Skeleton上进行训练和测试，与改进前的时空图卷积网络(ST-GCN)进行对比，本文所提算法的预测准确率在2个数据集上均有所提升，验证了多通道注意力机制融合方法在花样滑冰选手动作检测任务中的有效性。     

结合张量特征和孪生支持向量机的群体行为识别

给出一种结合张量特征和孪生支持向量机的群体行为识别算法,以提高对视频中群体行为识别的准确率.首先通过群成员关节点骨架的姿态结构信息和群成员的社会网络信息描述群体在每一帧中的行为,并采用张量形式表示;然后使用多路非线性特征映射分解张量核,并利用粒子群优化张量核孪生支持向量机的模型参数;最后结合张量特征和孪生支持向量机实现视频中的群体行为识别.CAD2数据集和自建数据集上的实验结果表明,张量特征能够有效地表示群体行为,相比经典算法,所提算法能有效提高群体行为识别的准确率.      

MRTP:时间-动作感知的多尺度时间序列实时行为识别方法

针对行为识别中时空信息分布不均衡以及对长时间跨度信息表征获取难的问题,提出了一种时间-动作感知的多尺度时间序列实时行为识别方法MRTP。以RGB视频为输入,使用两个并行的感知路径在不同的时间分辨率上对视频进行空间特征与动作特征提取。在空间路径中,使用基于特征差分的动作感知寻找并加强通道动作特征表征;在动作路径中,基于动作感知的权重对通道进行筛选,并加入通道注意力和时间注意力加强关键特征;在两个路径提取出特征后,对特征进行融合,融合后的特征通过激活函数映射出样本在各个类别的得分,取得分最高的类别为最终识别结果。实验结果表明：所提方法在UCF101数据集上达到了95.6%的准确率,优于未使用时间注意力的方法;在AVA2.2数据集上的平均精度达到了28%,优于未使用动作感知和时间注意力的方法。与目前主流的基于光流法的双流网络、以Slowfast为代表的3D卷积网络、Transformer等方法进行了准确率、参数量、处理速度对比,结果表明所提方法具有更良好的识别效果和鲁棒性。     

基于深度卷积神经网络和深度视频的人体行为识别

传统人体行为识别基于人工设计特征方法涉及的环节多,具有时间开销大,算法难以整体调优的缺点。以深度视频为研究对象,构建了3维卷积深度神经网络自动学习人体行为的时空特征,使用Softmax分类器进行人体行为的分类识别。实验结果表明,提出的方法能够有效提取人体行为的潜在特征,不但在MSR-Action3D数据集上能够获得与当前最好方法一致的识别效果,在UTKinect-Action3D数据集也能够获得与基准项目相当的识别效果。本方法的优势是不需要人工提取特征,特征提取和分类识别构成一个端到端的完整闭环系统,方法更加简单。同时,研究方法也验证了深度卷积神经网络模型具有良好的泛化性能,使用MSR-Action3D数据集训练的模型直接应用于UTKinect-Action3D数据集上行为的分类识别,同样获得了良好的识别效果。     

基于双流多关系GCNs的骨架动作识别方法

基于图卷积网络(graph convolutional networks,GCNs)的骨架动作识别方法只能对关节点间的单一关系进行建模,缺少描述多种关系的能力.借鉴知识图谱描述实体之间不同关系的思想,提出一种基于关节点流和肢体流的双流多关系GCNs人体骨架动作识别方法,对图结点间的自然连接关系、对称关系和全局关系进行建模,各种特征在网络中同步传输并有效融合.运动的全身协作过程中,每个部位的交互范围有限且依赖于具体动作,提出基于Non-local机制的topK全局邻接关系自适应计算方法,为每个结点动态选择交互强度较大的前K个结点作为全局关系邻接点.实验结果表明,所提出的双流多关系网络在Kinetics和NTU-RGB+D数据集上取得了较好的动作识别效果.     

基于图像色彩特征融合的绝缘子污秽等级检测

针对绝缘子污秽状态非接触检测问题,提出基于可见光图像RGB(red green blue)和HSI(hue saturation intensity)空间信息特征级融合的污秽等级检测方法.利用最佳熵阈值分割法(OET)提取绝缘子盘面区域,分别在RGB和HSI色彩空间进行特征计算,根据Fisher准则进行特征选择,得到可以有效表征污秽状态的特征量,利用核主元分析(KPCA)对两个色彩空间特征的组合进行降维融合,得到三维融合特征向量,结合概率神经网络(PNN)实现污秽等级识别.实验分析表明,基于核主元分析的图像信息特征级融合能够全面地反映绝缘子污秽状态,与单独利用RGB或HSI特征进行识别相比,其准确率有显著提高,可以实现绝缘子污秽等级的有效识别,为绝缘子污闪防治提供了新的方法.     

基于多尺度3D卷积神经网络的行为识别方法

近年来卷积神经网络(convolutional neural network,CNN)在行为识别任务中取得了较大的进展.然而,现有的神经网络方法往往只注重高层语义信息的利用,对浅层特征信息挖掘利用不够.针对这一问题,提出一种基于3D卷积(convolution 3D,C3D)的多尺度3D卷积神经网络的行为识别方法.该方法受到特征金字塔结构的启发,在原C3D的基础上融合C3D的浅层特征信息,实现端到端的行为识别.同时该方法以现有的深度学习理论为基础,利用迁移学习的思想,将C3D和该方法中相同模块部分的参数迁移到本方法中,以降低模型的训练时间.通过在UCF101数据集上进行实验,实验结果表明,提出行为识别方法的分类精度达到84.56％,分类效果优于原C3D分类网络.     

改进深度可分离卷积的SSD车型识别

针对现有车辆识别方法对于车型实时识别能力不足的问题,提出一种改进的深度可分离卷积的SSD(single shot multibox detector)算法用于车型识别研究.首先,利用深度可分离卷积网络进行特征提取,并引入反残差模块来解决因通道数少、特征压缩导致的准确率下降问题.其次,以车辆的刚体特性为依据,重新设计区域候选框,减少模型参数运算量.最后,在BIT-Vehicle数据集上进行消融实验来对比不同网络模型性能差异.结果表明:改进的深度可分离卷积的SSD车型识别方法有更好的车型识别效果,可以达到96.12％的识别精度,检测速度提高至0.078 s/帧.     

MDF-ANet:低光照环境下的无人驾驶视觉融合分割方法

为解决低光照条件下已有图像分割模型性能降低的问题,提出了一个基于RGB和深度图特征融合网络的MDF-ANet图像分割方法.为了对原始数据进行充分的特征学习,采用两路特征提取网络分别提取RGB和深度图特征;设计了一个特征融合模块,分别将两路特征提取网络对应尺度下的输出特征图通过融合模块进行融合,并作为RGB网络下一层的输入,通过不受光照条件影响的深度图来辅助RGB的特征提取;将各个尺度输出的特征图输入多尺度上采样融合模块,进行不同感受野间的信息互补,再上采样至原始输入图像大小,得到分割图像.在Cityscapes及其转化后的低光照图像上进行了一系列实验,在其验证集上取得了62.44%的均交并比（mean intersection over union,mIOU）,相比只使用RGB输入的模型,性能提高了9.1%,达到了在低光照条件下提高图像分割性能的目的.      

基于深度卷积神经网络的三维模型识别

为了进一步提高三维模型的识别精度,提出了一种基于深度卷积神经网络的三维模型识别方法。将点云数据通过占用网格规范化计算转化为二值3D体素矩阵,通过附加正则化项的随机梯度下降算法提取体素矩阵的特征,再通过共享权重的旋转增强对训练集进行数据增广并以此对模型标签进行预测。实验结果表明,该算法在公开数据集ModelNet40及悉尼城市模型数据集上的识别精度均达到85%左右。与基于同类机器学习的三维模型识别算法相比,在相同训练数据集上该方法网络训练时间短,在相同测试数据集上模型识别准确率高,检索速度快。提出的体素占用网格模型的深度卷积神经网络,可以实现三维点云模型数据集及规范化体素模型数据集的识别和分类工作。     

基于多层自动编码机的fisher判别分析

在常见的特征提取方法中,Fisher判别分析（Fisher Discriminant Analysis,FDA）只能提取线性特征,基于核的方法具有提取非线性特征的能力,但对核函数类型及其参数十分敏感. 文中研究如何有效提取数据特征,提出了一种基于多层自动编码机（Stacked AutoEncoders,SAE）和Fisher标准的特征提取算法,该算法中所使用的深度学习网络模型在训练过程中结合无监督特征提取SAE以及有监督的特征提取FDA. 通过与多层自动编码机、极限学习机（Extreme Learning Machine,ELM）等模型提取的特征进行对比,在数据集Pendigits、mnist、ORL和AR上利用支持向量机对数据特征进行分类,结果表明基于SAE的Fisher变换（FDA-SAE）在分类结果准确率以及分类时间上都有较好的效果. 特别是在小数据集AR上,当样本特征较少的情况下效果非常明显.     

基于Grassmann流形距离的动作识别

利用时空兴趣点间的位置及局部特征相似度信息,提出一种局部邻域特征以描述局部数据结构,然后引入核主角度及Grassmann流形距离以度量2个邻域特征距离,通过构造随机流形森林学习数据样本在Grassman流形上的类条件概率密度函数,最后使用多核学习算法实现对随机流形树的剪辑及动作分类.在KTH及UCF-CIL动作数据库的实验证明:所提动作表示方法能有效描述人体运动信息,且该动作识别算法的识别率优于近年提出的典型动作识别系统.