基于人体骨架特征学习的动作识别

动作识别是计算机视觉研究中的一个基本但具有挑战性的问题.在过去的几年中,许多基于RGB视频的识别技术已经得到了巨大的发展,并取得了显著的成果.但是,处理RGB视频可能非常耗时.其中,在动作识别领域,人体骨架数据具有轻量级的特点,同时对人体外观、环境背景等信息具有不变性,因此,这种数据模态受到了越来越多的关注.然而,基于人体骨架的动作识别面临两个问题:人体骨架数据的噪声问题和数据标注的依赖问题.噪声问题是指骨架数据中存在噪声影响数据的准确性,而数据标注依赖问题则是指在监督学习中,需要大量的标签数据进行训练.本文针对人体骨架数据在采集中的噪声问题,提出了一种基于噪声适应的动作识别模型,设计了回归模型和生成模型充分利用不同场景下的噪声数据特点.并且针对人体骨架数据过于依赖标签数据,利用自监督学习方法,提出了一个基于多任务自监督学习的动作识别方法.     

基于关节点运动轨迹的人体动作识别

为了提高动作识别的准确率和实时性,提出一种基于关节点运动轨迹的动作识别方法.受心理物理学中关于人体运动实验的启发,使用人体骨架关节点的运动轨迹表示人体动作,它能够在时空维度上对动作进行完整表达.在此基础上,使用高斯混合模型对关节点运动轨迹进行聚类,进而通过Fisher向量进行特征量化.考虑到动作识别任务的实时性要求,提出基于核极限学习机的动作识别,以此提升动作识别任务的实时性和准确率.最后,在公开数据集UTD-MHAD和KARD上对提出的方法进行了验证,实验结果证明了该方法的有效性.     

基于流形正则协同训练模型的行为识别方法

本文提出了基于流形正则协同训练模型的行为识别方法。该方法将拉普拉斯正则引入到协同训练模型中,利用大量未标记样本数据从不同视角数据上训练出两个分类器,两者之间互换未知信息并更新分类器,以提高识别精确度。在动作数据集UCF-iphone上进行了大量的实验验证算法的有效性,结果表明,引入拉普拉斯正则能有效地提高动作识别精确度。     

基于Grassmann流形距离的动作识别

利用时空兴趣点间的位置及局部特征相似度信息,提出一种局部邻域特征以描述局部数据结构,然后引入核主角度及Grassmann流形距离以度量2个邻域特征距离,通过构造随机流形森林学习数据样本在Grassman流形上的类条件概率密度函数,最后使用多核学习算法实现对随机流形树的剪辑及动作分类.在KTH及UCF-CIL动作数据库的实验证明:所提动作表示方法能有效描述人体运动信息,且该动作识别算法的识别率优于近年提出的典型动作识别系统.     

基于图表示的智能车行人意图识别方法

智能驾驶场景下的人车冲突问题与行人过街行为密切相关,为使高级驾驶辅助系统（advanced driving assistance system, ADAS）具备识别行人过街意图的功能,并对人车碰撞事件预警,提出一种基于图表示学习（graph representation learning, GRL）方法的行人过街意图识别框架。它采用开源工具对行人骨架信息进行识别,采用图方法,以行人在一段运动过程内每一帧的骨架关键点为节点,以骨架自然连接关系、相关关系和时域关系为边建立图模型,实现对行人动作序列的表征。以图结构数据为输入,基于支持向量机（support vector machine, SVM）训练行人过街意图识别模型。在自动驾驶数据集PIE上对所提出方法进行评估,结果显示,行人过街意图分类准确率可达90.29%,所提出方法能够有效识别行人过街意图,对提高智能车决策安全性具有重要意义。      

基于局部线性嵌入(LLE)非线性降维的多流形学习

为了研究多人脸多表情数据集的多流形学习问题,提出了一种基于局部线性嵌入(LLE)算法的多流形学习方法.对于分布在不同流形上的高维数据,该方法在降维的同时首先对数据集进行非监督的聚类,然后分析每一类数据的低维流形的本质维数以及流形空间的构成,聚类及流形空间的确定是通过对LLE降维的结果进行分析而完成的,计算复杂度小.在Cohn-Kanade人脸表情数据库上的表情识别实验表明,该方法在多人脸多表情流形的学习中优于基本的LLE算法,表情的识别率提高了20%～40%.     

基于骨骼投影信息的人体行为识别

针对复杂环境下深度相机提取人体骨骼信息失效的问题，利用RGB图像提取运动特征，提出结合人体部分重要关节点信息进行行为识别的方法。首先根据人体行为图片捕捉人体各关节点的空间位置信息，建立坐标系描绘出人体骨架，将三视图嵌入二值图像中；利用Lucas-Kanade光流算法得到关节点的运动信息，构成由张量表示的动作序列；估计动作特征描述序列，再映射到格拉斯曼流形上完成人体行为识别和分类。在MSRActinos3D、UCFKinect数据集上的实验结果表明，该方法能够有效识别各种人体行为。     

多邻域保持嵌入的人脸识别方法

现有流形学习算法在学习人脸数据时,假设所有数据点位于单一低维嵌入流形之上,当数据点实际分布在不同的流形上时,单流形假设就会影响数据真实空间结构。为此提出一种基于多邻域保持嵌入(multiple neighborhood preserving embedding,M-NPE)的学习算法来发现不同类别数据在不同维度的低维嵌入空间中分布的多流形结构。首先,单独学习不同类别数据的流形,得到反映其本质特征的流形;再通过遗传算法搜索每个流形的最优维数;最后依据最小重构误差分类器对样本分类。在Extended Yale B和CMU PIE这2个大型人脸库上实验结果验证了该算法的有效性。     

基于局部保持典型相关分析的零样本动作识别

动作识别领域需要识别的类别越来越多,这使得标注足够多的训练数据越来越难.零样本学习是针对传统机器学习收集和标注数据日益困难而提出的一种新思路.针对基于零样本学习的动作识别问题,提出了一种基于局部保持典型相关分析映射的方法.该方法使用流形约束的典型相关分析将视觉特征和辅助特征映射到一个公共特征空间,并且在映射过程中保留视觉特征和辅助特征的局部信息,还考虑了域转换所带来的不利影响,同时采用自训练和hubness修正等方法增强所提方法的鲁棒性.通过在主流数据集HMDB51和UCF101上的大量实验,表明所提方法具有较好的零样本学习性能.     

基于双流多关系GCNs的骨架动作识别方法

基于图卷积网络(graph convolutional networks,GCNs)的骨架动作识别方法只能对关节点间的单一关系进行建模,缺少描述多种关系的能力.借鉴知识图谱描述实体之间不同关系的思想,提出一种基于关节点流和肢体流的双流多关系GCNs人体骨架动作识别方法,对图结点间的自然连接关系、对称关系和全局关系进行建模,各种特征在网络中同步传输并有效融合.运动的全身协作过程中,每个部位的交互范围有限且依赖于具体动作,提出基于Non-local机制的topK全局邻接关系自适应计算方法,为每个结点动态选择交互强度较大的前K个结点作为全局关系邻接点.实验结果表明,所提出的双流多关系网络在Kinetics和NTU-RGB+D数据集上取得了较好的动作识别效果.     

融合全局与局部特征的UWB雷达人体动作识别算法

为了消除雷达信号中杂波和噪声对人体动作识别的干扰,提高小样本数据下动作识别的精度,在去除杂波及噪声干扰的基础上,提出一种融合全局与局部特征的超宽带（ultra-wideband,UWB）雷达人体动作识别算法。用动目标指示（moving target indication,MTI）结合自适应中值滤波对雷达原始回波信号进行预处理,再对人体动作的雷达二维特征图像利用主成分分析（principal component analysis,PCA）提取主要分量作为全局特征表征,并用二维离散小波变换（2D discrete wavelet transform,2D-DWT）结合奇异值分解（singular value decomposition,SVD）获取特征图像在不同方向与尺度划分下动作的局部特征表征,并将全局与局部特征进行串联融合;根据融合特征,在网格搜索算法（grid search,GS）优化的支持向量机（support vector machines,SVM）模型中实现人体动作的识别分类。实验结果表明,该算法能有效获取雷达信号中的人体动作信息,平均识别准确率为95.63%,具有良好的识别性能。     

基于双语动态系统包的视角无关的人体行为识别

视角无关的人体行为识别是计算机视觉领域研究的热点和难点之一.现有的视角无关的行为识别算法的识别率随着角度的改变差异很大,尤其与俯角相关的识别效果还不够理想.提出了一种基于双语动态系统包的视角无关的人体行为识别方法.首先结合兴趣点检测器和密集采样算法提取视频帧中的时空立方体并对每个时空立方体建立线性动态系统（LDS）;其次对LDSs进行非线性降维聚类形成码本,并根据LDSs在码本中的分布及权重用一个动态系统包（bag of dynamical systems）来表示每个动作样本;最后同时对两个视角下的BoDS采用K-奇异值分解（K-SVD）算法得到一对可迁移字典对,然后根据这对字典对采用正交匹配追踪（OMP）算法得到两个视角下每个动作的稀疏表示.在IXMAS多视角数据库的实验结果表明了文中算法的稳定性和有效性.     

基于DTW优化积分直方图动态捕捉的持续人体动作识别研究

针对现有持续人体动作识别算法实时性不高的问题,提出了一种基于动态时间规整(DTW)积分直方图的动态捕捉方法.首先,利用积分直方图对原始动作进行分类;然后,聚类各种时空姿态建立动作的统计表示,并采用巴氏距离测量两个直方图的相似性;最后,根据动态时间规整方法设计了动态程序识别算法.通过大型数据集的测试以及与几种最新方法的比较证明了方法的高效性,即使在数据库包含噪声和相似动作的情况下,方法仍然取得了很好的识别效果.     

Multiple feature fusion in convolutional neural networks for action recognition

Action recognition is important for understanding the human behaviors in the video, and the video representation is the basis for action recognition. This paper provides a new video representation based on convolution neural networks (CNN). For capturing human motion information in one CNN, we take both the optical flow maps and gray images as input, and combine multiple convolutional features by max pooling across frames. In another CNN, we input single color frame to capture context information. Finally, we take the top full connected layer vectors as video representation and train the classifiers by linear support vector machine. The experimental results show that the representation which integrates the optical flow maps and gray images obtains more discriminative properties than those which depend on only one element. On the most challenging data sets HMDB51 and UCF101, this video representation obtains competitive performance.     

听觉掩蔽门限在说话者识别中的应用

语音信息在人的听觉系统中的表示具有一定的冗余性．利用这一特性把丢失数据技术应用于噪声环境下说话者识别系统的性能改进．听觉掩蔽效应这一听觉现象被用来检测语音信号频谱中被噪声严重干扰的“丢失成分”．经过丢失数据补偿技术结合语音增强处理,说话者识别系统在不利环境下的准确率得到了提高．通过对宽带噪声－ 白噪声和一种特殊噪声——汽车噪声干扰下语音的说话者辨认实验,发现这种方法优于单独使用语音增强方法．     

Action Recognition from Videos with Complex Background via Transfer Learning

Classifier learning methods commonly assume that the training data and the testing data are drawn from the same underlying distribution. However,in many practical situations,this assumption is violated. One example is the practical action videos with complex background and the universal human action databases of Kungliga Tekniska Hgskolan (KTH). When training data are very scarce,supervised learning is difficult. However,it will cost lots of human and material resources to establish a labeled video set which includes a large amount of videos with complex backgrounds. In this paper,we propose an action recognition framework which uses transfer boosting learning algorithm. By using this algorithm,we can train an action recognition model fitting for most practical situations just relaying on the universal action video dataset and a tiny set of action videos with complex background. And the experiment results show that the performance is improved.     

结合人体运动特征的行为识别

人体运动具有马尔可夫性质,即当前状态只受前一状态的影响.目前为止,用于人体行为识别的隐马尔可夫模型(HMM)大多使用的是全连接结构(Full-Connected structure), 并且没有把状态数目的选取和状态转移条件与人体运动特性间的关系作为研究重点.本文针对这种关系提出了基于"从左到右三状态半连接HMM"的人体行为识别方法,为每个状态的输出概率引入了权重的概念.实验表明,该方法能够在降低运算复杂度的同时,提高行为识别率,从而证明了人体运动特性分析在HAR领域中的应用价值.     

基于规则的身体动作快速识别方法

为了提升身体动作的识别效率,减少身体动作中整体位移对识别效果的影响,提出了一种基于规则的动作快速识别方法。首先,建立简化的关节点模型,并以髋关节中心点建立投影坐标系；其次,定义身体关节夹角和中心参数,设计动作判别函数,基于实验数据建立判别规则库与动作分类库；最后,将实时采集的关键帧数据与规则进行匹配,实现动作的快速识别。通过开展多数据集、多方法的比较实验,得到的平均识别准确率为90.72%,识别时间为0.996s,识别效率优于其他方法。     

基于单演特征和协同表示的人脸识别方法

基于协同表示的分类方法解决了稀疏表示分类方法太过强调l1模的问题被广泛应用于人脸识别中。为了进一步提高鲁棒性和识别率,提出了基于单演特征的协同表示分类方法,即MCRC。单演特征所提取的图像相位信息对光照的鲁棒性强并且其方向信息和幅值信息对姿态的鲁棒性也很高,相对于Gabor特征的多尺度和多方向,单演特征在特征变换的速度上也具有一定优势。在AR、LFW人脸数据库上的实验结果表明,该方法具有可行性和有效性。     

基于轻量化二维人体姿态估计的小样本动作识别算法

动作识别是近年来时序数据挖掘领域的研究热点,具有广泛的应用前景。但是现阶段基于深度学习的动作识别算法需要大量的标记训练数据集,存在泛化性差、实时性差、场景受限的问题。为解决这些问题,本研究设计一种基于轻量化二维人体姿态估计的小样本动作识别算法。该算法基于YOLOv5算法构建轻量化的人体检测器HYOLOv5。基于轻量化二维姿态估计模型Lite-HRNet设计人体姿态特征描述算子,有效地去除背景对人体动作特征的干扰。为有效度量时序人体姿态特征描述算子间的相似度,本研究提出基于动态时间规整的人体姿态特征距离度量,并在此基础上设计基于类别中心选择的动作模板匹配算法。该算法通过少量的动作视频构建动作特征模板库,利用动作模板匹配算法可实现多类动作视频的精准识别。为验证算法,本研究在COCO 2017的Humans数据集上对HYOLOv5进行测试,人体检测识别精度mAP@0.5：0.95可达50.7%。基于10种动作视频数据进行测试,结果表明,本研究所提算法可有效地识别视频序列中的姿态,在每个动作仅包含4个训练数据的情况下,动作识别准确率均可达到91.8%。