基于人体骨架特征学习的动作识别

动作识别是计算机视觉研究中的一个基本但具有挑战性的问题.在过去的几年中,许多基于RGB视频的识别技术已经得到了巨大的发展,并取得了显著的成果.但是,处理RGB视频可能非常耗时.其中,在动作识别领域,人体骨架数据具有轻量级的特点,同时对人体外观、环境背景等信息具有不变性,因此,这种数据模态受到了越来越多的关注.然而,基于人体骨架的动作识别面临两个问题:人体骨架数据的噪声问题和数据标注的依赖问题.噪声问题是指骨架数据中存在噪声影响数据的准确性,而数据标注依赖问题则是指在监督学习中,需要大量的标签数据进行训练.本文针对人体骨架数据在采集中的噪声问题,提出了一种基于噪声适应的动作识别模型,设计了回归模型和生成模型充分利用不同场景下的噪声数据特点.并且针对人体骨架数据过于依赖标签数据,利用自监督学习方法,提出了一个基于多任务自监督学习的动作识别方法.     

基于字典学习的77GHz雷达人体动作识别

基于视觉的人体动作识别方法对光线和视距环境较高,并且存在侵犯隐私的问题,在应用中有局限性。为了解决这个问题,提出一种基于毫米波雷达和字典学习的人体动作识别方法。首先对人体动作的雷达回波信号进行时频分析得到时频图,再使用两种特征提取方法对时频图进行降维描述,将两种降维后的数据融合,通过LC-KSVD字典学习算法同时学习多特征字典和一个线性分类器,最后根据稀疏系数和线性分类器来识别动作。在此基础上,设计77 GHz毫米波雷达动作识别实验系统,结果表明:算法在10种人体动作数据集上达到了97.7%的识别准确率,可见所提方法实现了对人体动作的准确识别。     

基于Kinect的人体三维动作实时动态识别

针对传统的二维图片动作识别算法识别率相对不高、实时性不强的问题,文章提出一种三维的人体动作实时识别的方法。该方法首先通过Kinect获取人体三维骨骼数据,然后对骨骼数据信息采取归一化的方法进行数据对齐的预处理,使得与实时数据与标准数据的角度阈值和距离参考值统一。最后与标准动作采用多特征融合的识别算法对动作进行识别与匹配的方法,并在此基础上改进基于关节点角度的动作识别方法。实验结果表明,文章方法运行速度较快,可有效消除角度测量不稳定以及距离测量无法检测方向上的差异造成的动作匹配不准确。满足三维动作识别的实时性、鲁棒性强。     

Kinect骨骼数据驱动的人体动作二维特征融合与动作识别

针对在高噪声环境中人体动作识别存在准确度和稳定性不高的问题,本文采用二维空间特征融合的方法,提出一种基于Kinect骨骼数据的人体动作识别算法。从人体三视图的投影来提取运动特征,可以消除人体自遮挡的影响。针对人体复杂动作,算法采用分层策略。利用Kinect获得的骨骼关节点坐标,根据人体三视图投影提取二维空间的人体关节角特征,并运用支持向量机(SVM)方法对动作进行粗分类;进一步提取二维投影平面内的关节位置矢量、角速度和加速度特征,运用隐马尔可夫模型(HMM)的方法对动作进行细分类。利用本文方法对公开数据集MSR Action 3D实验,平均识别率达93.37%,实验结果表明,该方法准确性较高,鲁棒性较强。     

基于特征优选和图像相似度的人体动作识别算法

有效提取特征有利于提高后续人体动作识别的准确率。针对人体动作识别时方向梯度直方图(histogram of oriented gradient,HOG)特征维数过高和相似动作不好区分的问题,提出一种基于特征优选和图像相似度的人体动作识别算法。实验对比三种降维方法主成分分析法(principal component analysis,PCA)、PCA+Pearson、PCA+Spearman处理后的动作识别率,证明PCA+Pearson相关系数的降维效果最佳。同时将全局特征八星模型与降维后的局部特征HOG特征组合在一起全面表征人体动作,并计算相邻两帧图像相似度,自适应分配一个判别周期内单帧支持向量机分类结果的统计权值,最后二次分类人体姿态识别结果。在标准数据集KTH上进行实验,该算法识别准确率为94. 5%,较其他方法有所提高,在视频人体动作识别领域有较好应用价值。     

基于深度卷积神经网络的人体动作识别

针对人体动作识别问题,提出一种基于智能手机加速传感器数据并运用深度卷积神经网络进行分类识别的方法,可以有效地分类人体的走、坐、躺、跑、站五类动作.该方法模型由输入层、两层卷积层、两层池化层、一层全连接层和输出层组成,使用滑动窗口折叠法将传感器数据变换为类似于三通道的RGB图像格式,自动提取加速传感器数据的特征,对各个动作进行分类,免去了传统方法繁琐的特征提取工程.该方法在Actitracker开源数据库上达到了0.912 6的识别率,验证了该方法的可行性.     

基于运动块及关键帧的人体动作识别

为了进行动作识别,需要提取能够充分表征动作的运动、时间、空间及形状信息的特征.本文首先从动作的运动特性出发,采用基于图聚类的方法对人体的运动区域进行分割,并通过计算运动块的熵值选出由运动方向一致的运动点构成的运动块.通过建立混合高斯模型对运动块的时空三维位置及运动方向进行特征表示,得到运动描述符.同时,通过比较前后帧中运动块的变化提取关键帧,然后基于词袋框架进一步筛选关键帧,并采用梯度直方图对动作的形状信息进行特征表示,得到形状描述符.通过线性组合运动描述符及形状描述符,得到充分包含动作的运动、时间、空间及形状信息的联合描述符,并采用最近邻分类器进行动作识别.该算法在KTH和UCF运动数据集上较当前方法取得更好识别效果.     

基于Grassmann流形距离的动作识别

利用时空兴趣点间的位置及局部特征相似度信息,提出一种局部邻域特征以描述局部数据结构,然后引入核主角度及Grassmann流形距离以度量2个邻域特征距离,通过构造随机流形森林学习数据样本在Grassman流形上的类条件概率密度函数,最后使用多核学习算法实现对随机流形树的剪辑及动作分类.在KTH及UCF-CIL动作数据库的实验证明:所提动作表示方法能有效描述人体运动信息,且该动作识别算法的识别率优于近年提出的典型动作识别系统.     

使用Kinect深度图像的静态人体动作识别

为解决传统的使用视频彩色图像序列的智能监控容易受光照、颜色等因素影响的问题,提出结合Kinect深度图像和支持向量机的人体动作识别方法.利用Kinect在监控区域获得实时深度图像,并进行背景擦除,滤波处理和提取Haar特征.通过使用支持向量机的分类算法生成分类器,并对一组特定的静态动作识别结果进行分析.研究结果表明:使用深度图像对于静态动作有较好的识别率,并且与传统的基于彩色图像的智能监控相比,该方法不仅对于光照、颜色等因素不敏感,而且在识别的准确率和效率上均有提升.     

基于多面体时空梯度描述子的人体动作识别

为检测出对噪声、镜头缩放更具鲁棒性的反映人体动作特征的时空兴趣点,首先提出了一种新的时空兴趣点检测器;然后以检测出的时空兴趣点为中心,建立基于多面体模型的时空梯度描述子来进一步刻画人体动作在时空上的视觉特征;再基于分层聚类树形结构、利用词袋方法对视频动作特征建立更大且更有效的码书;最后将特征描述子与高层次的人工定义的动作属性相结合,采用隐支持向量机结合坐标下降法求解最终识别模型的局部最优解.在几种典型数据库上的实验结果表明,文中方法具有较高的人体动作识别率.     

基于融合注意力机制与CNN-LSTM的人体行为识别算法

为解决单一的卷积神经网络（CNN）缺乏利用时序信息与单一循环神经网络（RNN）对局部信息把握不全问题,提出了融合注意力机制与时空网络的深度学习模型（CLA-net）的人体行为识别方法。首先,通过CNN的强学习能力提取局部特征;其次,利用长短时记忆网络（LSTM）提取时序信息;再次,运用注意力机制获取并优化最重要的特征;最后使用softmax分类器对识别结果进行分类。仿真实验结果表明,CLA-net模型在UCI HAR和DaLiAc数据集上的准确率分别达到95.35%、99.43%,F1值分别达到95.35%、99.43%,均优于对比实验模型,有效提高了识别精度。     

基于双重注意力机制的深度人脸表示算法

针对现有模型很少对人脸特征进行设计且人脸特征区分性较弱的问题,提出一种基于双重注意力机制的深度人脸表示算法.该算法采用双重注意力机制的网络结构,通过细节注意力机制设计低层特征,自动和自适应地学习层次特征,关注局部特征;通过语义注意力机制设计高层特征,自适应地进行语义分组,关注语义特征.在LFW,YTF,MegaFace...     

基于视觉注意力机制的图像检索研究

信息技术的发展使各种图像信息日益膨胀,如何从中找到重要的信息一直是机器视觉和信息处理研究中长期面临的重要问题。将视觉注意力机制引入到图像分析领域,则能获得高效的检索能力。本文首先介绍了视觉注意力、视觉注意力计算模型及研究现状,其次分析了图像中引入视觉显著性的必要性和重要性,论述了图像视觉显著性的层次、显著性特征的选择及度量;最后给出了有待研究的重点问题。     

基于隐条件随机场的人体行为识别方法

提出了一种基于隐条件随机场的人体行为识别方法。首先,通过目标检测和目标跟踪提取图像序列中人体所在时空区域;其次,提取人体区域的 Gist 特征作为人体行为视觉描述子;最后,利用隐条件随机场模型对人体行为进行建模和识别。通过大规模试验证明了该方法的有效性,与其他方法的对比实验验证了该方法的优越性。     

基于选择性注意和部分连接神经网络的人脸识别

为了克服以往人脸识别方法因特征提取带来的信息损失与不确定性因素,提出了一种应用于复杂场景中人脸识别方法,这种方法不需要进行特征提取.先对整幅图像使用选择性注意方法,在得到的显著区域中利用Adaboost算法进行人脸搜索与定位,最后将可能包含人脸区域的所有像素全部输入训练好的部分连接神经网络(Parcone)模型进行识别.整个识别过程全部自动完成,不需人工干预,也不必对图像进行预处理.通过利用MIT-CBCL人脸数据库和自建图像库进行的仿真实验表明,该人脸识别方法在复杂背景中具有较高的识别率,可适用于其他类型的目标识别.     

基于三通道注意力网络的番茄叶部病害识别

对番茄病害进行识别,近年来一直是植物病害预防的研究热点。由于受到复杂背景干扰,番茄叶部病害识别准确率不高,针对这一问题,提出一种基于三通道注意力机制网络的番茄叶部病害识别方法。该网络基于ResNeXt50残差网络,将注意力模块嵌入至残差网络的ResNeXt模块中可以并行提取目标的通道特征和空间特征,获取有效的语义信息。训练阶段通过设计双损失函数和数据增强进一步提升分类准确度,并通过迁移学习网络预训练参数的方式提高网络训练效率。实验结果表明,使用双损失函数和数据增强后,基于三通道注意力网络的番茄病害识别算法在测试集上的平均识别准确率达98.4%,相比于传统机器学习方法和其他神经网络方法的准确率更高,检测速度满足实时性,Kappa系数为0.96,满足叶部病害识别的高精度要求。该方法能够有效地对10种番茄叶部病害进行识别,为植物病害识别提供了一种新的思路。     

基于SC注意力机制和集成学习的冰箱食材识别

近年来,随着智能冰箱技术的不断发展,对冰箱果蔬食材进行精准的类别识别,进而对食材进行保鲜控制,得到了研究者越来越多的关注。目标检测技术依靠深度学习相关技术的发展,也渐渐应用于食材盘点的方法。通过对冰箱果蔬食材特性进行分析,提出了一种基于注意力机制和集成学习思想的YOLOv5和EfficientDet融合的方法。首先对冰箱食材数据集进行了伪彩色图像处理,将SE模块和CBAM模块整合提出了新的SC模块,并引入到YOLOv5s网络中,组成SC-YOLOv5s网络结构;然后将SC-YOLOv5s网络结构与EfficientDetd0网络进行异质集成;最后用集成后的整体网络对尺度有差异但外貌相似的食材进行识别。实验结果表明当IOU阈值为0.5时,在60类果蔬食材测试集上,改进后集成模型的平均最大精确度(mAP)从SC-YOLOv5s的95.88%和EfficientDetd0的83.22%提高到了97.36%,明显提升了对果蔬类食材的检测效果。     

基于模糊积分融合的复杂场景下人体行为识别

利用局部特征描述符来表征视频中一系列关键点的方法已被广泛应用于识别复杂场景下的人体行为,但这些关键点之间隐含的结构化的位置关系目前并未得到有效表征.为此,文中首先采用尺度不变的关键点的检测子和3D-Harris检测子检测视频样本中的局部关键点,结合已有的局部特征描述符和形状描述符来表征关键点位置之间结构化的信息,然后利用bag-of-features模型来计算这些特征的分布,再通过模糊积分对这些局部特征进行有效融合,并给出具体的算法描述.在具有复杂场景的YouTube数据集下的实验表明,所提出的局部特征表征方法能够更有效地表征复杂场景中的人体行为,模糊积分融合方法可有效进行决策层融合.     

基于肌音信号分析的踝关节动作模式识别

通过测量分析受试者小腿胫骨前肌和腓骨短肌的肌音信号,对踝关节背伸、跖屈、外展、内收等4个动作进行模式识别研究。提出了基于二次包络线的不等长信号分割算法,以及基于非线性小波变换的奇异值特征提取方法,并使用SVM分类器进行模式识别。结果表明:基于不等长分割的算法可以有效截取踝关节肌音信号的动作段信号;在两通道信号采集的情况下,利用非线性小波变换得到的奇异值特征在踝关节四模式识别中总体准确率可以达到87.8%,验证了本文提出的分析方法的有效性。