基于骨架的自适应尺度图卷积动作识别

基于骨架的动作识别任务中,一般将骨骼序列表示为预定义的时空拓扑图.然而,由于样本的多样性,固定尺度的拓扑图往往不是最优结构,针对样本特性构建自适应尺度的骨骼拓扑图能够更好地捕捉时空特征;另外,不同尺度的骨骼图能够表达不同粒度的人体结构特征,因此对多个不同尺度的拓扑图进行特征提取与融合是有必要的.针对这些问题,提出了一种自适应尺度的图卷积动作识别模型.该模型包含自适应尺度图卷积模块和多尺度融合模块两部分.自适应尺度图卷积模块基于先验与空间注意力机制,构建关键点的活跃度判决器,将活跃点细化为小尺度结构、非活跃点聚合为大尺度结构,在加速节点间特征传递的同时最小化特征损耗;多尺度融合模块基于通道注意力机制,动态融合不同尺度的特征,进一步提升网络的灵活性;最后,综合关键点、骨骼、运动信息实现多路特征聚合的动作判别,丰富模型的特征表达.结果表明:该算法在NTU-RGBD数据集的CS和CV子集上分别取得了89.7%和96.1%的分类准确率,显著提高了动作识别的准确性.     

基于人体时空骨架特征的图卷积行为识别算法

【目的】为了充分利用动态的人体骨架特征，提高行为识别精度，提出一种基于人体时空骨架特征的图卷积行为识别算法。【方法】首先在空间上确定主关节点，再融合各关节点与主关节点之间的向量和关节点间的骨骼长度，获取瞬时状态下关节点的相对位置关系；然后计算相邻两帧之间由相同关节点构成的时序动作信息来描述运动状态；最后，将时空信息融合到时空图卷积网络中，进行端到端训练。【结果】与时空图卷积网络识别算法相比，在400分类Kinetics行为识别数据集上的Top-1和Top-5指标分别提升了1.78%和1.77%，在NTURGB+D数据集的两个基准上的Top-1分别提升4.13%和2.61%。【结论】提出的基于人体时空骨架特征的图卷积行为识别算法是有效实用的。     

基于视频的情感时空融合特征提取算法

随着计算机技术的飞速发展以及人机交互技术的广泛应用,基于视频的表情识别逐渐成为研究热点之一,并逐渐实用化。本文提出了一种基于视频的情感时空融合特征提取算法,并用于表情识别。首先获取情感视频的时空特征点和其对应的立方体(cuobids),然后融合Piotr Dollar提出的描述算子和CBP_TOP描述算子所提取的cuobids的特征向量作为时空特征点最终的特征向量,最后采用"词袋模型"方法来提取情感视频最终的表情特征,并用于后续的表情分类。仿真实验表明此算法在保证识别精度的基础上大大提高了识别速率。     

基于人脸与步态特征的室外作业场景身份核验方法

在建筑、通信、电力等工程行业中,作业人员需要频繁执行室外作业。由于室外环境复杂,许多运维工作存在来自高压、高空、深坑等因素的高风险。安全事故一旦发生,将造成巨大的人员和财产损失。因此,需要在作业过程中对作业人员进行身份核验,以方便监督。然而,在传统的监督方式中,作业现场的人员管理和行为管控完全依靠人工核查,监控视频也依赖人工看守,无法做到人员身份实时核验以及对非作业人员入场的有效预警。针对室外作业场景中的作业人员身份识别,目前的研究方法大多基于人脸识别。人脸识别方法能够在作业人员脸部信息清晰且完整时准确识别出其身份信息。然而,当存在遮挡,以及受检测距离、检测角度等因素影响时,会造成脸部信息不完全或者模糊,导致采用人脸识别方法难以准确识别出作业人员的身份。步态特征是一种描述行走方式的复杂行为特征,包括脚的触地时间、离地时间和人体高度、双手摆动幅值等。相比人脸识别,步态特征识别有以下优点：第一,步态识别适用的检测距离更远,而人脸特征随着检测距离的增加识别难度明显上升;第二,步态特征识别是非主动识别,现场作业人员几乎随时随地处于行走状态,而人脸识别需要识别对象正对检测装置;第三,步态特征具有较强的特异性,不像人脸特征较易被模仿、修改。不过,单独采用步态特征进行识别,虽然在作业人员运动时可以捕捉体态信息进而较为准确地对其进行身份核验,但是无法对静态的作业人员进行身份核验。[JP]针对此问题,提出了一种多特征融合的身份核验方法,结合步态与人脸等多特征进行识别,不受衣着、环境等外在因素的干扰,可以有效提高身份核验的准确率。提出的融合人脸特征和步态特征的多特征身份核验方法包括身份注册阶段、训练阶段与测试验证阶段。身份注册阶段,人工标注人脸与步态信息,并录入人员信息库;训练阶段,首先利用相关网络提取视频中图像序列的步态轮廓图与人脸区域,然后利用深度学习网络模型提取相关特征,构建融合的特征向量与身份ID间的关系;测试阶段,首先判断图像中有无清晰人脸,如果有则使用多特征融合识别方法,否则仅通过步态特征进行特征匹配进而完成身份核验。结果表明,多特征融合方法在中科院自动化所的CASIA-A数据集上的分类准确率达到99.17%,数据集包含的3个视角下的分类准确率分别为98.75%,100%和98.75%。因此,所提方法可以有效提高单人场景中的身份识别准确率,是在室外作业场景中进行身份核验的一种有效方法。     

利用特征距离信息引导决策融合的多模态生物特征识别方法

传统的决策层融合作为识别系统最末端的融合层次,具有信息量不足的缺点,对于各模态分类性能差异较大的系统,识别率低且可靠性差。提出了一种基于特征距离信息的决策层融合方法,应用于包含虹膜、手掌静脉和手指静脉的多模态生物特征识别系统。以置信度作为权重,通过权重来探索不同模态生物特征识别的性能差异,实现了有效特征信息的提取,并且提高了系统的抗干扰能力。该方法充分考虑了权重因子与特征距离信息和模态分类性能参数之间的复杂关系,将模态的决策偏好通过置信度转化为定量表征,不仅使各模态权重因子的求解更具科学性,而且提高了识别系统在复杂情境下的自适应能力。实验结果表明,该融合方法的识别精度与抗干扰能力优于其他决策层融合算法。     

基于深度学习的音乐情绪分类研究

为解决传统音乐情感分类特征单一，导致训练效果差的问题，提出了一种多模态注意力融合网络模型，首先将执行情感分类使用的歌词和音频分离，将上下文特征提取方法与分类器相结合，从而提高特征提取效率；其次通过注意机制融合多模态特征，从而加快模型训练效率及情感分类准确率；接着提出了一种自适应孤立森林噪声方法增强模型对不均衡样本的适应性，并在一定程度上缓解模型过拟合问题.最后，将模型与LSTM、GRU、BI-LSTM、BI-GRU等模型进行仿真比较，结果表明所提模型性能最优，情绪分类准确率可达96.46%.     

基于BERT与多通道卷积神经网络的细粒度情感分类

为了分析突发事件期间网络舆论的情感倾向,以更有效地调节人们的情绪,维护社会稳定。本文提出了一种融合BERT模型和多通道卷积神经网络的深度学习方法用于细粒度情感分类,以获取更加丰富的文本语义特征信息。通过BERT 对输入的文本进行编码,以增强文本的语义特征表示,再通过具有多个不同大小的卷积核的并行卷积层来学习文本特征,捕获文本的深层次特征,提升模型在文本分类的性能。对比实验表明,该模型在准确性、召回率和F1值方面均优于传统的情感分类模型,并能显著改善细粒度情感分类的性能。除此之外,本文还探究了表情符号对细粒度情感分类模型的影响,实验结果表明表情符号转换成文字后可以增强文本的情感特征提取能力,提升模型分类性能。     

基于注意力机制多特征融合的虚假信息检测

在虚假信息识别任务中,面对图文结合的虚假内容,基于单模态的模型难以进行准确识别.社交媒体中的虚假信息为吸引关注和迅速传播的目的,会使用夸张的词汇煽动读者的情绪.如何将情感特征引入多模态虚假信息检测模型进行多特征融合,并准确地识别虚假信息是一个挑战.为此,本文提出了基于注意力机制多特征融合的虚假信息检测方法(att-MFNN).该模型中先将文本特征和情感特征基于注意力机制融合,再与视觉特征组成多模态特征送入虚假信息识别器和事件分类器中.通过引入事件分类器学习不同事件中的共同特征,提高新事件的识别性能.att-MFNN在微博和推特(Twitter)数据集的准确率达到了89.22%和87.51%,并且F₁、准确率、召回率指标均优于现有的模型.     

基于特征融合的步态识别研究

提取了膝关节的速度距和路径距,膝关节到脚踝关节的距离作为步态特征,这些特征分别描述了步态的动态信息和静态信息.将这些特征融合得到了较全面的步态信息,利用融合特征进行步态识别,提高了步态的识别率.     

用于稳态视觉诱发电位目标识别的多尺度特征融合卷积神经网络方法

针对传统稳态视觉诱发电位(SSVEP)脑电信号目标识别方法分类精度低、提取特征不充分、方法复杂且耗时等问题,提出一种基于多尺度特征融合卷积神经网络的SSVEP信号分类识别方法(SSVEP-MF)。利用小波变换将多通道SSVEP信号整合转化为二维图像作为输入样本集;建立多尺度特征融合卷积神经网络模型(MFCNN),该模型利用三层二维卷积核实现图像样本不同尺度特征的充分提取,构建多尺度特征融合单元对不同层级特征进行融合,并通过全连接等操作完成模型的训练;将样本集输入到MFCNN模型中实现脑电信号特征自适应提取及端到端分类。所提SSVEP-MF方法能够充分提取信号各层级特征,实现短时间视觉刺激下SSVEP信号的有效识别,并具有较高的目标识别效率。实验结果表明,在1 s刺激时长时,相比传统功率谱密度分析方法、典型相关分析方法以及普通卷积结构方法,所提方法的识别准确率分别提升了18.57%、20.08%及7.03%,有效提高了基于稳态视觉诱发电位范式下脑机接口的信号识别性能。