基于数据融合的不平衡连续手术动作分割识别

为解决样本分布不均衡的连续动作序列分割识别精度不高的问题,提出一种基于深度学习的新型连续动作分割与识别模型,该模型能够从多维时间序列中提取更丰富全面的动作特征。使用基于双向长短时记忆网络(bidirectional long short-term memory networks, Bi-LSTM)的特征提取单元提取数据特征,利用基于注意力机制的特征融合模块融合多种模态的特征,并利用全连接层构建的解码器完成最终分类。实验中使用多种传感器采集了眼科手术中连续环形撕囊操作的连续动作多模态数据对算法进行验证实验。实验结果显示,与使用长短时记忆网络(LSTM)和门控循环单元(gated recurrent unit, GRU)的数据层融合算法以及4种特征层融合策略相比,所提出的模型具有更好的性能。对于数据量最小的动作类别,该算法的识别精度提高了14%以上,全局F₁分数提升8%以上,整体识别准确度达到90.72%。这些结果表明,该模型能够有效解决样本分布不均衡的连续动作序列分割识别精度问题,并为多模态连续动作分割与样本不均衡问题的解决提供了新的思路和方法。     

基于稀疏Transformer的长短时序关联动作识别算法

针对主流的视频动作识别算法对时序信息的挖掘不充分,而Transformer能够更好地处理长序列和全局依赖性问题,本文将3DCNN和Transformer结合起来,提出了基于稀疏Transformer的长短时序关联动作识别算法,从而实现对视频的全局时序信息进行建模。该算法提取预训练视频模型各个片段特征,嵌入视频特征聚类模块降低输入特征的潜在噪声,并利用基于稀疏自注意力的Transformer长短时序关联模块,引入稀疏掩码矩阵,对相似度矩阵进行掩码操作,抑制较小的注意力权重,选择性地保留重要的长短时序信息,提高模型对全局上下文信息的注意力集中程度。本文在UCF101和HMDB51数据集上进行了大量的实验,验证了本文算法的有效性,在参数量和计算复杂度较小的情况下准确率高于同类权威算法。     

融合人体骨架和姿势信息特征的轻量级人体动作识别方法

针对人体动作识别任务中特征值选取不当导致识别率低、使用多模态数据导致训练成本高等问题,提出一种轻量级人体动作识别方法。首先使用OpenPose、PoseNet提取出人体骨架信息,使用BWT69CL传感器提取姿势信息;其次对数据进行预处理、特征融合,对人体动作进行深度学习分类识别;最后,为验证此方法的有效性,在公开数据集WISDM、UCIHAR、HASC和自建的人体动作数据集上进行实验验证,并使用改进的目标引导注意力机制(target-guided attention,TGA)–长短期记忆(long short term memory,LSTM)网络输出最终的分类结果。实验结果表明,在自建数据集下融合姿势和骨架特征达到99.87%准确率,相比于只使用姿势信息特征,识别准确率提高了约5.31个百分点;相比于只使用人体骨架特征,识别准确率提高了约1.87个百分点;在识别时间上相比于只使用姿势信息,识别时间降低了约29.73 s;相比于只使用人体骨架数据,识别时间降低了约9 s。使用该方法能及时有效地反映人体的运动意图,有助于提高人体动作和行为的识别准确率和训练效率。     

基于多元时间序列融合的飞行动作识别方法

针对飞行动作数据随机性强与长度不一致的问题,提出通过减小动态时间规整(DTW)算法的搜索空间,并定义不同特征参数贡献度的概念,实现对飞行数据的多元时间序列融合,从而完成对战术机动动作的识别。通过引入预分类和细分类结合的方式,对动作数据进行预处理,然后根据改进的动态时间规整(WDTW)算法对待测数据进行识别。仿真实验表明,相比传统DTW算法,WDTW算法通过降低算法复杂度,识别计算时间变化明显;对核密度与精准度系数的分析表明识别准确率亦有所提高。实验结果验证了所提方法的准确性。     

基于SAT-GCN的花样滑冰选手动作检测算法研究

针对花样滑冰运动人体运动轨迹复杂、动作类型多样、普通人肉眼难以区分且常规的行为识别方法识别准确率低的问题，提出了一种基于时空图卷积网络与多通道注意力机制融合方法 (SAT-GCN)的花样滑冰动作识别算法。该算法首先将视频提取成连续的单独帧，使用OpenPose算法提取人体骨骼关键点数据，降低背景噪声干扰；然后使用时空图卷积算法对骨骼关键点数据进行动作分类。算法对时空图卷积算法进行改进，加入了多通道时空注意力机制融合模块，使得模型更加关注重要的关键点、时间帧片段、特征；使用时序卷积网络(TCN)提取人体骨架关键点在时间序列上的特征；使用SoftMax对提取后的特征进行动作分类。在花样滑冰数据集FSD-10和公开的人类行为数据集Kinetics-Skeleton上进行训练和测试，与改进前的时空图卷积网络(ST-GCN)进行对比，本文所提算法的预测准确率在2个数据集上均有所提升，验证了多通道注意力机制融合方法在花样滑冰选手动作检测任务中的有效性。     

基于跨域字典学习算法的人体行为识别

将一种跨域字典学习算法应用于人体行为识别中, 通过引入辅助域数据集, 与原始训练集（目标域）共同进行字典学习, 获得字典对, 进而得到动作类的稀疏编码, 有效扩充了训练集的类内多样性. 该算法为字典学习与训练分类相结合的学习框架, 可利用字典对学习过程中的重建误差进行分类. 实验在MATLAB仿真条件下进行, 将UCF YouTube数据集作为原始训练集, 将HMDB51数据集作为辅助域数据集, 选取两个数据集动作类别一致的7个动作, 根据提出的算法流程进行识别. 将该方法与其他两种人体行为识别算法进行对比. 结果表明, 该方法识别率显著提高, 证明了跨域字典学习算法在人体行为识别上的有效性.     

基于特征优选和图像相似度的人体动作识别算法

有效提取特征有利于提高后续人体动作识别的准确率。针对人体动作识别时方向梯度直方图(histogram of oriented gradient,HOG)特征维数过高和相似动作不好区分的问题,提出一种基于特征优选和图像相似度的人体动作识别算法。实验对比三种降维方法主成分分析法(principal component analysis,PCA)、PCA+Pearson、PCA+Spearman处理后的动作识别率,证明PCA+Pearson相关系数的降维效果最佳。同时将全局特征八星模型与降维后的局部特征HOG特征组合在一起全面表征人体动作,并计算相邻两帧图像相似度,自适应分配一个判别周期内单帧支持向量机分类结果的统计权值,最后二次分类人体姿态识别结果。在标准数据集KTH上进行实验,该算法识别准确率为94. 5%,较其他方法有所提高,在视频人体动作识别领域有较好应用价值。     

基于LBP特征的人体行为识别算法研究

人体行为识别是计算机视觉领域内非常热门的一个研究方向。通常人体行为识别包括两个关键步骤:人体行为特征提取和分类器的选择和设计。采用了一种简单高效的人体动作特征描述子局部二值模式(Local Binary Pattern,LBP),该特征可以较好的描述人体的纹理和轮廊信息;识别算法采用了多类支持向量机算法。在标准的数据集上的实验结果表明,方法具有较高的识别率。     

基于骨骼投影信息的人体行为识别

针对复杂环境下深度相机提取人体骨骼信息失效的问题，利用RGB图像提取运动特征，提出结合人体部分重要关节点信息进行行为识别的方法。首先根据人体行为图片捕捉人体各关节点的空间位置信息，建立坐标系描绘出人体骨架，将三视图嵌入二值图像中；利用Lucas-Kanade光流算法得到关节点的运动信息，构成由张量表示的动作序列；估计动作特征描述序列，再映射到格拉斯曼流形上完成人体行为识别和分类。在MSRActinos3D、UCFKinect数据集上的实验结果表明，该方法能够有效识别各种人体行为。     

基于RNN的视频模型构建和动作识别策略研究

递归神经网络(RNN)和长短时记忆(LSTM)在处理顺序多媒体数据方面取得显著成就。因此,提出了一种双向长短时记忆的递归神经网络(DLSTM),该方法结合了卷积神经网络(CNN)和递归神经网络的动作识别新方法。首先,利用CNN提取视频的深度特征,构建视频特征模型,以减少冗余和复杂性。然后,利用递归神经网络学习帧特征之间的序列信息。该方法具有学习长序列的能力,能够在一定的时间间隔内通过分析特征来处理较长的视频。实验结果与现有的方法比较,该方法在动作识别方面有明显完善。