基于时空特征的生猪动作识别

针对现代化养殖业无人化、智能化的需求,以目标检测网络YOLOv2为基础,提出了一种基于深度学习提取时空特征的生猪动作识别与定位的方法.对待检测视频关键帧中的生猪空间位置信息与视频流时序动作特征进行检测,采用通道注意力模块将这2种特征进行合理且平滑的特征融合,实现了一个端到端的动作识别网络,可以直接从视频序列中预测得到关...     

基于多特征融合及Transformer的人体跌倒动作检测算法

为解决跌倒动作的检测和空间定位问题,本文以YOLOv3目标检测算法为基础,提出了一种全新的用于人跌倒动作识别的检测架构.本算法将视频拆分成一系列的图片序列,并在图片序列中指定关键帧.通过3D卷积神经网络提取视频序列中的时间维度特征,2D卷积神经网络提取关键帧中的空间维度特征,经通道融合机制在不同尺度的预测特征层进行通道...     

融合形状和运动特征的动作识别计算模型

针对视觉系统在动作识别过程中如何利用形状与运动信息的问题,提出了一种融合形状特征和运动特征的人体动作识别方法.该方法模拟视觉皮层的背侧和腹侧通路,建立了基于双通道理论的人体动作特征计算模型.计算模型分别利用2D Gabor滤波器和3D时空滤波器模拟腹侧和背侧通路中视觉皮层简单细胞,提取动作的时空信息,通过采样、局部遍历、模板学习一系列操作分别提取动作的时空特征,并采用线性融合方法获取描述动作的特征向量,构建了采用支持向量机(SVM)进行动作分类的动作识别系统.实验结果表明:该方法的识别性能优于同类型的识别方法,取得了较好的识别效果.     

基于时空特征自适应融合网络的加密流量分类方法

加密流量数据包之间具有明显的时序特征,现有方法很难提取出流量数据中隐含的时序特征,未能将时序特征与空间特征有效地融合,公开数据集大都存在类间样本不平衡的问题,给加密流量的准确分类带来巨大挑战.针对上述问题,提出了一种包含时空特征提取模块和难样本学习模块的卷积神经网络模型.时空特征提取模块先利用不同维度的卷积核来同步学习流量数据包序列中的时序和空间特征,再利用自适应加权融合策略将提取到的时空特征进行有效融合;难样本学习模块使用焦点函数让模型在训练过程中更偏向对困难样本的学习,进一步均衡不同类别的分类效果.实验结果表明：上述方法在ISCX VPN-nonVPN2016数据集和USTC-TFC2016数据集上的分类准确率分别达到了99.38%和99.46%,对不同类别流量分类结果的F1评价指标分别为99.04%和99.31%,与当前同类方法相比具有更优秀的识别性能.     

结合注意力机制与时空特征融合的长时程行为识别方法

为了建立基于视频行为识别的长时程图像序列的时空信息模型,文章提出了一种嵌入注意力的时空特征融合网络(attention-embedded spatial-temporal feature fusion network,ASTFFN)的深度神经网络模型.AST FFN将一个包含动作的长时程图像序列分割成多个重叠的片段,并...     

基于人体时空骨架特征的图卷积行为识别算法

【目的】为了充分利用动态的人体骨架特征,提高行为识别精度,提出一种基于人体时空骨架特征的图卷积行为识别算法。【方法】首先在空间上确定主关节点,再融合各关节点与主关节点之间的向量和关节点间的骨骼长度,获取瞬时状态下关节点的相对位置关系;然后计算相邻两帧之间由相同关节点构成的时序动作信息来描述运动状态;最后,将时空信息融合到时空图卷积网络中,进行端到端训练。【结果】与时空图卷积网络识别算法相比,在400分类Kinetics行为识别数据集上的Top-1和Top-5指标分别提升了1.78%和1.77%,在NTU RGB+D数据集的两个基准上的Top-1分别提升4.13%和2.61%。【结论】提出的基于人体时空骨架特征的图卷积行为识别算法是有效实用的。     

基于长短时记忆网络的多模态情感识别和空间标注

情感计算中音/视频的情感识别对人机交互等领域的深层次认知具有重要应用价值,在现代远程教育中可作为教学过程性实时评估的重要技术之一.为克服单一模态模型识别精度依赖于情感类型这一问题,本文提出一种基于长短时记忆(LSTM)网络的多模态情感识别模型,采用双路LSTM分别模拟人类听觉和视觉处理通路处理语音和面部表情的情感信息,在eNTERFACE’05双模态情感数据集上进行训练和测试,并模拟人脑边缘系统情感区进行决策层加权特征融合,传统情绪六分类标准的准确率可达74.7%.同时,考虑到传统离散情绪六分类法无法进行程度度量,且存在外在表现相似和多情感同时并存的问题,本文提出一种新的多模态情感识别模型的空间标注法,采用模型层特征融合方法将情感分类特征映射到激活度-效价空间(Arousal-Valence Space),从而更好刻画情感的程度,实验结果显示准确率在空间两个维度上分别达到84.1%和86.6%.相比于已有的大多数相关研究,本文提出的模型运算量小,识别精度高,可进行实时在线情感识别.     

基于骨架的自适应尺度图卷积动作识别

基于骨架的动作识别任务中,一般将骨骼序列表示为预定义的时空拓扑图.然而,由于样本的多样性,固定尺度的拓扑图往往不是最优结构,针对样本特性构建自适应尺度的骨骼拓扑图能够更好地捕捉时空特征;另外,不同尺度的骨骼图能够表达不同粒度的人体结构特征,因此对多个不同尺度的拓扑图进行特征提取与融合是有必要的.针对这些问题,提出了一种自适应尺度的图卷积动作识别模型.该模型包含自适应尺度图卷积模块和多尺度融合模块两部分.自适应尺度图卷积模块基于先验与空间注意力机制,构建关键点的活跃度判决器,将活跃点细化为小尺度结构、非活跃点聚合为大尺度结构,在加速节点间特征传递的同时最小化特征损耗;多尺度融合模块基于通道注意力机制,动态融合不同尺度的特征,进一步提升网络的灵活性;最后,综合关键点、骨骼、运动信息实现多路特征聚合的动作判别,丰富模型的特征表达.结果表明:该算法在NTU-RGBD数据集的CS和CV子集上分别取得了89.7%和96.1%的分类准确率,显著提高了动作识别的准确性.     

基于双流多关系GCNs的骨架动作识别方法

为了更好地提取并融合人体骨架中的时序特征和空间特征,文章构建了融合时空域注意力模块的多流卷积神经网络(AE-MCN)：针对目前大多数方法在建模骨架序列相关性时因忽略了人体运动特性而没有对运动尺度进行适当建模的问题,引入了自适应选取运动尺度模块,从原尺度动作特征中自适应地提取关键时序特征;为了更好地对特征进行时间维度和空间维度上的建模,设计了融合时空域的注意力模块,通过对高维时空特征进行权重分配,进而帮助网络提取更有效的动作信息。最后,在3个常用的人体动作识别数据集(NTU60、JHMDB和UT-Kinect)上进行了对比实验,以验证AE-MCN网络的有效性。实验结果表明：与ST-GCN、SR-TSL等网络相比,AE-MCN网络都取得了更好的识别效果,证明AE-MCN网络可以对动作信息进行有效的提取与建模,从而获得较好的动作识别性能。     

融合统计和几何特征的运动意图识别方法

考虑到完全由离散统计特征构成的特征空间难以准确地描述人体运动的连续特性,提出了一种基于统计和几何特征相结合的智能下肢假肢运动意图识别改进方法.该方法立足于特征空间的改进,将均值、方差、最大值和最小值等统计特征和由函数型数据分析方法拟合提取的几何特征进行融合,选择均值、方差、最值斜率作为一组特征基构成混合特征空间.实验结果表明,采用混合特征进行运动意图识别,降低了特征空间的维数,整体上识别精确度有所提高,为智能假肢控制赢得更多的调节时间,协助单侧下肢截肢者及时、准确执行某种单一类型的动作及进行不同类型运动的转换.     

MRTP:时间-动作感知的多尺度时间序列实时行为识别方法

针对行为识别中时空信息分布不均衡以及对长时间跨度信息表征获取难的问题,提出了一种时间-动作感知的多尺度时间序列实时行为识别方法MRTP。以RGB视频为输入,使用两个并行的感知路径在不同的时间分辨率上对视频进行空间特征与动作特征提取。在空间路径中,使用基于特征差分的动作感知寻找并加强通道动作特征表征;在动作路径中,基于动作感知的权重对通道进行筛选,并加入通道注意力和时间注意力加强关键特征;在两个路径提取出特征后,对特征进行融合,融合后的特征通过激活函数映射出样本在各个类别的得分,取得分最高的类别为最终识别结果。实验结果表明：所提方法在UCF101数据集上达到了95.6%的准确率,优于未使用时间注意力的方法;在AVA2.2数据集上的平均精度达到了28%,优于未使用动作感知和时间注意力的方法。与目前主流的基于光流法的双流网络、以Slowfast为代表的3D卷积网络、Transformer等方法进行了准确率、参数量、处理速度对比,结果表明所提方法具有更良好的识别效果和鲁棒性。     

基于关节点运动轨迹的人体动作识别

为了提高动作识别的准确率和实时性,提出一种基于关节点运动轨迹的动作识别方法.受心理物理学中关于人体运动实验的启发,使用人体骨架关节点的运动轨迹表示人体动作,它能够在时空维度上对动作进行完整表达.在此基础上,使用高斯混合模型对关节点运动轨迹进行聚类,进而通过Fisher向量进行特征量化.考虑到动作识别任务的实时性要求,提出基于核极限学习机的动作识别,以此提升动作识别任务的实时性和准确率.最后,在公开数据集UTD-MHAD和KARD上对提出的方法进行了验证,实验结果证明了该方法的有效性.     

基于RGB-D的多线性异构信息的动作识别研究

本文提出了一种新的动作识别的方法,该方法是在前人的基础上增加了一个模态特征.为了能更好的提高动作识别的准确率和泛化能力,在前人的RGB特征和深度特征模态的双线性异构信息的动作识别的方法的基础上,增加了一个骨骼特征模态,使三个特征模态经过压缩映射到一个共享学习空间上,同时这样也有利于减少噪声和捕捉有用的识别信息.本文采用和前人一样的方法—矩阵形式来表示三种模态特征以便获得复杂的动作时空信息.用矩阵的行和列参数组成低维的多线性模型,最小化模型维度后建立一个低维分类器实现动作识别.该方法在RGB-D和骨骼两个公共数据集上进行了评估,取得了不错的效果.即使三种模态数据在训练或者测试中部分丢失也能通过其他模态实现识别.     

基于时空信息和非负成分表示的动作识别

为充分利用时空分布信息及视觉单词间的关联信息,提出了一种新的时空非负成分表示方法(ST-NCR)用于动作识别.首先,基于视觉词袋(Bo VW)表示,利用混合高斯模型对每个视觉单词所包含的局部特征的时空位置分布进行建模,计算时空Fisher向量(STFV)来描述特征位置的时空分布;然后,利用非负矩阵分解从Bo VW表示中学习动作基元并对动作视频进行编码.为有效融合时空信息,采用基于图正则化的非负矩阵分解,并且将STFV作为图正则化项的一部分.在3个公共数据库上对该方法进行了测试,结果表明,相比于Bo VW表示和不带时空信息的非负成分表示方法,该方法能够提高动作识别率.     

基于多尺度时空特征的篮球场景中人体姿态估计

人体姿态估计是计算机视觉领域的研究热点之一,目标是从给定的图像或视频中识别人体的关节.由于篮球比赛视频中人体动作复杂多变,易产生运动模糊、遮挡等问题,导致现有的人体姿态算法对篮球动作姿态估计的准确率较低.针对这一问题,提出了一种基于多尺度时空关联特征的篮球动作姿态估计算法,构建基于Transformer的人体时序特征捕捉模块对序列层级的时空特征信息进行建模,以缓解运动模糊、遮挡等现象带来的负面影响.此外,针对人体外形复杂多变的问题,提出了基于可形变卷积的人体空间特征残差融合模块来获取更为充分的空间特征.与现有算法相比,该算法在自行构建的篮球场景人体运动数据集、姿态估计公开基准数据集PoseTrack2017和PoseTrack2018均取得较好的效果.     

基于压缩域新时空特征的视频动作识别

针对基于压缩域视频动作识别中精度偏低等问题,提出了一种压缩域视频动作识别新方法.主要思路是在提取压缩码流信息阶段,利用压缩视频的运动矢量和残差构造新时空特征.新时空特征不仅具有运动矢量和残差的时空关系,更兼备物体边缘清晰的特点.通过在动作识别主流数据集(HMDB-51、UCF-101)的验证,此方法计算开销相比基于传统...     

基于多步态特征融合的情感识别

在情感计算、心理治疗、机器人、监视和观众理解等方面,基于步态特征的情感识别有着广泛的应用前景。已有方法表明,考虑手势位置等上下文信息可以显著提高情绪识别性能,且时空信息能显著提高情绪识别精度。但是单纯使用骨骼空间信息无法充分表达步态中的情绪信息。为了充分利用步态特征,本文提出自适应融合的方法,将骨骼时空信息与骨骼旋转角度结合,提升了现有模型的情感识别精度。本文模型利用自编码器,学习人类行走时的骨骼旋转信息,利用时空图卷积神经网络提取骨骼点时空信息,将骨骼旋转信息与时空信息输入自适应融合网络,得到最终特征进行分类。模型在Emotion-Gait数据集上测试,实验结果显示：悲伤、愤怒和中立情绪的AP值比最新HAP方法分别提升5、8、5个百分点;总体分类的平均MAP值提高了5个百分点。     

基于视频的情感时空融合特征提取算法

随着计算机技术的飞速发展以及人机交互技术的广泛应用,基于视频的表情识别逐渐成为研究热点之一,并逐渐实用化。本文提出了一种基于视频的情感时空融合特征提取算法,并用于表情识别。首先获取情感视频的时空特征点和其对应的立方体(cuobids),然后融合Piotr Dollar提出的描述算子和CBP_TOP描述算子所提取的cuobids的特征向量作为时空特征点最终的特征向量,最后采用"词袋模型"方法来提取情感视频最终的表情特征,并用于后续的表情分类。仿真实验表明此算法在保证识别精度的基础上大大提高了识别速率。     

一种融合全局时空特征的CNNs动作识别方法

针对基于卷积神经网络(CNNs)的人体动作识别方法通常采用空域或时域局部特征的不足,提出一种融合人体动作全局时域和空间特征的双通道CNNs动作识别模型.空间通道对动作图像进行深度学习,采用多帧融合的方式提升准确率,全局时域通道对能量运动历史图(EMHI)进行深度学习,最后融合两个通道信息识别人体动作.利用现有的大型数据集进行预训练,以解决学习过程中训练样本不足问题.在UCF101数据集和该项目小样本数据集上进行实验,结果证明了该方法的有效性.     

基于SGD的决策级融合维度情感识别方法

在双模态维度情感识别中,存在由于信息不全面而导致预测性能不高的缺陷,且使用决策级融合方法进行融合大多依赖支持向量回归算法,但该算法无法有效处理大样本情况。为了解决以上问题,在语音和文本模态的基础上增加动作捕捉(motion capture, Mocap)数据,并针对该多模态数据提出一种基于随机梯度下降(stochastic gradient descent, SGD)的决策级融合维度情感识别方法。结合多任务学习机制,利用不同的深度学习模型分别对语音、文本和Mocap特征进行训练,并基于决策级融合方法实现多模态维度情感识别。在IEMOCAP数据集上的实验结果表明,Mocap数据更有助于提高效价维的值,结合更多情感数据有助于提升维度情感识别的预测性能,基于SGD进行决策级融合得到的一致性相关系数均值高于其他回归算法。