结合注意力机制与时空特征融合的长时程行为识别方法

为了建立基于视频行为识别的长时程图像序列的时空信息模型,文章提出了一种嵌入注意力的时空特征融合网络(attention-embedded spatial-temporal feature fusion network, ASTFFN)的深度神经网络模型。ASTFFN将一个包含动作的长时程图像序列分割成多个重叠的片段,并使用一个注意力嵌入特征提取网络(attention-embedded feature extraction network, AFEN)从每个片段中的RGB图像或光流图像中提取经过注意力加权的时空特征,进而融合每个片段的时空加权特征,生成行为识别的视频级预测。基于UCF101和HMDB51行为识别数据库进行了大量的实验,验证了方法的有效性。与目前主流的行为识别算法相比,该文方法在识别精度上取得了较好的效果。     

基于视频的情感时空融合特征提取算法

随着计算机技术的飞速发展以及人机交互技术的广泛应用,基于视频的表情识别逐渐成为研究热点之一,并逐渐实用化。本文提出了一种基于视频的情感时空融合特征提取算法,并用于表情识别。首先获取情感视频的时空特征点和其对应的立方体(cuobids),然后融合Piotr Dollar提出的描述算子和CBP_TOP描述算子所提取的cuobids的特征向量作为时空特征点最终的特征向量,最后采用"词袋模型"方法来提取情感视频最终的表情特征,并用于后续的表情分类。仿真实验表明此算法在保证识别精度的基础上大大提高了识别速率。     

一种基于空 时快速鲁棒特征的视频词汇的人行为识别方法

提出了一种空 时快速鲁棒特征（SURF）描述子,并且结合视频词汇概念,应用于人行为识别.这种新的描述子在行为识别应用中能很好地体现视频的时空本质,通过词袋（Bag of Words）模型来表征视频,且在表征过程使用了非硬性权重.实验以瑞典皇家理工学院的行为识别数据集作为测试对象,使用了相关领域传统的分类策略,同时引入了包含二次判断的投票系统.实验结果证明,结合特征描述子和视频词汇的行为识别框架在速度和准确率上均优于已有的一些方法,同时该分类策略在某些行为类型上优于传统的分类方法,能有效地应用于行为识别领域.     

一种基于属性贝叶斯网络的行为识别模型

针对传统行为识别方法仅利用底层特征识别的不足,提出了一种将动作属性与贝叶斯网络相结合的行为识别方法.首先,提取视频中的时空兴趣点及其3D-SIFT特征描述符,用词袋的方法建立时空词典对视频序列进行表示;然后,利用底层特征训练属性分类器,构造由底层特征到高层特征的映射,将底层特征样本经过属性分类器后得到行为—属性的样本信息,并采用MAP(最大后验概率)准则学习贝叶斯网络结构,从而建立一种基于属性贝叶斯网络的行为识别模型.实验结果表明该模型能有效地进行行为识别.     

治安监控视频中暴力行为的识别与检测

为了充分提取治安监控视频中的时空特征和时序特征,并对暴力行为进行准确的识别与检测,提出一种基于三维卷积神经网络(3DCNN)和卷积长短期记忆网络(Conv LSTM)的暴力行为识别算法。首先,采用一种通用视频描述符—3DCNN结构,提取视频的短时特征,这些特征封装了视频中与目标和场景相关的背景信息,然后,构建Conv LSTM网络对3DCNN提取的短时特征在时间轴上进行建模,进而充分提取视频的高层时序特征。最后,利用Sigmoid函数分类行为动作。为了验证该算法的高效性,对所提出的方法在暴力行为数据集Hockey上进行验证,达到了98.96%的识别精度。测试结果表明,该融合模型在检测效果上优于目前人工提取特征的方法和深度学习的方法。     

结合低秩分解与多流融合的行为识别方法

运动信息对行为识别任务至关重要。现有方法仅利用了局部运动信息,忽略了全局运动信息的重要作用。为解决该问题,提出了一种基于低秩分解与多流融合的行为识别方法。通过3条支路分别提取视频的特征,第1条支路利用低秩分解提取全局运动信息;第2条支路提取视频的光流特征以得到局部运动信息;第3条支路利用原始视频作为输入,以保留完整的空域信息。将3条支路的预测结果进行后融合,得到最终的行为识别结果。通过多流融合,充分利用视频的多尺度时域运动信息和丰富的空域信息,提高现有模型的行为识别能力。实验结果表明,提出的方法优于现有模型的多流融合行为识别方法。     

基于深度卷积神经网络和深度视频的人体行为识别

传统人体行为识别基于人工设计特征方法涉及的环节多,具有时间开销大,算法难以整体调优的缺点。以深度视频为研究对象,构建了3维卷积深度神经网络自动学习人体行为的时空特征,使用Softmax分类器进行人体行为的分类识别。实验结果表明,提出的方法能够有效提取人体行为的潜在特征,不但在MSR-Action3D数据集上能够获得与当前最好方法一致的识别效果,在UTKinect-Action3D数据集也能够获得与基准项目相当的识别效果。本方法的优势是不需要人工提取特征,特征提取和分类识别构成一个端到端的完整闭环系统,方法更加简单。同时,研究方法也验证了深度卷积神经网络模型具有良好的泛化性能,使用MSR-Action3D数据集训练的模型直接应用于UTKinect-Action3D数据集上行为的分类识别,同样获得了良好的识别效果。     

基于双通道特征自适应融合的红外行为识别方法

针对现有行为识别算法在红外视频中表现不佳的问题,提出一种基于双通道特征自适应融合的红外行为识别算法.在该方法中,2个通道提取的特征分别是改进的密集轨迹特征和光流卷积神经网络特征.改进的密集轨迹特征是在原始密集轨迹特征中加入灰度值权重,强调红外视频的成像特征;光流卷积神经网络特征是在原始视频对应的光流图序列中提取的,该特征具有较强的全局描述能力.通过自适应融合模型将2个通道特征的概率输出进行自适应融合,得到最终识别结果.实验结果表明,在现有红外行为识别数据集上,该算法有效地提高了识别准确率.     

基于超限学习机的深度网络时间分组行为识别

为准确识别视频目标个体完整行为动作序列, 增强视频行为识别精度, 提出一种基于超限学习机的深度网络时间分组行为识别方法。 首先按照人体行为关键姿态个数明确行为识别模型的状态数量, 建立人体运动行为多尺度结构关联, 把运动轨迹及边缘轮廓小波矩的不同尺度特征引入行为模型中, 获取人体运动行为概略特征; 其次利用视频分组稀疏抽样法, 将视频分割成等时长分组, 运用标准反向传播法优化模型参数, 实现低成本视频级时间建模, 并确保建模过程信息完整性; 最后根据隐含层激活函数输出及对应输出层权重系数,得到灵敏度解析式, 按照灵敏度参数对隐含节点进行排序, 删除次要节点, 实现深度网络时间分组行为的精准识别。 仿真实验结果表明, 该方法具备较高水准的识别精度, 且耗时少, 拥有极强的鲁棒性。     

Kinect骨骼数据驱动的人体动作二维特征融合与动作识别

针对在高噪声环境中人体动作识别存在准确度和稳定性不高的问题,本文采用二维空间特征融合的方法,提出一种基于Kinect骨骼数据的人体动作识别算法。从人体三视图的投影来提取运动特征,可以消除人体自遮挡的影响。针对人体复杂动作,算法采用分层策略。利用Kinect获得的骨骼关节点坐标,根据人体三视图投影提取二维空间的人体关节角特征,并运用支持向量机(SVM)方法对动作进行粗分类;进一步提取二维投影平面内的关节位置矢量、角速度和加速度特征,运用隐马尔可夫模型(HMM)的方法对动作进行细分类。利用本文方法对公开数据集MSR Action 3D实验,平均识别率达93.37%,实验结果表明,该方法准确性较高,鲁棒性较强。     

一种基于特征级融合的多模态生物特征识别方法

生物特征识别是信息技术领域的研究热点,其中多模态生物识别技术凭借更好的适用性、更高的安全性及更优的性能成为发展趋势。提出了一种融合虹膜特征和掌纹特征的多模态生物特征识别方法,该方法分别提取虹膜及掌纹特征,融合时不同于传统的匹配级融合,而是从特征级融合入手,采用并行特征融合策略,将两特征向量以复向量的形式进行融合,构成复向量空间,并利用酉距离进行匹配决策。实验结果表明此方法比单模生物特征方法在识别性能上有了明显改善,同时与传统匹配级融合策略相比,更有优势,识别效果更好。     

基于图像色彩特征融合的绝缘子污秽等级检测

针对绝缘子污秽状态非接触检测问题,提出基于可见光图像RGB(red green blue)和HSI(hue saturation intensity)空间信息特征级融合的污秽等级检测方法.利用最佳熵阈值分割法(OET)提取绝缘子盘面区域,分别在RGB和HSI色彩空间进行特征计算,根据Fisher准则进行特征选择,得到可以有效表征污秽状态的特征量,利用核主元分析(KPCA)对两个色彩空间特征的组合进行降维融合,得到三维融合特征向量,结合概率神经网络(PNN)实现污秽等级识别.实验分析表明,基于核主元分析的图像信息特征级融合能够全面地反映绝缘子污秽状态,与单独利用RGB或HSI特征进行识别相比,其准确率有显著提高,可以实现绝缘子污秽等级的有效识别,为绝缘子污闪防治提供了新的方法.     

柔性姿态估计和时空特征结合的乒乓球动作视频片段关键帧提取

为了解决传统方法在场景复杂的情况下,因无法保证时间与空间上的连续性,导致乒乓球动作识别错误,影响关键帧提取性能的问题,将柔性姿态估计和时空特征结合在一起,研究乒乓球动作视频片段关键帧提取问题。依据稠密光流对乒乓球动作视频片段进行分段。对单帧图像人体柔性姿态进行估计,通过可分离线性滤波器时空特征点检测方法对乒乓球动作视频图像序列特征点的检测,将时空特征点当成中心建立时空立方体,提取时空立方体的像素建立时空特征。为了保证时间与空间上的连续性,引入时空特征边,得到有时空特征的柔性姿态估计结果。通过直方图相交法求出乒乓球动作视频片段中姿态相似度,计算全部姿态的Hog间差异度,构成差异度矩阵。在当前帧姿态差异度超过阈值的情况下认为当前帧为关键帧。实验结果表明,所提方法针对不同场景的保真率与压缩率一直高于0. 7,处于较高水平;主观评价结果好,可提取合理关键帧。可见所提方法对复杂场景的关键帧提取性能优,主观与客观评价结果好。     

基于自适应权值的多分类器融合方法

提出了一种类似于聚类分析的融合方法 ,它通过分析样本在特征空间的分布 ,来估计分类器分类结果的可靠性 ,并根据各个样本的具体情况自适应地为各分类器赋予权值 ,从数据融合的层次上来说 ,这是一种介于特征级和决策级的融合方法 .     

指纹与指静脉的特征层动态加权融合识别

结合指纹与指静脉两种生物特征的优点进行多模态特征识别,提出一种特征层动态加权融合匹配算法。在图像预处理的基础上分别提取两模式源的有效特征矢量,根据近邻消除和特殊区域保留原则对特征矢量进行降维;从待识别特征角度对特征点集的相对质量进行评价,根据对双模态特征优和差的分类引入动态加权策略,提高质量较好特征所占权重,削弱低质量及伪特征对识别结果的影响,实现了特征层特征自适应优化融合。在FVC2000公开指纹库和指静脉自建数据库上的测试取得了98.9%的识别率,较指纹、指静脉单模态识别分别提高了6.6%和9.6%,较匹配层加权平均融合识别提高了5.4%。     

基于HOG-CSLBP与深度学习的跨年龄人脸识别算法

针对人脸识别中识别精度低的问题,提出一种基于深度学习的跨年龄人脸识别算法.该方法创新性地将方向梯度直方图(Histogram of Oriented Gradient,HOG)和中心对称局部二值模式(Center Symmetric Local Binary Pattern,CSLBPS)组合方法用于人脸图像特征提取,获得包含结构和强度信息的图像融合特征,然后使用二叉树对特征信息进行降维,降维特征作为深度信念网络的可视层输入量,弥补深度新信念网络无法达到图像局部特征要求的缺陷.通过训练好的深度网络模型对测试样本进行学习,在深度信念网络的最顶层对特征进行分类识别.实验结果表明,该方法能高精度实现人脸识别,且与其他方法比较,该方法性能优于其他方法,说明该方法具有可行性和有效性.     

基于数据融合的不平衡连续手术动作分割识别

为解决样本分布不均衡的连续动作序列分割识别精度不高的问题，本文提出一种基于深度学习的新型连续动作分割与识别模型，该模型能够从多维时间序列中提取更丰富全面的动作特征。该算法使用基于Bi-LSTM的特征提取单元提取数据特征，利用基于注意力机制的特征融合模块融合多种模态的特征，并利用全连接层构建的解码器完成最终分类。实验中使用多种传感器采集了眼科手术中连续环形撕囊操作的连续动作多模态数据对算法进行验证实验。实验结果显示，与使用长短时记忆网络（LSTM）和门控循环单元（GRU）的数据层融合算法以及四种特征层融合策略相比，本文提出的模型具有更好的性能。对于数据量最小的动作类别，该算法的识别精度提高了14%以上，全局F1分数提升8%以上，整体识别准确度达到90.72%。这些结果表明，该模型能够有效解决样本分布不均衡的连续动作序列分割识别精度问题，并为多模态连续动作分割与样本不均衡问题的解决提供了新的思路和方法。     

一种基于两步降维和并行特征融合的表情识别方法

在采用特征融合方法进行人脸表情识别时,通常会产生高维特征问题.针对这一问题,提出一种基于两步降维和并行特征融合的表情识别新方法.利用主成分分析法(principal component analysis,PCA)分别对待融合的两类特征在实数域进行第一次降维,将降维后的特征进行并行特征融合;为了解决在并行融合过程中产生的高维复特征问题,提出一种基于酉空间的混合判别分析方法(unitary-space hybrid discriminant analysis,unitary-space HDA)作为酉空间的特征降维方法.该方法是实数域混合判别分析法在酉空间内的扩展,并兼顾了复特征数据的类间判别信息及全局描述信息.对局部二值模式(local binary pattern,LBP)和Gabor小波特征进行融合,并在JAFFE和CK+表情数据集上开展对比实验.实验结果表明,该方法具有较好的高维复特征数据降维能力,并且有效提高了表情识别率.     

基于改进的随机森林的人体部件识别

姿态估计是自然人机交互最为重要的环节,人体部件识别是姿态估计的重要步骤。本文介绍了一种基于特征预筛选的改进的随机森林的方法来识别人体各个部件。与传统的随机森林构造不同,在该方法中,对于特征空间十分庞大的实例给出了特征预筛选方法,使得每个分裂节点的特征子集更为高效。该方法既保证了树与树之间的独立,又保证了每棵树的分类性能。在树与树之间的组合中,根据人体部件构造,引入了和分层树的组合模型方式,提高了差异较小类的分类性能,进而提高了森林的准确性。