基于双通道特征自适应融合的红外行为识别方法

针对现有行为识别算法在红外视频中表现不佳的问题,提出一种基于双通道特征自适应融合的红外行为识别算法.在该方法中,2个通道提取的特征分别是改进的密集轨迹特征和光流卷积神经网络特征.改进的密集轨迹特征是在原始密集轨迹特征中加入灰度值权重,强调红外视频的成像特征;光流卷积神经网络特征是在原始视频对应的光流图序列中提取的,该特征具有较强的全局描述能力.通过自适应融合模型将2个通道特征的概率输出进行自适应融合,得到最终识别结果.实验结果表明,在现有红外行为识别数据集上,该算法有效地提高了识别准确率.     

基于神经网络的汽车操纵逆动力学模型识别

针对驾驶员建模中不确定因素的影响,采用操纵逆动力学方法,反求出驾驶员的操纵输入来避开驾驶员建模.神经网络作为一种较好的识别驾驶员输入的方法,其学习速度和收敛精度会影响识别精度.为了提高汽车操纵逆动力模型识别时神经网络的学习速度和收敛精度,基于Elman网络,采用一种新的动态神经网络结构——状态延迟输入动态递归神经网络(SDIDRNN).首先,建立三自由度人—车闭环模型并以实车试验数据验证了模型的正确性.然后,通过建立SDIDRNN网络模型,取闭环模型的仿真结果做为训练样本,对汽车操纵逆动力模型进行了识别,所得结果及误差分析说明了该神经网络在学习能力上的优越性及识别模型的有效性.     

一种基于双流卷积神经网络跌倒识别方法

针对跌倒行为的视觉特征难以提取的问题,提出一种由两路卷积神经网络和模型融合部分组成的双流卷积神经网络(Two-Stream CNN)的跌倒识别方法.该方法的一路对视频帧的运动人加框标记后,送三维卷积神经网络(3D-CNN)处理来消除视频背景的干扰;另一路从相邻视频帧获取光流图后,送VGGNet-16卷积神经网络处理;最后将3D-CNN和VGGNet-16的Softmax输出识别概率加权融合作为Two-Stream CNN输出结果.实验结果表明:标记运动人并经3D-CNN处理有效地消除了视频背景的干扰;Two-Stream CNN跌倒识别率为96%,比3D-CNN提高了4%,比VGGNet-16网络提高了3%.     

使用日夜两用型红外摄像机进行火焰检测

为了提高火灾监控的准确性和及时性,并最大限度地利用已有硬件设备,提出一种使用日夜两用型红外摄像机的火灾自动监控方法.根据红外图像RGB空间的色彩分布特点,设计视频类型判断算法,实现视频图像类型自动切换.通过红外状态与可见光状态两类状态下的焰色模型提取火焰疑似区域.对疑似火焰区域提取不规则度、角点量、闪烁频率和帧间相关性等4个静态及动态检测特征.通过减聚类和模糊C均值聚类相融合的方式优化训练样本,并分别训练2种状态下的火焰识别神经网络分类器.实验结果表明:视频类型判别平均准确率93.07%,21段火焰或干扰视频均能正确检测,报警时间小于8s,帧处理速度达到25帧/s以上.对室内自动火灾监控的精度高、抗干扰能力强、处理速度实时和适应全天候监控等.     

基于双通道多特征融合的电力负荷智能感知方法

负荷识别是分析用户用电行为的主要工具之一.提高负荷识别的精度对于开展用能监测服务、实现节能降损具有重要意义.提出了一种基于双通道多特征融合的电力负荷智能感知方法.首先,从电器设备的基本属性出发,分析了电流、谐波、功率等数值特征以及电压-电流(V-I)轨迹图像特征对负荷识别的影响;其次,考虑了特征之间的互补性,分别采用主成分分析-神经网络(principal component analysis-back propagation,PCA-BP)算法和卷积神经网络算法将数值特征和图像特征以不同通道在高维空间进行深度融合;最后,采用Softmax分类算法对融合后的高级特征和设备标签进行有监督的学习,从而实现了不同类别电器设备的有效辨识.算例测试结果显示,所提出方法的负荷识别准确率高达94.55％.该结果充分说明了将多种特征进行高维空间融合,可以更全面、立体地反映设备的本质属性,提高算法的识别精度.     

利用深度神经网络的无监督视频表示

在计算机视觉领域中,大多数的视频表示方法都是有监督的,需要大量带有标签的训练视频集,但标注大量视频数据会花费极大的人力和物力.为了解决这个问题,提出了一种基于深度神经网络的无监督视频表示方法.该方法利用改进的稠密轨迹(iDT)算法提取的视频块交替地训练深度卷积神经网络和特征聚类,得到可提取视频特征的深度卷积神经网络模型;通过视频的中层语义特征,实现了无监督视频表示.该模型在HMDB 51行为识别数据库和CCV事件检测数据库上分别进行了动作识别和事件检测的实验,获得了62.6%的识别率和43.6%的检测率,证明了本文方法的有效性.     

治安监控视频中暴力行为的识别与检测

为了充分提取治安监控视频中的时空特征和时序特征,并对暴力行为进行准确的识别与检测,提出一种基于三维卷积神经网络(3DCNN)和卷积长短期记忆网络(Conv LSTM)的暴力行为识别算法。首先,采用一种通用视频描述符—3DCNN结构,提取视频的短时特征,这些特征封装了视频中与目标和场景相关的背景信息,然后,构建Conv LSTM网络对3DCNN提取的短时特征在时间轴上进行建模,进而充分提取视频的高层时序特征。最后,利用Sigmoid函数分类行为动作。为了验证该算法的高效性,对所提出的方法在暴力行为数据集Hockey上进行验证,达到了98.96%的识别精度。测试结果表明,该融合模型在检测效果上优于目前人工提取特征的方法和深度学习的方法。     

结合语义概念和双流特征模型的复杂事件检测

针对已有复杂视频事件检测方法未能有效利用语义概念信息的问题,提出了结合语义概念和双流特征模型的复杂事件检测方法.该方法采用动作检测器和对象概念检测器,得到动态概念和静态概念.提出针对任务的优选概念子集生成方法,并以此构建基于优选概念子集的视频事件检测器.同时构建光流图像和空间流序列的双流特征卷积神经网络模型加LSTM的事件分析表达模型,进而将两流事件分析结果进行融合分类检测.最后将基于语义概念的事件分类分析结果和基于双流模型的事件分类分析结果进行决策融合,最终检测出复杂事件.在典型的复杂事件数据集上将所提算法与相关算法进行了对比试验.结果表明,所提的方法有了实质性的改进,准确率达到了81.1%,相比于最优算法提高了5.7%.     

一种基于深度学习的异构多模态目标识别方法

提出一种基于深度学习的异构多模态目标识别方法。首先针对媒体流中同时存在音频和视频信息的特征,建立一种异构多模态深度学习结构;结合卷积神经网络和限制波尔兹曼机的算法优点,对音频信息和视频信息分别并行处理,生成基于典型关联分析的共享特征表示,并进一步利用时间相关特性进行参数的优化。分别使用标准语音人脸库和截取的实际电影视频对算法进行实验。研究结果表明:对于这2种视频来源,所提出方法在目标识别的精度方面都有显著提高。     

结合低秩分解与多流融合的行为识别方法

运动信息对行为识别任务至关重要。现有方法仅利用了局部运动信息,忽略了全局运动信息的重要作用。为解决该问题,提出了一种基于低秩分解与多流融合的行为识别方法。通过3条支路分别提取视频的特征,第1条支路利用低秩分解提取全局运动信息;第2条支路提取视频的光流特征以得到局部运动信息;第3条支路利用原始视频作为输入,以保留完整的空域信息。将3条支路的预测结果进行后融合,得到最终的行为识别结果。通过多流融合,充分利用视频的多尺度时域运动信息和丰富的空域信息,提高现有模型的行为识别能力。实验结果表明,提出的方法优于现有模型的多流融合行为识别方法。     

基于特征融合的步态识别研究

提取了膝关节的速度距和路径距,膝关节到脚踝关节的距离作为步态特征,这些特征分别描述了步态的动态信息和静态信息.将这些特征融合得到了较全面的步态信息,利用融合特征进行步态识别,提高了步态的识别率.     

一种融合视觉和听觉信息的双模态情感识别算法

语音信号和面部表情是人们表达情感的主要途径,也被认为是情感表达的两个主要模态,即听觉模态和视觉模态.目前情感识别的研究方法大多依赖单模态信息,但是单模态情感识别存在信息不全面、容易受噪声干扰等缺点.针对这些问题,提出一种融合听觉模态和视觉模态信息的两模态情感识别方法 .首先利用卷积神经网络和预先训练好的面部表情模型,分别从语音信号和视觉信号中提取相应的声音特征和视觉特征;然后将提取的两类特征进行信息融合和压缩,充分挖掘模态间的相关信息;最后,利用长短期记忆循环神经网络对融合后的听觉视觉双模态特征进行情感识别.该方法能够有效地捕捉听觉模态和视觉模态间的内在关联信息,提高情感识别性能.利用RECOLA数据集对提出的方法进行验证,实验结果证明基于双模态的模型识别的效果比单个的图像或声音识别模型更好.     

结合注意力机制与时空特征融合的长时程行为识别方法

为了建立基于视频行为识别的长时程图像序列的时空信息模型,文章提出了一种嵌入注意力的时空特征融合网络(attention-embedded spatial-temporal feature fusion network, ASTFFN)的深度神经网络模型。ASTFFN将一个包含动作的长时程图像序列分割成多个重叠的片段,并使用一个注意力嵌入特征提取网络(attention-embedded feature extraction network, AFEN)从每个片段中的RGB图像或光流图像中提取经过注意力加权的时空特征,进而融合每个片段的时空加权特征,生成行为识别的视频级预测。基于UCF101和HMDB51行为识别数据库进行了大量的实验,验证了方法的有效性。与目前主流的行为识别算法相比,该文方法在识别精度上取得了较好的效果。     

多时间尺度双流CNN与置信融合的视频动作识别

考虑视频采样的变化和目标主体运动速度的不同,针对目前深度网络学习的视频序列特征单一、多种动作分类器分类置信程度不同的问题,提出了一种多时间尺度双流CNN与置信融合的视频动作识别方法.对视频序列采用两流神经网络在多个时间尺度上学习,提取不同时间跨度的视频帧之间的上下文信息特征,并采用LSTM进行多种特征的动作类别预测.然后,针对每一种尺度与模态的动作分类器,建立综合考虑样本所属类别与其他类别的总体差异性和所属类别的唯一性情形的类别判定置信度.最后,采用各分类器对动作类别判定的置信度与类别得分进行动作类别决策融合,识别视频动作.在数据集UCF101上进行了视频动作识别试验.结果表明:所提出的方法可以有效地学习视频多种时间尺度的上下文信息,并将视频动作识别的准确率提高到92.2％.     

一种时序边界注意力循环暴力行为检测神经网络

暴力行为检测是行为识别的一个重要研究方向,在网络信息审查和智能安全领域具有广阔的应用前景.针对目前的时序模型在复杂背景下不能有效提取人体运动特征和常规循环神经网络无法联系输入上下文的问题,本文提出一种时序边界注意力循环神经网络TEAR-Net.首先,以本文提出的一种全新的运动特征提取模块MOE为基础,在保留输入视频段序列背景信息的前提下加强运动边界区域.运动边界对于动作识别的作用要远大于图像其他区域,因此运动边界加强能够有效提高动作特征的提取效率,从而提升后续网络的识别精度.其次,引入了一种全新的结合上下文语境和注意力机制的循环卷积门单元(CSA-ConvGRU),提取连续帧之间的流特征以及不同帧的独立特征,并关注关键帧,能够极大提升动作识别的效率,以少量参数和较低计算量的代价掌握视频流的全局信息,从而有效提高识别准确率.本文提出的模型在目前最新的公开数据集RWF-2000和RLVS上进行了多种实验.实验结果表明,本文提出的网络在模型规模和检测精度上均优于目前主流的暴力行为识别算法.     

基于深度时空域卷积神经网络的表情识别模型

基于特征抽取是表情识别算法中的重要步骤,但是现有算法依赖手工设计特征且适应性差等问题,提出基于深度时空域卷积神经网络的表情识别模型,采用数据驱动策略直接从表情视频中自动抽取时空域中的动静态特征。使用新颖的卷积滤波器响应积替代权重和,使得模型能同时抽取到动态特征和静态特征。引入深度学习的多层设计,使得模型能逐层学习到更抽象、更宏观的特征。采用端对端的有监督学习策略,使得所有参数在同一目标函数下优化。研究结果表明:训练后的卷积核类似于Garbor滤波器的形态,这与视觉皮层细胞对激励的响应相似;该模型能对表情视频进行更准确分类;通过与其他几种近年出现的算法进行比较,验证该算法的优越性。     

差分特征融合改进的动态手势识别分类网络模型

通过卷积神经网络和长短期记忆网络进行多模型结合,实现动态手势识别分类建模,并使用数据增强算法增加数据的多样性,通过差分特征融合改进网络。7种动态手势动作识别分类的实验结果显示,使用数据增强算法增加数据的多样性后,结合模型的识别率最佳可提升286%;通过差分算法改进网络,序列间差分特征融合模型识别率达到8381%,维度差分特征融合模型识别率达到8762%。表明多模型结合可解决单一模型的局限性,处理更加复杂的动态手势分类问题,两种不同形式的差分特征融合改进都可提升动态手势动作的识别率,从而验证了所设计的差分特征融合改进的动态手势识别分类网络模型的有效性和可行性。     

多卷积神经网络模型融合的皮肤病识别方法

针对皮肤病中基底细胞癌与脂溢性角化病的临床特征非常相似、不易区分的问题,提出了一种面向皮肤病识别的多卷积神经网络(CNN)模型融合方法。使用迁移学习方法训练ResNet、Xception、DensNet共3个CNN模型,获得每个模型的最佳识别结果。在此基础上,利用传统融合方法、投票法和均方误差作为损失函数来融合多模型的识别结果,从而提高皮肤病的识别精度。为了有效克服皮肤病识别中噪声的影响以提高模型的精度和泛化能力,提出将最大相关熵准则(MCC)作为多CNN模型融合的目标函数,并使用梯度上升法学习不同模型对最终结果的贡献权重,从而建立基于MCC的多CNN融合模型。在基底细胞癌和脂溢性角化病数据集上的实验结果表明:相比于多个单模型的预测结果,提出的使用模型融合的方法取得了更高的识别准确率;相比于传统模型融合方法,提出的基于MCC的多CNN融合识别模型可以较好地克服噪声并具有较强的泛化能力,识别准确率达到了97.07%,超过了CNN单模型和传统的多模型融合方法。     

基于情感特征融合的视频恐怖场景检测算法

为有效识别网络视频中的恐怖场景,避免未成年人在互联网上访问不良信息,提出了一种自上而下的融合方法,有效地融合了恐怖场景识别中的音频、视觉和情感特征.首先由视频场景的不同特征构成基于情感词汇的词包模型;然后选择部分特征作为显著性特征,为其余特征赋予权重;最后,依据自上而下的特征融合策略所生成的特征向量进行恐怖场景识别.试验结果表明,该方法能有效识别恐怖视频.     

基于关键点的残差全连接网络动态手势识别方法

车载动态场景下,为了提高基于视频手势识别的准确率和鲁棒性,提出了一种基于关键点的残差全连接网络手势识别算法.对在不同车辆平台、不同运动条件下采集的不同光照强度的视频数据进行归一化等预处理后提取视频帧的关键点,以关键点个数为准则进行了关键帧选取以提高运算性能和降低算法复杂度,将从关键帧中所提取的关键点送入残差全连接网络实现连续手势的识别.在不同光线与车内环境下,所提算法对6类动态手势的平均识别准确率达到96.72%,相较3D卷积神经网络(C3D)、卷积神经网络(convolutional neural network,简称CNN)、长短时记忆网络(long short-term memory network,简称LSTM)和双流网络,其识别率分别提升了10.72%,6.40%,5.17%和4.50%.实验结果验证了所提算法在车载环境下连续手势识别的有效性.