治安监控视频中暴力行为的识别与检测

为了充分提取治安监控视频中的时空特征和时序特征,并对暴力行为进行准确的识别与检测,提出一种基于三维卷积神经网络(3DCNN)和卷积长短期记忆网络(Conv LSTM)的暴力行为识别算法。首先,采用一种通用视频描述符—3DCNN结构,提取视频的短时特征,这些特征封装了视频中与目标和场景相关的背景信息,然后,构建Conv LSTM网络对3DCNN提取的短时特征在时间轴上进行建模,进而充分提取视频的高层时序特征。最后,利用Sigmoid函数分类行为动作。为了验证该算法的高效性,对所提出的方法在暴力行为数据集Hockey上进行验证,达到了98.96%的识别精度。测试结果表明,该融合模型在检测效果上优于目前人工提取特征的方法和深度学习的方法。     

基于递归长短期记忆网络和镜头序列注意网络的视频摘要生成

为解决基于长短期记忆网络LSTM的视频摘要生成方法当输入序列过长时LSTM网络中的记忆单元不能集中在长时间序列的跨度上。通过深度学习的方法研究了一种基于递归长短期记忆网络(ReLSTM)和序列注意(SSA)的视频摘要生成模型用以提高深度学习网络学习时序特征的能力。该模型使用ReLSTM网络提取时间特征。同时,利用SSA动态调整每个视频序列输入到ReLSTM网络中的特征权重。结果表明：在数据集TVSum上F1-score平均提高2.5%,最高提高0.2%。在数据集SumMe上F1-score平均提高7.8%,最高提高3.4%。可见该方法能有效地学习镜头之间的时序特征。     

融合FCN和LSTM的视频异常事件检测

针对传统视频异常检测模型的缺点,提出一种融合全卷积神经(FCN)网络和长短期记忆(LSTM)网络的网络结构.该网络结构可以进行像素级预测,并能精确定位异常区域.首先,利用卷积神经网络提取视频帧不同深度的图像特征;然后,把不同的图像特征分别输入记忆网络分析时间序列的语义信息,并通过残差结构融合图像特征和语义信息;同时,采用跳级结构集成多模态下的融合特征并进行上采样,最终获得与原视频帧大小相同的预测图.所提网络结构模型在加州大学圣地亚哥分校(UCSD)异常检测数据集的ped 2子集和明尼苏达大学(UMN)人群活动数据集上进行测试,均取得了较好的结果.在UCSD上的等错误率低至6.6%,曲线下面积达到了98.2%,F_1分数达到了94.96%;在UMN上的等错误率低至7.1%,曲线下面积达到了93.7%,F_1分数达到了94.46%.     

基于Transformer神经网络模型的网络入侵检测方法

网络入侵检测一直以来都是网络安全中亟待解决的关键任务之一,传统网络入侵检测方法主要通过提取多维特征,采用机器学习方法构建检测模型,大多忽略了入侵行为的时间相关性.通过提取网络入侵行为的时序特征,设计基于降维特征的多头自注意力机制Transformer网络模型,以解决传统串行化时序神经网络模型不易收敛且时间开销较大的问题,通过选取最优的损失函数和训练参数进行并行化训练,实现网络入侵行为检测.实验结果表明,基于Transformer网络模型的网络入侵检测方法在多个数据集上均获得了99％以上的精度和检出率.     

基于SAT-GCN的花样滑冰选手动作检测算法研究

针对花样滑冰运动人体运动轨迹复杂、动作类型多样、普通人肉眼难以区分且常规的行为识别方法识别准确率低的问题，提出了一种基于时空图卷积网络与多通道注意力机制融合方法 (SAT-GCN)的花样滑冰动作识别算法。该算法首先将视频提取成连续的单独帧，使用OpenPose算法提取人体骨骼关键点数据，降低背景噪声干扰；然后使用时空图卷积算法对骨骼关键点数据进行动作分类。算法对时空图卷积算法进行改进，加入了多通道时空注意力机制融合模块，使得模型更加关注重要的关键点、时间帧片段、特征；使用时序卷积网络(TCN)提取人体骨架关键点在时间序列上的特征；使用SoftMax对提取后的特征进行动作分类。在花样滑冰数据集FSD-10和公开的人类行为数据集Kinetics-Skeleton上进行训练和测试，与改进前的时空图卷积网络(ST-GCN)进行对比，本文所提算法的预测准确率在2个数据集上均有所提升，验证了多通道注意力机制融合方法在花样滑冰选手动作检测任务中的有效性。     

基于融合注意力机制与CNN-LSTM的人体行为识别算法

为解决单一的卷积神经网络（CNN）缺乏利用时序信息与单一循环神经网络（RNN）对局部信息把握不全问题,提出了融合注意力机制与时空网络的深度学习模型（CLA-net）的人体行为识别方法。首先,通过CNN的强学习能力提取局部特征;其次,利用长短时记忆网络（LSTM）提取时序信息;再次,运用注意力机制获取并优化最重要的特征;最后使用softmax分类器对识别结果进行分类。仿真实验结果表明,CLA-net模型在UCI HAR和DaLiAc数据集上的准确率分别达到95.35%、99.43%,F1值分别达到95.35%、99.43%,均优于对比实验模型,有效提高了识别精度。     

基于时空融合深度学习的工业互联网异常流量检测方法

基于流量异常发现网络中的攻击行为具有普适性优势，而传统的异常流量检测方法难以适应大量复杂的工业互联网流量特征提取，针对此问题提出一种基于时空融合深度学习的工业互联网异常流量检测方法。对类别不平衡的流量数据进行预处理操作，以形成样本分布较为均衡的流量数据集;使用融合聚合残差变换网络和门控循环单元的深度学习模型从空间和时间维度上提取流量数据特征，实现时空融合的流量数据特征的综合提取;通过Softmax分类器对流量数据进行分类。实验测试结果表明，所提方法具有较高的准确率和F1值，分别可达到94.7%和95.47%。与传统的异常流量检测方法相比，所提方法提高了对工业互联网异常流量数据的检测指标，且模型的运行时间相对较短。     

基于混合运动激励和时序增强的篮球运动员动作识别算法

为了解决在背景相似的篮球视频中提取特征级运动信息不充分和捕获长时序依赖关系困难等问题,从局部和全局的角度出发,提出一种混合运动激励和时序增强网络(mixed motion excitation and temporal enhancement network,MTE-Net),该网络由在时间建模上互补的混合运动激励(mixed motion excitation,MME)模块和时序增强(temporal enhancement,TE)模块构成。混合运动激励模块通过计算短距离视频帧之间混合的特征级差分来充分表征局部运动信息,并显性地对运动敏感通道进行激励。时序增强模块对长距离视频帧使用自注意力机制来构建时序关联函数并捕获时序之间的全局依赖关系,增强视频中的重要帧序列。在不额外引入光流和过多参数的情况下,在SpaceJam篮球动作数据集上的实验结果表明,与其他主流的动作识别算法相比,所提模型对篮球运动员动作识别的准确率更高。     

一种大气急流计算方法

异常检测是计算机视觉的一个经典问题.针对异常样本稀少在真实场景中异常很难被捕捉，且标签难以获取，提出一种仅用正常样本进行训练的端到端异常检测模型.首先，通过自动编码器对输入图像进行编码，得到它的低维特征；然后，用一个自回归概率密度估计器对低维特征的概率分布进行正则约束，解码器再将其恢复至原始输入大小；最后，使用一个分类器来判断生成图片的真假.编解码器之间使用了跳线连接，能够最大限度地提高该模型对正常样本的记忆能力.本文在CIFAR 10和UCSD Ped2数据集上进行了实验，测试结果显示，IFAR 10总共10个类别的平均曲线下面积（AUC）达到73.5%，UCSD Ped2的平均曲线下面积（AUC）达到95.7%.结果证明，该模型能够明显提高异常检测的效果.     

基于时序偏移双残差网络的窃电行为检测

针对窃电量小、窃电发生时间随机的窃电行为,提出一种基于时序偏移双残差网络(TS-Bi-ResNet)的窃电行为检测模型.将基础残差网络模型改进为双残差网络(bi-residual network,Bi-ResNet)模型,考虑到窃电行为发生时间的随机性,利用时序偏移(timing shift,TS)算法对用电数据预处理,使模型能够学习用电数据的时间因素特征,构成TS-Bi-ResNet模型.根据真实用电数据和窃电特征生成含有伪窃电数据的混合用电数据集,利用TS-Bi-ResNet模型学习其浅层特征和深层特征,进而执行窃电行为检测.仿真和实际运行结果表明,TS-Bi-ResNet模型可以有效检测窃电量小且窃电发生时间随机的窃电行为,其检测精度优于LSTM模型与残差网络(ResNet)模型.     

利用深度神经网络的无监督视频表示

在计算机视觉领域中,大多数的视频表示方法都是有监督的,需要大量带有标签的训练视频集,但标注大量视频数据会花费极大的人力和物力.为了解决这个问题,提出了一种基于深度神经网络的无监督视频表示方法.该方法利用改进的稠密轨迹(iDT)算法提取的视频块交替地训练深度卷积神经网络和特征聚类,得到可提取视频特征的深度卷积神经网络模型;通过视频的中层语义特征,实现了无监督视频表示.该模型在HMDB 51行为识别数据库和CCV事件检测数据库上分别进行了动作识别和事件检测的实验,获得了62.6%的识别率和43.6%的检测率,证明了本文方法的有效性.     

基于混合神经网络的脑电情感识别

为保留脑电(Electroencephalogram,EEG)空间信息的同时充分挖掘EEG时序相关信息,提出了一种三维卷积神经网络(3-Dimensional Convolutional Neural Networks,3D-CNN)结合双向长短期记忆神经网络(Bidirectional Long Short-term Memory Neural Networks,BLSTM)的混合神经网络(3DCNN-BLSTM);为验证该模型的分类性能,在DEAP数据集和SEED数据集上进行情感识别实验. 实验结果表明3DCNN-BLSTM模型能有效学习EEG多通道间的相关性与时间维度信息且提高了情感分类性能:在DEAP数据集的二分类实验中,唤醒度和效价的情感识别平均准确率分别为93.56%和93.21%;在DEAP数据集的四分类实验中,情感识别平均准确率为90.97%;在SEED数据集的三分类实验中,情感识别平均准确率为98.90%.     

对抗网络和BERT结合的电商平台评论短文本情感分类

文本情感分类领域性强,传统情感分类方法在多领域混合数据上效果不佳.为了提升多领域混合情境下文本情感分类的准确率,使用双向编码器表征模型(bidirectional encoder representations from transformers,BERT)得到短文本的初级表征;利用对抗网络提取与领域无关的情感特征;利...     

基于多层次动态门控推理网络的文本蕴含识别

现有的文本蕴含模型通常计算一次词级别注意力得到两段文本在不同层面的交互特征,但对于文本不同层面的理解,不同重要词的注意力应该是不同的,并且一次词级注意力推理仅能捕捉到文本对局部特征.针对这个问题,提出一种多层次动态门控推理网络,该网络结合了词级别信息的细粒度推理和句子级别门控机制来动态捕捉文本对的语义信息,并采用不同注意力计算方式提取文本对不同层面的语义特征,共同推理文本对的蕴含关系.本文在两个文本蕴含数据集上均做了实验,相较于基准模型和现有主流模型,准确率提升了0.4%～1.7%,通过消融分析,进一步验证了本文模型各部分结构的有效性.     

一种基于双流卷积神经网络跌倒识别方法

针对跌倒行为的视觉特征难以提取的问题,提出一种由两路卷积神经网络和模型融合部分组成的双流卷积神经网络(Two-Stream CNN)的跌倒识别方法.该方法的一路对视频帧的运动人加框标记后,送三维卷积神经网络(3D-CNN)处理来消除视频背景的干扰;另一路从相邻视频帧获取光流图后,送VGGNet-16卷积神经网络处理;最后将3D-CNN和VGGNet-16的Softmax输出识别概率加权融合作为Two-Stream CNN输出结果.实验结果表明:标记运动人并经3D-CNN处理有效地消除了视频背景的干扰;Two-Stream CNN跌倒识别率为96%,比3D-CNN提高了4%,比VGGNet-16网络提高了3%.     

注意力叠加与时序特征融合的目标检测方法

提出一种基于注意力叠加与时序特征融合的目标检测方法.在端到端目标检测(DETR)网络的基础上,依据注意力机制特性,使用注意力权重叠加的方式提取目标物像素级标识,用于实例轨迹的划分.为使目标检测与轨迹跟踪协同作用,通过时序特征融合的方式融合之前轨迹跟踪信息,调整当前帧目标检测效果,从而充分利用视频载体提供的时间维度信息.在公开数据集上,对文中方法进行验证,结果表明:文中方法能有效识别被遮挡的目标物,具有较强鲁棒性.     

多层次可选择核卷积用于视网膜图像分类

为了提高深度学习网络对糖尿病性视网膜病变识别准确率，针对光学相干断层扫描技术（optical coherence tomography，OCT）的视网膜图像分类研究，提出了一种基于可选择卷积核的网络模型，该模型能对多个尺度扩张率的卷积核之间进行自动选择操作。分割阶段生成多条路径，这些路径具有相同的卷积核但不同的扩张率，对应不同的神经元感受野大小；融合阶段将多条路径的信息进行组合和聚合，得到一个全局的、全面的选择权重表示；选择操作再根据2种权值自身相似性和相对相似性来选择权值。实验结果表明，该模型在2个视网膜公开的基准数据集OCT2017及SD-OCT上分别达到了95.39%，99.18%的分类结果。与目前已有的主流模型相比，该模型的实验结果在2个数据集上均有提升。