基于时空特征自适应融合网络的加密流量分类方法

加密流量数据包之间具有明显的时序特征,现有方法很难提取出流量数据中隐含的时序特征,未能将时序特征与空间特征有效地融合,公开数据集大都存在类间样本不平衡的问题,给加密流量的准确分类带来巨大挑战.针对上述问题,提出了一种包含时空特征提取模块和难样本学习模块的卷积神经网络模型.时空特征提取模块先利用不同维度的卷积核来同步学习流量数据包序列中的时序和空间特征,再利用自适应加权融合策略将提取到的时空特征进行有效融合;难样本学习模块使用焦点函数让模型在训练过程中更偏向对困难样本的学习,进一步均衡不同类别的分类效果.实验结果表明：上述方法在ISCX VPN-nonVPN2016数据集和USTC-TFC2016数据集上的分类准确率分别达到了99.38%和99.46%,对不同类别流量分类结果的F1评价指标分别为99.04%和99.31%,与当前同类方法相比具有更优秀的识别性能.     

基于SAT-GCN的花样滑冰选手动作检测算法研究

针对花样滑冰运动人体运动轨迹复杂、动作类型多样、普通人肉眼难以区分且常规的行为识别方法识别准确率低的问题，提出了一种基于时空图卷积网络与多通道注意力机制融合方法 (SAT-GCN)的花样滑冰动作识别算法。该算法首先将视频提取成连续的单独帧，使用OpenPose算法提取人体骨骼关键点数据，降低背景噪声干扰；然后使用时空图卷积算法对骨骼关键点数据进行动作分类。算法对时空图卷积算法进行改进，加入了多通道时空注意力机制融合模块，使得模型更加关注重要的关键点、时间帧片段、特征；使用时序卷积网络(TCN)提取人体骨架关键点在时间序列上的特征；使用SoftMax对提取后的特征进行动作分类。在花样滑冰数据集FSD-10和公开的人类行为数据集Kinetics-Skeleton上进行训练和测试，与改进前的时空图卷积网络(ST-GCN)进行对比，本文所提算法的预测准确率在2个数据集上均有所提升，验证了多通道注意力机制融合方法在花样滑冰选手动作检测任务中的有效性。     

基于注意力机制CGAN的对抗样本去噪方法

卷积神经网络已被广泛应用于各种计算机视觉任务中,然而研究发现卷积神经网络极易受到精心设计的对抗样本攻击。为了抵御对抗攻击,提出一种基于注意力机制的条件生成对抗网络防御方法(attention conditional generative adversarial net, Attention-CGAN)。本算法利用对抗样本作为Attention-CGAN的训练样本,同时将生成器的生成样本输入分类器,得到注意力损失和分类损失;通过这两种损失函数训练Attention-CGAN,从而保证去噪样本的注意力区域与原始干净样本一致。在CIFAR10(Canadia Institute for Advanced Research)和ILSVRC2012(ImageNet Large Scale Visual Recognition Challenge)2个数据集上进行大量试验,结果表明去噪之后的样本分类准确率保持在70%以上。基于注意力机制CGAN的对抗样本去噪方法能提高卷积神经网络的鲁棒性,可为深度学习模型防御对抗攻击提供参考。     

融合大核注意力机制的土壤种类识别网络

【目的】为解决因土壤图像纹理复杂、没有结构性特征导致的传统卷积神经网络模型难以提取其中关键性特征、识别准确率低的问题，提出了一种大核注意力(large kernel attention，LKA)机制模块与ResNet模型融合的土壤种类识别网络模型VAR(visual attention ResNet)，以解决土壤种类样本不平衡和难分类样本造成的模型泛化能力弱的问题。【方法】以ResNet为主干网络，在主干中引入LKA机制，减少其中的残差块，构建土壤种类识别网络VAR，并改进网络的焦点损失函数(Focal Loss)。【结果】1) 与传统模型ResNet18、ResNet34、VGG、GooleNet、VAN等相比，VAR模型在特定模型参数下对紫色土土壤图像数据集中土壤种类的识别精度更高；2) 用3种不同大小VAR模型之一的VAR_small与以ResNet18为主干并嵌入传统注意力机制SE、CBAM、ECA和SK的网络进行对比，实验结果显示LKA机制在土壤识别方面更加优秀；3) 改进的Focal Loss可让VAR更能注意到难分类的土壤图像样本。【结论】将LKA机制模块与ResNet模型融合的土壤种类识别网络模型VAR增强了网络提取土壤图像中关键性结构特征能力，同时还减少了网络参数，能更加有效地识别土壤种类。     

基于卷积和Transformer融合的服装分类算法

针对传统基于卷积神经网络的服装分类算法无法满足海量多样服装分类需求的问题,提出一种卷积注意力融合的服装分类网络.该网络采用并行结构,包含一个ResNet分支和一个Transformer分支,充分利用卷积运算提取的局部特征和自注意力机制提取的全局特征,以增强网络的表征学习能力,从而提高服装分类算法的性能和泛化能力.为验证该方法的有效性,在数据集Fashion-MNIST和DeepFashion上进行了对比实验.结果表明：在数据集Fashion-MNIST上,该方法取得了93.58%的准确率;在数据集DeepFashion上,该方法取得了71.1%的准确率;该方法优于其他对比方法的实验结果.     

基于特征类内紧凑性的不平衡医学图像分类方法

近些年,基于深度学习的算法和模型在各种图像分析任务中都取得了显著的成功,与常见的自然图像相比,医学图像数据集依然面临高度不平衡的问题,不平衡数据会导致特征空间里的决策边缘倾向样本多的类别,导致分类效果的下降.为了解决该问题,提出一种基于卷积神经网络考虑特征类内紧凑性的不平衡医学图像分类方法（Z-Score Compactness-based Convolutional Neural Network,ZC3NC）.首先,从一个卷积神经网络的最后一层卷积层提取训练集样本与测试集样本的特征图,随后引入一个新的Z分数来度量测试集数据的特征图相对训练集每个类在特征空间上的偏离度,偏离度的度量基于类内的紧凑度,其主要关注样本的分布特性,对各类样本数量的不平衡性不敏感.最终,根据计算的偏离度,对测试集的数据进行分类.在DermaMNIST数据集上的实验表明,在不对数据和神经网络模型做任何额外增强的情况下,该方法的平衡准确率比原卷积神经网络模型平均提高11.15%,最多提高14.08%,证明提出的分类方法能有效地提高多种卷积神经网络对不平衡医学图像数据的分类性能.此外,和最先进的不平衡分类方法 Und...     

基于改进AlexNet的可变形卷积皮肤病变识别算法

为了有效解决类间相似度高、类内差异化大、数据类别不平衡的皮肤病变识别,提出了基于改进AlexNet的可变形卷积网络皮肤病变识别算法. 构建改进的AlexNet可变形卷积网络模型,增加采样偏移量,使不同位置的卷积核采样点可根据图像内容自适应变化,自动调整不同尺度或感受野,提取比标准卷积更精细的特征. 使用交叉熵损失函数和焦点损失函数的加权损失函数,削弱易分类样本在训练中所占的权重,使模型专注于相似度高、易错分的样本,解决样本比例不平衡的问题,优化模型的识别率. 在HAM10000数据集上进行仿真实验,主客观的实验结果表明, 提出的方法在7种皮肤病变上的识别优于现有方法,具有更高的准确性、特异性和鲁棒性.      

具有局部和全局注意力机制的图注意力网络学习单样本组学数据表征

针对生物组学数据中基因数目远大于样本数目的高维“大p小n”问题,提出一种具有局部和全局注意力机制的图注意力网络GATOr.该模型首先在组学数据上利用Pearson相关系数计算特征之间的相关性,构建组学数据的单样本网络;然后提出一种结合局部和全局注意力机制的图注意力网络从单样本网络中学习基于图的组学特征表示,从而将组学数据的高维特性转化为低维表示.实验结果表明,GATOr与其他传统分类算法相比,在分类任务的准确率及其他指标上均取得了较优性能.     

基于改进生成对抗网络的抽油机故障诊断方法

针对抽油机故障数据不足、样本分布不均衡的问题,提出一种基于自注意力机制的条件深度卷积生成对抗网络(CDCGAN:Conditional Deep Convolutional Generative Adversarial Networks)模型。该模型在CDCGAN的基础上引入自注意力机制,并在损失函数中加入约束生成图像分布的正则项,提高了生成图像的质量和多样性,有效地防止了模式崩溃的发生。采用Alexnet、VGG16等网络对生成的抽油机故障样本进行分类测试,实验结果表明,改进网络的生成数据质量更高,能够有效平衡抽油机故障数据,进一步提升了抽油机故障诊断的准确率。     

基于重要性评分的多级随机森林网络语音情感识别

在源数据不充分或不平衡的情况下,深度学习方法在小样本集上难以取得令人满意的语音情感识别效果。因此,本研究构造了一种三层随机森林情感识别网络,在每一层都单独剥离易于区分的情感类别,并通过重要性评分方法,为每一层网络都构造一个识别特定类别的特征集,该特征集的每一个特征都依据贡献度大小得到赋权,以确保对分类贡献越多的特征因子对结果影响越大。本研究构建的多级情感识别网络,在小样本集语音情感识别的整体识别率上,较单层随机森林网络和支持向量机分别提高了5%和7%,较流行的深度学习方法卷积神经网络提高了12%。实验结果和理论分析表明:基于重要性评分的多级随机森林网络相较于其他方法,在源数据样本量较少和部分不平衡的情况下,有更高的识别准确率,具有语音情感识别方向的实际应用意义。     

基于数据融合的不平衡连续手术动作分割识别

为解决样本分布不均衡的连续动作序列分割识别精度不高的问题,提出一种基于深度学习的新型连续动作分割与识别模型,该模型能够从多维时间序列中提取更丰富全面的动作特征。使用基于双向长短时记忆网络(bidirectional long short-term memory networks, Bi-LSTM)的特征提取单元提取数据特征,利用基于注意力机制的特征融合模块融合多种模态的特征,并利用全连接层构建的解码器完成最终分类。实验中使用多种传感器采集了眼科手术中连续环形撕囊操作的连续动作多模态数据对算法进行验证实验。实验结果显示,与使用长短时记忆网络(LSTM)和门控循环单元(gated recurrent unit, GRU)的数据层融合算法以及4种特征层融合策略相比,所提出的模型具有更好的性能。对于数据量最小的动作类别,该算法的识别精度提高了14%以上,全局F₁分数提升8%以上,整体识别准确度达到90.72%。这些结果表明,该模型能够有效解决样本分布不均衡的连续动作序列分割识别精度问题,并为多模态连续动作分割与样本不均衡问题的解决提供了新的思路和方法。     

差分特征融合改进的动态手势识别分类网络模型

通过卷积神经网络和长短期记忆网络进行多模型结合,实现动态手势识别分类建模,并使用数据增强算法增加数据的多样性,通过差分特征融合改进网络。7种动态手势动作识别分类的实验结果显示,使用数据增强算法增加数据的多样性后,结合模型的识别率最佳可提升286%;通过差分算法改进网络,序列间差分特征融合模型识别率达到8381%,维度差分特征融合模型识别率达到8762%。表明多模型结合可解决单一模型的局限性,处理更加复杂的动态手势分类问题,两种不同形式的差分特征融合改进都可提升动态手势动作的识别率,从而验证了所设计的差分特征融合改进的动态手势识别分类网络模型的有效性和可行性。     

基于卷积神经网络与Transformer的电能质量扰动分类方法

复杂电能质量扰动的智能分类对于智能电网发展具有重要意义。扰动特征的提取与定位、模式识别与分类是电能质量扰动分类方法研究的难点。本文采用深度学习算法,将具有关注全局信息的Transformer与善于提取局部特征的卷积神经网络相融合,提出了一种基于卷积神经网络与Transformer的电能质量扰动分类方法,即CTranCBA。这种双深度学习模型分类方法主要是通过一维卷积神经网络提取电能质量扰动信号特征,利用Transformer自注意力机制引导模型关注序列中不同位置间的依赖关系,实现对扰动信号局部特征与全局特征的互补,克服了因感受野的限制而带来的识别不清、分类不准等问题。本文使用了23种不同电能质量扰动信号,将CTranCBA与Deep-CNN、CNN-LSTM、CNN-CBAM方法进行比较,结果表明该方法在分类准确率和抗噪性方面表现优异,可为电能质量扰动智能分类提供一种新的方法。     

基于上下文感知和注意机制的多学习情绪识别方法

为提高人脸图像情绪识别效率与准确性,在探讨了深度神经网络、注意机制与损失函数基础上,提出基于上下文感知与注意机制的多学习情绪识别网络结构．该网络主要由场景特征提取、身体特征提取与融合决策3个子网络组成,并采用单双输出结构,实现多标签情绪分类与连续空间情绪回归任务．考虑到多标签情绪分类时标签的不平衡性,提出了一个改进的焦点损失（focal loss,FL）函数,可为小样本或难分类样本分配更多的权重,从而提高了网络训练效率．利用EMOTIC数据集进行仿真,结果表明平均绝对误差回归组合损失训练性能更优,分类平均准确率与回归平均误差率分别为28.5%和0.098,该方法对于小样本或难分类样本具有更好的分类效果．      

多状态图神经网络文本分类算法

为了提高模型在文本分类任务中的分类性能,针对图神经网络中存在的过度平滑问题,同时增强模型在处理文本特征与文本表示方面的能力,提出了一种基于多状态图神经网络的文本分类算法(multi-state graph neural network, MSGNN)。多状态图神经网络是利用网络层的多个历史状态信息对图神经网络进行强化,构建合理的文本图结构数据作为模型输入。在缓解网络层过度平滑问题的同时,结合2种改进后的不同类型的图神经网络来增强模型的特征提取与特征聚合能力。利用多头自注意力机制对文本关键词的挖掘与利用能力,从多个文本子空间来生成高质量的文本表示,进而完成文本分类。通过在几个公开的文本分类数据集上进行实验分析,相较于其他神经网络的文本分类算法,该方法取得了较好的分类准确率。     

基于多尺度3D卷积神经网络的行为识别方法

近年来卷积神经网络(convolutional neural network,CNN)在行为识别任务中取得了较大的进展.然而,现有的神经网络方法往往只注重高层语义信息的利用,对浅层特征信息挖掘利用不够.针对这一问题,提出一种基于3D卷积(convolution 3D,C3D)的多尺度3D卷积神经网络的行为识别方法.该方法受到特征金字塔结构的启发,在原C3D的基础上融合C3D的浅层特征信息,实现端到端的行为识别.同时该方法以现有的深度学习理论为基础,利用迁移学习的思想,将C3D和该方法中相同模块部分的参数迁移到本方法中,以降低模型的训练时间.通过在UCF101数据集上进行实验,实验结果表明,提出行为识别方法的分类精度达到84.56％,分类效果优于原C3D分类网络.     

面向特征融合与知识蒸馏的恶意软件分类

恶意软件分类是一个多分类任务，旨在提取软件特征来训练模型，以判断恶意软件的类别。现有工作主要集中于利用深度神经网络从恶意软件图像中抽取特征进行分类，对恶意软件的序列特征和分布特征之间的关联性缺乏关注，限制了模型性能。此外，这些现有模型大多具有较高的参数量，往往需要占用较大的计算资源。为此，提出一种基于特征融合与知识蒸馏的恶意软件分类方法。一方面，通过残差网络分别从灰度图和马尔可夫图中抽取恶意软件的序列特征和分布特征，并利用自注意力挖掘不同特征之间的关联性，以提升模型性能。另一方面，通过教师网络向多个学生网络进行知识迁移，并让学生网络互相协作学习，以进一步降低模型规模。在微软和CCF数据集上的实验结果证明，该方法不仅有效提升了模型性能，而且可以降低模型的参数量和计算量。此外，本文通过热力图定位影响分类结果的字节，对分类依据进行解释。     

基于嵌入式系统的多任务人脸属性估计算法

针对传统人脸属性估计算法算力大、推理速度慢、精度低,难以完成算法在移动或嵌入式设备上集成应用等问题,提出一种基于嵌入式系统的多任务人脸属性估计算法。首先,采用MobileFaceNet网络中的瓶颈结构融合跨阶段融合网络(cross stage partial network, CSPNet)和空间金字塔网络(spatial pyramid pooling network, SPPNet)设计CSPSPP＿bk结构作为人脸属性估计算法共享网络特征提取模块;然后,在局部属性中增加通道注意力机制,在较困难的全局属性中使用更深、性能更优的网络模型作为Teacher模型指导所设计的轻量级多任务属性网络进行知识蒸馏,采用逐层剪枝的方法对网络模型进行优化,优化后的模型量仅1.8 MB;最后,通过动态类别抑制损失函数进行损失度量,均衡样本数据分布。在公共数据集CelebA和Adience数据集上进行测试比较,性别和眼镜的平均准确率分别为98.89%、99.72%,标准差为3.01%时,年龄估计精度为60.21%,在RK3288开发板上的前传推理速度为138 fps。结果表明：所提方法可广泛应用于嵌入式...     

基于特征迁移和深度学习的配电网故障定位

故障诊断对电力系统的稳定运行至关重要。当配电网的拓扑结构发生较大变化时,难以获取大量带有标签的暂态数据,导致传统的故障预测模型精度难以提高。针对此问题,提出一种将特征迁移和深度学习相结合的配电网故障诊断新方法。首先,采集配电网不同线路的零序电流构造故障特征集;其次,引入加权半监督迁移成分分析(semi-supervised transfer component analysis, SSTCA)方法,利用混合核函数将不同拓扑结构下的特征样本映射到同一特征空间中,缩小数据间的分布差异性;最后,将映射后的源域样本输入卷积神经网络中进行分类训练,并测试映射后的目标域样本。通过Simulink仿真表明,在改变配电网拓扑结构的新场景下,所提的特征迁移方法与其他方法相比,对目标域故障定位精度最高,达到98%以上。     

基于Transformer神经网络模型的网络入侵检测方法

网络入侵检测一直以来都是网络安全中亟待解决的关键任务之一,传统网络入侵检测方法主要通过提取多维特征,采用机器学习方法构建检测模型,大多忽略了入侵行为的时间相关性.通过提取网络入侵行为的时序特征,设计基于降维特征的多头自注意力机制Transformer网络模型,以解决传统串行化时序神经网络模型不易收敛且时间开销较大的问题,通过选取最优的损失函数和训练参数进行并行化训练,实现网络入侵行为检测.实验结果表明,基于Transformer网络模型的网络入侵检测方法在多个数据集上均获得了99％以上的精度和检出率.