基于融合注意力机制与CNN-LSTM的人体行为识别算法

为解决单一的卷积神经网络（CNN）缺乏利用时序信息与单一循环神经网络（RNN）对局部信息把握不全问题,提出了融合注意力机制与时空网络的深度学习模型（CLA-net）的人体行为识别方法。首先,通过CNN的强学习能力提取局部特征;其次,利用长短时记忆网络（LSTM）提取时序信息;再次,运用注意力机制获取并优化最重要的特征;最后使用softmax分类器对识别结果进行分类。仿真实验结果表明,CLA-net模型在UCI HAR和DaLiAc数据集上的准确率分别达到95.35%、99.43%,F1值分别达到95.35%、99.43%,均优于对比实验模型,有效提高了识别精度。     

基于注意力机制多特征融合与文本情感分析的日志异常检测方法

现有的基于深度学习和神经网络的日志异常检测方法通常存在语义信息提取不完整、依赖日志序列构建和依赖日志解析器等问题.基于注意力机制多特征融合和文本情感分析技术,提出了一种日志异常检测方法 .该方法首先采用词嵌入方法将日志文本向量化以获取日志消息的词向量表示,接着将词向量输入到由双向门控循环单元网络和卷积神经网络组成的特征提取层中分别提取日志消息的上下文依赖特征和局部依赖特征,使用注意力机制分别加强两种特征中的关键信息,增强模型识别关键信息的能力.使用基于注意力机制的特征融合层为两种特征赋予不同权重并加权求和后输入由全连接层构成的输出层中,实现日志消息的情感极性分类,达到日志异常检测的目的 .在BGL公开数据集上的实验结果表明,该模型的分类准确率和F1值分别达到了96.36%和98.06%,与同类日志异常检测模型相比有不同程度的提升,从而证明了日志中的语义情感信息有助于异常检测效果的提升,并且经过实验证明了使用注意力机制的模型可以进一步提高文本情感分类效果,进而提升日志异常检测的准确率.     

基于多特征注意力卷积神经网络的旅游领域实体关系抽取

针对关系抽取任务中文本特征提取不充分及核心词表现弱的问题,提出了一种多特征注意力卷积神经网络的实体关系抽取方法.利用位置、词性及实体标签作为输入特征,充分捕获文本信息,构建注意力模型,获得单词与目标实体之间的相关性,并将注意力机制与卷积神经网络相融合以进行关系预测.以新疆旅游领域为研究对象,总结归纳15种实体关系.采用...     

基于Finger-mixNet的指纹识别算法研究

针对传统指纹识别方法存在准确率低、推理速度慢等问题,提出了一种应用于指纹识别和匹配的深度学习模型Finger-mixNet指纹识别算法。Finger-mixNet模型基于卷积神经网络和Transformer结构进行关联融合,包括两个核心模块共同表征指纹识别任务的深度特征。Network-C模块基于卷积神经网络获取浅层纹理特征,Network-TC模块基于自注意力机制和卷积共同捕捉指纹深度特征信息,在获得对重点区域注意力的同时,具有比传统卷积更小的计算开销。为证明模型的有效性,在自建的指纹数据集和公共数据集中对模型进行了测试,在自建数据集中Finger-mixNet达到了97.1%的识别准确率,在公共数据集中也取得了98.3%的识别准确率,除此之外Finger-mixNet在保持高识别率同时在上述两种数据集中均能保持200FPS的识别速度。     

激光诱导击穿光谱技术与卷积神经网络相结合的中药材产地识别研究

为了更好地对道地药材产地进行识别,文中提出一种激光诱导击穿光谱(Laser-induced breakdown spectroscopy, LIBS)技术与卷积神经网络(Convolutional neural networks, CNN)相结合,并在网络结构中加入卷积块注意力模块(Convolutional block attention module, CBAM)的药材产地识别混合模型(CNN-CBAM).该模型采用端到端的网络结构,利用CNN挖掘数据中的深层特征,通过加入注意力机制来提升网络的特征提取能力.实验采集5个不同产地黄芪的LIBS光谱数据,通过构建的混合模型对测试集的识别精度进行评估,发现相较于未改进的CNN模型以及传统机器学习中的支持向量机和随机森林算法模型,改进后的CNN在测试集上的准确率可达到100%.研究结果证明了LIBS技术结合CNN-CBAM网络模型对中药材产地进行准确识别的有效性.     

基于卷积神经网络的在线评论情感分析模型

针对标准卷积神经网络在文本情感分析过程中忽略了句子的整体结构信息的缺陷,本次研究在卷积神经网络的输入端加入注意力机制,提出了基于双通道输入的分段池化卷积神经网络模型(AF_CNN模型),该模型既能够有效提取文本局部最优特征,又能够捕捉到上下文词语之间的相关性。针对体育新闻评论情感分析的实验结果表明,与标准的卷积神经网络模型相比,本次研究提出的AF_CNN模型在分类准确率、召回率和F_1值等评价指标上,分别提升了3.40%,0.47%,1.96%。     

具有全局特征的空间注意力机制

为了获得卷积神经网络特征图中不同特征点之间的长距离依赖关系,使卷积神经网络更好地区分前景目标和背景信息,提出了一种具有全局特征的空间注意力机制。通过通道融合层将多通道的原始特征图组合成单通道的特征融合图,消除了通道间信息分布对获取空间注意力权重的影响;将特征融合图经过全局特征获取处理,获得能够反映特征融合图中某特征点与特征融合图中所有点之间相关性的全局特征图;全局特征图与初始值为0的可学习变量相乘,并且在通道域复制自身,扩展为原始特征图大小,将扩展后的全局特征图与原始特征图对应元素相加,获得具有注意力机制的特征图。在不同卷积神经网络中加入具有全局特征的空间注意力机制进行实验,结果表明:在脑电波二分类任务中,所提注意力机制的分类准确率最高提升了0.839%;在CIFAR-10数据集多分类任务中,所提注意力机制的分类准确率最高提升了0.484%;在夜间车辆单类别检测中,在交并比阈值大于0.5的平均精度评判标准下,所提注意力机制最高提升了3.860%,在交并比阈值大于0.75的平均精度评判标准下,所提注意力机制最高提升了11.726%;在voc2007数据集多类别检测中,在交并比阈值大于0....     

多尺度卷积与双注意力机制融合的入侵检测方法

为提高互联网入侵检测方法的准确率,提出一种卷积神经网络与注意力机制结合的入侵检测方法。利用Borderline-SMOTE过采样算法和Min Max归一化对数据进行预处理,有效缓解入侵数据量差异较大问题,提升非平衡数据检测性能;使用卷积神经网络Inception结构多尺度对数据进行特征提取,并配合注意力机制进行维度更新,提高模型处理海量数据时特征表达的准确性。研究结果表明：入侵检测方法的平均准确率为99.57%;相较于SVM方法、CNN方法、RNN方法、BLS-GMM方法,准确率分别提升了4.48%、1.35%、1.62%和0.04%,召回率分别提高了4.48%、1.36%、1.62%和0.14%。     

嵌入特征预提取和注意力机制的SAR图像目标检测

合成孔径雷达(Synthetic Aperture Radar,SAR)目标识别技术广泛应用于道路、船舶等检测任务中,但合成孔径雷达图像易受散斑噪声干扰,直接将卷积神经网络(Convolutional Neural Network,CNN)应用在SAR数据集上难以高效准确地提取有效特征.针对以上问题,提出了一种嵌入特征预提取和注意力机制的SAR图像目标识别算法(Convolutional Automatic Encoder-Convolutional Neural Network-Channel and Spatial Atten-tion Mechanism,CAE-CNN-CSAM),即利用优化的Lee滤波算法降低SAR图像斑点噪声,通过编解码技术对SAR图像进行特征预提取,而后在卷积神经网络中引入注意力机制,提高算法对通道和空间特征的表达能力.在公开的Statoil/C-CORE数据集上,该算法对目标的识别准确率达到了94％,相比于目标识别准确率约为88％的CNN等基准模型具有更高的目标识别性能.     

基于注意力机制的双分支肺炎图像分类网络

目前许多肺炎图像分类网络大多采用单分支网络对输入图像进行特征提取,这在一定程度上忽略了图像不同维度的特征信息。为了优化这种问题,提出一种融入注意力机制的双分支肺炎图像分类网络,利用VGG16网络和加入可分离卷积以及融入卷积注意力模块(convolution block attention module, CBAM)的CNN卷积神经网络进行双分支特征提取,能够关注到肺炎图像不同层次的特征信息,将2种网络分支的特征进行不同维度的融合,最后输入全连接层进行分类判决。结果表明,该网络在正常肺部、病毒性肺炎、新型冠状病毒肺炎(COVID-19)X-ray图像组成的测试集上取得了95%的平均准确率。经过消融试验证明,该网络加入的可分离卷积模块、注意力模块和特征融合对减少网络参数、提高网络分类的准确率起到明显作用。与其他网络的性能对比也表明该网络在肺炎图像分类上表现出较高的准确率和较强的鲁棒性。     

基于多尺度跃层卷积神经网络的精细车型识别

为解决精细车型识别中特征不具有代表性,且识别准确率低的问题,提出了基于多尺度跃层卷积神经网络(CNN)的车型识别方法。通过多个不同尺度的跃层卷积神经网络,提取适用于精细车型识别的低层局部特征和高层全局特征,并分别训练Softmax分类器。利用自适应方式融合方法,将多个单一尺度跃层卷积神经网络的识别结果进行融合,调整不同网络对识别结果的贡献。实验中车型识别准确率达到97.59%。实验结果表明多尺度跃层卷积神经网络适用于精细的车型识别,并能提高识别的准确率。     

一种通用的基于图像分割的验证码识别方法

针对粘连、扭曲,且存在干扰噪声的验证码图像识别性能欠佳的问题,结合卷积神经网络提出一种通用的基于图像分割的验证码字符识别方法。首先对传统Otsu阈值分割算法的阈值选取策略进行改进,提出基于局部最优阈值分割的Otsu法对验证码图像进行二值化处理。其次,采用改进的融合字符积分投影特性的复杂验证码字符分割方法对存在粘连情况的字符进行二次分割。最后,将分割得到的单个字符归一化后直接输入到基于卷积神经网络的LeNet-5模型中进行训练和识别,并输出识别结果。大量网站验证码图像的实验测试结果表明,提出的方法对粘连、扭曲,且存在干扰噪声的字符验证码图像有着较高的识别率和适应性,有效克服经典方法对于不同种类验证码识别的针对性和局限性。     

基于卷积神经网络和自注意力机制的文本分类模型

单词级别的浅层卷积神经网络(CNN)模型在文本分类任务上取得了良好的表现.然而,浅层CNN模型由于无法捕捉长距离依赖关系,影响了模型在文本分类任务上的效果.简单地加深模型层数并不能提升模型的效果.本文提出一种新的单词级别的文本分类模型Word-CNN-Att,该模型使用CNN捕捉局部特征和位置信息,利用自注意力机制捕捉长距离依赖.在AGNews、DBPedia、Yelp Review Polarity、Yelp Review Full、Yahoo! Answers等5个公开的数据集上,Word-CNN-Att比单词级别的浅层CNN模型的准确率分别提高了0.9%、0.2%、0.5%、2.1%、2.0%.     

基于空间聚合加权卷积神经网络的力触觉足迹识别

为了提高力触觉足迹识别的准确率,提出一种基于空间聚合加权注意力机制的足迹识别算法.首先,采用压力足迹采集器采集并构建一个包含100人2 000幅力触觉足迹图像的数据集;然后,采用VGG19卷积神经网络预训练模型提取特征,为获取特征图中足迹压力分布感兴趣区域,设计一种空间聚合加权模块(SAWM),该模块专注高响应区域从而提取足迹中显著区域局部特征,并与输入特征图加权融合,保留显著性特征,抑制不重要特征;最后输出的特征经过平均池化在全连接层实现力触觉足迹的识别.试验结果表明,所提算法准确率达到了91.20%,优于其他注意力机制算法以及传统的足迹识别算法.采用空间聚合加权注意力机制网络模型能够有效进行足迹识别,为身份识别提供技术支撑.     

用于稳态视觉诱发电位目标识别的多尺度特征融合卷积神经网络方法

针对传统稳态视觉诱发电位(SSVEP)脑电信号目标识别方法分类精度低、提取特征不充分、方法复杂且耗时等问题,提出一种基于多尺度特征融合卷积神经网络的SSVEP信号分类识别方法(SSVEP-MF)。利用小波变换将多通道SSVEP信号整合转化为二维图像作为输入样本集;建立多尺度特征融合卷积神经网络模型(MFCNN),该模型利用三层二维卷积核实现图像样本不同尺度特征的充分提取,构建多尺度特征融合单元对不同层级特征进行融合,并通过全连接等操作完成模型的训练;将样本集输入到MFCNN模型中实现脑电信号特征自适应提取及端到端分类。所提SSVEP-MF方法能够充分提取信号各层级特征,实现短时间视觉刺激下SSVEP信号的有效识别,并具有较高的目标识别效率。实验结果表明,在1 s刺激时长时,相比传统功率谱密度分析方法、典型相关分析方法以及普通卷积结构方法,所提方法的识别准确率分别提升了18.57%、20.08%及7.03%,有效提高了基于稳态视觉诱发电位范式下脑机接口的信号识别性能。     

基于卷积注意力网络的网格质量评价方法

将深度卷积神经网络引入网格质量评价问题有望代替网格工程师完成繁杂的网格质量评价工作，节省计算流体力学数值模拟的人力成本，但现有方法的准确率和效率仍需要提高.因此，本文提出一种基于卷积注意力网络的网格质量评价方法.首先，本文提出在轻量级卷积神经网络模型中嵌入通道注意力的方式以同时提升准确率和效率；其次，设计了一个神经网络模型CANet用于网格质量评价任务；最后，通过Z-Score标准化对数据进行预处理，解决输入数据分布不一致的问题，以进一步提升准确率.实验结果表明，与现有方法相比，CANet可以达到更优的准确率97.06%,并且在效率上也有至少34.9%的提升.     

基于注意力模型的卷积循环神经网络城市声音识别

环境声音识别（Eenvironment Ssound Rrecognition ,ESR）在基于情景感知和辅助技术等领域发挥着重要作用。卷积神经网络（CNN）和循环神经网络（RNN）作为两种最具代表性的特征提取方法,在语音和音乐信号处理方面都取得显著效果,然而二者都存在一定缺点,CNN无法有效提取时间特征,RNN在提取空间特征上也存在明显劣势。为了有效的提取并利用时间特征和空间特征,提出一种新模型,利用时间分布卷积神经网络（CNN）从梅尔频谱图中提取城市环境声音特征,然后应用双向长短时记忆网络（BiLSTM）从CNN输出中获取时间信息,最后在BRNN的输出序列上实施注意力机制,从而关注到与城市环境声音最相关的特征进而做出分类判断,注意力机制既提高了分类准确性,又增强了模型的可解释性。实验结果表明,在Urbansound8K数据集中,该模型可获得80.2%的分类准确率,这优于以前在同一数据集的报告结果     

基于时频空多维融合特征的脑电情感识别

脑电信号(Electroencephalogram,EEG)包含丰富的时间,空间和频率信息,是最能准确反映情感状态的生理信号,在情感识别领域发挥着重要作用。由于单特征的脑电情感识别研究方法存在缺失信息的问题,因此提出了三维融合特征的脑电信息处理方法,将脑电信号的微分熵频域特征和八种时域特征进行融合,按照电极片位置信息进行空间排布,提取脑电信号的三维混合特征。将注意力机制引入多任务卷积神经网络(Multi Task Attention Convolutional Neural Network,MTA-CNN),并将构造的三维特征作为输入进行测试分析。结果表明,所提出模型方法在DEAP数据集的效价维和唤醒维二分类问题准确率均有显著提升。     

基于Swin Transformer和CNN的汉字书法教学系统

针对日益增长的汉字书法学习需求,将滑动窗口自注意力(Swin Transformer, ST)模型和卷积神经网络(Convolutional Neural Network, CNN)模型相结合,提出手写体汉字识别ST-CNN模型,进而开发了汉字书法教学系统。实测结果表明,ST-CNN模型识别准确率约为91.6%,较传统的ST模型提升了约0.5个百分点,较传统的CNN模型与ST模型,在收敛速度上分别提升了约10和30个百分点,开发的汉字书法教学系统性能良好。     

基于改进LSTM神经网络的化工过程故障诊断

针对现代化工过程中数据非线性、高维度以及动态时序等特点,传统的故障诊断模型对化工过程的故障诊断精度较低.基于此,设计了一种基于改进的长短时记忆神经网络(LSTM)故障诊断方法.首先,将采集的故障数据输入卷积神经网络(CNN),对数据进行特征提取和降维;其次,将处理过的数据输入改进的LSTM网络,进行深层特征提取;最后,把提取的深层特征信息输入到注意力机制进行特征“聚焦”,实现特征融合后输入softmax分类器实现故障分类.由田纳西-伊斯曼(TE)过程诊断实验结果表明,基于改进的LSTM网络的故障诊断方法在故障分类精度、训练速度方面都更优于递归神经网络(RNN)、门控循环神经网络(GRU)、卷积神经网络(CNN)和深度自编码网络(DAEN),在实际化工过程的应用有一定的优势.