基于卷积神经网络与Transformer的电能质量扰动分类方法

复杂电能质量扰动的智能分类对于智能电网发展具有重要意义。扰动特征的提取与定位、模式识别与分类是电能质量扰动分类方法研究的难点。本文采用深度学习算法,将具有关注全局信息的Transformer与善于提取局部特征的卷积神经网络相融合,提出了一种基于卷积神经网络与Transformer的电能质量扰动分类方法,即CTranCBA。这种双深度学习模型分类方法主要是通过一维卷积神经网络提取电能质量扰动信号特征,利用Transformer自注意力机制引导模型关注序列中不同位置间的依赖关系,实现对扰动信号局部特征与全局特征的互补,克服了因感受野的限制而带来的识别不清、分类不准等问题。本文使用了23种不同电能质量扰动信号,将CTranCBA与Deep-CNN、CNN-LSTM、CNN-CBAM方法进行比较,结果表明该方法在分类准确率和抗噪性方面表现优异,可为电能质量扰动智能分类提供一种新的方法。     

基于自注意力机制的TransNet推荐模型

在神经网络的推荐模型基础上引入自注意力机制，提出一种改进的基于自注意力机制TransNet推荐模型SATransNet。SATransNet模型使用卷积神经网络提取评论特征，通过自注意力神经网络自动学习特征内部的依赖关系，由依赖关系来决定需要关注的特征，从而解决数据表达能力不足的缺陷。本文在不同数据集上进行了实验比较与分析，SATransNet推荐模型在不同数据集上的预测评分较好，均方误差总体呈优。与基于注意力机制的推荐模型相比，SATransNet推荐模型的归一化折损累计增益均有提升，具有较好的预测评分效果和推荐相关性。     

基于Transformer改进的两分支行人重识别算法

针对基于卷积神经网络的行人重识别算法全局信息建模不足的问题，分析了卷积操作的局限性，提出一种基于Transformer改进的全局-局部两分支行人重识别算法.首先利用相对位置编码改进多头自注意力机制，并将其嵌入到Resnet50骨干网络中.之后在全局分支中对图像进行空间几何划分并利用Transformer的全局感受野增强抽象特征的提取能力；在局部分支中对Layer＿3输出进行降维监督，利用多尺度池化获得更丰富的局部特征.实验结果表明，该算法在公开数据集Market-1501和DukeMTMC-reID上的mAP/Rank-1分别达到了93.45%/95.61%和88.79%/90.35%,相对于单纯基于卷积神经网络的算法，本文算法达到更高的精度.     

基于自注意力与分段卷积神经网络的实体关系抽取

远程监督通过已有知识库的关系三元组和自然语言文本语料库进行启发式匹配,获得数据来完成关系抽取任务,解决有监督学习方法完全依赖人工标注数据的问题,但远程监督数据中会存在大量噪声关系标签.针对以上问题,提出了一种结合自注意力机制和分段卷积神经网络的实体关系抽取模型SAPCNN,首先通过自注意力机制捕获词与词之间的全局相关性...     

基于卷积和Transformer融合的服装分类算法

针对传统基于卷积神经网络的服装分类算法无法满足海量多样服装分类需求的问题,提出一种卷积注意力融合的服装分类网络.该网络采用并行结构,包含一个ResNet分支和一个Transformer分支,充分利用卷积运算提取的局部特征和自注意力机制提取的全局特征,以增强网络的表征学习能力,从而提高服装分类算法的性能和泛化能力.为验证该方法的有效性,在数据集Fashion-MNIST和DeepFashion上进行了对比实验.结果表明：在数据集Fashion-MNIST上,该方法取得了93.58%的准确率;在数据集DeepFashion上,该方法取得了71.1%的准确率;该方法优于其他对比方法的实验结果.     

基于多头卷积和差分自注意力的小样本故障诊断方法

轴承是工业设备中使用最广泛的旋转部件之一，如果轴承在故障状况下运行较长时间，将会造成巨大的经济损失并威胁人身安全，因此，对轴承故障诊断进行研究具有十分重要的意义。基于深度学习的故障诊断技术目前日趋成熟，但在小样本情况下存在过拟合、效果不稳定、准确率不高等问题。为了解决这类问题，文中提出了一种融合多头卷积（Multi-Head Convolution,MC）的数据嵌入新算法和差分自注意力（Differential Self-Attention,DSA）机制的Transformer变种模型MDT(Multi-Head Convolution and Differential Self-Attention Transformer)，以实现端到端的小样本故障诊断。MC算法对样本进行多路径一维卷积，由多通道输出将样本从一维扩展到二维，通过多个卷积核尺寸提取出原样本中各个频域的丰富故障信息。相较于Transformer中原有的点积自注意力机制，DSA机制通过差分为每个特征求得对应的注意力权重向量，从而可从样本中提取出更为深层次的故障特征。MDT继承了Transformer对于处理序列数据的强大能力...     

基于Finger-mixNet的指纹识别算法研究

针对传统指纹识别方法存在准确率低、推理速度慢等问题,提出了一种应用于指纹识别和匹配的深度学习模型Finger-mixNet指纹识别算法。Finger-mixNet模型基于卷积神经网络和Transformer结构进行关联融合,包括两个核心模块共同表征指纹识别任务的深度特征。Network-C模块基于卷积神经网络获取浅层纹理特征,Network-TC模块基于自注意力机制和卷积共同捕捉指纹深度特征信息,在获得对重点区域注意力的同时,具有比传统卷积更小的计算开销。为证明模型的有效性,在自建的指纹数据集和公共数据集中对模型进行了测试,在自建数据集中Finger-mixNet达到了97.1%的识别准确率,在公共数据集中也取得了98.3%的识别准确率,除此之外Finger-mixNet在保持高识别率同时在上述两种数据集中均能保持200FPS的识别速度。     

具有全局特征的空间注意力机制

为了获得卷积神经网络特征图中不同特征点之间的长距离依赖关系,使卷积神经网络更好地区分前景目标和背景信息,提出了一种具有全局特征的空间注意力机制。通过通道融合层将多通道的原始特征图组合成单通道的特征融合图,消除了通道间信息分布对获取空间注意力权重的影响;将特征融合图经过全局特征获取处理,获得能够反应特征融合图中某个特征点与特征融合图中所有点之间相关性的全局特征图;全局特征图与初始值为0的可学习变量相乘,并且通道域复制自身大小为原始特征图大小,扩展后的全局特征图与原始特征图对应元素相加,获得具有注意力机制的特征图。在不同卷积神经网络中加入具有全局特征的空间注意力机制后,实验结果：在脑电波二分类任务中,算法分类准确率最高提升了0.839%;在CIFAR-10数据集多分类任务中,算法分类准确率最高提升了0.484%;在夜间车辆单类别检测中,在交并比阈值大于0.5的平均精度值评判标准下算法最高提升了3.860%,在交并比阈值大于0.75的平均精度值评判标准下算法最高提升了11.726%;在voc2007数据集多类别检测中,在交并比阈值大于0.5的平均精度值评判标准下算法最高提升了0.778%,在交并比阈值大于0.75的平均精度值评判标准下算法最高提升了1.232%。     

基于卷积神经网络的中文新闻文本分类

经典的卷积神经网络文本分类模型仅仅着眼于全局特征,没有考虑到局部特征.为了解决此问题,引入了注意力机制,用于提取文本中的关键词,把全局特征与局部特征综合在一起,使得文本的特征表达更加丰富.实验结果表明:卷积神经网络分类模型比传统的机器学习方法分类效果更好,而引入注意力机制后的卷积神经网络模型相比于经典的文本分类模型,分类效果也有了一定程度的提高.     

基于随机增强Swin-Tiny Transformer的玉米病害识别及应用

针对图像识别中获取全局特征的局限性及难以提升识别准确性的问题,提出一种基于随机增强Swin-Tiny Transformer轻量级模型的图像识别方法.该方法在预处理阶段结合基于随机数据增强(random data augmentation based enhancement, RDABE)算法对图像特征进行增强,并采用Transformer的自注意力机制,以获得更全面的高层视觉语义信息.通过在玉米病害数据集上优化Swin-Tiny Transformer模型并进行参数微调,在农业领域的玉米病害上验证了该算法的适用性,实现了更精确的病害检测.实验结果表明,基于随机增强的轻量级Swin-Tiny+RDABE模型对玉米病害图像识别准确率达93.586 7%.在参数权重一致,与性能优秀的轻量级Transformer、卷积神经网络(CNN)系列模型对比的实验结果表明,改进的模型准确率比Swin-Tiny Transformer, Deit3＿Small, Vit＿Small, Mobilenet＿V3＿Small, ShufflenetV2和Efficientnet＿B1＿Pruned模型提高了...     

基于改进Transformer的生成式文本摘要模型

基于循环神经网络(recurrent neural network,RNN)注意力机制的序列到序列模型在摘要信息提取服务中已经取得了较好的应用,但RNN不能较好地捕捉长时序信息,这使现有模型受限。为此,提出了基于改进Transformer的生成式文本摘要模型。该模型利用Transformer提取全局语义,使用局部卷积提取器提取原文细粒度特征,并设计全局门控单元以防止信息冗余和弥补语义不足,筛选出利于摘要生成的文本关键信息。实验结果表明,所提模型在大规模中文短文本摘要数据集(large scale Chinese short text summarization,LCSTS)上的效果有明显的提升,在电力运维摘要数据集上,也有良好效果,具有可扩展性。     

基于概率稀疏自注意力的航空发动机剩余寿命预测

航空发动机剩余寿命预测对其健康管理具有重要意义,针对长序列、多维度的航空发动机监测参数,提出一种基于概率稀疏自注意力（ProbSparse Self-Attention）的Transformer模型以实现航空发动机剩余寿命的准确预测。用ProbSparse Self-Attention取代原始Transformer中的常规自注意力机制,使得模型更关注时间序列中重要的时间节点,大幅缩减时间维度,减小了时间和空间复杂度;通过注意力层整合后的信息,进一步通过前馈神经网络层和卷积层,提取传感器的空间特征,编码层之间通过扩张因果卷积相连接,扩大了感受野,提高了模型对长序列信息的捕获能力。在新公开的N-CMAPSS数据集上验证算法,实验结果表明,相比于实验中的对比模型,所提模型的RMSE和Score值均有提升,推理速度也优于其他模型。     

基于多通道自注意力网络的遥感图像场景分类

高分辨率遥感图像场景分类广泛应用于土地监测、环境保护及城市规划等诸多领域.现有场景分类方法不能很好地结合局部纹理信息和全局语义信息,同时各通道特征之间的关系没有得到有效挖掘.因此,本文提出了一种基于多通道自注意力网络的遥感图像场景分类模型.通过卷积网络提取遥感图像的多尺度特征;随后采用特征融合单元建立多尺度特征间的局部-全局关系,基于多头自注意力机制的Inter-Channel Transformer在通道维度对融合后的特征建模,并推导特征在通道间的关系,进一步扩大全局感受野,以捕捉其语义结构信息,有效提高了网络的分类精度.在数据集AISC和SIRI-WHU上,本文所提算法的整体分类准确率(OA)分别为95.70%和94.00%,超过了当前最新的研究算法,证明了所提模型在高分辨率遥感图像场景分类任务中的有效性.     

基于轻量3D CNNs和Transformer的手语识别

针对传统基于3D CNNs(三维卷积神经网络)的手语识别方法模型计算复杂度和内存占用较高,及基于RNNs(循环神经网络)的连续手语识别方法的长距离建模能力不足的问题,提出一种基于轻量3DCNNs和Transformer的手语识别方法．首先使用轻量3D CNNs进行孤立词手语识别的时空建模,然后提出RKD(随机知识蒸馏),从多个教师模型中提取知识以提高轻量三维卷积的特征提取能力;针对连续手语,在特征提取后使用完全基于自注意力的Transformer进行全局建模．实验结果表明：所提方法在CSL-500和CSL-continuous数据集上可以获得95.10%的识别率和1.9的WER(词错误率),证明了所提方法的有效性．     

卷积神经网络在锚杆锚固类型识别中的应用

为了解决手工特征提取方法依赖广泛的专业知识和先验知识,难以挖掘新特征而影响识别结果的问题,将一维卷积神经网络应用于锚杆锚固系统类型识别,以实现端到端的分类过程;为了避免随机初始化卷积核会造成网络在训练时收敛速度慢、易陷入局部最优等问题,利用稀疏自编码器对网络的卷积核进行预训练,并利用实验锚杆锚固数据对稀疏自编码器一维卷积神经网络模型、传统一维卷积神经网络模型和反向传播神经网络模型进行测试。结果表明:一维卷积神经网络可应用于锚杆锚固系统类型识别,实现端到端的分类过程;在锚杆锚固系统类型识别中,稀疏自编码器一维卷积神经网络模型的准确率高于传统一维卷积神经网络模型和反向传播神经网络模型的准确率,识别率可达98.57%。     

双通道多核卷积神经网络中文文本情绪分类方法

自然语言处理中,文本情绪分类目前以情感极性分类居多,更加细粒度的情绪分类却很少,并且基本上都为英文文本情绪分类。本文针对中文文本情绪分类,设计并实现了一种双通道多核卷积神经网络中文文本情绪分类方法。在特征提取部分,设计了双通道特征提取方法,采用word2vec预先训练词向量的词袋方式并引入注意力机制,提取的特征向量在关注局部特征信息的基础上加入了文本上下文之间的关系信息,能够涵盖文本全局特征;在卷积部分,设计了多种不同卷积核分别卷积池化后再组合的方式,从而得到更加全面的文本特征。理论分析和实验结果表明,双通道多核卷积神经网络中文文本情绪分类方法分类准确率达86%,比单层卷积神经网络的分类准确率提高了4%,同时解决了单层卷积神经网络特征提取不够全面和多层卷积神经网络特征提取过于抽象的问题。     

基于Transformer增强卷积的膝关节磁共振影像年龄预测

年龄预测是临床医学中的一个重要课题和非常活跃的研究领域.最近，由于传统影像学检查中电离辐射的缺点，越来越多的研究使用磁共振影像进行年龄预测.本文基于膝关节MRI数据集，提出了一种新的端到端网络，结合卷积神经网络和Masked-Transformer网络互补地来提取局部特征和全局依赖，并使用一个特征聚合模块来聚合不同局部膝关节MRI切片的特征.通过整合卷积神经网络的特征图和视觉Transformer分支的特征编码，特征提取模块可以互补地提取局部和全局信息，更好地提取与年龄相关的特征.同时，该网络使用由图注意力网络组成的特征聚合模块，用于在特征级别集成不同MRI切片的局部特征，实现多切片局部特征之间的交互.大量实验表明，该方法可以在膝关节MRI年龄估计任务中达到最先进的性能.具体而言，本文方法在MRI数据集上进行了测试，该测试集包括44个年龄在12.0～25.9岁之间的膝关节MRI样本，其中五折交叉验证的最佳结果是年龄平均绝对误差为1.57±1.34岁.     

Transformer网络在雷达辐射源识别中的应用

由于雷达辐射源信号在时序上具有强相关性,针对卷积神经网络难以提取信号的时序逻辑相关性特征的缺点,本文提出了基于Transformer网络的雷达辐射源个体识别的方法。该方法首先以3台信号发生器模拟雷达辐射源信号,同时采集数据并建立数据库;然后对原始信号提取相位特征以及包络特征;最后采用基于注意力机制的Transformer网络对信号进行进一步的特征提取并分类。实验结果表明,该算法对于包络特征以及相位特征敏感度不同,同时数据样本长度对于识别效果会产生影响,最终结合相位特征的网络模型在信噪比为15 dB时识别率可以达到98.9%。     

基于双通道模型的航空发动机剩余寿命预测

针对现阶段航空发动机单一剩余使用寿命预测模型数据挖掘深度不足导致预测精度低的问题,提出一种双通道模型的预测方法。首先,构建双通道网络结构：通道一使用时间卷积网络,通过残差结构和空洞卷积使得网络具有更大的感受野和计算速度;通道二使用卷积长短时间记忆网络,提取多维时空特征,捕捉数据长期依赖关系。其次,利用多头注意力机制为双通道网络特征重新赋予权重。最后,将双通道网络进行特征融合输出,实现对航空发动机剩余寿命预测。使用涡扇发动机退化数据集进行实验验证,并与其它文献中提到的卷积双向长短时间记忆网络模型、多特征注意力模型、多头注意力模型、卷积门控单元循环神经网络模型进行对比。结果表明,所提模型在3种评价指标上均取得更好的表现,为航空发动机剩余寿命预测提供了一种新思路。     

基于深度学习的城市区域短时交通拥堵预测算法

城市的交通拥堵已经成为了各个城市中的普遍现象,严重影响了城市日常交通以及人们的出行。针对城市区域交通流的研究与分析,本文为了准确的对城市交通状态进行预测,通过网格划分的方法,把城市区域划分为多个区域,根据城市交通数据流的时空特征,提出了一种基于深度学习的城市交通拥堵预测模型（CS-Transformer）。该模型通过使用卷积神经网络(CNN)提取基于网格划分的城市区域交通数据的空间特征,然后采用全连接神经网络增强模型的表达能力,再通过相似性位置编码机制(SPEM)把位置信息加入交通数据中,最后运用Transformer网络捕捉交通数据的时间依赖特征。用成都市出租车GPS数据对模型进行验证,结果表明该模型预测结果优于卷积神经网络（CNN）、Transformer和CNN-Transformer等模型,以均方误差（MSE）为评价指标,将测试集中交通路网的平均预测精度分别提高了 19.6%、26.3%和10%。