基于注意力LSTM和多任务学习的远场语音识别

由于背景噪声、混响以及人声干扰等因素,远场语音识别任务一直充满挑战性。该文针对远场语音识别任务,提出基于注意力机制和多任务学习框架的长短时记忆递归神经网络（long short-term memory,LSTM）声学模型。模型中嵌入的注意力机制使其自动学习调整对扩展上下文特征输入的关注度,显著提升了模型对远场语音的建模能力。为进一步提高模型的鲁棒性,引入多任务学习框架,使其联合预测声学状态和干净特征。AMI数据集上的实验结果表明：与基线模型相比,引入注意力机制和多任务学习框架的LSTM模型获得了1.5%的绝对词错误率下降。     

基于3D-CNN和融合Transformer的步态识别算法

当前,步态识别的主流方法常依赖堆叠卷积层来逐步扩大感受野,以融合局部特征,这种方法大多采用浅层网络,在提取步态图像的全局特征时存在一定的局限性,并缺乏对时序周期特征信息的关注。因此提出一种融合Transformer和3D卷积的深层神经网络算法3D-ASgaitNet（3D Convolutional Gait Recognition Network based on AdaptFormer and Spect-Conv）。首先,初始残差卷积层将二进制轮廓数据转换为浮点编码特征图,以提供密集的低级结构特征;在此基础上,光谱层通过频域和时域的联合处理增强特征提取能力,并使用伪3D残差卷积模块进一步提取高级时空特征;最后融合AdaptFormer模块,通过轻量级的下采样-上采样网络结构,以适应不同的数据分布和任务需求,提供灵活的特征变换能力。3D-ASgaitNet分别在4个公开的室内数据集(CASIA-B、OU-MVLP)、室外数据集(GREW、Gait3D)上进行,分别取得99.84%、87.83%、45.32%、72.12%的识别准确率。实验结果表明,所提出方法在CASIA-B、Gait3D数据集中的识别准确率接近SOTA性能。     

注意力残差网络结合LSTM的EEG情绪识别研究

基于脑电信号的情感识别已成为情感计算和人机交互领域的一个重要挑战。由于脑电信号中具有时间、空间、频率维度信息,采用结合注意力残差网络与长短时记忆网络的混合网络模型（ECA-ResNet-LSTM）对脑电信号进行特征提取与识别。首先,提取时域分段后脑电信号不同频带微分熵特征,将从不同通道中提取出的微分熵特征转化为四维特征矩阵;然后通过注意力残差网络（ECA-ResNet）提取脑电信号中空间与频率信息,并引入注意力机制重新分配更相关频带信息的权重,长短时记忆网络（LSTM）从ECA-ResNet的输出中提取时间相关信息。实验结果表明：在DEAP数据集唤醒维和效价维二分类准确率分别达到了97.15%和96.13%,唤醒-效价维四分类准确率达到了95.96%,SEED数据集积极-中性-消极三分类准确率达到96.64%,相比现有主流情感识别模型取得了显著提升。     

基于LSTM和注意力机制的蛋白质-配体结合亲和力预测

蛋白质-配体的结合亲和力预测是药物重定位回归中具有挑战性的任务。深度学习方法可以有效预测蛋白质与配体相互作用的结合亲和力,减少药物发现的时间和成本。由此,基于长短期记忆模块(LSTM)和注意力机制模块(attention)提出了一种深度卷积神经网络模型(DLLSA)。模型由嵌入LSTM和空间注意力模块(spatial-attention)的卷积网络并行模块构建,其中LSTM模块针对蛋白质-配体接触特征的长序列信息,spatial-attention注意力模块聚集接触特征局部信息。采用PDBbind(v.2020)数据集进行训练,CASF-2013和CASF-2016数据集进行验证,模型的皮尔逊相关系数相比于PLEC模型分别提高了0.6%和3%,实验结果显著优于其他相关方法。     

融合多尺度注意力和双向LSTM的行人重识别

将深度学习应用于行人重识别领域,嵌入多尺度注意力融合模块至神经网络中进行多尺度特征提取和表示,可有效提升注意力机制对深度学习网络的识别性能。提出了一种基于SE block的多尺度通道注意力融合模块,并结合ResNet50卷积神经网络提取特征;然后通过双向LSTM网络进一步提取特征序列上下文信息,在提高模型对图像重要特征的提取能力的同时,降低对图像冗余特征的关注度;最后使用级联难采样三元组损失函数和交叉熵损失函数共同训练网络模型,使样本能够在高维特征空间中实现聚类,进一步提升模型识别准确性。所提出算法在Market1501数据集和CUHK03数据集分别进行实验,并在同等条件下和其他注意力模块算法进行比较。为进一步验证各模块作用,对算法进行消融实验,以验证各模块的有效性,实验结果表明,所提出方法可有效应用于行人重识别     

基于LSTM的智能手机3D手写识别

针对传统传感器需要在特定的空间区域内才能进行人机交互,极易受到外部环境因素干扰的问题,提出一种新的基于长短时记忆神经网络(LSTM)的智能手机3D空间手写识别方法,用于非特定三维空间中实现的人机交互.首先,利用智能手机内置三轴加速度传感器,采集手部运动数据,并将采集的数据进行预处理操作,构建3D手写识别数据集;然后,基于LSTM构建3D手写识别模型,并利用构建的数据集进行训练;最后,利用训练后的模型实现智能手机的3D手写分类识别.通过在本文自建的非依赖用户数据集上进行测试,实验结果表明,该识别方法可以实现86.4%的准确率,88.1%的召回率,88.4%的精准率和88.0%的F₁分数.     

基于3D卷积和自注意力机制的卫星云图预测研究

卫星云图是气象预报的重要资源之一,可以显示云层的生消变化,对气象分析和预报工作有极大的作用.对云图进行一定时间段的预测有助于及时掌握云层的移动轨迹和变化情况,提高卫星云图资料的实用性.然而,当前卫星云图的预测面临诸多困难,例如,云团的变化大多是非平稳、非线性的;云图数据量小,实时性差等.因此,从时空序列的角度出发,提出一种基于3D卷积和自注意力机制的卫星云图预测模型,该模型在ST-LSTM (Spatiotemporal Long ShortTerm Memory)的基础上,在其单元内部引入3D卷积和自注意力机制,使模型能同时提取时间信息和空间特征,进一步增强云层短期趋势和长期依赖的联系;同时,在其外部框架使用空间和通道注意力机制,促进对云图空间特征的提取.在风云四号的卫星云图上进行评估,实验结果证明,该模型能够较准确地预测云层的形态变化和运动轨迹,各项评价指标均优于现有模型.     

基于注意力模型的卷积循环神经网络城市声音识别

环境声音识别（Eenvironment Ssound Rrecognition ,ESR）在基于情景感知和辅助技术等领域发挥着重要作用。卷积神经网络（CNN）和循环神经网络（RNN）作为两种最具代表性的特征提取方法,在语音和音乐信号处理方面都取得显著效果,然而二者都存在一定缺点,CNN无法有效提取时间特征,RNN在提取空间特征上也存在明显劣势。为了有效的提取并利用时间特征和空间特征,提出一种新模型,利用时间分布卷积神经网络（CNN）从梅尔频谱图中提取城市环境声音特征,然后应用双向长短时记忆网络（BiLSTM）从CNN输出中获取时间信息,最后在BRNN的输出序列上实施注意力机制,从而关注到与城市环境声音最相关的特征进而做出分类判断,注意力机制既提高了分类准确性,又增强了模型的可解释性。实验结果表明,在Urbansound8K数据集中,该模型可获得80.2%的分类准确率,这优于以前在同一数据集的报告结果     

基于多头注意力的双向LSTM情感分析模型研究

文本情感分析是自然语言处理领域中的重要任务,是指通过提取文本特征对基于文本的情感倾向进行分类。为了有效地提高文本情感分析准确率,提出一种新的基于多头注意力的双向长短期记忆（long short-term memory,LSTM）文本情感分析模型（Multi-Head Attention-based Bi-LSTM Model,MHA-B）。模型先利用双向LSTM进行初步特征提取,再结合多头注意力机制从不同的维度和表示子空间里提取相关的信息。在Large Movie Review Dataset与Semeval-2017-task4-A English两个数据集的实验结果表明:MHA-B模型的情感分析准确率与现有多种模型相比都有所提高。     

基于双向LSTM和自注意力机制的中文关系抽取研究

在采取远程监督方法构建大规模的关系抽取语料库时,一般会不可避免地引入大量冗余和噪声,从而影响关系抽取的效果。为此,文章提出基于双向长短期记忆网络（LSTM）和结构化自注意力机制的方法来缓解训练数据的噪声问题。结合中文语言的特点,在输入层采用结合义原训练的词向量作为输入,通过双向LSTM来抽取句子的语义特征,利用结构化的自注意力机制来学习面对实体对的上下文表示,通过多实例选择的方法来选择有效的实例,从而尽量避免噪声数据的影响。实验结果表明,文章提出的模型能有效提高实体关系抽取的准确率与召回率,其F1值比加上了注意力机制的CNN与双向LSTM分别提升了4.3%和1.2%。     

融合注意力机制和新型卷积神经网络的市政道路病害识别

环境和荷载协同作用导致的路面病害对道路使用性能和安全性能的影响日益突出.现有图像智能识别算法难以实现处理速度和计算量的平衡.针对道路病害快速准确实时识别的需求,对石家庄损伤较为严重的路面进行实地拍照,结合已有图片,采用数据增强技术构建了市政道路病害数据集,并且提出了一种基于MobileNetV3网络的轻量化道路病害识别网络模型GEM-MobileNetV3.该模型首先使用Ghost模块代替MobileNetV3网络基本单元中的1 ×1卷积;然后结合改进后的高效通道注意力机制(efficient channel attention,ECA)模块提取病害目标的重要特征;最后将网络浅层的ReLU激活函数替换为泛化能力更强的Mish激活函数,提高模型的整体性能.通过消融实验与对比实验,验证了新模型的有效性.实验结果表明,新模型准确率达到96.33％,其参数量与计算量较MobileNetV3模型分别降低了 37.9％和36％.提出的新模型在保持较高识别准确率的同时有效降低了模型复杂度,为在低成本计算平台上实现高准确率实时识别提供了新途径.     

基于Kinect的双流时空卷积人体行为识别技术

针对原有双流时空卷积网络模型中网络深度不足,从而导致人体行为识别结果偏低的问题,针对该网络模型进行改进,且融入Kinect骨骼序列数据.对于输入数据,通过Kinect相机对人体动作转化为骨骼序列;改进双流卷积网络模型是在原有的模型框架下,用RestNet-50网络结构替代原VGG-16网络结构,再对数据进行一系列处理.在HMDB-51和UCF-101两个公开数据集上进行模型的训练和验证,其识别结果分别为70.8%和91.4%,通过对比结果表明,本文提出的改进双流卷积网络融合Kinect骨骼数据能够有效提升人体行为识别的正确率.     

基于联合注意力-可分离卷积的立体匹配算法

为解决立体匹配网络模型轻量化与高精度不能共存的问题,本文提出新的立体匹配算法CSA-Net。算法具体是在特征提取阶段,利用类ResNet进行特征提取,训练空洞金字塔池化（ASPP）模块扩大感受野,提取多尺度上下文信息,加入联合注意力机制（CSM）,在空间和通道维度提高表征能力,关注重要特征并抑制不必要的特征。在特征融合阶段,将2D深度可分离卷积提升到3D来代替原网络中标准3D卷积在空间维度和通道维度分别进行卷积运算,以降低特征融合网络的参数量与模型运行时间。最终实验表明,本文所提出的立体匹配网络模型在KITTI 2012和2015数据集进行验证,在三像素匹配误差率为1.44%和2.24%,模型运行时间减少近1/3。因此,相比于其他实现了更高的匹配精度和更快的运行速度。     

基于简单无参注意力卷积神经网络的涡旋光束模态识别

由于大气湍流的影响,涡旋光在大气中传播时会产生相位畸变,造成接收端模态检测困难,导致通信系统的可靠性降低。为提高涡旋光束模态检测准确率,提出了利用简单无参注意力卷积神经网络(S-ConvNeXt)检测拉盖尔-高斯光束模态的算法。结果发现：该网络可有效聚焦于关键亮斑特征。当光束分别经过较弱湍流、中等湍流、较强湍流和强湍流传输2 km后,本征态检测准确率分别为100%、98.8%、96.4%和89.7%,叠加态检测准确率分别为100%、99.8%、98.8%和96.5%。在强湍流下,S-ConvNeXt网络本征态检测准确率比ResNet50、ShuffleNetV2、ConvNeXt网络分别提高5.7%、3%、1.2%,叠加态检测准确率分别提高5.7%、4%、0.9%。S-ConvNeXt网络能够有效提高模态检测准确率,尤其在强湍流条件下表现更好。     

联合注意力与混合卷积的高光谱地物识别研究

针对高光谱地物识别模型在提取空谱联合特征时,缺乏对空间特征有效关注的问题,提出了一种基于注意力机制和混合卷积神经网络的高光谱地物识别方法. 该方法用三维CNN（3DCNN）以及二维CNN（2DCNN）对高光谱图像的空谱联合特征进行提取,并在二维卷积阶段引入了注意力机制,构建AFCNet地物识别模型,使得其在提取空谱联合特征的同时,实现对空间特征的有效关注和激活. 所提模型使用带批归一化层（batch normalization,BN）的3D卷积核和2D卷积核,加快了模型的收敛速度,防止了过拟合现象的发生. 相对于传统的卷积网络模型,所提模型提高了噪声抑制能力,得到了较好的地物识别效果,在Salinas和Pavia University & Center数据集上,取得了99.96%和99.87%的地物识别精度,验证了所提方法的有效性.     

基于CNN和LSTM的脑电信号情感识别

为了提高脑电信号情感识别的准确率,提出了一种基于卷积神经网络(CNN)和长短时记忆(Long Short-Term Memory,LSTM)网络的脑电信号情感识别方法.首先,对62个通道的脑电信号进行预处理,并对预处理后的每个通道的脑电信号分别采用一维卷积神经网络提取情感特征.然后,利用LSTM网络在序列上的建模能力,...     

基于时空Inception残差注意力网络的脑电情绪识别

为了提高脑电情绪识别分类精度,最大限度利用脑电信号的空间和时间信息,提出一种Inception残差注意力卷积神经网络与双向长短期记忆(bi-directional long short-term memory,BiLSTM)网络相结合的新型架构时空In-ception 残差注意力网络.将脑电信号采集电极位置映射到二维矩阵中,采集信号作为通道,构成三维数据;将得到的三维数据输入到时空Inception残差注意力卷积网络之中,提取时空信息;将得到的特征输入到全连接层进行分类;将Inception结构引入脑电情绪识别领域,实现多尺度特征提取,并将电极映射到矩阵之中,保留电极位置信息,使用时空Inception残差注意力网络从时空两个维度获取脑电相关信息.实验表明,使用该模型对DEAP数据集进行情绪四分类可得到93.71％的准确度,相较于对比模型,识别精度提高了 10％～20％.提出的模型在脑电信号情绪识别领域具有优良性能.     

基于自注意力机制与 1D-CNN 的变压器故障诊断方法

目的 变压器是电力系统中重要的设备,其发生故障时能够被有效地判别出故障类别,使得电力检修效率提升,这对电网的安全运行具有重要意义。 针对电网电力检修中出现的变压器故障判别精度不足这一问题,提出了基于自注意力机制与 1D-CNN 的变压器故障诊断方法。 常规卷积在处理 DGA 气体样本数据时容易损失特征信息,导致故障诊断的准确率偏低,论文将自注意力机制与 1D-CNN 结合,有效改善了上述问题,提高了变压器故障诊断的准确率和可靠性。 方法 为减少卷积网络提取到的特征提取信息在模型层间传播时造成的损失,论文在 1D-CNN 的基础上使用 LeakyReLU 函数替代原模型中的 ReLU 激活函数,相比于 ReLU 激活方式下很多神经元都没有被激活,LeakyReLU 可以降低模型的稀疏性,使得网络特征信息多样性增加。 自注意力机制可实现对变压器油中溶解气体数据的特征信息加权处理,实现了有效特征信息增强作用,采用动态衰减学习率策略对优化器进行优化。结果 所提的方法损失率可降低至 0. 078,相比于无动态衰减学习率和 ReLU 激活方式,损失率分别降低了 44. 7%和38. 6%;诊断准确率可达到 93. 79%,较 1D-CNN 和 GOA-BP 方法诊断准确率提高了 0. 36%和 2. 12%。 结论 算例仿真验证了所提方法的有效性和优越性,表明基于自注意力机制与 1D-CNN 的变压器故障诊断方法能有效提高诊断的准确率,降低模型的损失率。     

CNN-RxLSTM:基于混合时空卷积和残差xLSTM的EEG情绪识别网络

针对基于脑电图(Electroencephalogram,EEG)的情绪识别方法在特征提取不足和时空依赖建模的局限性,本研究提出一种基于混合时空卷积神经网络(Convolutional Neural Network,CNN)和残差扩展型长短时记忆网络(Residual Extended Long Short-Term Memory,RxLSTM)的EEG情绪识别模型CNN-RxLSTM。该模型首先使用CNN提取EEG信号的局部时空特征,然后引入xLSTM模块通过双向信息流处理和残差连接机制建模信号的全局时空依赖,最后通过分类器模块完成分类。为验证模型的有效性,分别在SEED数据集和DEAP数据集上进行实验。结果表明,在SEED数据集上,CNN-RxLSTM模型的分类准确率为98.15%;在DEAP数据集上,其效价分类准确率和唤醒分类准确率分别为94.60%和95.89%。研究结果验证了该模型在EEG情绪识别中的卓越性能,可为情绪解码和其他EEG相关研究提供新的解决方案。