基于注意力LSTM和多任务学习的远场语音识别

由于背景噪声、混响以及人声干扰等因素,远场语音识别任务一直充满挑战性。该文针对远场语音识别任务,提出基于注意力机制和多任务学习框架的长短时记忆递归神经网络(long short-term memory,LSTM)声学模型。模型中嵌入的注意力机制使其自动学习调整对扩展上下文特征输入的关注度,显著提升了模型对远场语音的建模能力。为进一步提高模型的鲁棒性,引入多任务学习框架,使其联合预测声学状态和干净特征。AMI数据集上的实验结果表明:与基线模型相比,引入注意力机制和多任务学习框架的LSTM模型获得了1.5%的绝对词错误率下降。     

融合多尺度注意力和双向LSTM的行人重识别

将深度学习应用于行人重识别领域,嵌入多尺度注意力融合模块至神经网络中进行多尺度特征提取和表示,可有效提升注意力机制对深度学习网络的识别性能。提出了一种基于SE block的多尺度通道注意力融合模块,并结合ResNet50卷积神经网络提取特征;然后通过双向LSTM网络进一步提取特征序列上下文信息,在提高模型对图像重要特征的提取能力的同时,降低对图像冗余特征的关注度;最后使用级联难采样三元组损失函数和交叉熵损失函数共同训练网络模型,使样本能够在高维特征空间中实现聚类,进一步提升模型识别准确性。所提出算法在Market1501数据集和CUHK03数据集分别进行实验,并在同等条件下和其他注意力模块算法进行比较。为进一步验证各模块作用,对算法进行消融实验,以验证各模块的有效性,实验结果表明,所提出方法可有效应用于行人重识别     

基于LSTM和注意力机制的蛋白质-配体结合亲和力预测

蛋白质-配体的结合亲和力预测是药物重定位回归中具有挑战性的任务。深度学习方法可以有效预测蛋白质与配体相互作用的结合亲和力,减少药物发现的时间和成本。由此,基于长短期记忆模块(LSTM)和注意力机制模块(attention)提出了一种深度卷积神经网络模型(DLLSA)。模型由嵌入LSTM和空间注意力模块(spatial-attention)的卷积网络并行模块构建,其中LSTM模块针对蛋白质-配体接触特征的长序列信息,spatial-attention注意力模块聚集接触特征局部信息。采用PDBbind(v.2020)数据集进行训练,CASF-2013和CASF-2016数据集进行验证,模型的皮尔逊相关系数相比于PLEC模型分别提高了0.6%和3%,实验结果显著优于其他相关方法。     

基于LSTM的智能手机3D手写识别

针对传统传感器需要在特定的空间区域内才能进行人机交互,极易受到外部环境因素干扰的问题,提出一种新的基于长短时记忆神经网络(LSTM)的智能手机3D空间手写识别方法,用于非特定三维空间中实现的人机交互.首先,利用智能手机内置三轴加速度传感器,采集手部运动数据,并将采集的数据进行预处理操作,构建3D手写识别数据集;然后,基于LSTM构建3D手写识别模型,并利用构建的数据集进行训练;最后,利用训练后的模型实现智能手机的3D手写分类识别.通过在本文自建的非依赖用户数据集上进行测试,实验结果表明,该识别方法可以实现86.4%的准确率,88.1%的召回率,88.4%的精准率和88.0%的F₁分数.     

基于3D卷积和自注意力机制的卫星云图预测研究

卫星云图是气象预报的重要资源之一,可以显示云层的生消变化,对气象分析和预报工作有极大的作用.对云图进行一定时间段的预测有助于及时掌握云层的移动轨迹和变化情况,提高卫星云图资料的实用性.然而,当前卫星云图的预测面临诸多困难,例如,云团的变化大多是非平稳、非线性的;云图数据量小,实时性差等.因此,从时空序列的角度出发,提出一种基于3D卷积和自注意力机制的卫星云图预测模型,该模型在ST-LSTM (Spatiotemporal Long ShortTerm Memory)的基础上,在其单元内部引入3D卷积和自注意力机制,使模型能同时提取时间信息和空间特征,进一步增强云层短期趋势和长期依赖的联系;同时,在其外部框架使用空间和通道注意力机制,促进对云图空间特征的提取.在风云四号的卫星云图上进行评估,实验结果证明,该模型能够较准确地预测云层的形态变化和运动轨迹,各项评价指标均优于现有模型.     

基于注意力模型的卷积循环神经网络城市声音识别

环境声音识别（Eenvironment Ssound Rrecognition ,ESR）在基于情景感知和辅助技术等领域发挥着重要作用。卷积神经网络（CNN）和循环神经网络（RNN）作为两种最具代表性的特征提取方法,在语音和音乐信号处理方面都取得显著效果,然而二者都存在一定缺点,CNN无法有效提取时间特征,RNN在提取空间特征上也存在明显劣势。为了有效的提取并利用时间特征和空间特征,提出一种新模型,利用时间分布卷积神经网络（CNN）从梅尔频谱图中提取城市环境声音特征,然后应用双向长短时记忆网络（BiLSTM）从CNN输出中获取时间信息,最后在BRNN的输出序列上实施注意力机制,从而关注到与城市环境声音最相关的特征进而做出分类判断,注意力机制既提高了分类准确性,又增强了模型的可解释性。实验结果表明,在Urbansound8K数据集中,该模型可获得80.2%的分类准确率,这优于以前在同一数据集的报告结果     

基于多头注意力的双向LSTM情感分析模型研究

文本情感分析是自然语言处理领域中的重要任务,是指通过提取文本特征对基于文本的情感倾向进行分类。为了有效地提高文本情感分析准确率,提出一种新的基于多头注意力的双向长短期记忆(long short-term memory,LSTM)文本情感分析模型(Multi-Head Attention-based Bi-LSTM Model,MHA-B)。模型先利用双向LSTM进行初步特征提取,再结合多头注意力机制从不同的维度和表示子空间里提取相关的信息。在Large Movie Review Dataset与Semeval-2017-task4-A English两个数据集的实验结果表明:MHA-B模型的情感分析准确率与现有多种模型相比都有所提高。     

基于双向LSTM和自注意力机制的中文关系抽取研究

在采取远程监督方法构建大规模的关系抽取语料库时,一般会不可避免地引入大量冗余和噪声,从而影响关系抽取的效果.为此,文章提出基于双向长短期记忆网络(LSTM)和结构化自注意力机制的方法来缓解训练数据的噪声问题.结合中文语言的特点,在输入层采用结合义原训练的词向量作为输入,通过双向LSTM来抽取句子的语义特征,利用结构化的...     

融合注意力机制和新型卷积神经网络的市政道路病害识别

环境和荷载协同作用导致的路面病害对道路使用性能和安全性能的影响日益突出。现有图像智能识别算法难以实现处理速度和计算量的平衡。针对道路病害快速准确实时识别的需求,对石家庄损伤较为严重的路面进行实地拍照,结合已有图片,采用数据增强技术构建了市政道路病害数据集,并且提出了一种基于MobileNetV3网络的轻量化道路病害识别网络模型GEM-MobileNetV3。该模型首先使用Ghost模块代替MobileNetV3网络基本单元中的1×1卷积;然后结合改进后的高效通道注意力机制ECA模块提取病害目标的重要特征;最后将网络浅层的ReLU激活函数替换为泛化能力更强的Mish激活函数,提高模型的整体性能。通过消融实验与对比实验,验证了新模型的有效性。实验结果表明,新模型准确率达到96.33%,其参数量与计算量较MobileNetV3模型分别降低了37.9%和36%。提出的新模型在保持较高识别准确率的同时有效降低了模型复杂度,为在低成本计算平台上实现高准确率实时识别提供了新途径。     

基于联合注意力-可分离卷积的立体匹配算法

为解决立体匹配网络模型轻量化与高精度不能共存的问题,本文提出新的立体匹配算法CSA-Net。算法具体是在特征提取阶段,利用类ResNet进行特征提取,训练空洞金字塔池化（ASPP）模块扩大感受野,提取多尺度上下文信息,加入联合注意力机制（CSM）,在空间和通道维度提高表征能力,关注重要特征并抑制不必要的特征。在特征融合阶段,将2D深度可分离卷积提升到3D来代替原网络中标准3D卷积在空间维度和通道维度分别进行卷积运算,以降低特征融合网络的参数量与模型运行时间。最终实验表明,本文所提出的立体匹配网络模型在KITTI 2012和2015数据集进行验证,在三像素匹配误差率为1.44%和2.24%,模型运行时间减少近1/3。因此,相比于其他实现了更高的匹配精度和更快的运行速度。     

基于Kinect的双流时空卷积人体行为识别技术

针对原有双流时空卷积网络模型中网络深度不足,从而导致人体行为识别结果偏低的问题,针对该网络模型进行改进,且融入Kinect骨骼序列数据.对于输入数据,通过Kinect相机对人体动作转化为骨骼序列;改进双流卷积网络模型是在原有的模型框架下,用RestNet-50网络结构替代原VGG-16网络结构,再对数据进行一系列处理.在HMDB-51和UCF-101两个公开数据集上进行模型的训练和验证,其识别结果分别为70.8%和91.4%,通过对比结果表明,本文提出的改进双流卷积网络融合Kinect骨骼数据能够有效提升人体行为识别的正确率.     

基于简单无参注意力卷积神经网络的涡旋光束模态识别

由于大气湍流的影响,涡旋光在大气中传播时会产生相位畸变,造成接收端模态检测困难,导致通信系统的可靠性降低。为提高涡旋光束模态检测准确率,提出了利用简单无参注意力卷积神经网络(S-ConvNeXt)检测拉盖尔-高斯光束模态的算法。结果发现：该网络可有效聚焦于关键亮斑特征。当光束分别经过较弱湍流、中等湍流、较强湍流和强湍流传输2 km后,本征态检测准确率分别为100%、98.8%、96.4%和89.7%,叠加态检测准确率分别为100%、99.8%、98.8%和96.5%。在强湍流下,S-ConvNeXt网络本征态检测准确率比ResNet50、ShuffleNetV2、ConvNeXt网络分别提高5.7%、3%、1.2%,叠加态检测准确率分别提高5.7%、4%、0.9%。S-ConvNeXt网络能够有效提高模态检测准确率,尤其在强湍流条件下表现更好。     

基于CNN和LSTM的脑电信号情感识别

为了提高脑电信号情感识别的准确率,提出了一种基于卷积神经网络(CNN)和长短时记忆(Long Short-Term Memory,LSTM)网络的脑电信号情感识别方法.首先,对62个通道的脑电信号进行预处理,并对预处理后的每个通道的脑电信号分别采用一维卷积神经网络提取情感特征.然后,利用LSTM网络在序列上的建模能力,...     

基于时空LSTM的OD客运需求预测

客运需求预测是打造智能交通系统中的重要一环,精准的预测模型有助于预分配交通资源,改善用户出行体验.然而客运需求的动态时空特性导致准确预测客运需求具有很大的挑战.本文提出了一种基于时空长短期记忆网络(LSTM)的出发地—目的地(OD)客运需求预测模型(STLSTM-PDP),显式地建模了客运需求时间序列内部的时间依赖关系和序列之间的空间依赖关系,预测未来一段时间所有OD的客运需求量.在全国民航重点航线客运需求量数据集及某城市区域间出租车客运量数据集上进行了实验,结果表明:STLSTM-PDP模型优于其他现有的预测方法,其MAE比其他方法降低了4.4%～41.4%,RMSE降低了4.3%～49.1%.     

基于注意力机制的LSTM长江汛期水位预测方法研究

为提高长短期记忆网络(Long Short-Term Memory,LSTM)在水位预测任务中的准确性,以及提高LSTM对数据中时空信息的利用率,本文提出了一种基于Softmax函数的注意力模块,并将其应用在LSTM的输入前,使模型可以根据输入数据中的时间和空间信息,自主地生成带有权重的词义向量,并赋予输入序列时间和空...     

基于卷积神经网络的手势识别研究

随着人机交互技术的发展,手势动作作为一种自然、方便以及高效的交互方式受到人们的关注。因而对此从理论和程序执行的角度提出一个针对9种手势识别的卷积神经网络(Convolutional Neural Networks,CNN)模型。首先,从组成CNN的基本单元神经元开始,然后上升到神经网络,最终到反向传播算法。通过调整卷积神经网络中的参数(迭代次数、步长),观察不同参数对网络的均方误差和测试准确度的影响。实验结果表明,该模型和算法可以有效识别9种手势,识别准确率最高可达93. 33%.     

基于双向LSTM的手写文字识别技术研究

手写文字识别是计算机视觉、自然语言处理领域中的重要问题和研究热点.本文针对手写文字识别问题,提出一种基于双向LSTM网络的手写文字识别方法.首先根据数据集特点进行归一化等预处理;然后使用CNN网络对图像的特征进行提取;接着通过双向LSTM网络来记忆手写文字序列的字句关系,并对文字序列进行预测;最后使用CTC-Loss作为损失函数,可以让整句标注的训练集在上述网络下收敛.对比实验表明本文提出的算法模型的有效性.     

基于1D-CNN模型的非侵入式负荷识别

非侵入式负荷识别技术对电网系统的电力调度、风险估计等具有重要意义.现阶段非侵入式负荷识别的数据质量差,算法识别准确度低且只能处理低频或高频数据.针对非侵入式负荷识别数据质量差的问题,提出了数据修复、数据扩展等数据增强方法;针对非线性扰动降低准确度的问题,提出了一种基于1D-CNN的深度学习模型,该模型既可提取低频数据的...     

基于卷积神经网络和自注意力机制的文本分类模型

单词级别的浅层卷积神经网络(CNN)模型在文本分类任务上取得了良好的表现.然而,浅层CNN模型由于无法捕捉长距离依赖关系,影响了模型在文本分类任务上的效果.简单地加深模型层数并不能提升模型的效果.本文提出一种新的单词级别的文本分类模型Word-CNN-Att,该模型使用CNN捕捉局部特征和位置信息,利用自注意力机制捕捉长距离依赖.在AGNews、DBPedia、Yelp Review Polarity、Yelp Review Full、Yahoo! Answers等5个公开的数据集上,Word-CNN-Att比单词级别的浅层CNN模型的准确率分别提高了0.9%、0.2%、0.5%、2.1%、2.0%.