基于自注意力机制与BiLSTM的短文本匹配模型

现有短文本匹配方法更多关注于句子之间的交互方式,而较少考虑短文本自身关键特征的提取,为此本文提出一个融合自注意力机制和双向长短期记忆网络(BiLSTM)的短文本匹配模型。首先利用BiLSTM和自注意力机制进行特征编码,通过残差连接缓解信息丢失问题;然后利用双向注意力网络进行特征交叉,得到考虑了两个短文本之间交互影响的编码形式;最后将自注意力编码与双向注意力编码进行拼接,既能保留句子本身的重要特征,又能得到交互的特征信息。在两个公开数据集Quora和MRPC上进行对比实验,结果表明,该模型能有效改善短文本匹配性能,特别是在Quora数据集上的准确率达到87.59%,明显优于其他6种常见的同类模型。     

基于双层注意力机制的联合深度推荐模型

许多电子商务网站中存在用户编写的大量评论信息,大部分推荐系统虽然利用了评论信息,但仅从单词级别而不是评论级别来评估评论的重要性。如果只考虑评论中的重要单词,而忽略了真正有用的评论,则会降低推荐模型的性能。基于此,文中提出了一种基于双层注意力机制的联合深度推荐模型(DLALSTM)。该模型首先利用双向长短期记忆网络(BiLSTM)分别对用户和项目评论进行词以及评论级别联合建模,并通过两层注意力机制聚合为评论表示和用户/项目表示,然后把从评论中学习的用户和项目的潜在表示融入由评分矩阵得到的用户偏好和项目特征,实现评分预测。采用文中模型在Yelp和亚马逊的不同领域数据集上进行实验评估,并与常用的推荐方法进行比较,发现文中提出的模型性能超过目前常用的推荐方法,同时该模型能够缓解数据稀疏问题,且具有较好的可解释性。     

基于非降维注意力机制的滚动轴承故障诊断方法

针对传统轴承故障诊断算法中存在的故障特征提取困难、模型泛化性差以及噪声环境下诊断准确率低等问题,提出一种可移植非降维注意力机制与深度残差神经网络相结合的故障诊断方法。该方法使用非降维注意力机制对残差块生成的特征图重新分配权重,对特征图采用局部而非全局的跨通道通信方式,自适应学习邻近通道的注意力分数,以增强故障轴承的特征识别率。使用凯斯西储大学轴承故障数据集对本文方法进行验证,实验表明,融合非降维注意力机制的残差网络可以准确识别出不同负载下混有噪声的故障轴承样本,在12 dB信噪比噪声情况下的准确率为99.5%,具有较强的抗噪性能和一定的泛化性能。     

基于LDA与注意力机制BiLSTM的微博舆情分析模型

为对网络舆情数据进行主题挖掘与情感分析,以微博某单位招聘热点事件的舆情演变为研究对象,提出了一种融合主题模型和情感分析的LDA-Attention-BiLSTM模型。运用Python的Scrapy框架爬取该事件文本评论。采用隐含狄利克雷分布(LDA)模型实现了主题识别。使用基于注意力(Attention)机制的双向长短期记忆(BiLSTM)网络进行文本情感分析。研究结果表明,构建的基于LDA与Attention机制BiLSTM的混合模型能够反映舆情中的热点话题与情感时序变化,揭示事件爆发的主要原因,事件传播阶段的主要话题与事件的处理结果等。     

基于多注意力机制的端到端滚动轴承故障诊断方法

针对传统滚动轴承故障诊断中复杂的特征提取问题，利用深层残差网络能够增强诊断模型非线性表征能力的特点，通过引入通道注意力与空间注意力机制，提出一种基于多注意力机制端到端的滚动轴承智能故障诊断方法。首先，通过原始振动加速度信号经过积分运算得到速度和位移；然后，将3者组合成具有特征增强的图像，输入至结合了多注意力机制的深层残差网络实现特征提取；最后，利用多分类函数完成滚动轴承故障分类。在本地实验室轴承数据集上进行了验证，结果表明，所提方法的诊断准确率达到了97.50%。验证了基于多注意力机制端到端的滚动轴承智能故障诊断方法的可行性和有效性，可为滚动轴承的精确故障诊断提供支持。     

基于融合注意力机制与CNN-LSTM的人体行为识别算法

为解决单一的卷积神经网络（CNN）缺乏利用时序信息与单一循环神经网络（RNN）对局部信息把握不全问题,提出了融合注意力机制与时空网络的深度学习模型（CLA-net）的人体行为识别方法。首先,通过CNN的强学习能力提取局部特征;其次,利用长短时记忆网络（LSTM）提取时序信息;再次,运用注意力机制获取并优化最重要的特征;最后使用softmax分类器对识别结果进行分类。仿真实验结果表明,CLA-net模型在UCI HAR和DaLiAc数据集上的准确率分别达到95.35%、99.43%,F1值分别达到95.35%、99.43%,均优于对比实验模型,有效提高了识别精度。     

基于注意力机制和双向长短期记忆网络的电能质量扰动识别

提出一种基于深度学习的电能质量扰动信号分类新方法.该方法应用注意力机制和双向长短期记忆网络构建分类模型,并利用Matlab仿真产生训练数据集与验证数据集.考虑了7种常见的复合扰动信号,并将其作为序列数据直接输入到网络中进行训练和验证.实验结果表明,本方法能准确地识别不同的扰动信号,在验证集上模型的识别准确率可以达到99...     

基于注意力机制的LSTM长江汛期水位预测方法研究

为提高长短期记忆网络(Long Short-Term Memory,LSTM)在水位预测任务中的准确性,以及提高LSTM对数据中时空信息的利用率,本文提出了一种基于Softmax函数的注意力模块,并将其应用在LSTM的输入前,使模型可以根据输入数据中的时间和空间信息,自主地生成带有权重的词义向量,并赋予输入序列时间和空...     

基于双阶段注意力机制的大坝变形深度学习预测模型

为提升大坝结构变形预测精度,采用完全自适应噪声集合经验模态分解(CEEMDAN)法将变形实测序列解耦为一系列具有不同时频特征的本征模态函数,使用小波阈值消噪对高频分量平稳化处理后进行重构,利用基于双阶段注意力机制的长短期记忆网络(DA-LSTM)模型对重构变形序列进行预测。实例验证结果表明,联合CEEMDAN算法和小波阈值消噪方法能够有效识别并清洗实测数据中的异常值,提升了测值对大坝运行性态的表征能力,同时DA-LSTM模型可以充分挖掘大坝变形的滞后性和增强网络的可解释性,据此构建的变形预测模型具有优良的稳健性。     

融合DBN和BiLSTM的工业互联网入侵检测方法

针对当前工业互联网的攻击行为复杂,其网络数据具有海量、高维、时序性和非线性等特征,导致传统入侵检测方法的特征提取困难、检测率低、泛化能力差等问题,提出一种融合深度信念网络(deep belief network,DBN)和双向长短时记忆网络(Bi-directional long short-term memory,B...     

基于注意力机制结合CNN-BiLSTM模型的电子病历文本分类

为了解决中文电子病历文本分类的高维稀疏性、算法模型收敛速度较慢、分类效果不佳等问题,提出了一种基于注意力机制结合CNN-BiLSTM模型的病历文本分类模型。该模型首先使用word2vec工具进行词向量表示,利用多层卷积神经网络(convolutional neural networks, CNN)结构提取病历文本的局部特征,通过拼接操作丰富局部特征表示,再利用双向长短期记忆网络(bi-directional long short-term memory, BiLSTM)提取上下文的语义关联信息,获取句子级别的高层特征表达。最后通过Attention机制进行特征加权,降低噪声特征的影响,并输入softmax层进行分类。在多组对比实验的实验结果表明,该模型取得了97.85%的F₁,有效地提升了文本分类的效果。     

基于全局注意力引导的肺结节分割方法

肺结节的精确分割能有效地辅助医生的治疗诊断工作,但由于不同患者所呈现的肺结节病灶形式多种多样,基于传统专家系统和统计学习的方法难以获得准确的肺结节分割结果。针对这种情况,提出一种由全局注意力引导的注意力机制,达到了从一张完整的胸部影像切片中自动定位并分割出肺结节的效果。该方法首先对目标区域进行肺实质分割,再利用区域建议网络（region proposal network,RPN）进一步缩小感兴趣区域,并生成注意力权重图,最后使用融合了残差网络（residual network,ResNet）与卷积长短期记忆网络（convolutional long short-term memory,ConvLSTM）的结构结合注意力权重进行肺结节分割。将所提方法在肺图像数据库联盟（lung image database consortium,LIDC-IDRI）数据集上进行了全面的评估,结果表明,本文方法分割结果的平均dice得分（标准差）为89.97%（8.9%）,具有出色的分割性能,精度相较其他方法取得一定提升。进一步在相同数据集上将所提方法的肺结节分割结果与4位放射科医生的手工标注结果进行了比较,结果表明本文方法的分割结果与医生们的标注结果的一致性达到了85.81%,相较于医生们手工标注之间的一致性高出了3.39%。     

基于注意力机制优化长短期记忆网络的短期电力负荷预测

在电力系统的经济调度中,如何合理利用电力负荷的过去和现在来推测其未来价值,具有非常长远的社会经济价值.短期电力负荷数据具有明显的时间特征,传统的深度模型越来越多地应用于该领域.然而,深度模型可能存在梯度爆炸或梯度消失,为此,提出了一种注意力机制优化长短期记忆网络的短期负荷预测模型.该模型将长短期记忆网络单元中的激活函数改进为加权激活函数组,并加入注意力机制以提高预测精度.     

基于注意力机制和深度学习的运动想象脑电信号分类方法

脑机接口(Brain Computer Interface,BCI)作为一种新型的信息沟通与控制手段,是一个涉及神经科学、信号处理以及模式识别等多个学科的交叉研究课题.基于运动想象的BCI系统被认为是最具发展前景的一种脑机接口系统.针对基于机器学习方法构建脑电特征与运动想象之间的映射关系进行分类时,现有方法仍存在无法兼...     

基于注意力机制的图像分类降维方法

卷积算子是卷积神经网络的核心构造块,它根据一定的感受视野,融合卷积神经网络各层与不同通道之间的信息,提取出原始图像特征.然而图像中的相邻像素往往具有相似的值,导致卷积层的输出包含大量冗余信息.为了减少冗余信息,加快模型推理速度,神经网络中会加入池化层进行信息降维.对比传统降维方法,池化本身具有平移和旋转不变性,对图像特...     

基于双向长短期记忆网络和自注意力机制的食品安全裁判文书分类方法

目前食品安全领域裁判文书数量持续增长,而其类别标签的缺失导致检索困难。针对将裁判文书自动化分类的问题,提出一种结合self-attention机制和BLSTM(bi-long short-term memory)网络的分类方法,该方法使用自训练注意力机制,对向量化的文本进行加权表示,从而对裁判文书中的重要特征重点关注。同时,由两个方向相反的LSTM网络组成的BLSTM网络,能够更好地学习上下文信息,提高网络性能。通过实验,准确率达到了95. 23%,相较于传统的机器学习方法,所提方法能够更好地完成食品安全领域裁判文书分类任务。     

基于宽卷积核神经网络与BiLSTM的渔船轨迹分类方法

【目的】针对使用船舶自动识别系统(automatic identification system, AIS)数据进行船舶类型识别中原始特征较少和时空特征利用不充分的问题,提出了基于数据块的双向长短期记忆卷积神经网络的渔船类型分类方法。【方法】首先将数据以数据块的形式输入模型,保留短时内的时序特征;然后利用宽卷积核深度卷积神经网络(wide convolutional kernel deep convolutional neural network, WDCNN)模型首层的大卷积对数据进行特征提取;最后采用双向长短期记忆网络(bidirectional long-short-term memory networks, BiLSTM)提取数据的深层时间信息,得到最终的船舶分类结果。【结果】在真实的船舶AIS数据集上进行测试后发现：本模型较主流船舶分类模型对渔船分类的正确率有一定的提升,F₁值达到了5%左右的提高。【结论】本试验模型更有利于海事部门对渔船的监管,同时对海上渔场、鱼群分布的研究也有一定的参考价值。     

基于长短期记忆网络和注意力机制的油井产油量预测

准确地预测油井产油量在油田生产中至关重要,针对传统的线性预测方法存在适应性差的问题,以及在处理时序问题上难以很好拟合历史数据的问题,提出使用长短期记忆神经网络和注意力机制来解决数据中存在的时序关系以及增强模型的可移植性,并且分析了时间滞后、学习率衰减和神经元随机失活三个参数对油井产油量预测模型的影响,发现这三个参数分别为36、0.3和0.8时,模型表现最佳。使用最优参数建立油井产油量预测模型,并将该模型应用于XX油田的三口实验井数据上,其中井H3-32的后期实际产油总量为1470.5t,预测值为1442.33t,误差为1.92%;井H3-34的后期实际产油总量为1564.5t,预测值为1545.98t,误差为1.20%;井H3-35的后期实际产油总量为742.2t,预测值为772.12t,误差为4.05%。由此可见,基于长短期记忆神经网络和注意力机制的油井产油量预测模型的精度较高。本文研究成果可促进先进计算机技术在石油工业中的应用,对我国油田生产方案的制订和原油采收率的进一步提高具有非常重要的理论与现实意义。     

子句级别的自注意力机制的情感原因抽取模型

情感原因抽取(ECE)是情感分析领域的一项重要子任务,旨在识别给定文档中某种情绪表达所对应的原因.现有的一些工作将该任务定义为子句分类任务,关注了文档和子句之间的联系,而忽略情感描述子句与情感原因子句的直接语义联系,同时存在标签不平衡问题,使得情感原因子句位置难以定位.因此,提出了一个基于子句的自注意力机制同时结合了子...     

基于自注意力机制的多特征融合槽抽取模型

在任务型人机对话系统中,槽抽取任务是至关重要的一个环节.为了提高槽抽取模型的识别准确率,该文提出了一种利用自注意力机制融合文本的多特征维度特征的方法.该方法在常规的双向长短期记忆模型(Bi-directional long short-term memory,Bi-LSTM)和条件随机场(Conditional ran...