基于改进长短时记忆网络的文本分类方法

针对传统长短时记忆网络(long short-term memory,LSTM)在文本分类中无法自动选取最重要潜在语义因素的问题,提出一种改进的LSTM模型。首先,将传统LSTM的运算关系拓展为双向模式,使网络充分记忆输入特征词的前后关联关系;然后在输出层前面增加池化层,以便更好选择找到最重要的潜在语义因素。互联网电影资料库评论数据实验结果表明,该模型优于传统长短时记忆神经网络以及其他同类模型,揭示了改进方案对提高文本分类准确率是有效的。     

基于注意力机制和双向长短期记忆网络的电能质量扰动识别

提出一种基于深度学习的电能质量扰动信号分类新方法.该方法应用注意力机制和双向长短期记忆网络构建分类模型,并利用Matlab仿真产生训练数据集与验证数据集.考虑了7种常见的复合扰动信号,并将其作为序列数据直接输入到网络中进行训练和验证.实验结果表明,本方法能准确地识别不同的扰动信号,在验证集上模型的识别准确率可以达到99...     

基于多头注意力胶囊网络的文本分类模型

文本序列中各单词的重要程度及其之间的依赖关系对于识别文本类别有重要影响。胶囊网络不能选择性关注文本中重要单词,并且由于不能编码远距离依赖关系,在识别具有语义转折的文本时有很大局限性。为解决上述问题,该文提出了一种基于多头注意力的胶囊网络模型,该模型能编码单词间的依赖关系、捕获文本中重要单词,并对文本语义编码,从而有效提高了文本分类任务的效果。结果表明:该文模型在文本分类任务中效果明显优于卷积神经网络和胶囊网络,在多标签文本分类任务上效果更优,能更好地从注意力中获益。     

对抗长短时记忆网络的跨语言 文本情感分类方法

针对文本情感分类任务中,有情感标注的语料在不同语言中的不均衡问题,结合深度学习和迁移学习,提出一种基于对抗长短时记忆网络(ALSTM)的跨语言文本情感分类方法.设置双语各自独立的特征提取网络和共享特征提取网络,把获取到的特征拼接输入到分类器进行分类.在共享特征提取网络中,设置语言分类器,运用对抗思想优化模型,通过投票法决定文本最终的情感极性.实验表明:该方法可以取得跨语言文本情感分类任务更高的准确度.     

基于LSTM-Attention的中文新闻文本分类

经典的LSTM分类模型,一种是利用LSTM最后时刻的输出作为高一级的表示,而另一种是将所有时刻的LSTM输出求平均作为高一级的表示.这两种表示都存在一定的缺陷,第一种缺失了前面的输出信息,另一种没有体现每个时刻输出信息的不同重要程度.为了解决此问题,引入Attention机制,对LSTM模型进行改进,设计了LSTM-Attention模型.实验结果表明:LSTM分类模型比传统的机器学习方法分类效果更好,而引入Attention机制后的LSTM模型相比于经典的文本分类模型,分类效果也有了一定程度的提升.     

长短时记忆网络的自由体操视频自动描述方法

提出一种长短时记忆网络的自由体操视频自动描述方法.在视频描述模型S2VT中,通过长短时记忆网络学习单词序列和视频帧序列之间的映射关系.引入注意力机制对S2VT模型进行改进,增大含有翻转方向、旋转度数、身体姿态等关键帧的权重,提高自由体操视频自动描述的准确性.建立自由体操分解动作数据集,在数据集MSVD及自建数据集上进行3种模型的对比实验,并通过计划采样方法消除训练解码器与预测解码器之间的差异.实验结果表明:文中方法可提高自由体操视频自动描述的精度.     

基于注意力机制结合CNN-BiLSTM模型的电子病历文本分类

为了解决中文电子病历文本分类的高维稀疏性、算法模型收敛速度较慢、分类效果不佳等问题,提出了一种基于注意力机制结合CNN-BiLSTM模型的病历文本分类模型。该模型首先使用word2vec工具进行词向量表示,利用多层卷积神经网络(convolutional neural networks, CNN)结构提取病历文本的局部特征,通过拼接操作丰富局部特征表示,再利用双向长短期记忆网络(bi-directional long short-term memory, BiLSTM)提取上下文的语义关联信息,获取句子级别的高层特征表达。最后通过Attention机制进行特征加权,降低噪声特征的影响,并输入softmax层进行分类。在多组对比实验的实验结果表明,该模型取得了97.85%的F₁,有效地提升了文本分类的效果。     

注意力机制的长短时记忆神经网络航线订座需求预测

针对航线订座需求预测中存在的预测结果不稳定,偏差较大的问题,提出了一种基于注意力机制 的长短时记忆神经网络(Long Short-term Memory Neural Network,LSTM)航线订座需求预测模型。首先, 对采集得到的航线订座需求数据进行数据清洗与指标计算处理,接着,对处理后的指标数据基于注意力机 制做权重分配,然后进行 LSTM 航线订座需求预测模型的建立,从而得到航线订座需求的最终预测结果 值。将训练优化得到的模型应用于国内某航司的航线订座需求预测中,计算出预测结果。实验结果表明, 基于注意力机制的 LSTM 航线订座需求预测模型预测精度较高,以厦门-上海为例,预测结果在与真实值 的对比下,平均绝对误差(Mean Absolute Error,MAE)为 13.1,均方根误差(Root Mean Square Error,RMSE) 为 17.2,相比较于移动平均法,指数平滑法,循环神经网络（Recurrent Neural Network,,RNN）,CNN-LSTM 混合模型有较好的预测效果。     

注意力机制的长短时记忆神经网络航线订座需求预测

针对航线订座需求预测中存在的预测结果不稳定,偏差较大的问题,提出一种基于注意力机制的长短时记忆神经网络航线订座需求预测模型. 首先,对采集得到的航线订座需求数据进行数据清洗与指标计算处理;接着,对处理后的指标数据基于注意力机制做权重分配;然后进行长短时记忆神经网络航线订座需求预测模型的建立,从而得到航线订座需求的最终预测结果值. 将训练优化得到的模型应用于国内某航司的航线订座需求预测中,计算出预测结果. 实验结果表明,基于注意力机制的长短时记忆神经网络航线订座需求预测模型预测精度较高,以厦门-上海航线为例,预测结果与真实值对比,平均绝对误差为13.1,均方根误差为17.2,相比较于移动平均法、指数平滑法及循环神经网络,CNN-LSTM混合模型有较好的预测效果.     

结合词性信息的基于注意力机制的双向LSTM的中文文本分类

基于LSTM的中文文本分类方法能够正确地识别文本所属类别,但是其主要关注于学习与主题相关的文本片段,往往缺乏利用词语其他方面的信息,特别是词性之间的隐含的特征信息。为了有效地利用词语的词性信息以便学习大量的上下文依赖特征信息并提升文本分类效果,提出了一种结合词性信息的中文文本分类方法,其能够方便地从词语及其词性中学习隐式特征信息。利用开源数据并设计一系列对比实验用于验证方法的有效性。实验结果表明,结合词性信息的基于注意力机制的双向LSTM模型,在中文文本分类方面的分类效果优于常见的一些算法。因此识别文本的类别不仅与词语语义信息高度相关,而且与词语的词性信息有很大关系。     

基于双向长短期记忆网络和标签嵌入的文本分类模型

提出了一种基于双向长短期记忆网络和标签嵌入的文本分类模型。首先利用BERT模型提取句子特征,然后通过BiLSTM和注意力机制得到融合重要上、下文信息的文本表示,最后将标签和词在联合空间学习,利用标签与词之间的兼容性得分对标签和句子表示加权,实现标签信息的双重嵌入,分类器根据给定标签信息对句子进行分类。在5个权威数据集上的实验表明,该方法能有效地提高文本分类性能,具有更好的实用性。     

基于双向长短期记忆网络和自注意力机制的食品安全裁判文书分类方法

目前食品安全领域裁判文书数量持续增长,而其类别标签的缺失导致检索困难。针对将裁判文书自动化分类的问题,提出一种结合self-attention机制和BLSTM(bi-long short-term memory)网络的分类方法,该方法使用自训练注意力机制,对向量化的文本进行加权表示,从而对裁判文书中的重要特征重点关注。同时,由两个方向相反的LSTM网络组成的BLSTM网络,能够更好地学习上下文信息,提高网络性能。通过实验,准确率达到了95. 23%,相较于传统的机器学习方法,所提方法能够更好地完成食品安全领域裁判文书分类任务。     

基于语义共现与注意力网络的问题分类方法

针对汽车故障问答文本特征稀疏、语义信息不全、深层次语义特征较难提取等问题,提出基于问题-答案语义共现的多层次注意力卷积长短时记忆网络模型(co-occurrence word attention convolution LSTM neural network,CACL)的问题分类方法。通过向量空间模型计算问题与答案文本中语义相似的共现词,使用注意力机制聚焦问题文本中的共现词特征,输入卷积神经网络(convolutional neural network,CNN)提取问题局部特征,通过长短时记忆网络(long short-term memory network,LSTM)及词级别注意力机制提取长距离依赖特征及其更高层次的文本特征,采用Softmax进行问题分类。结果表明,相比较于主流的问题分类方法,该方法有效提高了问题分类的精度,最高提升了10.04%的准确率。同时,试验发现当选用11个有效共现词且共现词来自问题文本时,模型的处理精度最佳。合理利用问题-答案文本语义相似的共现词,能有效提升汽车故障问题的分类性能,且共现词的个数、来源对问题的分类精度有一定的影响。     

基于卷积神经网络和自注意力机制的文本分类模型

单词级别的浅层卷积神经网络(CNN)模型在文本分类任务上取得了良好的表现.然而,浅层CNN模型由于无法捕捉长距离依赖关系,影响了模型在文本分类任务上的效果.简单地加深模型层数并不能提升模型的效果.本文提出一种新的单词级别的文本分类模型Word-CNN-Att,该模型使用CNN捕捉局部特征和位置信息,利用自注意力机制捕捉长距离依赖.在AGNews、DBPedia、Yelp Review Polarity、Yelp Review Full、Yahoo! Answers等5个公开的数据集上,Word-CNN-Att比单词级别的浅层CNN模型的准确率分别提高了0.9%、0.2%、0.5%、2.1%、2.0%.     

基于并行双向门控循环单元与自注意力机制的中文文本情感分类

在基于深度学习的文本情感分类研究领域中,目前传统的模型主要是序列结构,即采用单一的预训练词向量来表示文本从而作为神经网络的输入,然而使用某一种预训练的词向量会存在未登录词和词语语义学习不充分的问题。针对此问题,提出基于并行双向门控循环单元（gated recurrent unit,GRU）网络与自注意力机制的文本情感分类模型,利用两种词向量对文本进行表示并作为并行双向GRU网络的输入,通过上下两个通道分别对文本进行上下文信息的捕捉,得到表征向量,再依靠自注意力机制学习词语权重并加权,最后对两个通道的输出向量进行向量融合,作为输入进入全连接层判别情感倾向。将本文模型与多个传统模型在两个公共数据集上进行实验验证,结果表明本文模型在查准率、查全率、F₁值和准确率等性能指标上相比于双向门控循环单元网络模型、双向长短时记忆网络模型和双向门控循环单元网络与自注意力机制的单通道网络模型均有所提升。     

基于人工免疫系统的网络文本分类研究

在简单介绍自然免疫系统功能和特性的基础上,依据生物免疫系统免疫记忆特性,提出一种人工免疫网络记忆分类器。实验证明,该分类器能够快速准确地对文本进行分类。     

基于主题注意力层次记忆网络的文档情感建模

针对文档水平情感分析传统模型存在先验知识依赖以及语义理解不足问题,提出一种基于注意力机制与层次网络特征表示的情感分析模型TWE-ANN.采用基于CBOW方式的word2vec模型针对语料训练词向量,减小词向量间的稀疏度,使用基于Gibbs采样的LDA算法计算出文档主题分布矩阵,继而通过层次LSTM神经网络获取更为完整的文本上下文信息从而提取出深度情感特征,将文档主题分布矩阵作为模型注意力机制提取文档特征,从而实现情感分类.实验结果表明:提出的TWE-ANN模型较TSA、HAN模型分类效果较好,在Yelp2015、IMDB、Amazon数据集上的F值分别提升了1.1%、0.3%、1.8%,在Yelp2015和Amazon数据集上的RMSE值分别提升了1.3%、2.1%.     

密集池化连接和短语注意力下的文本分类算法

为了解决在文本分类中神经网络训练时产生的梯度消失、特征信息丢失以及注意力机制短语维度组合不匹配的问题,提出一种基于密集池化连接和短语注意力机制的文本分类算法.首先,通过密集池化连接中的残差网络部分进行特征提取,可有效缓解梯度消失问题;其次,通过池化层复用重要特征,改善特征信息丢失问题;最后,通过改进常规注意力机制,提出短语注意力机制,可灵活得到不同阶短语之间的联系,解决常规注意力机制短语维度不匹配问题.结果表明,该模型在对比模型中取得了最好的效果,在相同的新闻数据集中准确率可达92.7％,同时还对3个对比模型的收敛性和分类准确性进行分析,可见改进后的模型可以有效缓解梯度消失,并且解决短语维度组合不匹配问题,从而提高了分类准确性.