多标签文本分类模型对比研究

为了有效地管理和利用网络文本信息,实现文本内容自动标签标注,提出采用多种深度学习模型对多标签文本分类进行研究。采用神经网络词向量模型word2vec获取文本数据的语义特征。对循环神经网络和卷积神经网络进行模型融合,引入注意力机制,形成TextRCNN_Attention神经网络模型。实验结果表明,TextRCNN_Attention模型结构融合了循环神经网络和卷积神经网络模型的优点,能更好地理解语义信息。Attention机制对文本特征提取更加合理,使模型将注意力聚焦在对文本分类任务贡献分值较大的特征上,分类效果更好。     

集成局部和全局关键特征的文本情感分类方法

融合卷积神经网络(convolutional neural network,CNN)和双向长短期记忆网络(Bi-directional long short-term memory,BiLSTM)的情感分析模型(CNN_BiLSTM)是一个流行的模型,其学习文本的局部特征和全局特征实现情感分类,但是忽略了特征对分类结果的重要程度,且没充分利用词语间的特征,导致分类准确率不高.提出一种集成基于多卷积核的卷积神经网络和注意力双向长短期记忆网络特征的文本情感分类方法(MCNN_Att-BiLSTM),其集成局部和全局的重要特征作为文本语义特征,该特征进而用于训练文本情感分类器XGBoost(eXtreme gradient Boosting).该方法基于注意力机制的BiLSTM提取对分类影响大的全局关键特征,基于多卷积核的CNN获得更全面的词语间特征,为集成分类器准备了有效分类的特征.实验结果表明,该模型具有更好的情感分类准确率,与CNN_BiLSTM模型相比,在IMDB数据集上准确率提升了1.75%,在txt-sentoken数据集上准确率提升了1.67%,在谭松波-酒店评论数据集上准确率提升了3.81%.     

基于卷积神经网络和双向门控循环单元网络注意力机制的情感分析

传统的情感分析方法不能获取全局特征,以及否定词、转折词和程度副词的出现影响句子极性判断.在深度学习方法基础上提出了基于卷积神经网络和双向门控循环单元网络注意力机制的短文本情感分析方法.将情感积分引入卷积神经网络,利用情感词自身信息,通过双向门控循环网络模型获取全局特征,对影响句子极性的否定词、转折词和程度副词引入注意力机制实现对这类词的重点关注,提取影响句子极性的重要信息.实验结果表明,该模型与现有相关模型相比,有效提高情感分类的准确率.     

双通道多核卷积神经网络中文文本情绪分类方法

自然语言处理中,文本情绪分类目前以情感极性分类居多,更加细粒度的情绪分类却很少,并且基本上都为英文文本情绪分类。本文针对中文文本情绪分类,设计并实现了一种双通道多核卷积神经网络中文文本情绪分类方法。在特征提取部分,设计了双通道特征提取方法,采用word2vec预先训练词向量的词袋方式并引入注意力机制,提取的特征向量在关注局部特征信息的基础上加入了文本上下文之间的关系信息,能够涵盖文本全局特征;在卷积部分,设计了多种不同卷积核分别卷积池化后再组合的方式,从而得到更加全面的文本特征。理论分析和实验结果表明,双通道多核卷积神经网络中文文本情绪分类方法分类准确率达86%,比单层卷积神经网络的分类准确率提高了4%,同时解决了单层卷积神经网络特征提取不够全面和多层卷积神经网络特征提取过于抽象的问题。     

基于卷积神经网络的在线评论情感分析模型

针对标准卷积神经网络在文本情感分析过程中忽略了句子的整体结构信息的缺陷,本次研究在卷积神经网络的输入端加入注意力机制,提出了基于双通道输入的分段池化卷积神经网络模型(AF_CNN模型),该模型既能够有效提取文本局部最优特征,又能够捕捉到上下文词语之间的相关性。针对体育新闻评论情感分析的实验结果表明,与标准的卷积神经网络模型相比,本次研究提出的AF_CNN模型在分类准确率、召回率和F_1值等评价指标上,分别提升了3.40%,0.47%,1.96%。     

基于注意力机制结合CNN-BiLSTM模型的电子病历文本分类

为了解决中文电子病历文本分类的高维稀疏性、算法模型收敛速度较慢、分类效果不佳等问题,提出一种基于注意力机制结合CNN-BiLSTM模型的病历文本分类模型。该模型首先使用word2vec工具进行词向量表示,利用多层卷积神经网络(Convolutional Neural Networks, CNN )结构提取病历文本的局部特征,通过拼接操作丰富局部特征表示,再利用双向长短期记忆网络(Bi-directional Long Short-Term Memory, BiLSTM )提取上下文的语义关联信息,获取句子级别的高层特征表达。最后通过Attention机制进行特征加权,降低噪声特征的影响,并输入softmax层进行分类。在多组对比实验的实验结果表明,该模型取得了97.85%的F1值,有效的提升了文本分类的效果。     

一种加权词向量的混合网络文本情感分析方法

针对文本中关键信息被忽略以及分类准确率不高的问题,提出一种加权word2vec的卷积神经网络(CNN)与ATT-BiGRU混合神经网络情感分析模型.由于word2vec生成的词向量无法突出文本关键词的作用,因此引入词频-逆文档频率(TF-IDF)算法计算词汇权重值.然后,将加权运算后的词向量输入CNN与ATT-BiGRU混合模型提取隐含特征.该模型通过卷积神经网络(CNN)和基于注意力机制的双向门限循环单元(ATT-BiGRU)分别提取文本特征,以此来提高文本的表示能力.多组实验对比结果表明,与其他算法相比较,该模型的分类准确率最高且耗费时间代价小.     

基于预训练模型和混合神经网络的医疗实体关系抽取

医疗文本具有实体密度高、句式冗长等特点,简单的神经网络方法不能很好地捕获其语义特征,因此提出一种基于预训练模型的混合神经网络方法。首先使用预训练模型获取动态词向量,并提取实体标记特征;然后通过双向长短期记忆网络获取医疗文本的上下文特征,同时使用卷积神经网络获取文本的局部特征;再使用注意力机制对序列特征进行加权,获取文本全局语义特征;最后将实体标记特征与全局语义特征融合,并通过分类器得到抽取结果。在医疗领域数据集上的实体关系抽取实验结果表明,新提出的混合神经网络模型的性能比主流模型均有提升,说明这种多特征融合的方式可以提升实体关系抽取的效果。     

基于深度学习的文本情感分析

传统的文本情感分析主要基于情感词典、机器学习以及传统的神经网络模型等实现特征的提取及情感的分类,但由于语料简短及特征稀疏,使得这类情感分析方法取得的效果不理想。因此,提出采用基于Self-Attention机制的卷积神经网络(CNN)和双向长短时记忆网络(BI-LSTM)相结合的模型结构(SCBILSTM模型)对微博文本进行情感分析,SCBILSTM利用双向循环神经网络对文本上下文进行特征提取,并利用CNN进行局部特征提取,在此基础上添加自注意力机制,在通过网络爬虫抓取的微博数据集上和其他模型进行对比实验,验证本文中所提出的模型有效提升了文本分类的准确率。     

基于级联卷积和Attention机制的情感分析

目前大多数情感分类方法由于只学习到文本的浅层特征且无法区分不同词的重要性,导致情感分类准确率低的问题,因此提出了一种基于级联卷积和注意力机制的情感分析模型.利用多个卷积层提取序列文本的局部特征,同时使用注意力机制从卷积层生成的特征图中进一步学习相关信息,获取不同词和特征的不同影响权重;然后将两者特征级联在一起,形成一个新的特征图,这个特征图又作为后面卷积层的输入进行特征提取,重复此过程获取文本的深层特征.并且使用全局平均池化代替了传统的全连接来减少网络的参数数量.实验部分通过多个评价指标对比了提出方法与其他模型的性能,证明提出的方法在多个方面具有良好的情感识别性能.