融合BERT中间隐藏层的方面级情感分析模型

现有的基于BERT(bidirectional encoder representations from transformers)的方面级情感分析模型仅使用BERT最后一层隐藏层的输出,忽略BERT中间隐藏层的语义信息,存在信息利用不充分的问题,提出一种融合BERT中间隐藏层的方面级情感分析模型。首先,将评论和方面信息拼接为句子对输入BERT模型,通过BERT的自注意力机制建立评论与方面信息的联系;其次,构建门控卷积网络(gated convolutional neural network, GCNN)对BERT所有隐藏层输出的词向量矩阵进行特征提取,并将提取的特征进行最大池化、拼接得到特征序列;然后,使用双向门控循环单元(bidirectional gated recurrent unit, BiGRU)网络对特征序列进行融合,编码BERT不同隐藏层的信息;最后,引入注意力机制,根据特征与方面信息的相关程度赋予权值。在公开的SemEval2014 Task4评论数据集上的实验结果表明：所提模型在准确率和F₁值两种评价指标上均优于BERT、CapsBERT(ca...     

基于卷积神经网络和双向门控循环单元网络注意力机制的情感分析

传统的情感分析方法不能获取全局特征,以及否定词、转折词和程度副词的出现影响句子极性判断.在深度学习方法基础上提出了基于卷积神经网络和双向门控循环单元网络注意力机制的短文本情感分析方法.将情感积分引入卷积神经网络,利用情感词自身信息,通过双向门控循环网络模型获取全局特征,对影响句子极性的否定词、转折词和程度副词引入注意力机制实现对这类词的重点关注,提取影响句子极性的重要信息.实验结果表明,该模型与现有相关模型相比,有效提高情感分类的准确率.     

基于注意力机制的分层次交互融合多模态情感分析

针对基于视频的多模态情感分析中,通常在同一语义层次采用同一种注意力机制进行特征捕捉,而未能考虑模态间交互融合对情感分类的差异性,从而导致模态间融合特征提取不充分的问题,提出一种基于注意力机制的分层次交互融合多模态情感分析模型(hierarchical interactive fusion network based on attention mechanism,HFN-AM),采用双向门控循环单元捕获各模态内部的时间序列信息,使用基于门控的注意力机制和改进的自注意机制交互融合策略分别提取属于句子级和篇章级层次的不同特征,并进一步通过自适应权重分配模块判定各模态的情感贡献度,通过全连接层和Softmax层获得最终分类结果。在公开的CMU-MOSI和CMU-MOSEI数据集上的实验结果表明,所给出的分析模型在2个数据集上有效改善了情感分类的准确率和F1值。     

一种结合词性及注意力的句子情感分类方法

针对目前各种基于长短期记忆网络LSTM的句子情感分类方法没有考虑词的词性信息这一问题,将词性与自注意力机制相结合,提出一种面向句子情感分类的神经网络模型PALSTM(Pos and Attention-based LSTM).首先,结合预训练词向量和词性标注工具分别给出句子中词的语义词向量和词性词向量表示,并作为LSTM的输入用于学习词在内容和词性方面的长期依赖关系,有效地弥补了一般LSTM单纯依赖预训练词向量中词的共现信息的不足;接着,利用自注意力机制学习句子中词的位置信息和权重向量,并构造句子的最终语义表示;最后由多层感知器进行分类和输出.实验结果表明,PALSTM在公开语料库Movie Reviews、Internet Movie Database和Stanford Sentiment Treebank二元分类及五元情感上的准确率均比一般的LSTM和注意力LSTM模型有一定的提升.     

基于注意力机制多特征融合与文本情感分析的日志异常检测方法

现有的基于深度学习和神经网络的日志异常检测方法通常存在语义信息提取不完整、依赖日志序列构建和依赖日志解析器等问题.基于注意力机制多特征融合和文本情感分析技术,提出了一种日志异常检测方法 .该方法首先采用词嵌入方法将日志文本向量化以获取日志消息的词向量表示,接着将词向量输入到由双向门控循环单元网络和卷积神经网络组成的特征提取层中分别提取日志消息的上下文依赖特征和局部依赖特征,使用注意力机制分别加强两种特征中的关键信息,增强模型识别关键信息的能力.使用基于注意力机制的特征融合层为两种特征赋予不同权重并加权求和后输入由全连接层构成的输出层中,实现日志消息的情感极性分类,达到日志异常检测的目的 .在BGL公开数据集上的实验结果表明,该模型的分类准确率和F1值分别达到了96.36%和98.06%,与同类日志异常检测模型相比有不同程度的提升,从而证明了日志中的语义情感信息有助于异常检测效果的提升,并且经过实验证明了使用注意力机制的模型可以进一步提高文本情感分类效果,进而提升日志异常检测的准确率.     

基于并行双向门控循环单元与自注意力机制的中文文本情感分类

在基于深度学习的文本情感分类研究领域中,目前传统的模型主要是序列结构,即采用单一的预训练词向量来表示文本从而作为神经网络的输入,然而使用某一种预训练的词向量会存在未登录词和词语语义学习不充分的问题。针对此问题,提出基于并行双向门控循环单元（gated recurrent unit,GRU）网络与自注意力机制的文本情感分类模型,利用两种词向量对文本进行表示并作为并行双向GRU网络的输入,通过上下两个通道分别对文本进行上下文信息的捕捉,得到表征向量,再依靠自注意力机制学习词语权重并加权,最后对两个通道的输出向量进行向量融合,作为输入进入全连接层判别情感倾向。将本文模型与多个传统模型在两个公共数据集上进行实验验证,结果表明本文模型在查准率、查全率、F₁值和准确率等性能指标上相比于双向门控循环单元网络模型、双向长短时记忆网络模型和双向门控循环单元网络与自注意力机制的单通道网络模型均有所提升。     

基于XLNet+BiGRU+Att(Label)的文本分类模型

传统的词向量嵌入模型,如Word2Vec、GloVe等模型无法实现一词多义表达;传统的文本分类模型也未能很好地利用标签词的语义信息。基于此,提出一种基于XLNet+BiGRU+Att(Label)的文本分类模型。首先用XLNet生成文本序列与标签序列的动态词向量表达;然后将文本向量输入到双向门控循环单元(BiGRU)中提取文本特征信息;最后将标签词与注意力机制结合,选出文本的倾向标签词,计算倾向标签词与文本向量的注意力得分,根据注意力得分更新文本向量。通过对比实验,本文模型比传统模型在文本分类任务中的准确率更高。使用XLNet作为词嵌入模型,在注意力计算时结合标签词能够提升模型的分类性能。     

基于关系触发词与单层GRU模型的关系抽取方法

基于关系触发词与单层门控循环单元模型进行关系抽取, 以降低关系抽取模型结构的复杂度, 并提高模型的训练效率. 通过计算单词的依存距离与序列距离得到关系触发词, 利用单层门控循环单元模型进行关系抽取, 并在SemEval 2010 Task 8数据集上进行实验. 实验结果表明, 该方法能有效提取出关系触发词, 并具有较高的关系抽取准确率.     

基于关系触发词与单层GRU模型的关系抽取方法

基于关系触发词与单层门控循环单元模型进行关系抽取, 以降低关系抽取模型结构的复杂度, 并提高模型的训练效率. 通过计算单词的依存距离与序列距离得到关系触发词, 利用单层门控循环单元模型进行关系抽取, 并在SemEval 2010 Task 8数据集上进行实验. 实验结果表明, 该方法能有效提取出关系触发词, 并具有较高的关系抽取准确率.     

基于RoBERTa与句法信息的中文影评情感分析

细粒度情感分析是自然语言处理的关键任务之一,针对现有的解决中文影评情感分析的主流方案一般使用Word2Vector等预训练模型生成静态词向量,不能很好地解决一词多义问题,并且采用CNN池化的方式提取文本特征可能造成文本信息损失造成学习不充分,同时未能利用文本中包含的长距离依赖信息和句子中的句法信息。因此,提出了一种新的情感分析模型RoBERTa-PWCN-GTRU。模型使用RoBERTa预训练模型生成动态文本词向量,解决一词多义问题。为充分提取利用文本信息,采用改进的网络DenseDPCNN捕获文本长距离依赖信息,并与Bi-LSTM获取到的全局语义信息以双通道的方式进行特征融合,再融入邻近加权卷积网络(PWCN)获取到的句子句法信息,并引入门控Tanh-Relu单元(GTRU)进行进一步的特征筛选。在构建的中文影评数据集上的实验结果表明,提出的情感分析模型较主流模型在性能上有明显提升,其在中文影评数据集上的准确率达89.67%,F1值达82.51%,通过消融实验进一步验证了模型性能的有效性。模型能够为制片方未来的电影制作和消费者的购票决策提供有用信息,具有一定的实用价值。     

融合粗糙数据推理的卷积记忆网络文本情感分析

为解决现有情感分类算法在特征提取中缺乏对语义关联规则的运用,以及在分词后产生大量与情感预测无关的词,导致挖掘出的特征不具代表性的问题。提出一种融合粗糙数据推理的卷积记忆网络情感分析模型。通过上下文信息使用粗糙数据推理获得文本的情感词集Word2Vec词向量表示,并融合FastText词向量来改进特征向量嵌入层。其次使用卷积神经网络（CNN）拼接双向长短期记忆网络（BiLSTM）提取更深层次的情感特征。最后加入Attention机制计算权重,筛选显著重要特征。通过多组对比实验表明该模型具有较高的准确率和F1值,有效提升了情感分类的预测能力。     

基于特征融合的中文文本情感分析方法

针对现有的中文文本情感分析方法不能从句法结构、上下文信息和局部语义特征等方面综合考量文本语义信息的问题,提出一种基于特征融合的中文文本情感分析方法.首先,采用Jieba分词工具对评论文本进行分词和词性标注,并采用词向量训练工具GloVe获取融入词性的预训练词向量;然后,将词向量分别作为引入Self-Attention的BiGRU和TextCNN的输入,使用引入Self-Attention的BiGRU从文本的句法结构和文本的上下文信息两个方面综合提取全局特征,使用TextCNN提取文本的局部语义特征;最后,将全局特征和局部语义特征进行融合,并使用Softmax进行文本情感分类.实验结果表明,本文方法可以有效提高文本情感分析的准确率.     

融合知识图谱的文本情感分析

目前研究文本情感分类往往只关注文档内容,对文本信息缺失和歧义等特点考虑不够,导致模型性能较低,为此提出一种融合知识图谱的用户和产品层次化注意力网络.首先通过双向长短期记忆网络获取词汇层隐藏表示,利用具有哨兵注意力机制将知识图谱中的知识与文本相结合获取词汇的知识感知状态向量;其次利用注意力机制结合用户和产品信息;最终利用归一化指标函数识别情感极性.结果表明,该方法在Yelp和IMDB数据集上的精确率和均方根误差优于基准方法,验证了模型的有效性.     

融入情感信息词向量的评论文本情感分析方法

为了解决分布式词表示方法因忽略词语情感信息导致情感分类准确率较低的问题,提出了一种融入情感信息加权词向量的情感分析改进方法。依据专属领域情感词典构建方法,结合词典和语义规则,将情感信息融入到TF-IDF算法中,利用Word2vec模型得到加权词向量表示方法,并运用此方法对采集到的河北省旅游景点的评论文本与对照组进行对比实验。结果表明,与基于分布式词向量表示的情感分析方法相比,采用融入情感信息加权词向量的改进方法进行情感分析,积极文本的准确率提高了6.1%,召回率提高了6.6%,F值达到了90.3%;消极评论文本的准确率提高了6.0%,召回率提高了7.2%,F值达到了89.6%。因此,融入情感信息加权词向量的情感分析改进方法可以有效提高评论文本情感分析的准确率,为用户获得更为准确的评论观点提供参考。     

采用循环神经网络的情感分析注意力模型

针对目前情感分析中的循环神经网络模型缺乏对情感词的关注的问题,提出一种基于循环神经网络的情感词注意力模型,通过引入注意力机制,在情感分类时着重考虑文本中的情感词的影响.在NLPCC 2014情感分析数据集及IMDB影评数据集上进行试验,结果表明:该模型能够提高情感分析的效果.     

基于短语结构和词语词性相结合的情感分类方法

针对传统文本分类方法忽略词语间的语义特征的问题,并为了改善输入文本的表示质量,提出一种基于短语结构和词语词性相结合的情感分类方法.该方法首先通过短语结构优化分词,可以更好地提取文本特征;其次利用Word2vec工具训练词语和词性相结合的文本语料库得到词向量模型,解决了Word2vec无法识别一词多义的问题;最后通过SVM算法对文本进行情感分类.实验结果表明,该算法能够提高文本情感分类的正确性.该方法对舆情监控、股票市场行情预测和了解消费者对产品的偏好等具有较高的实用性.