基于ERNIE和双重注意力机制的微博情感分析

针对传统词向量无法在上下文中表示词的多义性,以及先验的情感资源未能在神经网络中得到充分利用等问题,提出一种基于知识增强语义表示（Enhanced Representation through Knowledge Integration,ERNIE）和双重注意力机制（Dual Attention Mechanism, DAM）的微博情感分析模型ERNIE-DAM.首先利用现有的情感资源构建一个包含情感词、否定词和程度副词的情感资源库;其次采用BLSTM网络和全连接网络分别对文本和文本中包含的情感信息进行编码,不同的注意力机制分别用于提取文本和情感信息中的上下文关系特征和情感特征,并且均采用ERNIE预训练模型获取文本的动态特征表示;最后将上下文关系特征和情感特征进行拼接融合,获取最终的特征向量表示.实验结果表明,新模型在COAE2014和weibo＿senti＿100k数据集上的分类准确率分别达到了94.50%和98.23%,同时也验证了将情感资源运用到神经网络中的有效性.     

基于多头注意力和词共现关系的方面级情感分析

针对特定目标的情感分析是文本情感细粒度理解任务的重要内容.已有研究大多通过循环神经网络和注意力机制来建模文本序列信息和全局依赖,并利用文本依赖解析树作为辅助知识,但这些方法没有充分利用目标词与文本词之间的依赖关系,也忽略了训练语料库中的词共现关系,而词共现信息往往意味着一种语法搭配.为了解决上述问题,提出一种目标依赖的多头自注意力网络模型.该模型首先设计内联和外联两种不同的注意力机制用于建模文本词和目标词的隐藏状态和语义交互;其次,该模型构建了语料库级别和句子级别的词共现图,并通过图卷积网络将词共现信息融合进文本的特征表示学习并用于下游分类任务.在五个标准数据集上进行了对比实验,实验结果表明,提出的模型在方面级情感分析任务中的性能优于所有对比模型.     

基于双向门控机制和层次注意力的方面级情感分析

针对传统情感分析模型将单词或词语作为单一嵌入,而忽略句子之间依存信息和位置信息的问题,提出基于双向门控机制和层次注意力的方面级情感分析模型（Based on Bi-GRU and Hierarchical Attention,BGHA）。首先,将文本数据转成词向量再加入位置编码信息,得到包含位置和语义信息的词向量后通过双向门控机制提取上下文特征;接着,分别在单词注意力层和句子注意力层用注意力机制对特征分配权重,突出重点词和重点句信息;最后,结合给定的方面信息选择性提取与其较匹配的情感特征。在SemEval 2014、SemEval 2016和Twitter短文本评论数据集上的实验结果表示,BGHA模型的准确率对比其他模型都有不同程度的提高,证明了模型的有效性。     

基于双向长短期记忆网络和标签嵌入的文本分类模型

提出了一种基于双向长短期记忆网络和标签嵌入的文本分类模型。首先利用BERT模型提取句子特征,然后通过BiLSTM和注意力机制得到融合重要上、下文信息的文本表示,最后将标签和词在联合空间学习,利用标签与词之间的兼容性得分对标签和句子表示加权,实现标签信息的双重嵌入,分类器根据给定标签信息对句子进行分类。在5个权威数据集上的实验表明,该方法能有效地提高文本分类性能,具有更好的实用性。     

基于XLNet的中文文本情感分析

针对Word2vec等静态词向量模型不能解决一词多义、传统情感分析模型不能同时提取文本的全局和局部信息问题,本文提出了结合广义自回归预训练语言模型(XLNet)的文本情感分析模型。首先利用XLNet表示文本特征,然后利用卷积神经网络提取文本向量的局部特征,再利用双向门控循环单元提取文本的更深层次上下文信息,最后引入注意力机制,根据特征的重要性赋予特征不同的权重,并进行文本情感极性分析。仿真实验中将本文模型与5种常用的情感分析模型进行对比,验证了模型的准确率和优越性。     

基于词-标签概率的多标签文本分类研究

针对多标签文本分类任务中如何有效地提取文本特征和获取标签之间潜在的相关性问题,提出一种CNN(convolutional neural networks)结合Bi-LSTM (bi-directional long short-term memory)的模型.首先,通过CNN网络和最大池化提取文本的特征;然后,利用训练的Labeled-LDA(labeled latent dirichlet allocation)模型获取所有词与标签之间的词-标签概率信息;接着,使用Bi-LSTM网络和CNN网络提取当前预测文本中每个词的词-标签信息特征;最后,结合提取的文本特征,预测与当前文本相关联的标签集.实验结果表明,使用词-标签概率获取文本中词与标签之间的相关性信息,能够有效提升模型的F1值.     

基于卷积神经网络和双向门控循环单元网络注意力机制的情感分析

传统的情感分析方法不能获取全局特征,以及否定词、转折词和程度副词的出现影响句子极性判断.在深度学习方法基础上提出了基于卷积神经网络和双向门控循环单元网络注意力机制的短文本情感分析方法.将情感积分引入卷积神经网络,利用情感词自身信息,通过双向门控循环网络模型获取全局特征,对影响句子极性的否定词、转折词和程度副词引入注意力机制实现对这类词的重点关注,提取影响句子极性的重要信息.实验结果表明,该模型与现有相关模型相比,有效提高情感分类的准确率.     

基于知识增强的深度新闻推荐网络

在新闻推荐场景下,传统的基于文本特征的新闻推荐模型只考虑了词的共现关系,无法捕获词语的隐含词义和关联知识;而基于深度学习的推荐模型在融合知识图谱信息中仅仅考虑实体的信息,忽略了远距离实体之间的联系,造成实体之间的关联信息和深层次语义联系的缺失.针对该问题提出了一种基于知识增强的深度新闻推荐网络（deep knowledge-enhanced network,DKEN）,利用长短期记忆网络提取知识图谱中的实体路径特征,补充到注意力网络中,然后针对不同的候选新闻动态地构建用户的特征.实验表明该实体路径信息能提高模型的效果,在F₁指标上提升大约1%.      

基于级联卷积和Attention机制的情感分析

目前大多数情感分类方法由于只学习到文本的浅层特征且无法区分不同词的重要性,导致情感分类准确率低的问题,因此提出了一种基于级联卷积和注意力机制的情感分析模型.利用多个卷积层提取序列文本的局部特征,同时使用注意力机制从卷积层生成的特征图中进一步学习相关信息,获取不同词和特征的不同影响权重;然后将两者特征级联在一起,形成一个新的特征图,这个特征图又作为后面卷积层的输入进行特征提取,重复此过程获取文本的深层特征.并且使用全局平均池化代替了传统的全连接来减少网络的参数数量.实验部分通过多个评价指标对比了提出方法与其他模型的性能,证明提出的方法在多个方面具有良好的情感识别性能.     

对比增强的关联记忆网络用于医学图像报告生成

在现有的医学影像诊断报告自动生成模型中,仅利用输入图像的视觉特征来提取相应的语义特征,并且生成词之间关联较弱和缺乏上下文信息等问题。为了解决上述问题,提出一种对比增强的关联记忆网络模型,通过对比学习提高模型区分不同图像的能力,设计了注意力增强关联记忆模块根据上一时间步生成的单词来持续更新,以加强生成医学图像报告中生成词之间的关联性,使得本模型可以为医学图像生成更准确的病理信息描述。在公开IU X-Ray数据集和私有胎儿心脏超声数据集上的实验结果表明,提出的模型在Cider评估指标方面明显优于以前的一些模型(与经典的AOANet模型相比较,在IU X-Ray上Cider指标提升了51.9%,在胎儿心脏超声数据集上Cider指标提升了3.0%)。     

基于多通道压缩双线性池化的情感‒原因句子对提取模型

提出一个基于多通道压缩双线性池化的模型, 对文档中的候选情感?原因句子对进行排序。该模型利用图注意力网络提取包含位置信息的情感特定化表示和原因特定化表示, 通过局部关系学习模块, 进一步学习情感与原因句子之间的局部关系表示, 再使用多通道压缩双线性池化来融合学习情感?原因候选句子对表示。最后, 对候选句子对进行排序。实验结果表明, 与最新模型相比, 所提模型在多方面表现更优。     

融入词性自注意力机制的方面级情感分类方法

针对基于注意力机制的模型在方面级情感分类任务中忽略了单词词性信息的问题,提出一种融入词性自注意力机制的方面级情感分类方法.该方法首先基于自然语言处理词性标注工具获得词性标注序列,并随机初始化一个词性嵌入矩阵得到词性嵌入向量;然后用自注意力机制学习单词之间的句法依赖关系;最后计算出每个单词的情感分数,利用词情感的结合表示特定方面的情感极性.实验结果表明,在5个公共数据集上,该方法相比效果最好的基线模型,在准确率和宏观F₁分数上分别提升2%和4.83%.表明融入词性信息的注意力机制模型在方面级情感分类任务中性能更好.     

基于双输入和BiLSTM-MHSA的评论文本方面情感分类方法

【目的】针对方面情感分类输入类别在不同领域之间差异较大,汽车用户评论文本语义信息不全,语义特征难以提取等问题,提出基于双通道输入的并行双向编码表征(bidirectional encoder representation from transformers, BERT)双向长短期记忆多头自注意力模型的方面情感分类方法。【方法】首先采用了方面情感和方面抽取的双重标签进行标注;其次通过并行的方面抽取和方面情感分类任务通道,分别使用BERT、双向长短期记忆网络(bidirectional long and short-term memory networks, Bi-LSTM)及多头注意力机制(multihead self-attention, MHSA)提取更深层次的语义信息及近距离和远距离特征信息;最后采用条件随机场(conditional random field, CRF)分类器和Softmax分类器进行分类。【结果】在相关的汽车用户评论文本数据集和多语言混合数据集上,本研究提出的模型相较于主流的方面情感分类方法,具有同步抽取方面词和判断情感极性的能力,且有效提高了方面词抽取和方面情...     

基于混合神经网络的中文隐式情感分析

隐式情感分析是情感计算的重要组成部分,尤其是基于深度学习的情感分析近年来成为了研究热点.本文利用卷积神经网络对文本进行特征提取,结合长短期记忆网络(LSTM)结构提取上下文信息,并且在网络中加入注意力机制,构建一种新型混合神经网络模型,实现对文本隐式情感的分析.混合神经网络模型分别从单词级和句子级的层次结构中提取更有意义的句子语义和结构等隐藏特征,通过注意力机制关注情绪贡献率较大的特征.该模型在公开的隐式情感数据集上分类准确率达到了77%.隐式情感分析的研究可以更全面地提高文本情感分析效果,进一步推动文本情感分析在知识嵌入、文本表示学习、用户建模和自然语言等领域的应用.     

融合图卷积神经网络的文本情感分类

文档级别情感分类旨在预测用户对评论文本的情感极性标签。最近研究发现,利用用户和产品信息能有效地提升情感分类性能,然而,现有大多数研究只关注用户与评论、产品与评论的信息,忽略了用户与用户、产品与产品之间的内在关联,因此,本文提出一种融合图卷积神经网络的文本情感分类模型。首先,根据数据集构建了用户与用户关系图、用户与产品关系图;然后,融合两种关系图形成异质图,并使用图卷积神经网络学习用户与用户、产品与产品之间的内在联系,获得更好的用户和产品表示;最后,使用融合CNN的用户注意力和产品注意力机制的分层网络进行情感分类。实验结果表明,在公开数据集IMDB、Yelp2013和Yelp2014上,本文提出的模型能取得较好的分类效果。     

基于改进自注意力机制的方面级情感分析

方面级情感分析是一项细粒度的情感分类任务,目前常用的研究方法是使用神经网络模型结合注意力机制的模式,使用注意力机制挖掘方面词和上下文之间的关系.但是传统的注意力机制在训练时,往往会倾向于关注出现频率较高的情感词,给其分配较高的注意力权重值,对于低频情感词却关注不足.为了解决上述问题,提出了一种使用改进的自注意力机制的方...     

基于XLNet的情感分析模型

目前通过深度学习方法进行语言模型预训练是情感分析的主要方式,XLNet模型的提出解决了BERT模型上下游任务不一致的问题.在XLNet基础上增加LSTM网络层和Attention机制,提出XLNet-LSTM-Att情感分析优化模型,通过XLNet预训练模型获取包含上下文语义信息的特征向量,接着利用LSTM提取上下文相关特征,最后引入注意力机制根据特征重要程度赋予不同权重,再进行文本情感倾向性分析.仿真实验中将XLNet-LSTM-Att模型与5种常用的情感分析模型进行对比,结果表明提出的模型优于其他测试模型,模型的精准率达到89.29％.     

融合词性和注意力机制的舆情本体非分类关系抽取研究

针对目前大多数非分类关系抽取方法忽略词性和部分局部特征的问题,提出融合词性信息和注意力机制的BiLSTM模型.利用预训练词向量和词性标注工具,将舆情信息语义词向量和词性词向量作为BiLSTM的输入来获取句子高维语义特征,解决长距离依赖问题.利用词语层注意力机制计算2个概念与上下文词语的相关性,获取句子的上下文语义信息....     

基于注意力机制多特征融合与文本情感分析的日志异常检测方法

现有的基于深度学习和神经网络的日志异常检测方法通常存在语义信息提取不完整、依赖日志序列构建和依赖日志解析器等问题.基于注意力机制多特征融合和文本情感分析技术,提出了一种日志异常检测方法 .该方法首先采用词嵌入方法将日志文本向量化以获取日志消息的词向量表示,接着将词向量输入到由双向门控循环单元网络和卷积神经网络组成的特征提取层中分别提取日志消息的上下文依赖特征和局部依赖特征,使用注意力机制分别加强两种特征中的关键信息,增强模型识别关键信息的能力.使用基于注意力机制的特征融合层为两种特征赋予不同权重并加权求和后输入由全连接层构成的输出层中,实现日志消息的情感极性分类,达到日志异常检测的目的 .在BGL公开数据集上的实验结果表明,该模型的分类准确率和F1值分别达到了96.36%和98.06%,与同类日志异常检测模型相比有不同程度的提升,从而证明了日志中的语义情感信息有助于异常检测效果的提升,并且经过实验证明了使用注意力机制的模型可以进一步提高文本情感分类效果,进而提升日志异常检测的准确率.     

基于RoBERTa与句法信息的中文影评情感分析

细粒度情感分析是自然语言处理的关键任务之一,针对现有的解决中文影评情感分析的主流方案一般使用Word2Vector等预训练模型生成静态词向量,不能很好地解决一词多义问题,并且采用CNN池化的方式提取文本特征可能造成文本信息损失造成学习不充分,同时未能利用文本中包含的长距离依赖信息和句子中的句法信息。因此,提出了一种新的情感分析模型RoBERTa-PWCN-GTRU。模型使用RoBERTa预训练模型生成动态文本词向量,解决一词多义问题。为充分提取利用文本信息,采用改进的网络DenseDPCNN捕获文本长距离依赖信息,并与Bi-LSTM获取到的全局语义信息以双通道的方式进行特征融合,再融入邻近加权卷积网络(PWCN)获取到的句子句法信息,并引入门控Tanh-Relu单元(GTRU)进行进一步的特征筛选。在构建的中文影评数据集上的实验结果表明,提出的情感分析模型较主流模型在性能上有明显提升,其在中文影评数据集上的准确率达89.67%,F1值达82.51%,通过消融实验进一步验证了模型性能的有效性。模型能够为制片方未来的电影制作和消费者的购票决策提供有用信息,具有一定的实用价值。