融合用户信息和评价对象信息的文本情感分类

文档级别情感分类的目的在于预测用户对评论文本的情感倾向.目前大部分工作只关注于文档的内容而忽视了用户信息和评价对象信息.事实上,不同的用户在表达情感时选词存在着差异,并且对同一产品不同属性的关注度也会有所不同;不同的词汇在描述不同的评价对象时,也会有着不同的情感倾向性.为了能同时考虑用户和评价对象,提出了一个基于用户和评价对象的层次化注意力网络(hierarchical user aspect attention networks,HUAAN)模型.该模型首先用一个层次化的结构编码各类信息(包括词汇、句子、评价对象、文档),然后引入基于用户和评价对象的注意力机制来建模这两类信息.为了验证HUAAN模型的有效性,在两个真实的数据集上进行实验,结果表明在融入这两类信息之后,HUAAN在同等条件下比NSC+UPA系统的准确率高.     

基于ERNIE和双重注意力机制的微博情感分析

针对传统词向量无法在上下文中表示词的多义性,以及先验的情感资源未能在神经网络中得到充分利用等问题,提出一种基于知识增强语义表示（Enhanced Representation through Knowledge Integration,ERNIE）和双重注意力机制（Dual Attention Mechanism, DAM）的微博情感分析模型ERNIE-DAM.首先利用现有的情感资源构建一个包含情感词、否定词和程度副词的情感资源库;其次采用BLSTM网络和全连接网络分别对文本和文本中包含的情感信息进行编码,不同的注意力机制分别用于提取文本和情感信息中的上下文关系特征和情感特征,并且均采用ERNIE预训练模型获取文本的动态特征表示;最后将上下文关系特征和情感特征进行拼接融合,获取最终的特征向量表示.实验结果表明,新模型在COAE2014和weibo＿senti＿100k数据集上的分类准确率分别达到了94.50%和98.23%,同时也验证了将情感资源运用到神经网络中的有效性.     

融合图卷积神经网络的文本情感分类

文档级别情感分类旨在预测用户对评论文本的情感极性标签。最近研究发现,利用用户和产品信息能有效地提升情感分类性能,然而,现有大多数研究只关注用户与评论、产品与评论的信息,忽略了用户与用户、产品与产品之间的内在关联,因此,本文提出一种融合图卷积神经网络的文本情感分类模型。首先,根据数据集构建了用户与用户关系图、用户与产品关系图;然后,融合两种关系图形成异质图,并使用图卷积神经网络学习用户与用户、产品与产品之间的内在联系,获得更好的用户和产品表示;最后,使用融合CNN的用户注意力和产品注意力机制的分层网络进行情感分类。实验结果表明,在公开数据集IMDB、Yelp2013和Yelp2014上,本文提出的模型能取得较好的分类效果。     

基于混合神经网络的中文隐式情感分析

隐式情感分析是情感计算的重要组成部分,尤其是基于深度学习的情感分析近年来成为了研究热点.本文利用卷积神经网络对文本进行特征提取,结合长短期记忆网络(LSTM)结构提取上下文信息,并且在网络中加入注意力机制,构建一种新型混合神经网络模型,实现对文本隐式情感的分析.混合神经网络模型分别从单词级和句子级的层次结构中提取更有意义的句子语义和结构等隐藏特征,通过注意力机制关注情绪贡献率较大的特征.该模型在公开的隐式情感数据集上分类准确率达到了77%.隐式情感分析的研究可以更全面地提高文本情感分析效果,进一步推动文本情感分析在知识嵌入、文本表示学习、用户建模和自然语言等领域的应用.     

基于卷积神经网络和双向门控循环单元网络注意力机制的情感分析

传统的情感分析方法不能获取全局特征,以及否定词、转折词和程度副词的出现影响句子极性判断.在深度学习方法基础上提出了基于卷积神经网络和双向门控循环单元网络注意力机制的短文本情感分析方法.将情感积分引入卷积神经网络,利用情感词自身信息,通过双向门控循环网络模型获取全局特征,对影响句子极性的否定词、转折词和程度副词引入注意力机制实现对这类词的重点关注,提取影响句子极性的重要信息.实验结果表明,该模型与现有相关模型相比,有效提高情感分类的准确率.     

融合TCN与BiLSTM+Attention模型的疫情期间文本情感分析

鉴于目前主流的文本情感分析方法存在难以解决长期依赖和对上下文信息使用不足的缺陷,本文首次提出将时序卷积网络(TCN)和BiLSTM+Attention模型融合的文本情感分析模型。该模型利用TCN的因果卷积和扩张卷积结构获取更高层次的文本序列特征,并通过双向长短期记忆网络(BiLSTM)进一步学习上下文相关信息的情感特征;最后,引入自注意力机制(Self-Attention)帮助模型优化特征向量,提高情感分类的准确度。在新型冠状病毒疫情期间的微博文本数据集上进行对比实验,结果表明该模型的性能相较于其它模型有明显的提升。     

基于知识增强的深度新闻推荐网络

在新闻推荐场景下,传统的基于文本特征的新闻推荐模型只考虑了词的共现关系,无法捕获词语的隐含词义和关联知识;而基于深度学习的推荐模型在融合知识图谱信息中仅仅考虑实体的信息,忽略了远距离实体之间的联系,造成实体之间的关联信息和深层次语义联系的缺失.针对该问题提出了一种基于知识增强的深度新闻推荐网络（deep knowledge-enhanced network,DKEN）,利用长短期记忆网络提取知识图谱中的实体路径特征,补充到注意力网络中,然后针对不同的候选新闻动态地构建用户的特征.实验表明该实体路径信息能提高模型的效果,在F₁指标上提升大约1%.      

融合属性嵌入与关系注意力的跨语言实体对齐

目前知识图谱实体对齐的主流方法是通过图神经网络学习知识图谱的嵌入表示，并测量实体嵌入之间的相似性实现实体的对齐.很多实体对齐方法只考虑知识图谱的结构信息和关系信息，却常常忽略了属性信息.针对上述问题，提出了一种融合属性嵌入的实体对齐方法：融合属性信息的精简关系感知双图卷积网络模型.首先，基于关系感知双图卷积网络的注意力机制提取知识图谱的关系信息；然后，利用带高速门的图卷积网络获取属性信息；最后，融合二者的嵌入信息以实现更高准确率的实体对齐.在3个跨语言数据集上的实验结果表明，该方法通过融合知识图谱属性信息增强了实体表示能力，在3个数据集上Hits@1值相比原模型分别增长了6.42%、4.59%和1.98%，对齐效果明显优于目前主流的实体对齐方法.     

基于级联卷积和Attention机制的情感分析

目前大多数情感分类方法由于只学习到文本的浅层特征且无法区分不同词的重要性,导致情感分类准确率低的问题,因此提出了一种基于级联卷积和注意力机制的情感分析模型.利用多个卷积层提取序列文本的局部特征,同时使用注意力机制从卷积层生成的特征图中进一步学习相关信息,获取不同词和特征的不同影响权重;然后将两者特征级联在一起,形成一个新的特征图,这个特征图又作为后面卷积层的输入进行特征提取,重复此过程获取文本的深层特征.并且使用全局平均池化代替了传统的全连接来减少网络的参数数量.实验部分通过多个评价指标对比了提出方法与其他模型的性能,证明提出的方法在多个方面具有良好的情感识别性能.     

基于题目关联知识的试题难度预测研究

为保障考试的公平性和客观性,需在测试前获取试题难度参数.提出一种基于题目关联知识的试题难度预测模型(MR-ABNN).首先,构建文本信息摘要抽取模型,获取题目的关联知识来丰富题干的上下文;然后利用加入注意力机制的双向循环神经网络模型挖掘试题文本信息的逻辑关系,限定语句对问题的难度贡献来实现试题难度的自动评估;最后在大学...     

采用循环神经网络的情感分析注意力模型

针对目前情感分析中的循环神经网络模型缺乏对情感词的关注的问题,提出一种基于循环神经网络的情感词注意力模型,通过引入注意力机制,在情感分类时着重考虑文本中的情感词的影响.在NLPCC 2014情感分析数据集及IMDB影评数据集上进行试验,结果表明:该模型能够提高情感分析的效果.     

基于情感项区分极性可信度的文本情感分类

针对语义情感知识的文本情感分析的局限性,本文提出情感项区分极性可信度的文本情感分类方法.首先,基于核心谓词结构提取修饰主题的情感项.接着,利用改进的互信息方法计算情感项可信度,选取其中可信度前N的情感项.然后,利用改进的词频-逆向文件频率(TF-IDF)算法标记前N个情感项的正或负倾向符号.最后,基于基因表达式编程分类技术和谭松波博士提供的语料集,利用训练集训练分类模型,并使用测试集检验分类精度,实验结果表明本文提出的方法具有良好的效果.     

基于卷积神经网络的英文篇章情感量化方法

提出利用卷积神经网络(CNN)预测英文单词情感极性,并利用英文单词情感极性设计量化篇章情感倾向的方法.首先,利用fastText技术训练词嵌入模型,将英文单词转化为定长、稠密的词向量;接着,以词向量作为输入,构造一维CNN模型,并设计出多种具有不同深度的架构;最后,利用CNN预测模型计算篇章中所含英文单词的平均情感极性作为篇章情感倾向的量化分值.实验结果表明:相比于传统的机器学习模型,提出的CNN预测模型能够提升英文单词情感预测精度,所设计的篇章情感量化方法,也与主观判决情感色彩有较好的一致性.     

融合ChineseBERT和双向注意力流的中文商品评论方面情感分析

准确分类电商平台中用户评论所包含的多个方面的情感极性,能够提升购买决策的有效性。为此,提出一种融合ChineseBERT和双向注意力流(Bidirectional Attention Flow,BiDAF)的中文商品评论方面情感分析模型。首先,通过融合拼音与字形的ChineseBERT预训练语言模型获得评论文本和方面文本的词嵌入,并采用从位置编码和内存压缩注意力两个方面改进的Transformer来表征评论文本和方面文本的语义信息。然后,使用双向注意力流学习评论文本与方面文本的关系,找出评论文本和方面文本中关键信息所对应的词语。最后,将Transformer和双向注意力流的输出同时输入到多层感知机(Multilayer Perceptron,MLP)中,进行信息级联和情感极性的分类输出。测试结果表明,提出的模型在两个数据集上的准确率分别为82.90%和71.08%,F1分数分别为82.81%和70.98%。     

基于扩展的情感词典和卡方模型的中文情感特征选择方法

根据经典的特征选择方法在中文情感评论文本中应用的缺陷和不足,提出了一种改进的中文情感特征选择方法.目前,现有的情感特征选择方法普遍只利用了特征项在褒贬类中的统计信息,忽略了情感极性值对特征选择的影响;同时情感文本中否定词会带来特征项情感极性反转的情况,为特征选择带来较大的负面影响.针对这些问题,首先对情感文本中的否定词进行了检测和判定,对否定词界定范围内的情感特征词进行反义变换处理,有效的解决了情感文本中极性反转的问题.同时还将特征项的情感极性值和其在类中的频率特点两个因素融入到卡方特征选择模型(CHI)中,从而提升了卡方模型在文本情感特征选择的效果.实验结果表明,本文算法较其他算法在多个领域数据集上的情感分类准确率提高了1.5%左右.     

基于双向门控机制和层次注意力的方面级情感分析

针对传统情感分析模型将单词或词语作为单一嵌入,而忽略句子之间依存信息和位置信息的问题,提出基于双向门控机制和层次注意力的方面级情感分析模型（Based on Bi-GRU and Hierarchical Attention,BGHA）。首先,将文本数据转成词向量再加入位置编码信息,得到包含位置和语义信息的词向量后通过双向门控机制提取上下文特征;接着,分别在单词注意力层和句子注意力层用注意力机制对特征分配权重,突出重点词和重点句信息;最后,结合给定的方面信息选择性提取与其较匹配的情感特征。在SemEval 2014、SemEval 2016和Twitter短文本评论数据集上的实验结果表示,BGHA模型的准确率对比其他模型都有不同程度的提高,证明了模型的有效性。     

基于并行双向门控循环单元与自注意力机制的中文文本情感分类

在基于深度学习的文本情感分类研究领域中,目前传统的模型主要是序列结构,即采用单一的预训练词向量来表示文本从而作为神经网络的输入,然而使用某一种预训练的词向量会存在未登录词和词语语义学习不充分的问题。针对此问题,提出基于并行双向门控循环单元（gated recurrent unit,GRU）网络与自注意力机制的文本情感分类模型,利用两种词向量对文本进行表示并作为并行双向GRU网络的输入,通过上下两个通道分别对文本进行上下文信息的捕捉,得到表征向量,再依靠自注意力机制学习词语权重并加权,最后对两个通道的输出向量进行向量融合,作为输入进入全连接层判别情感倾向。将本文模型与多个传统模型在两个公共数据集上进行实验验证,结果表明本文模型在查准率、查全率、F₁值和准确率等性能指标上相比于双向门控循环单元网络模型、双向长短时记忆网络模型和双向门控循环单元网络与自注意力机制的单通道网络模型均有所提升。