基于改进自注意力机制的方面级情感分析

方面级情感分析是一项细粒度的情感分类任务,目前常用的研究方法是使用神经网络模型结合注意力机制的模式,使用注意力机制挖掘方面词和上下文之间的关系.但是传统的注意力机制在训练时,往往会倾向于关注出现频率较高的情感词,给其分配较高的注意力权重值,对于低频情感词却关注不足.为了解决上述问题,提出了一种使用改进的自注意力机制的方...     

融入词性自注意力机制的方面级情感分类方法

针对基于注意力机制的模型在方面级情感分类任务中忽略了单词词性信息的问题,提出一种融入词性自注意力机制的方面级情感分类方法.该方法首先基于自然语言处理词性标注工具获得词性标注序列,并随机初始化一个词性嵌入矩阵得到词性嵌入向量;然后用自注意力机制学习单词之间的句法依赖关系;最后计算出每个单词的情感分数,利用词情感的结合表示特定方面的情感极性.实验结果表明,在5个公共数据集上,该方法相比效果最好的基线模型,在准确率和宏观F₁分数上分别提升2%和4.83%.表明融入词性信息的注意力机制模型在方面级情感分类任务中性能更好.     

基于多头注意力和词共现关系的方面级情感分析

针对特定目标的情感分析是文本情感细粒度理解任务的重要内容.已有研究大多通过循环神经网络和注意力机制来建模文本序列信息和全局依赖,并利用文本依赖解析树作为辅助知识,但这些方法没有充分利用目标词与文本词之间的依赖关系,也忽略了训练语料库中的词共现关系,而词共现信息往往意味着一种语法搭配.为了解决上述问题,提出一种目标依赖的多头自注意力网络模型.该模型首先设计内联和外联两种不同的注意力机制用于建模文本词和目标词的隐藏状态和语义交互;其次,该模型构建了语料库级别和句子级别的词共现图,并通过图卷积网络将词共现信息融合进文本的特征表示学习并用于下游分类任务.在五个标准数据集上进行了对比实验,实验结果表明,提出的模型在方面级情感分析任务中的性能优于所有对比模型.     

基于双向门控机制和层次注意力的方面级情感分析

针对传统情感分析模型将单词或词语作为单一嵌入,而忽略句子之间依存信息和位置信息的问题,提出基于双向门控机制和层次注意力的方面级情感分析模型（Based on Bi-GRU and Hierarchical Attention,BGHA）。首先,将文本数据转成词向量再加入位置编码信息,得到包含位置和语义信息的词向量后通过双向门控机制提取上下文特征;接着,分别在单词注意力层和句子注意力层用注意力机制对特征分配权重,突出重点词和重点句信息;最后,结合给定的方面信息选择性提取与其较匹配的情感特征。在SemEval 2014、SemEval 2016和Twitter短文本评论数据集上的实验结果表示,BGHA模型的准确率对比其他模型都有不同程度的提高,证明了模型的有效性。     

基于并行双向门控循环单元与自注意力机制的中文文本情感分类

在基于深度学习的文本情感分类研究领域中,目前传统的模型主要是序列结构,即采用单一的预训练词向量来表示文本从而作为神经网络的输入,然而使用某一种预训练的词向量会存在未登录词和词语语义学习不充分的问题。针对此问题,提出基于并行双向门控循环单元（gated recurrent unit,GRU）网络与自注意力机制的文本情感分类模型,利用两种词向量对文本进行表示并作为并行双向GRU网络的输入,通过上下两个通道分别对文本进行上下文信息的捕捉,得到表征向量,再依靠自注意力机制学习词语权重并加权,最后对两个通道的输出向量进行向量融合,作为输入进入全连接层判别情感倾向。将本文模型与多个传统模型在两个公共数据集上进行实验验证,结果表明本文模型在查准率、查全率、F₁值和准确率等性能指标上相比于双向门控循环单元网络模型、双向长短时记忆网络模型和双向门控循环单元网络与自注意力机制的单通道网络模型均有所提升。     

基于双输入和BiLSTM-MHSA的评论文本方面情感分类方法

【目的】针对方面情感分类输入类别在不同领域之间差异较大,汽车用户评论文本语义信息不全,语义特征难以提取等问题,提出基于双通道输入的并行双向编码表征(bidirectional encoder representation from transformers, BERT)双向长短期记忆多头自注意力模型的方面情感分类方法。【方法】首先采用了方面情感和方面抽取的双重标签进行标注;其次通过并行的方面抽取和方面情感分类任务通道,分别使用BERT、双向长短期记忆网络(bidirectional long and short-term memory networks, Bi-LSTM)及多头注意力机制(multihead self-attention, MHSA)提取更深层次的语义信息及近距离和远距离特征信息;最后采用条件随机场(conditional random field, CRF)分类器和Softmax分类器进行分类。【结果】在相关的汽车用户评论文本数据集和多语言混合数据集上,本研究提出的模型相较于主流的方面情感分类方法,具有同步抽取方面词和判断情感极性的能力,且有效提高了方面词抽取和方面情...     

基于注意力卷积神经网络的中文虚假评论检测

针对现有的虚假评论检测方法未充分利用虚假评论文本特征这一问题,本文提出一种基于多层注意力机制的卷积神经网络模型。首先,使用多种预训练词向量初始化词嵌入层,并进行复值位置编码;然后,将经过多种卷积核卷积得到的多种特征映射依次通过嵌入用户特征的通道级和卷积核级的注意力层,根据特征重要程度分配不同权重;最后,将拟合的评论文本特征表示进行Softmax分类。实验结果表明,与诸多主流优秀神经网络模型相比,本文模型准确率和F₁值分别提高4.74和3.86个百分点。     

基于多头注意力的双向LSTM情感分析模型研究

文本情感分析是自然语言处理领域中的重要任务,是指通过提取文本特征对基于文本的情感倾向进行分类。为了有效地提高文本情感分析准确率,提出一种新的基于多头注意力的双向长短期记忆(long short-term memory,LSTM)文本情感分析模型(Multi-Head Attention-based Bi-LSTM Model,MHA-B)。模型先利用双向LSTM进行初步特征提取,再结合多头注意力机制从不同的维度和表示子空间里提取相关的信息。在Large Movie Review Dataset与Semeval-2017-task4-A English两个数据集的实验结果表明:MHA-B模型的情感分析准确率与现有多种模型相比都有所提高。     

基于卷积神经网络和双向门控循环单元网络注意力机制的情感分析

传统的情感分析方法不能获取全局特征,以及否定词、转折词和程度副词的出现影响句子极性判断.在深度学习方法基础上提出了基于卷积神经网络和双向门控循环单元网络注意力机制的短文本情感分析方法.将情感积分引入卷积神经网络,利用情感词自身信息,通过双向门控循环网络模型获取全局特征,对影响句子极性的否定词、转折词和程度副词引入注意力...     

基于特征加权词向量的在线医疗评论情感分析

针对在线医疗评论文本具有行业专业性强、差异性大、不够规范等特点,提出一种基于特征加权词向量的在线医疗评论情感分析方法.利用Word2vec方法构建词向量模型,抽取情感词集合完善医疗服务领域情感词典,根据句法关系识别主题词与情感词的依存关系,引入期望交叉熵因子,建立特征加权词向量模型,分析在线医疗评论的情感倾向.实验结果表明扩充的医疗服务情感词典在分析性能上的准确率、召回率以及F₁值均高于基础情感词典,引入期望交叉熵因子后,基于特征加权词向量的情感分析方法在SVM分类上表现出更好的效果,体现了其在在线医疗评论挖掘领域的良好效用.      

基于表示学习的情感分析研究

提出一个基于表示学习的文本情感分析模型C&W-SP。首先基于C&W模型的词表示改进训练模型, 实现在词表示训练过程中融入情感信息和词性信息的不同模型设计; 然后利用NLP&CC’2013中的评测数据集, 进行多种模型的实验对比。实验结果表明, 融入情感信息和词性信息的C&W-SP模型性能效果最优, 验证了所提方法的有效性。     

基于卷积神经网络的英文篇章情感量化方法

提出利用卷积神经网络(CNN)预测英文单词情感极性,并利用英文单词情感极性设计量化篇章情感倾向的方法.首先,利用fastText技术训练词嵌入模型,将英文单词转化为定长、稠密的词向量;接着,以词向量作为输入,构造一维CNN模型,并设计出多种具有不同深度的架构;最后,利用CNN预测模型计算篇章中所含英文单词的平均情感极性作为篇章情感倾向的量化分值.实验结果表明:相比于传统的机器学习模型,提出的CNN预测模型能够提升英文单词情感预测精度,所设计的篇章情感量化方法,也与主观判决情感色彩有较好的一致性.     

修正中文评论挖掘中产品特征词序的实验研究

目前互联网已经成为信息和观点的交换主要媒介,因此也成为了手机用户对于产品观点的最佳来源.但是目前为止研究中文文本的评论挖掘问题的研究还比较少.为了进一步发展这一领域的研究,旨在从中文客户评论中得到用户关心的产品特征.方法基于关联规则理论中的Apriori算法.主要通过计算频繁特征项的各分量在文本中出现位置的概率,从而确定挖掘到的候选产品特征中词汇的语序,使挖掘结果满足中文的正规语法要求.采用因特网上的评论数据作为语料,通过实验结果表明所提出的方法使得中文评论中的产品特征挖掘性能有所提高.     

基于融合条目词嵌入和注意力机制的自动ICD编码

构建一种基于融合条目词嵌入和注意力机制的深度学习模型,可以充分利用电子病案中的多种非结构化文本数据,对病案首页的主要诊断进行自动ICD编码。该模型首先对含有病案条目的文本进行融合条目的词嵌入,并通过关键词注意力来丰富词级别的类别表示;然后利用词语注意力来突出重点词语的作用,增强文本表示;最后通过全连接神经网络分类器进行分类,输出ICD编码。通过在中文电子病案数据集上的消融实验,验证了融合条目词嵌入、关键词注意力和词语注意力的有效性;与多个基准模型相比,所建模型在对81种疾病的分类中取得最好的分类效果,可以有效地提高自动ICD编码的质量。     

基于RoBERTa与句法信息的中文影评情感分析

细粒度情感分析是自然语言处理的关键任务之一,针对现有的解决中文影评情感分析的主流方案一般使用Word2Vector等预训练模型生成静态词向量,不能很好地解决一词多义问题,并且采用CNN池化的方式提取文本特征可能造成文本信息损失造成学习不充分,同时未能利用文本中包含的长距离依赖信息和句子中的句法信息。因此,提出了一种新的情感分析模型RoBERTa-PWCN-GTRU。模型使用RoBERTa预训练模型生成动态文本词向量,解决一词多义问题。为充分提取利用文本信息,采用改进的网络DenseDPCNN捕获文本长距离依赖信息,并与Bi-LSTM获取到的全局语义信息以双通道的方式进行特征融合,再融入邻近加权卷积网络(PWCN)获取到的句子句法信息,并引入门控Tanh-Relu单元(GTRU)进行进一步的特征筛选。在构建的中文影评数据集上的实验结果表明,提出的情感分析模型较主流模型在性能上有明显提升,其在中文影评数据集上的准确率达89.67%,F1值达82.51%,通过消融实验进一步验证了模型性能的有效性。模型能够为制片方未来的电影制作和消费者的购票决策提供有用信息,具有一定的实用价值。     

基于双向编码器表征模型和并行混合网络的生鲜水果短文本情感分类

为了提升生鲜水果领域短文本情感分类的准确率,提出一种并行混合网络的情感分类模型。针对食品领域出现较多的一词多义现象,采用双向编码器表征模型（Bidirectional Encoder Representations from Transformers,BERT）来提供词的向量化表示;针对生鲜食品评论特殊的结构,采用分段池化卷积神经网络（Piecewise Convolutional Neural Network,PCNN）与双向门控循环单元（Bidirectional Gated Recurrent Unit,BiGRU）并行的模型来对文本序列进行特征的提取,最终使用Sigmoid来进行情感分类。为保证实验的公允,在公开数据集上进行实验,结果表明,本文提出的模型准确率达到了94.45%和85.88%。同时发现当PCNN选取合适的分段数之后,也能达到一个较好的效果,其准确率,召回率,F1值均高于复杂度更高的BiGRU模型。提出的模型在生鲜水果短文本的情感分类中表现良好,但是对于其他的生鲜食品表现未知。     

基于微博表情符号的情感词典构建研究

基于微博表情符号,提出一种自动构建情感词典的方法。 从微博平台抓取大量带有表情符号的微博文本,并依据表情符号对微博文本进行情感倾向标注,生成情感语料库。 对语料库进行分词、去重等预处理工作,根据词性规则抽取微博文本中情感词,统计每个情感词在正向和负向语料库中出现的次数,计算情感词的卡方统计值获得情感强度,根据情感词在正负微博文本中出现的概率判定情感词的倾向性,进而生成情感词典。 这是一种全新的思路。 以人工标注的情感词典为基准数据,实验结果表明,本文方法标注情感词的准确率在80%左右,在情绪词强度阈值θ为20、30时,生成情感词典综合F值最好,达到了82%以上。      

基于主题情感混合模型的无监督文本情感分析

针对有监督、半监督的文本情感分析存在标注样本不容易获取的问题, 通过在LDA模型中融入情感模型, 提出一种无监督的主题情感混合模型(UTSU模型)。UTSU模型对每个句子采样情感标签, 对每个词采样主题标签, 无须对样本进行标注, 就可以得到各个主题的主题情感词, 从而对文档集进行情感分类。情感分类实验对比表明, UTSU模型的分类性能比有监督情感分类方法稍差, 但在无监督的情感分类方法中效果最好, 情感分类综合指标比ASUM模型提高了约2%, 比JST模型提高了约16%。