基于BERT模型的文本评论情感分析

目前,用户的评论对产品的改进具有重大意义,为了解决文本情感人工阅读效率低下和传统词向量搭配神经网络解决文本情感分析准确率不高的问题,本文中提出了一种基于BERT模型的文本情感分类的解决方案.本文实验中使用谭松波酒店评论语料,通过使用预训练好的BERT模型进行fine tune,将得到的结果通过搭建的神经网络模型进行分类...     

基于卷积注意力的情感增强微博立场检测

立场检测任务的目的是通过分析用户对特定话题发表的评论以判断其对该话题是支持还是反对的,该任务的关键是捕捉文本信息与其对应话题的相关特征。针对目前已有的微博立场检测模型存在仅考虑文本特征,而未结合话题特征,以及忽略了情感信息对微博立场检测的影响而导致分类效果差的问题,文章提出基于卷积注意力的情感增强微博立场检测模型。该模型通过卷积注意力对文本信息和其对应的话题信息提取特征,同时捕捉其相关特征,然后通过情感增强中词语级情感增强获得带有情感信息的词向量表示,将其与相关特征点相乘得到针对话题的情感增强句向量,其次通过拼接句子级情感增强特征以丰富最终的语义表示,最后对该语义表示进行分类。该模型在NLPCC-2016数据集中取得了较好的结果,相对于目前最优模型在五个话题上分别提高了7.9%、5.8%、5.3%、1.3%和5.2%。     

基于三元词组模式的微博情感分类方法

针对微博的倾向性分析问题,提出了一种基于三元词组模式的情感分类方法。该方法通过构造情感词典及微博的三元词组模式,对未标注语料自动进行情感评分并标注情感极性,然后使用自动标注的语料训练得到情感分类器。在测试集上的实验结果表明,使用无人工参与标注的训练语料达到了79.26%的测试正确率。     

基于BERT的因果关系抽取

针对传统关系抽取模型依赖特征工程等机器学习方法, 存在准确率较低且规则较繁琐等问题, 提出一种BERT+BiLSTM＋CRF方法. 首先使用BERT(bidirectional encoder representations from transformers)对语料进行预训练; 然后利用BERT根据上下文特征动态生成词向量的特点, 将生成的词向量通过双向长短期记忆网络（BiLSTM）编码; 最后输入到条件随机场（CRF）层完成对因果关系的抽取. 实验结果表明, 该模型在SemEval-CE数据集上准确率比BiLSTM+CRF+self-ATT模型提高了0.054 1, 从而提高了深度学习方法在因果关系抽取任务中的性能.     

基于预训练语言模型与多任务学习的事件检测方法

为了解决现有事件检测方法存在语料稀疏和触发词一词多义导致的触发词抽取不准确以及类型判断错误等问题,该文将双向Transformer编码表示(BERT)的预训练模型与条件随机场(CRF)结合,并联合多任务学习,提出了一种基于BERT-CRF模型与多任务学习的事件检测方法(MBCED)。该方法同时进行事件检测任务和词义消歧任务,将词义消歧任务中学习到的知识转移到事件检测任务中,既补充了语料,也缓解了一词多义所导致的触发词分类不准确问题。在ACE2005数据集上的传统事件检测模型对比实验结果表明,与动态多池卷积神经网络(DMCNN)、基于循环神经网络的联合模型(JRNN)、基于双向长短期记忆和条件随机场(BiLSTM-CRF)的联合模型、BERT-CRF方法相比,MBCED方法触发词识别的F值提升了1.2%。多任务学习模型对比实验结果表明,与基于多任务深度学习的实体与事件联合抽取(MDL-J3E)模型、基于共享BERT的多任务学习(MSBERT)模型、基于CRF多任务学习的事件抽取模型(MTL-CRF)相比,MBCED在触发词识别和触发词分类2个子任务上的准确率都较好。     

中文微博情感倾向性分析特征工程

情感倾向性分析是情感分析的重要组成部分,是一种按照情感倾向对文本进行分类的任务。微博与传统的评论文本相比更加口语化与符号化,因此对微博进行情感倾向性分析是一个非常有挑战性的任务。基于机器学习的方法是情感倾向性分析最经典的算法,核心是要进行特征的分析和选择,例如词袋特征等。然而,由于中文语言的独特性,前人很多有效的特征都是语言相关的,将其直接用于中文微博效果不佳。在中文微博语料上,还没有学者进行细致的特征工程建设。基于此,文章综合国内外诸多特征,并考虑到中文的独特性,对中文微博的褒贬中倾向性判别特征工程的词、词组、数值和句法特征分别进行了研究,并提出了基于词典规则的情感评分的新特征。最后经过大量实验与分析,得出了可靠的特征组合。实验结果表明,此方法能够明显提高情感倾向性分析的结果。     

基于全局语义学习的文本情感增强方法研究

为解决弱情感倾向语料影响文本情感分类的问题,提出基于全局语义学习的文本情感增强方法。首先设计语料划分方法,将语料划分为强情感倾向语料与弱情感倾向语料,然后,从文本处理全过程及整体语义学习的角度出发,构造均值抽取与最大值抽取的语义提取方式及文档信息向量,改进基于循环神经网络的变分自编码器的语义学习过程,并用于学习强情感倾向语料中文本的词语序列特征与语义特征。基于此,对弱情感倾向语料进行重构,实现情感增强目标,最后,将经过情感增强的语料替换掉原来的弱情感倾向语料,再进行情感分类模型的训练与测试。结果表明:提出的文本情感增强方法能够提升情感分类效果,并使得Bert分类器对IMDb影评数据集的情感分类精确率达到了93.03%。     

基于中文微博语料的情感倾向性分析

微博的兴起与传播使得短文本情感分类成为目前的热门研究领域。通过对中文微博语料的情感倾向性分析进行研究,提出了一种新的情感分类方法。首先构建了两级情感词典,并对不同级别情感词作不同增强;然后在情感特征方面使用N-Gram方法,尽量获取有限长度博文中的未登录情感词和情感信息。经实验验证与传统方式相比较,该方法的准确率和召回率都有所提高,在COAE2014微博情感倾向性评测任务中也取得了较好的成绩。     

基于双输入和BiLSTM-MHSA的评论文本方面情感分类方法

【目的】针对方面情感分类输入类别在不同领域之间差异较大,汽车用户评论文本语义信息不全,语义特征难以提取等问题,提出基于双通道输入的并行双向编码表征(bidirectional encoder representation from transformers, BERT)双向长短期记忆多头自注意力模型的方面情感分类方法。【方法】首先采用了方面情感和方面抽取的双重标签进行标注;其次通过并行的方面抽取和方面情感分类任务通道,分别使用BERT、双向长短期记忆网络(bidirectional long and short-term memory networks, Bi-LSTM)及多头注意力机制(multihead self-attention, MHSA)提取更深层次的语义信息及近距离和远距离特征信息;最后采用条件随机场(conditional random field, CRF)分类器和Softmax分类器进行分类。【结果】在相关的汽车用户评论文本数据集和多语言混合数据集上,本研究提出的模型相较于主流的方面情感分类方法,具有同步抽取方面词和判断情感极性的能力,且有效提高了方面词抽取和方面情...     

微博情感分析综述

大数据时代下,微博作为一个开放性的信息传播平台吸引了众多的网民参与其中,与之相关的研究也得到了广泛的开展。本文将微博情感分析任务分为3步:微博语料的获取与预处理、情感特征的标注与选择、主观文本的情感分类。在主观文本分类中,将情感分类分为基于规则的方法和基于机器学习的方法。最后对当前中文微博的情感分析现状做了总结,并阐述了当前微博情感分类还需亟待解决的一些问题。     

改进的基于Transformer的双向编码器的对话文本识别

利用文本分析技术可以帮助民警快速地准确地提取电子数据,使用预训练语言模型进行下游任务能够有效减轻过拟合,在使用微调BERT进行文本分类的时候一般将[CLS]位对应的隐含层表示作为句向量输入到全连接层中进行分类,这会产生一部分语义信息的丢失从而导致分类准确率的下降。针对这一问题,提出在BERT后接一个语义特征提取器以充分利用高层的语义信息,使用不同大小的二维卷积核对BERT输出的隐藏状态进行卷积,然后用共享权重的Squeeze-and-Excitation模块对通道进行加权,通过最大池化层后连结起来,最后输入到全连接层进行分类。在自建的涉案对话文本数据集和公开数据集THUCNews上进行测试,结果表明,与BERT基线模型和其他分类模型相比,改进后的微调BERT模型具有更好的分类效果。     

基于集成学习的文本情感分类方法

针对自然语言处理的文本情感分类问题,提出一种基于集成学习的文本情感分类方法;基于微博数据的特殊性,首先对微博数据进行分词等预处理,结合词频-逆文档频率(TF-IDF)和奇异值分解(SVD)方法进行特征提取和降维,再通过堆叠泛化(stacking)集成学习的方式进行分类模型融合。结果表明,模型融合对文本情感分析的准确率达到93%,可以有效地判别微博文本的情感极性。     

基于多种特征融合的微博突发事件检测方法

利用微博数据检测突发事件具有重要意义.针对以往检测方法特征不够丰富、准确率不高等问题,提出了一种基于多种特征融合的微博突发事件检测方法.该方法根据情感符号构建情感特征模型,对微博数据进行情感分类,并采用Kleinberg算法对情感特征进行突发期检测;在突发期内根据词频特征、词频增长特征和话题标签特征融合加权提取突发词,...     

面向话题的中文微博观点倾向性分析研究

随着微博快速崛起,每天数以千万的人通过微博分享自己对各类话题的观点与情感,如何自动感知微博社区对特定话题的观点倾向性,已经成为中文微博计算亟待解决的问题。由于微博内容短小且不规范,传统的情感分析效率低下且效果很难满足实际需求。现提出一种将情感词典分类的方法进行实验研究,针对腾讯微博20个话题约17 500条微博32 000个句子的数据进行实验,实验结果表明提出的情感词典分类方法效果很好。     

融合表情符号图像特征学习的微博情感分类

表情符号作为一种新兴的网络图形化语言,由于能够直观地表达用户的情感和态度,因此在社交平台被广泛使用。现有的利用表情符号进行微博情感分类的研究主要考虑表情符号的文本特征,这样的做法不能很好的捕捉表情符号之间更细粒度的联系,并无法适应表情的不断发展与变化。针对现有研究存在的问题,本文提出了一种基于卷积自编码器的表情图像特征学习的微博情感分类模型。该模型通过卷积自编码器捕捉的表情符号的图像特征,然后将图像的嵌入表达融入到微博的文本特征中,再利用多层感知机进行情感分类。该模型分别在中文和英文微博的数据集上和现有的方法进行了对比,实验证明,本文的方法优于现有的方法,并且在新表情和跨语言环境下的泛化能力更强。     

融合BERT中间隐藏层的方面级情感分析模型

现有的基于BERT(bidirectional encoder representations from transformers)的方面级情感分析模型仅使用BERT最后一层隐藏层的输出,忽略BERT中间隐藏层的语义信息,存在信息利用不充分的问题,提出一种融合BERT中间隐藏层的方面级情感分析模型。首先,将评论和方面信息拼接为句子对输入BERT模型,通过BERT的自注意力机制建立评论与方面信息的联系;其次,构建门控卷积网络(gated convolutional neural network, GCNN)对BERT所有隐藏层输出的词向量矩阵进行特征提取,并将提取的特征进行最大池化、拼接得到特征序列;然后,使用双向门控循环单元(bidirectional gated recurrent unit, BiGRU)网络对特征序列进行融合,编码BERT不同隐藏层的信息;最后,引入注意力机制,根据特征与方面信息的相关程度赋予权值。在公开的SemEval2014 Task4评论数据集上的实验结果表明：所提模型在准确率和F₁值两种评价指标上均优于BERT、CapsBERT(ca...     

基于模态交互学习的属性级情感分析

属性词提取和情感极性分类是细粒度情感分析的重要研究内容。为了提高属性词提取和情感极性分类的准确率，本文提出了一种改进的ReBERT模型。该模型基于深度学习的属性级情感分析，引入图像模态进行交互学习，选择了关系提取辅助的融合手段，在文本与图像双模态经BERT,ResNet预训练模型提取的特征向量基础上实现了属性词提取、情感极性分类两个基本任务。该模型在标记后的Twitter15/17数据集上表现良好，属性词预测F1值分别为81.9%与90.8%，属性级情感识别的精确率为76.5%与72.3%。本研究将该模型与同数据集下其他先进的基线方法进行了对比实验，与文本模态的消融实验相辅，证明了该模型在属性级情感分析任务上的优越表现。     

基于BERT与多通道卷积神经网络的细粒度情感分类

为了分析突发事件期间网络舆论的情感倾向,以更有效地调节人们的情绪,维护社会稳定。本文提出了一种融合BERT模型和多通道卷积神经网络的深度学习方法用于细粒度情感分类,以获取更加丰富的文本语义特征信息。通过BERT 对输入的文本进行编码,以增强文本的语义特征表示,再通过具有多个不同大小的卷积核的并行卷积层来学习文本特征,捕获文本的深层次特征,提升模型在文本分类的性能。对比实验表明,该模型在准确性、召回率和F1值方面均优于传统的情感分类模型,并能显著改善细粒度情感分类的性能。除此之外,本文还探究了表情符号对细粒度情感分类模型的影响,实验结果表明表情符号转换成文字后可以增强文本的情感特征提取能力,提升模型分类性能。     

基于半监督学习的微博情感倾向性分析

微博情感倾向性分析通常指对中文微博中每个句子褒义、贬义或者中性的情感进行自动分类。针对微博碎片化和情感类别失衡的特点,在半监督学习reserved self-training方法的框架基础上提取了适用于微博情感分类的文本特征,并提出了针对情感倾向性分析通过训练度阈值设定的方法来优化reserved self-training迭代终止的条件,在保留reserved self-training能有效处理微博语料中语料情感不平衡问题的优点基础上,防止了训练过度情况的发生。COAE 2014微博情感倾向性评测结果证明了该方法的有效性。     

对抗长短时记忆网络的跨语言 文本情感分类方法

针对文本情感分类任务中,有情感标注的语料在不同语言中的不均衡问题,结合深度学习和迁移学习,提出一种基于对抗长短时记忆网络(ALSTM)的跨语言文本情感分类方法.设置双语各自独立的特征提取网络和共享特征提取网络,把获取到的特征拼接输入到分类器进行分类.在共享特征提取网络中,设置语言分类器,运用对抗思想优化模型,通过投票法决定文本最终的情感极性.实验表明:该方法可以取得跨语言文本情感分类任务更高的准确度.