基于ERNIE和双重注意力机制的微博情感分析

针对传统词向量无法在上下文中表示词的多义性,以及先验的情感资源未能在神经网络中得到充分利用等问题,提出一种基于知识增强语义表示（Enhanced Representation through Knowledge Integration,ERNIE）和双重注意力机制（Dual Attention Mechanism, DAM）的微博情感分析模型ERNIE-DAM.首先利用现有的情感资源构建一个包含情感词、否定词和程度副词的情感资源库;其次采用BLSTM网络和全连接网络分别对文本和文本中包含的情感信息进行编码,不同的注意力机制分别用于提取文本和情感信息中的上下文关系特征和情感特征,并且均采用ERNIE预训练模型获取文本的动态特征表示;最后将上下文关系特征和情感特征进行拼接融合,获取最终的特征向量表示.实验结果表明,新模型在COAE2014和weibo＿senti＿100k数据集上的分类准确率分别达到了94.50%和98.23%,同时也验证了将情感资源运用到神经网络中的有效性.     

基于双重注意力模型的微博情感倾向性分析

在现有的微博情感倾向性分析任务中,微博标签往往被视为噪声信息,在数据预处理阶段就被剔除.但微博标签蕴含着微博内容的关键信息,所以标签的剔除对于微博的情感倾向性分析是不利的.针对该问题,充分考虑微博的文本特点,提出一种基于双重注意力的情感分析模型.采用Bi-LSTM(Bi-directional Long Short-Term Memory)分别构建微博文本和微博标签的语义表示,采用双重注意力机制同时对微博的正文层和微博的标签层进行语义编码,提取出文本中的关键信息.最后,基于所构建的语义表示训练情感分类模型.实验结果表明,该模型在微博情感倾向性分析上取得了较好的效果.     

基于卷积注意力的情感增强微博立场检测

立场检测任务的目的是通过分析用户对特定话题发表的评论以判断其对该话题是支持还是反对的,该任务的关键是捕捉文本信息与其对应话题的相关特征。针对目前已有的微博立场检测模型存在仅考虑文本特征,而未结合话题特征,以及忽略了情感信息对微博立场检测的影响而导致分类效果差的问题,文章提出基于卷积注意力的情感增强微博立场检测模型。该模型通过卷积注意力对文本信息和其对应的话题信息提取特征,同时捕捉其相关特征,然后通过情感增强中词语级情感增强获得带有情感信息的词向量表示,将其与相关特征点相乘得到针对话题的情感增强句向量,其次通过拼接句子级情感增强特征以丰富最终的语义表示,最后对该语义表示进行分类。该模型在NLPCC-2016数据集中取得了较好的结果,相对于目前最优模型在五个话题上分别提高了7.9%、5.8%、5.3%、1.3%和5.2%。     

基于主题注意力层次记忆网络的文档情感建模

针对文档水平情感分析传统模型存在先验知识依赖以及语义理解不足问题,提出一种基于注意力机制与层次网络特征表示的情感分析模型TWE-ANN.采用基于CBOW方式的word2vec模型针对语料训练词向量,减小词向量间的稀疏度,使用基于Gibbs采样的LDA算法计算出文档主题分布矩阵,继而通过层次LSTM神经网络获取更为完整的文本上下文信息从而提取出深度情感特征,将文档主题分布矩阵作为模型注意力机制提取文档特征,从而实现情感分类.实验结果表明:提出的TWE-ANN模型较TSA、HAN模型分类效果较好,在Yelp2015、IMDB、Amazon数据集上的F值分别提升了1.1%、0.3%、1.8%,在Yelp2015和Amazon数据集上的RMSE值分别提升了1.3%、2.1%.     

基于BERT和改进胶囊网络的关系分类方法

针对关系分类主流模型中存在的空间信息丢失和旋转不变性差的缺点,提出一个基于BERT和多头注意机制-胶囊网络(MA-CapsNet)的算法模型.该模型首先在句子的实体两端插入特殊符号,增强模型对实体信息的表示能力,再通过预训练的BERT语言模型获得包含上下文信息的语义向量表示,然后传入改进后的注重空间位置信息的胶囊网络中学习句子的语义特征并分类.同时引入多头注意力机制进一步提升模型的分类效果.在SemEval-2010 task 8关系分类数据集上,该算法模型取得了90.15%的宏F值.实验表明该模型架构能强化对句子语义特征的捕捉,改善关系分类任务的分类效果.     

基于混合神经网络的中文隐式情感分析

隐式情感分析是情感计算的重要组成部分,尤其是基于深度学习的情感分析近年来成为了研究热点.本文利用卷积神经网络对文本进行特征提取,结合长短期记忆网络(LSTM)结构提取上下文信息,并且在网络中加入注意力机制,构建一种新型混合神经网络模型,实现对文本隐式情感的分析.混合神经网络模型分别从单词级和句子级的层次结构中提取更有意义的句子语义和结构等隐藏特征,通过注意力机制关注情绪贡献率较大的特征.该模型在公开的隐式情感数据集上分类准确率达到了77%.隐式情感分析的研究可以更全面地提高文本情感分析效果,进一步推动文本情感分析在知识嵌入、文本表示学习、用户建模和自然语言等领域的应用.     

基于注意力机制多特征融合与文本情感分析的日志异常检测方法

现有的基于深度学习和神经网络的日志异常检测方法通常存在语义信息提取不完整、依赖日志序列构建和依赖日志解析器等问题.基于注意力机制多特征融合和文本情感分析技术,提出了一种日志异常检测方法 .该方法首先采用词嵌入方法将日志文本向量化以获取日志消息的词向量表示,接着将词向量输入到由双向门控循环单元网络和卷积神经网络组成的特征提取层中分别提取日志消息的上下文依赖特征和局部依赖特征,使用注意力机制分别加强两种特征中的关键信息,增强模型识别关键信息的能力.使用基于注意力机制的特征融合层为两种特征赋予不同权重并加权求和后输入由全连接层构成的输出层中,实现日志消息的情感极性分类,达到日志异常检测的目的 .在BGL公开数据集上的实验结果表明,该模型的分类准确率和F1值分别达到了96.36%和98.06%,与同类日志异常检测模型相比有不同程度的提升,从而证明了日志中的语义情感信息有助于异常检测效果的提升,并且经过实验证明了使用注意力机制的模型可以进一步提高文本情感分类效果,进而提升日志异常检测的准确率.     

融合情感特征的深度学习微博情感分析

针对传统情感分析方法对微博短文本应用效果不佳的问题,提出将文本情感特征与深度学习模型融合的微博情感分析新机制.通过词向量计算文本的语义特征,结合基于表情字符的情感特征,利用卷积神经网络挖掘特征集合与情感标签间的深层次关联,训练情感分类器.实验结果表明,相比基于词典的机器学习模型,该机制将情感分析准确率与F度量分别相对提升21.29%和19.20%.该机制结合语义和情感特征,利用卷积神经网络的抽象特征提取能力,改善微博短文本的情感分析精度.     

基于深度学习的文本情感分析

传统的文本情感分析主要基于情感词典、机器学习以及传统的神经网络模型等实现特征的提取及情感的分类,但由于语料简短及特征稀疏,使得这类情感分析方法取得的效果不理想。因此,提出采用基于Self-Attention机制的卷积神经网络(CNN)和双向长短时记忆网络(BI-LSTM)相结合的模型结构(SCBILSTM模型)对微博文本进行情感分析,SCBILSTM利用双向循环神经网络对文本上下文进行特征提取,并利用CNN进行局部特征提取,在此基础上添加自注意力机制,在通过网络爬虫抓取的微博数据集上和其他模型进行对比实验,验证本文中所提出的模型有效提升了文本分类的准确率。     

扩展语义相似情感词的文本情感分类方法

针对文本情感分类中情感语义特征利用不足、特征降维效果欠佳等影响分类效果的问题,提出了一种通过扩展语义相似的情感词以及引入词语间统计特征的高精度网络评论情感分类方法.该方法利用神经网络Skip-gram模型生成词嵌入,通过词嵌入相似性度量将语义相似的词语扩展为情感特征;再利用词语间的统计特征进行特征降维;通过多个弱分器加权构建Adaboost分类模型实现网络评论情感分类.基于酒店评论和手机评论公开测试集进行实验,结果表明其情感分类的正确率分别达到90.96%和93.67%.方法扩展语义相似情感词有利于丰富文本情感语义特征,引入词语间的统计特征有更好的特征降维效果,可以进一步提升文本情感分类的效果.      

基于BiGRU- CNN的网络舆情情感识别模型

目的 随着公众舆论数据的快速增长，社交网络文本情感识别在网络舆情监控中发挥着越来越重要的作用。由于文本数据的稀疏性、高维性和自然语言的复杂语义，情感分析任务面临巨大的挑战。方法 为提高网络舆情情感识别的效果，设计一种融合双向门控循环单元(BiGRU)和卷积神经网络(CNN)的情感识别模型。首先将社交网络文本转换成特征向量，然后通过BiGRU提取文本的上下文情感特征，最后通过CNN提取文本的局部情感特征，构建中文社交网络文本情感识别模型。结果 以新冠疫情期间网民的微博评论为数据集验证模型的可行性和优越性，模型的精确率、召回率和F1值分别达到86.6%、87.06%和86.85%。结论 实验结果表明，融合BiGRU-CNN的特征向量包含更加丰富文本的情感信息，能够有效提升网络舆情情感识别的性能。     

基于特征有序对量化表示的文本分类方法

文本分类技术应尽可能包含语言中各种各样的约束信息,但目前常用的文本表示方法却忽视组成文本的语言特征顺序。该文采用基于聚类的方法实现语言特征有序对的快速量化表示,并由此导出新的基于特征有序对的文本表示方法以揭示文本中所呈现出的语言特征顺序信息。运用向量空间质心法,分别依据词对和词类对表示文本并在3个数据集上进行实验。结果表明性能优于基于单纯词或单纯词类的文本表示方法,宏平均F1值绝对提高分别为3%~4%和5%~7%(相对改善分别是4%~5%和8%~10%)。由此说明特征顺序信息对提升文本分类性能具有重要作用。     

利用新词探测提高中文微博的情感表达抽取

情感表达抽取工作是细粒度情感挖掘的重要任务之一.中文微博中包含大量网络新词和不规范词,现有的方法在进行微博情感表达抽取任务时不能很好地处理上述情况.通过研究发现,微博中新词大量分布在文本的情感表达部分,于是提出了基于CRF的联合抽取模型,即将新词发现融入到情感表达抽取任务中,从而改进原有工作的不足.实验结果表明,新词探测对微博文本情感表达抽取有很好的指示作用,在电影领域和开放领域的微博数据集上分别进行实验,F1值均提高了2%以上.     

基于语义分析的中文微博情感分类方法

通过分析微博的结构特点,提出了一种基于语义分析的中文微博情感分类方法。首先构建了表情符号情感词典和网络用语情感词典;然后结合词典资源对微博文本进行依存句法分析并且构建情感表达式树;最后根据制定的规则计算微博文本的情感强度,依据强度值判断微博的情感倾向类别。实验结果验证了该方法的有效性,也表明所构建的表情符号情感词典和网络用语情感词典能够有效增强情感分类器的性能。     

基于并行双向门控循环单元与自注意力机制的中文文本情感分类

在基于深度学习的文本情感分类研究领域中,目前传统的模型主要是序列结构,即采用单一的预训练词向量来表示文本从而作为神经网络的输入,然而使用某一种预训练的词向量会存在未登录词和词语语义学习不充分的问题。针对此问题,提出基于并行双向门控循环单元（gated recurrent unit,GRU）网络与自注意力机制的文本情感分类模型,利用两种词向量对文本进行表示并作为并行双向GRU网络的输入,通过上下两个通道分别对文本进行上下文信息的捕捉,得到表征向量,再依靠自注意力机制学习词语权重并加权,最后对两个通道的输出向量进行向量融合,作为输入进入全连接层判别情感倾向。将本文模型与多个传统模型在两个公共数据集上进行实验验证,结果表明本文模型在查准率、查全率、F₁值和准确率等性能指标上相比于双向门控循环单元网络模型、双向长短时记忆网络模型和双向门控循环单元网络与自注意力机制的单通道网络模型均有所提升。     

基于深度学习的多维特征微博情感分析

提出1种基于卷积神经网络的多维特征微博情感分析新机制;利用词向量计算文本的语义特征,结合基于表情字符的情感特征,利用卷积神经网络挖掘特征集合与情感标签间的深层次关联,训练情感分类器;结合微博文本的语义和情感特征,同时利用卷积神经网络的抽象特征提取能力,进而改善情感分析性能。研究结果表明:引入表情字符的情感特征模型可使情感分析准确率提高2.62%;相比基于词典的机器学习模型,新机制将情感分析准确率与F度量分别提升21.29%和19.20%。     

基于文本语义和表情倾向的微博情感分析方法

针对基于机器学习的中文微博情感分析方法存在处理过程复杂、判断准确率低等问题,该文提出了一种新的情感分析方法。将微博爬虫和Web应用程序编程接口(API)相结合,对动态微博数据进行收集和预处理。基于NTUSD和How Net中文情感词典的微博情感词的抽取和分类,计算词语语义相似度和倾向性。综合考虑表情、文本情感倾向的加权和正面情感增强等因素。实验结果表明:表情情感倾向对微博情感倾向起着重要作用;在表情和文本情感倾向比值固定的情况下,调整因素和中性区间的选择会对情感倾向判断准确率产生影响;通过与基于How Net语义相似度的计算模型比较,该文方法使得情感倾向判断准确率提高约5%。     

基于两阶段注意力机制的立场检测方法

立场检测是分析文本作者对某一话题所表现的立场倾向性是支持、反对还是中立,是舆情分析的重要研究方向。本文针对现有的大部分立场检测方法无法充分建模话题信息,很难联合分析话题与相应文本的现状,提出了一种两阶段注意力机制的立场检测方法。第一阶段利用注意力机制学习话题整体语义表示,第二阶段将话题表示与文本表示进行注意力匹配,进而得到融合特定话题的文本表示向量,最后对该语义表示进行分类。实验结果表明,该模型在新疆反恐话题的语料上Acc和F值指标分别提高了0.4%和1%,在NLPCC-2016立场检测任务数据集的4个话题上取得了较优的效果。     

融合文本内容和标签引导文本编码的分类方法

针对当前文本分类算法未能充分利用标签的语义表示导致文本表示学习与分类预测割裂的问题,提出一种融合文本内容编码和标签引导文本编码的文本分类方法.在文本内容编码部分,通过长短时记忆网络获得文本序列累计语义表示,通过自注意力机制捕获和强化文本长距离语义依赖.在标签引导文本编码部分,设计交互注意力机制,通过标签引导得到经由标签的语义表示过滤下文本的新表示.最后将两部分输出融合,得到同时具有本地内容语义信息和全局任务指导信息的文本表示,使得模型在文本表示阶段即对分类任务具有早期感知力.实验结果表明本研究方法在真实数据集上可有效提升文本分类任务性能.     

基于双重匹配注意力网络的观点型阅读理解

提出一种基于双重匹配注意力网络的方法.先用动态匹配机制迭代综合获取全局观点信息,同时利用多维度匹配机制在不同特征空间上计算全局语义信息,然后交互式多路注意力机制通过两路注意力之间的交互计算对上述全局的观点与语义信息进行融合,最后与选项表示结合预测答案的观点倾向.在观点型阅读理解数据集ReCO和Dureader上面的实验表明,该方法相对于基准模型在准确率上提升了1.18%和0.84%,在加权宏F1上提升了1.16%和0.75%.