基于XLNet的中文文本情感分析

针对Word2vec等静态词向量模型不能解决一词多义、传统情感分析模型不能同时提取文本的全局和局部信息问题,本文提出了结合广义自回归预训练语言模型(XLNet)的文本情感分析模型。首先利用XLNet表示文本特征,然后利用卷积神经网络提取文本向量的局部特征,再利用双向门控循环单元提取文本的更深层次上下文信息,最后引入注意力机制,根据特征的重要性赋予特征不同的权重,并进行文本情感极性分析。仿真实验中将本文模型与5种常用的情感分析模型进行对比,验证了模型的准确率和优越性。     

基于深度学习的音乐情绪分类研究

为解决传统音乐情感分类特征单一，导致训练效果差的问题，提出了一种多模态注意力融合网络模型，首先将执行情感分类使用的歌词和音频分离，将上下文特征提取方法与分类器相结合，从而提高特征提取效率；其次通过注意机制融合多模态特征，从而加快模型训练效率及情感分类准确率；接着提出了一种自适应孤立森林噪声方法增强模型对不均衡样本的适应性，并在一定程度上缓解模型过拟合问题.最后，将模型与LSTM、GRU、BI-LSTM、BI-GRU等模型进行仿真比较，结果表明所提模型性能最优，情绪分类准确率可达96.46%.     

一种基于联合深度学习模型的情感分类方法

针对情感分析问题中长句和短句进行情感分类时不同的建模特点,提出了一种基于联合深度学习模型的情感分类方法。该方法融合长短期记忆模型(LSTM)与卷积神经网络(CNN)对影视评论数据进行情感极性判别,该方法采用LSTM模型对上下文进行建模,通过逐词迭代得到上下文的特征向量,采用CNN模型从词向量序列中自动发现特征,并从局部抽取特征后将局部特征整合成全局特征来提高分类效果。所提出的方法在COAE2016评测的任务2的情感极性分类任务中,其系统准确率获得最好结果。     

关系图注意力网络的方面级情感分析模型

针对方面级情感分析利用注意力机制和传统深度学习方法提取方面词与上下文之间的联系时,未充分考虑句法依存信息及关系标签导致预测效果不佳的问题,提出一种基于关系图注意力网络的分析模型。利用DeBERTa预训练模型进行词嵌入,并将初始词向量进行多头注意力计算以增强方面词与上下文信息之间的关系。通过图注意力网络学习句法信息中的关系标签特征,借助这些关系标签特征进一步提取句法信息中方面词和上下文之间的联系,增强模型对于情感特征的提取能力。SemEval-2014数据集的实验测试结果表明,所提出模型的准确率和Macro-F1均优于对比模型。     

基于主题注意力层次记忆网络的文档情感建模

针对文档水平情感分析传统模型存在先验知识依赖以及语义理解不足问题,提出一种基于注意力机制与层次网络特征表示的情感分析模型TWE-ANN.采用基于CBOW方式的word2vec模型针对语料训练词向量,减小词向量间的稀疏度,使用基于Gibbs采样的LDA算法计算出文档主题分布矩阵,继而通过层次LSTM神经网络获取更为完整的文本上下文信息从而提取出深度情感特征,将文档主题分布矩阵作为模型注意力机制提取文档特征,从而实现情感分类.实验结果表明:提出的TWE-ANN模型较TSA、HAN模型分类效果较好,在Yelp2015、IMDB、Amazon数据集上的F值分别提升了1.1%、0.3%、1.8%,在Yelp2015和Amazon数据集上的RMSE值分别提升了1.3%、2.1%.     

基于内联关系的方面级情感分析方法

方面级情感分析 (aspect-based sentiment analysis, ABSA) 旨在预测给定文本中特定目标的情感极性. 研究表明, 利用注意力机制对目标及其上下文进行建模, 可以获得更有效的情感分类特征表达. 然而, 目前常用的方法是通过对特定目标使用平均向量来计算该目标上下文的注意权值, 这类方法无法突出文本中个别单词对于整个句子的重要性. 因此, 提出了一种基于内联关系的方面级情感分析方法, 该方法可以对目标和上下文进行建模, 将关注点放在目标的关键词上, 以学习更有效的上下文表示. 首先使用门控循环单元 (gated recurrent unit, GRU) 对方面信息和句中单词进行融合分布式表达; 然后将分布式表达输入到结合注意力机制的长短时记忆网络 (long short-term memory network, LSTM), 通过查询机制来增加内联关系的权重, 最终得到方面级情感分类. 该模型在公开数据集上进行的实验结果表明, 该方法是有效的, 精确度均超过基线模型.     

基于内联关系的方面级情感分析方法

方面级情感分析(aspect-based sentiment analysis,ABSA)旨在预测给定文本中特定目标的情感极性.研究表明,利用注意力机制对目标及其上下文进行建模,可以获得更有效的情感分类特征表达.然而,目前常用的方法是通过对特定目标使用平均向量来计算该目标上下文的注意权值,这类方法无法突出文本中个别单词对于整个句子的重要性.因此,提出了一种基于内联关系的方面级情感分析方法,该方法可以对目标和上下文进行建模,将关注点放在目标的关键词上,以学习更有效的上下文表示.首先使用门控循环单元(gated recurrent unit,GRU)对方面信息和句中单词进行融合分布式表达;然后将分布式表达输入到结合注意力机制的长短时记忆网络(long short-term memory network,LSTM),通过查询机制来增加内联关系的权重,最终得到方面级情感分类.该模型在公开数据集上进行的实验结果表明,该方法是有效的,精确度均超过基线模型.     

基于ERNIE和双重注意力机制的微博情感分析

针对传统词向量无法在上下文中表示词的多义性,以及先验的情感资源未能在神经网络中得到充分利用等问题,提出一种基于知识增强语义表示（Enhanced Representation through Knowledge Integration,ERNIE）和双重注意力机制（Dual Attention Mechanism, DAM）的微博情感分析模型ERNIE-DAM.首先利用现有的情感资源构建一个包含情感词、否定词和程度副词的情感资源库;其次采用BLSTM网络和全连接网络分别对文本和文本中包含的情感信息进行编码,不同的注意力机制分别用于提取文本和情感信息中的上下文关系特征和情感特征,并且均采用ERNIE预训练模型获取文本的动态特征表示;最后将上下文关系特征和情感特征进行拼接融合,获取最终的特征向量表示.实验结果表明,新模型在COAE2014和weibo＿senti＿100k数据集上的分类准确率分别达到了94.50%和98.23%,同时也验证了将情感资源运用到神经网络中的有效性.     

一种结合词性及注意力的句子情感分类方法

针对目前各种基于长短期记忆网络LSTM的句子情感分类方法没有考虑词的词性信息这一问题,将词性与自注意力机制相结合,提出一种面向句子情感分类的神经网络模型PALSTM(Pos and Attention-based LSTM).首先,结合预训练词向量和词性标注工具分别给出句子中词的语义词向量和词性词向量表示,并作为LSTM的输入用于学习词在内容和词性方面的长期依赖关系,有效地弥补了一般LSTM单纯依赖预训练词向量中词的共现信息的不足;接着,利用自注意力机制学习句子中词的位置信息和权重向量,并构造句子的最终语义表示;最后由多层感知器进行分类和输出.实验结果表明,PALSTM在公开语料库Movie Reviews、Internet Movie Database和Stanford Sentiment Treebank二元分类及五元情感上的准确率均比一般的LSTM和注意力LSTM模型有一定的提升.     

基于混合神经网络的中文隐式情感分析

隐式情感分析是情感计算的重要组成部分,尤其是基于深度学习的情感分析近年来成为了研究热点.本文利用卷积神经网络对文本进行特征提取,结合长短期记忆网络(LSTM)结构提取上下文信息,并且在网络中加入注意力机制,构建一种新型混合神经网络模型,实现对文本隐式情感的分析.混合神经网络模型分别从单词级和句子级的层次结构中提取更有意义的句子语义和结构等隐藏特征,通过注意力机制关注情绪贡献率较大的特征.该模型在公开的隐式情感数据集上分类准确率达到了77%.隐式情感分析的研究可以更全面地提高文本情感分析效果,进一步推动文本情感分析在知识嵌入、文本表示学习、用户建模和自然语言等领域的应用.     

融合情感词典的改进BiLSTM-CNN+Attention情感分类算法

传统机器学习和深度学习模型在处理情感分类任务时会忽略情感特征词的强度,情感语义关系单薄,造成情感分类的精准度不高。本文提出一种融合情感词典的改进型BiLSTM-CNN+Attention情感分类算法。首先,该算法通过融合情感词典优化特征词的权重;其次,利用卷积神经网络(CNN)提取局部特征,利用双向长短时记忆网络(BiLSTM)高效提取上下文语义特征和长距离依赖关系;再结合注意力机制对情感特征加成;最后由Softmax分类器实现文本情感预测。实验结果表明,本文提出的情感分类算法在精确率、召回率和F值上均有较大提升。相较于TextCNN、BiLSTM、LSTM、CNN和随机森林模型,本文方法的F值分别提高2.35%、3.63%、4.36%、2.72%和6.35%。这表明该方法能够充分融合情感特征词的权重,利用上下文语义特征,提高情感分类性能。该方法具有一定的学术价值和应用前景。     

基于Attention机制的LSTM股价预测模型

针对时间序列分析方法和神经网络对于股价预测具有一定局限性的问题,将基于Attention机制的LSTM模型应用于股价预测;以2014-01-02—2020-09-22日的上证工业指数、上证环保指数等相关数据为样本,在LSTM模型中引入Attention机制,使模型聚焦于重要的股价特征信息,预测股票第二日的最高价;实证研...     

融合粗糙数据推理的卷积记忆网络文本情感分析

为解决现有情感分类算法在特征提取中缺乏对语义关联规则的运用,以及在分词后产生大量与情感预测无关的词,导致挖掘出的特征不具代表性的问题。提出一种融合粗糙数据推理的卷积记忆网络情感分析模型。通过上下文信息使用粗糙数据推理获得文本的情感词集Word2Vec词向量表示,并融合FastText词向量来改进特征向量嵌入层。其次使用卷积神经网络（CNN）拼接双向长短期记忆网络（BiLSTM）提取更深层次的情感特征。最后加入Attention机制计算权重,筛选显著重要特征。通过多组对比实验表明该模型具有较高的准确率和F1值,有效提升了情感分类的预测能力。     

基于XLNet的双通道特征融合文本分类模型

提出了基于XLNet的双通道特征融合文本分类(XLNet-CNN-BiGRU, XLCBG)模型。相对于单模型通道,XLCBG模型通过融合XLNet+CNN和XLNet+BiGRU这2个通道的特征信息,能提取更加丰富的语义特征。XLCBG模型对融合后的特征信息分别采用了Maxpooling、Avgpooling和注意力机制等处理方式,分别提取全局中特征值最大的向量、全局中的均值特征向量、注意力机制的关键特征来代替整个向量,从而使融合特征处理的方式多样化,使最优分类模型的可选择性增多。最后,将当前流行的文本分类模型与XLCBG模型进行了比较实验。实验结果表明：XLCBG-S模型在中文THUCNews数据集上分类性能优于其他模型;XLCBG-Ap模型在英文AG News数据集上分类性能优于其他模型;在英文20NewsGroups数据集上,XLCBG-Att模型在准确率、召回率指标上均优于其他模型,XLCBG-Mp模型在精准率、F₁指标上均优于其他模型。     

基于双向门控机制和层次注意力的方面级情感分析

针对传统情感分析模型将单词或词语作为单一嵌入,而忽略句子之间依存信息和位置信息的问题,提出基于双向门控机制和层次注意力的方面级情感分析模型（Based on Bi-GRU and Hierarchical Attention,BGHA）。首先,将文本数据转成词向量再加入位置编码信息,得到包含位置和语义信息的词向量后通过双向门控机制提取上下文特征;接着,分别在单词注意力层和句子注意力层用注意力机制对特征分配权重,突出重点词和重点句信息;最后,结合给定的方面信息选择性提取与其较匹配的情感特征。在SemEval 2014、SemEval 2016和Twitter短文本评论数据集上的实验结果表示,BGHA模型的准确率对比其他模型都有不同程度的提高,证明了模型的有效性。     

基于Bert股吧舆情分析的特征融合股价走势预测研究

传统股价预测模型往往只考虑时序性数据且局限于模型自身机制,而忽略舆情对股价的影响,导致预测精度不高,针对该问题,提出基于 Bert 股吧舆情分析的特征融合预测模型对股价收盘价进行涨跌幅预测。 首先,采用Bert 自然语言处理对股吧舆情以及公司公告政策进行情感分类,并转化为虚拟变量,构建金融舆情情感特征库;然后将金融舆情特征库和时序性数据合并构建特征融合矩阵;最后输入长短期记忆网络模型(LSTM)进行股价收盘价预测,并得出股价的涨跌结果。 以华银电力(600744. SH)为例进行实证分析,实验结果表明:引入股票情感特征后的模型,得到的股价走势准确率上升了 8. 63%,预测收盘价的回归指标 FMAPE FRMSE 分别下降了 23. 59%、22. 9%,R2 提高了 8. 11%,证明引入新的舆情情感特征在实际预测中能提高股价预测的准确率,可以作为精准预测股价走势的手段。     

基于注意力机制的CNN-LSTM模型的航迹预测

基于数学模型或统计模型的传统航迹预测方法存在一定的局限性，无法满足现代航空领域对于高效、准确、实时的航迹预测需求。针对此问题，提出基于注意力机制的CNN-LSTM模型的实时航迹预测方法。该模型首先使用一维卷积对航迹数据的多维度特征进行提取，从而减少输入特征的数量。其次利用获取的多维度时序数据作为LSTM的输入，通过LSTM提取上下文的信息。最后使用注意力机制为LSTM中不同时序节点的输出赋予权重，达到聚焦关键航迹信息的作用。经过实验验证：本文的模型与LSTM模型和CNN-LSTM模型相比，预测出的路径更接近真实航迹；文中的模型比LSTM模型的平均预测误差降低了29.7%，比CNN-LSTM模型降低了25.4%。综上所述，文中方法可以显著提高航迹预测的精度。     

基于XLNet+BiGRU+Att(Label)的文本分类模型

传统的词向量嵌入模型,如Word2Vec、GloVe等模型无法实现一词多义表达;传统的文本分类模型也未能很好地利用标签词的语义信息。基于此,提出一种基于XLNet+BiGRU+Att(Label)的文本分类模型。首先用XLNet生成文本序列与标签序列的动态词向量表达;然后将文本向量输入到双向门控循环单元(BiGRU)中提取文本特征信息;最后将标签词与注意力机制结合,选出文本的倾向标签词,计算倾向标签词与文本向量的注意力得分,根据注意力得分更新文本向量。通过对比实验,本文模型比传统模型在文本分类任务中的准确率更高。使用XLNet作为词嵌入模型,在注意力计算时结合标签词能够提升模型的分类性能。