融合表情符号图像特征学习的微博情感分类

表情符号作为一种新兴的网络图形化语言,由于能够直观地表达用户的情感和态度,因此在社交平台被广泛使用。现有的利用表情符号进行微博情感分类的研究主要考虑表情符号的文本特征,这样的做法不能很好的捕捉表情符号之间更细粒度的联系,并无法适应表情的不断发展与变化。针对现有研究存在的问题,本文提出了一种基于卷积自编码器的表情图像特征学习的微博情感分类模型。该模型通过卷积自编码器捕捉的表情符号的图像特征,然后将图像的嵌入表达融入到微博的文本特征中,再利用多层感知机进行情感分类。该模型分别在中文和英文微博的数据集上和现有的方法进行了对比,实验证明,本文的方法优于现有的方法,并且在新表情和跨语言环境下的泛化能力更强。     

基于卷积注意力的情感增强微博立场检测

立场检测任务的目的是通过分析用户对特定话题发表的评论以判断其对该话题是支持还是反对的,该任务的关键是捕捉文本信息与其对应话题的相关特征。针对目前已有的微博立场检测模型存在仅考虑文本特征,而未结合话题特征,以及忽略了情感信息对微博立场检测的影响而导致分类效果差的问题,文章提出基于卷积注意力的情感增强微博立场检测模型。该模型通过卷积注意力对文本信息和其对应的话题信息提取特征,同时捕捉其相关特征,然后通过情感增强中词语级情感增强获得带有情感信息的词向量表示,将其与相关特征点相乘得到针对话题的情感增强句向量,其次通过拼接句子级情感增强特征以丰富最终的语义表示,最后对该语义表示进行分类。该模型在NLPCC-2016数据集中取得了较好的结果,相对于目前最优模型在五个话题上分别提高了7.9%、5.8%、5.3%、1.3%和5.2%。     

多类型知识增强的微博立场检测模型

针对文本立场检测中目标话题在微博文本中隐式出现以及文本语义隐含表达这2个核心问题,本文提出一种基于多类型知识增强与预训练语言模型相结合的立场检测新方法KE-BERT。该模型同时从知识图谱和百度百科中引入多类型的相关常识知识来弥补语义缺失,使用改进的预训练语言模型BERT作为编码器,然后通过卷积注意力机制对常识知识进行融合与聚焦,最后通过Softmax分类获得立场。该模型在NLPCC-2016语料库上实验的宏平均F₁值达到0.803,分类性能超越现有主流模型,验证了模型的有效性。     

基于BERT-BiGRU-CNN模型的短文本分类研究

针对传统语言模型不能解决深层双向表征和分类模型不能充分捕获文本显著特征的问题,提出了一种基于BERT-BiGRU-CNN(Bidirectional Encoder Representation from Transformers-Bidirectional Gating Recurrent Unit-Convolutional Neural Networks)的文本分类模型。首先,该模型使用BERT预训练语言模型进行文本表示;其次,将BERT的输出数据输入BiGRU中,以捕获文本的全局语义信息;然后,将BiGRU层的结果输入CNN中,捕获文本局部语义特征;最后,将特征向量输入Softmax层得到分类结果。实验采用中文新闻文本标题数据集,结果表明,基于BERT-BiGRU-CNN的文本分类模型在数据集上的F₁值达到0.948 5,优于其他基线模型,证明了BERT-BiGRU-CNN模型可提升短文本的分类性能。     

融合情感特征的深度学习微博情感分析

针对传统情感分析方法对微博短文本应用效果不佳的问题,提出将文本情感特征与深度学习模型融合的微博情感分析新机制.通过词向量计算文本的语义特征,结合基于表情字符的情感特征,利用卷积神经网络挖掘特征集合与情感标签间的深层次关联,训练情感分类器.实验结果表明,相比基于词典的机器学习模型,该机制将情感分析准确率与F度量分别相对提升21.29%和19.20%.该机制结合语义和情感特征,利用卷积神经网络的抽象特征提取能力,改善微博短文本的情感分析精度.     

基于BERT和改进胶囊网络的关系分类方法

针对关系分类主流模型中存在的空间信息丢失和旋转不变性差的缺点,提出一个基于BERT和多头注意机制-胶囊网络(MA-CapsNet)的算法模型.该模型首先在句子的实体两端插入特殊符号,增强模型对实体信息的表示能力,再通过预训练的BERT语言模型获得包含上下文信息的语义向量表示,然后传入改进后的注重空间位置信息的胶囊网络中学习句子的语义特征并分类.同时引入多头注意力机制进一步提升模型的分类效果.在SemEval-2010 task 8关系分类数据集上,该算法模型取得了90.15%的宏F值.实验表明该模型架构能强化对句子语义特征的捕捉,改善关系分类任务的分类效果.     

双通道多核卷积神经网络中文文本情绪分类方法

自然语言处理中,文本情绪分类目前以情感极性分类居多,更加细粒度的情绪分类却很少,并且基本上都为英文文本情绪分类。本文针对中文文本情绪分类,设计并实现了一种双通道多核卷积神经网络中文文本情绪分类方法。在特征提取部分,设计了双通道特征提取方法,采用word2vec预先训练词向量的词袋方式并引入注意力机制,提取的特征向量在关注局部特征信息的基础上加入了文本上下文之间的关系信息,能够涵盖文本全局特征;在卷积部分,设计了多种不同卷积核分别卷积池化后再组合的方式,从而得到更加全面的文本特征。理论分析和实验结果表明,双通道多核卷积神经网络中文文本情绪分类方法分类准确率达86%,比单层卷积神经网络的分类准确率提高了4%,同时解决了单层卷积神经网络特征提取不够全面和多层卷积神经网络特征提取过于抽象的问题。     

基于循环结构的卷积神经网络文本分类方法

现有卷积神经网络在文本分类性能上受到词向量窗口长度的影响,在研究卷积神经网络分类方法的基础上,提出一种基于循环结构的神经网络文本分类方法,该方法对文本进行单次正向及反向扫描,能够在学习单词表示时尽可能地捕获上下文信息,整体算法时间复杂度为O(n),是线性复杂度;该方法构建文本语义模型可以捕获长距离的依赖关系,使得词向量窗口长度对文本分类性能没有影响,对上下文更有效地建模。实验结果表明,该方法构建文本语义模型的准确率达到96.86%,召回率达到96.15%,F1值达到96.5%,性能优于传统文本分类算法和卷积神经网络方法。     

基于深度学习的短文本语义相似度计算模型

基于深度学习的短文本语义相似度度量方法是现代自然语言处理任务的基石，其重要性不言而喻。本文提出一种基于卷积神经网络和双向门控循环单元的文本编码模型，通过卷积层提取重要语义并且通过双向门控循环单元保证语义顺序，采用孪生神经网络结构保证文本编码的一致性。选取传统的卷积神经网络和长短期记忆网络以及BERT模型进行对比验证，在Quora、Sick和MSRP数据集上的验证结果表明，本文模型的精确率和召回率表现优异，且F₁值也优于传统模型。     

ERNIE-CNN文本分类模型

基于word2vec和BERT词向量技术的方法在文本分类分词过程中存在着错误传播问题,提出了融合ERNIE词向量技术的卷积神经网络模型.针对中文文本,运用ERNIE实体掩码的方式捕获词汇和语义信息,使用卷积神经网络进行特征提取.在THUCNews开源数据集上,准确率达到93.95％,比Word2Vec-CNN高出3.4％,BERT-CNN高出3.07％.实验结果证明了本文模型在缓解错误传播问题的有效性.     

融合情感词典的改进BiLSTM-CNN+Attention情感分类算法

传统机器学习和深度学习模型在处理情感分类任务时会忽略情感特征词的强度,情感语义关系单薄,造成情感分类的精准度不高。本文提出一种融合情感词典的改进型BiLSTM-CNN+Attention情感分类算法。首先,该算法通过融合情感词典优化特征词的权重;其次,利用卷积神经网络(CNN)提取局部特征,利用双向长短时记忆网络(BiLSTM)高效提取上下文语义特征和长距离依赖关系;再结合注意力机制对情感特征加成;最后由Softmax分类器实现文本情感预测。实验结果表明,本文提出的情感分类算法在精确率、召回率和F值上均有较大提升。相较于TextCNN、BiLSTM、LSTM、CNN和随机森林模型,本文方法的F值分别提高2.35%、3.63%、4.36%、2.72%和6.35%。这表明该方法能够充分融合情感特征词的权重,利用上下文语义特征,提高情感分类性能。该方法具有一定的学术价值和应用前景。     

基于BERT的长文本分类方法

由于预训练模型输入分词数量限制，基于BERT的长文本分类任务效果与长文本分割后的文本段集合的处理及特征融合密切相关，现有的长文本分类研究在融合文本段特征时更关注文本段之间原始的顺序关系，而本文提出了一种基于BERT和集合神经网络的长文本分类模型.该方法以BERT为基础，可处理从同一文本样本分割得到的任意数量文本段，经过BERT后得到文本段特征，再将所有文本段特征输入到具有置换不变性的集合神经网络层中，提取出集合级别特征来优化长文本的特征表达.通过在三个数据上的实验分析，论文在平均分词长度较长的数据集上取得了90.82%的准确率，高出目前最优方法4.37%.     

扩展语义相似情感词的文本情感分类方法

针对文本情感分类中情感语义特征利用不足、特征降维效果欠佳等影响分类效果的问题,提出了一种通过扩展语义相似的情感词以及引入词语间统计特征的高精度网络评论情感分类方法.该方法利用神经网络Skip-gram模型生成词嵌入,通过词嵌入相似性度量将语义相似的词语扩展为情感特征;再利用词语间的统计特征进行特征降维;通过多个弱分器加权构建Adaboost分类模型实现网络评论情感分类.基于酒店评论和手机评论公开测试集进行实验,结果表明其情感分类的正确率分别达到90.96%和93.67%.方法扩展语义相似情感词有利于丰富文本情感语义特征,引入词语间的统计特征有更好的特征降维效果,可以进一步提升文本情感分类的效果.      

融合粗糙数据推理的卷积记忆网络文本情感分析

为解决现有情感分类算法在特征提取中缺乏对语义关联规则的运用,以及在分词后产生大量与情感预测无关的词,导致挖掘出的特征不具代表性的问题。提出一种融合粗糙数据推理的卷积记忆网络情感分析模型。通过上下文信息使用粗糙数据推理获得文本的情感词集Word2Vec词向量表示,并融合FastText词向量来改进特征向量嵌入层。其次使用卷积神经网络（CNN）拼接双向长短期记忆网络（BiLSTM）提取更深层次的情感特征。最后加入Attention机制计算权重,筛选显著重要特征。通过多组对比实验表明该模型具有较高的准确率和F1值,有效提升了情感分类的预测能力。     

融合BERT中间隐藏层的方面级情感分析模型

现有的基于BERT(bidirectional encoder representations from transformers)的方面级情感分析模型仅使用BERT最后一层隐藏层的输出,忽略BERT中间隐藏层的语义信息,存在信息利用不充分的问题,提出一种融合BERT中间隐藏层的方面级情感分析模型。首先,将评论和方面信息拼接为句子对输入BERT模型,通过BERT的自注意力机制建立评论与方面信息的联系;其次,构建门控卷积网络(gated convolutional neural network, GCNN)对BERT所有隐藏层输出的词向量矩阵进行特征提取,并将提取的特征进行最大池化、拼接得到特征序列;然后,使用双向门控循环单元(bidirectional gated recurrent unit, BiGRU)网络对特征序列进行融合,编码BERT不同隐藏层的信息;最后,引入注意力机制,根据特征与方面信息的相关程度赋予权值。在公开的SemEval2014 Task4评论数据集上的实验结果表明：所提模型在准确率和F₁值两种评价指标上均优于BERT、CapsBERT(ca...     

对抗网络和BERT结合的电商平台评论短文本情感分类

文本情感分类领域性强,传统情感分类方法在多领域混合数据上效果不佳.为了提升多领域混合情境下文本情感分类的准确率,使用双向编码器表征模型(bidirectional encoder representations from transformers,BERT)得到短文本的初级表征;利用对抗网络提取与领域无关的情感特征;利...     

基于知识增强的ERBERT-GRU中文图书分类方法研究

图书的自动分类是图书管理和图书推荐算法中的基础工作,也是难点之一,而且目前针对中文分类算法主要集中在短文本领域中,鲜有对图书等长文本分类的研究.该文对深度学习分类算法进行了深入细致的研究,并对BERT预训练模型及其变体进行相应的改进.利用复杂层级网络叠加双向Transformer编码器来提取隐藏在文本中的细粒度信息.在...     

基于注意力机制结合CNN-BiLSTM模型的电子病历文本分类

为了解决中文电子病历文本分类的高维稀疏性、算法模型收敛速度较慢、分类效果不佳等问题,提出了一种基于注意力机制结合CNN-BiLSTM模型的病历文本分类模型.该模型首先使用word2vec工具进行词向量表示,利用多层卷积神经网络(convolutional neural networks,CNN)结构提取病历文本的局部特...     

基于XLNet的情感分析模型

目前通过深度学习方法进行语言模型预训练是情感分析的主要方式,XLNet模型的提出解决了BERT模型上下游任务不一致的问题.在XLNet基础上增加LSTM网络层和Attention机制,提出XLNet-LSTM-Att情感分析优化模型,通过XLNet预训练模型获取包含上下文语义信息的特征向量,接着利用LSTM提取上下文相关特征,最后引入注意力机制根据特征重要程度赋予不同权重,再进行文本情感倾向性分析.仿真实验中将XLNet-LSTM-Att模型与5种常用的情感分析模型进行对比,结果表明提出的模型优于其他测试模型,模型的精准率达到89.29％.