融合BERT中间隐藏层的方面级情感分析模型

现有的基于BERT(bidirectional encoder representations from transformers)的方面级情感分析模型仅使用BERT最后一层隐藏层的输出,忽略BERT中间隐藏层的语义信息,存在信息利用不充分的问题,提出一种融合BERT中间隐藏层的方面级情感分析模型。首先,将评论和方面信息拼接为句子对输入BERT模型,通过BERT的自注意力机制建立评论与方面信息的联系;其次,构建门控卷积网络(gated convolutional neural network, GCNN)对BERT所有隐藏层输出的词向量矩阵进行特征提取,并将提取的特征进行最大池化、拼接得到特征序列;然后,使用双向门控循环单元(bidirectional gated recurrent unit, BiGRU)网络对特征序列进行融合,编码BERT不同隐藏层的信息;最后,引入注意力机制,根据特征与方面信息的相关程度赋予权值。在公开的SemEval2014 Task4评论数据集上的实验结果表明：所提模型在准确率和F₁值两种评价指标上均优于BERT、CapsBERT(ca...     

融合ChineseBERT和双向注意力流的中文商品评论方面情感分析

准确分类电商平台中用户评论所包含的多个方面的情感极性,能够提升购买决策的有效性。为此,提出一种融合ChineseBERT和双向注意力流(Bidirectional Attention Flow,BiDAF)的中文商品评论方面情感分析模型。首先,通过融合拼音与字形的ChineseBERT预训练语言模型获得评论文本和方面文本的词嵌入,并采用从位置编码和内存压缩注意力两个方面改进的Transformer来表征评论文本和方面文本的语义信息。然后,使用双向注意力流学习评论文本与方面文本的关系,找出评论文本和方面文本中关键信息所对应的词语。最后,将Transformer和双向注意力流的输出同时输入到多层感知机(Multilayer Perceptron,MLP)中,进行信息级联和情感极性的分类输出。测试结果表明,提出的模型在两个数据集上的准确率分别为82.90%和71.08%,F1分数分别为82.81%和70.98%。     

基于双向长短期记忆网络和标签嵌入的文本分类模型

提出了一种基于双向长短期记忆网络和标签嵌入的文本分类模型。首先利用BERT模型提取句子特征,然后通过BiLSTM和注意力机制得到融合重要上、下文信息的文本表示,最后将标签和词在联合空间学习,利用标签与词之间的兼容性得分对标签和句子表示加权,实现标签信息的双重嵌入,分类器根据给定标签信息对句子进行分类。在5个权威数据集上的实验表明,该方法能有效地提高文本分类性能,具有更好的实用性。     

集成局部和全局关键特征的文本情感分类方法

融合卷积神经网络(convolutional neural network,CNN)和双向长短期记忆网络(Bi-directional long short-term memory,BiLSTM)的情感分析模型(CNN_BiLSTM)是一个流行的模型,其学习文本的局部特征和全局特征实现情感分类,但是忽略了特征对分类结果的重要程度,且没充分利用词语间的特征,导致分类准确率不高.提出一种集成基于多卷积核的卷积神经网络和注意力双向长短期记忆网络特征的文本情感分类方法(MCNN_Att-BiLSTM),其集成局部和全局的重要特征作为文本语义特征,该特征进而用于训练文本情感分类器XGBoost(eXtreme gradient Boosting).该方法基于注意力机制的BiLSTM提取对分类影响大的全局关键特征,基于多卷积核的CNN获得更全面的词语间特征,为集成分类器准备了有效分类的特征.实验结果表明,该模型具有更好的情感分类准确率,与CNN_BiLSTM模型相比,在IMDB数据集上准确率提升了1.75%,在txt-sentoken数据集上准确率提升了1.67%,在谭松波-酒店评论数据集上准确率提升了3.81%.     

多注意力机制BERT分类模型及其在电力运维中的应用

为了提高变换网路中双向编码表示(bidirectional encoder representations from transformers,BERT)在文本分类中的应用效果，针对基于BERT的文本分类模型在注意力机制设计中无法关注文本中重点信息的问题，提出了一种基于多注意力机制的BERT分类模型。对BERT模型框架中后四层的每一层输入向量，设计词向量注意力机制，捕捉向量表中每一个词的重要性;对得到的BERT模型框架中后四层，设计层向量注意力机制，将这四层上由自适应权重计算得到的每一层输出向量进行融合，获得最终的BERT模型输出向量，更好地提升模型的特征抽取能力。在公开数据集IMDB和THUCNews上的实验表明，提出的模型相较于其他基线模型性能有明显提升。在电力系统运维项目管理的实际应用中，该模型也取得了比基线模型更好的效果，较好地解决了电力运维规模预测混乱问题。     

基于多头注意力的双向LSTM情感分析模型研究

文本情感分析是自然语言处理领域中的重要任务,是指通过提取文本特征对基于文本的情感倾向进行分类。为了有效地提高文本情感分析准确率,提出一种新的基于多头注意力的双向长短期记忆(long short-term memory,LSTM)文本情感分析模型(Multi-Head Attention-based Bi-LSTM Model,MHA-B)。模型先利用双向LSTM进行初步特征提取,再结合多头注意力机制从不同的维度和表示子空间里提取相关的信息。在Large Movie Review Dataset与Semeval-2017-task4-A English两个数据集的实验结果表明:MHA-B模型的情感分析准确率与现有多种模型相比都有所提高。     

基于并行双向门控循环单元与自注意力机制的中文文本情感分类

在基于深度学习的文本情感分类研究领域中,目前传统的模型主要是序列结构,即采用单一的预训练词向量来表示文本从而作为神经网络的输入,然而使用某一种预训练的词向量会存在未登录词和词语语义学习不充分的问题。针对此问题,提出基于并行双向门控循环单元（gated recurrent unit,GRU）网络与自注意力机制的文本情感分类模型,利用两种词向量对文本进行表示并作为并行双向GRU网络的输入,通过上下两个通道分别对文本进行上下文信息的捕捉,得到表征向量,再依靠自注意力机制学习词语权重并加权,最后对两个通道的输出向量进行向量融合,作为输入进入全连接层判别情感倾向。将本文模型与多个传统模型在两个公共数据集上进行实验验证,结果表明本文模型在查准率、查全率、F₁值和准确率等性能指标上相比于双向门控循环单元网络模型、双向长短时记忆网络模型和双向门控循环单元网络与自注意力机制的单通道网络模型均有所提升。     

融合实体信息的图卷积神经网络的短文本分类模型

提出一种融合实体信息的图卷积神经网络模型（ETGCN），用于短文本分类.首先，使用实体链接工具抽取短文本中的实体；然后，利用图卷积神经网络对文档、实体和单词进行建模，丰富文本的潜在语义特征；将学习到的单词节点表示与BERT词嵌入进行拼接，通过双向长短期记忆网络，进一步挖掘文本上下文语义特征，再与图神经网络模型得到的文本特征进行融合，用于分类.实验结果表明，该模型在数据集AGNews、R52和MR上的分类准确率分别为88.38%、93.87%和82.87%，优于大部分主流的基线方法.     

基于BERT和多头注意力的中文命名实体识别方法

针对双向长短时记忆网络-条件随机场(bi-directional long short-term memory-conditional random field,BiLSTM-CRF)模型存在准确率低和向量无法表示上下文的问题，提出一种改进的中文命名实体识别模型。利用裁剪的双向编码器表征模型(bidirectional encoder representations from transformers,BERT)得到包含上下文信息的语义向量;输入双向门控循环单元(bidirectional gated recurrent unit,BiGRU)网络及多头自注意力层捕获序列的全局和局部特征;通过条件随机场(conditional random field,CRF)层进行序列解码标注，提取出命名实体。在人民日报和微软亚洲研究院(Microsoft research Asia,MSRA)数据集上的实验结果表明，改进模型在识别效果和速度方面都有一定提高;对BERT模型内在机理的分析表明，BERT模型主要依赖从低层和中层学习到的短语及语法信息完成命名实体识别(named entity recognition，NER)任务。     

基于BERT的因果关系抽取

针对传统关系抽取模型依赖特征工程等机器学习方法, 存在准确率较低且规则较繁琐等问题, 提出一种BERT+BiLSTM＋CRF方法. 首先使用BERT(bidirectional encoder representations from transformers)对语料进行预训练; 然后利用BERT根据上下文特征动态生成词向量的特点, 将生成的词向量通过双向长短期记忆网络（BiLSTM）编码; 最后输入到条件随机场（CRF）层完成对因果关系的抽取. 实验结果表明, 该模型在SemEval-CE数据集上准确率比BiLSTM+CRF+self-ATT模型提高了0.054 1, 从而提高了深度学习方法在因果关系抽取任务中的性能.     

基于BERT预训练语言模型的电网设备缺陷文本分类

电网设备缺陷部位识别是设备故障分析的关键环节。该文提出一种基于预训练语言模型双向Transformers偏码表示(Bidirectional encoder representation from transformers,BERT)的电网设备缺陷文本分类方法。基于BERT预训练语言模型对电网设备缺陷部位文本进行预训练生成具有上下文特征的词嵌入(Word embedding)向量作为模型输入,然后,利用双向长短时记忆(Bi-directional long short-term memory)网络对输入的电网设备缺陷文本向量进行双向编码提取表征缺陷文本的语义表征,并通过注意力机制增强电网设备缺陷文本中与缺陷部位相关的领域词汇的语义特征权重,进而得到有助于电网设备缺陷部位分类的语义特征向量。通过模型的归一化层实现电网设备缺陷部位文本分类。在主变压器、SF6真空断路器这两种设备缺陷文本数据集上实验结果表明,提出的方法比基于BiLSTM-Attention模型的F_1值分别提升了2.77%和2.95%。     

基于深度学习的教材德目教育文本分类方法

对上海中小学教材德目教育文本分类进行研究,提出了基于转换器的双向编码表征（BERT）预训练模型、双向长短期记忆（BiLSTM）网络和注意力机制的模型IoMET_BBA. 通过合成少数类过采样技术（SMOTE）与探索性数据分析（EDA）技术进行数据增强,使用BERT模型生成富含语境信息的语义向量,通过BiLSTM提取特征,并结合注意力机制来获得词语权重信息,通过全连接层进行分类. 对比实验的结果表明,IoMET_BBA的F₁度量值达到了86.14%,优于其他模型,可以精确地评估教材德目教育文本.     

基于BERT-BiLSTM-CRF模型的中文实体识别研究

中文文本实体识别,是自然语言处理的关键问题.传统的语言处理模型无法有效表示文本中的上下文语义信息,无法处理一词多义的不同语境,影响实体识别效果.提出了一种BERT-BiLSTM-CRF的实体识别模型,BERT预处理语言模型生成表征上下文语义信息的词向量,通过双向长短期记忆网络对生成的向量进行特征提取,自注意力机制能够有效获取文本语句中的长距离依赖,最后通过CRF进行解码生成实体标签序列.实验结果表明,该模型在微软亚洲研究院MSRA语料库和人民日报语料库上都取得了优异成绩,F1分别达到96.12％和95.88％.     

基于预训练模型和混合神经网络的医疗实体关系抽取

医疗文本具有实体密度高、句式冗长等特点,简单的神经网络方法不能很好地捕获其语义特征,因此提出一种基于预训练模型的混合神经网络方法。首先使用预训练模型获取动态词向量,并提取实体标记特征;然后通过双向长短期记忆网络获取医疗文本的上下文特征,同时使用卷积神经网络获取文本的局部特征;再使用注意力机制对序列特征进行加权,获取文本全局语义特征;最后将实体标记特征与全局语义特征融合,并通过分类器得到抽取结果。在医疗领域数据集上的实体关系抽取实验结果表明,新提出的混合神经网络模型的性能比主流模型均有提升,说明这种多特征融合的方式可以提升实体关系抽取的效果。     

基于宽卷积核神经网络与BiLSTM的渔船轨迹分类方法

【目的】针对使用船舶自动识别系统(automatic identification system, AIS)数据进行船舶类型识别中原始特征较少和时空特征利用不充分的问题,提出了基于数据块的双向长短期记忆卷积神经网络的渔船类型分类方法。【方法】首先将数据以数据块的形式输入模型,保留短时内的时序特征;然后利用宽卷积核深度卷积神经网络(wide convolutional kernel deep convolutional neural network, WDCNN)模型首层的大卷积对数据进行特征提取;最后采用双向长短期记忆网络(bidirectional long-short-term memory networks, BiLSTM)提取数据的深层时间信息,得到最终的船舶分类结果。【结果】在真实的船舶AIS数据集上进行测试后发现：本模型较主流船舶分类模型对渔船分类的正确率有一定的提升,F₁值达到了5%左右的提高。【结论】本试验模型更有利于海事部门对渔船的监管,同时对海上渔场、鱼群分布的研究也有一定的参考价值。     

CCM-MF:基于多维度特征融合的中文文本分类模型

针对中文文本中不同维度特征所携带的语义信息具有差异性的问题,本文提出一种基于多维度特征融合的中文文本分类模型：CCM-MF (Chinese-text Classification Model Based on Fused Multi-dimensional Features)。该模型融合层次维度和空间维度特征,以提高中文文本分类的准确率。首先,在层次维度上,使用预训练模型ERNIE (Enhanced Representation through Knowledge Integration)获取包含字、词及实体级别特征的词向量;然后,在空间维度上,将包含层次维度特征的词向量分别输入到改进后的深度金字塔卷积神经网络(Deep Pyramid Convolutional Neural Networks,DPCNN)模型及附加注意力机制的双向长短期记忆网络(Attention-Based Bidirectional Long Short-Term Memory Networks,Att-BLSTM)模型中,得到局部语义特征和全局语义特征;最后,将得到的空间维度特征分别作用于Softmax分类器,再对计算结果进行融合并输出分类结果。通过在多个公开数据集上进行实验,较现有主流的文本分类方法,本模型在准确率上有更好的表现,证明了该模型的有效性。     

基于BiLSTM-Attention的电商评论情感分析

为了更加准确的对电商评论中的文本信息进行情感分析,提出了一种融合注意力机制与双向长短期神经网络(LSTM)的混合模型结构。首先,利用长短期记忆神经网络对于时序序列结构的分析,充分挖掘句子中的潜在信息,有效克服长期遗忘的问题,然后通过注意力机制的使用能够对句子中不同特征分配权重,对于句子中倾向于用户情感的特征信息进行关注,有效改善识别效率。通过在有标签的京东某手机评论数据集上的实验,表明该方法在该领域具有良好的性能。     

基于BERT的危险化学品命名实体识别模型

针对危险化学品实体识别及关系识别的问题,本文基于双向长短期记忆网络连接条件随机场(Bidirectional Long Short-Term Memory with Conditional Random Field, BiLSTM-CRF)模型,通过引入双向编码器表示(Bidirectional Encoder Representation from Transformers, BERT)模型结合多头自注意力机制,提出了一种预训练命名实体模型BERT-BiLSTM-self-Attention-CRF,通过对危险化学品的文本进行字符级别编码,得到基于上下文信息的字向量,增强了模型挖掘文本全局和局部特征的能力。实验结果表明,在自行构建的数据集上,本文模型优于其他传统模型,其F1值为94.57%。     

基于双向门控机制和层次注意力的方面级情感分析

针对传统情感分析模型将单词或词语作为单一嵌入,而忽略句子之间依存信息和位置信息的问题,提出基于双向门控机制和层次注意力的方面级情感分析模型（Based on Bi-GRU and Hierarchical Attention,BGHA）。首先,将文本数据转成词向量再加入位置编码信息,得到包含位置和语义信息的词向量后通过双向门控机制提取上下文特征;接着,分别在单词注意力层和句子注意力层用注意力机制对特征分配权重,突出重点词和重点句信息;最后,结合给定的方面信息选择性提取与其较匹配的情感特征。在SemEval 2014、SemEval 2016和Twitter短文本评论数据集上的实验结果表示,BGHA模型的准确率对比其他模型都有不同程度的提高,证明了模型的有效性。     

一种结合词性及注意力的句子情感分类方法

针对目前各种基于长短期记忆网络LSTM的句子情感分类方法没有考虑词的词性信息这一问题,将词性与自注意力机制相结合,提出一种面向句子情感分类的神经网络模型PALSTM(Pos and Attention-based LSTM).首先,结合预训练词向量和词性标注工具分别给出句子中词的语义词向量和词性词向量表示,并作为LSTM的输入用于学习词在内容和词性方面的长期依赖关系,有效地弥补了一般LSTM单纯依赖预训练词向量中词的共现信息的不足;接着,利用自注意力机制学习句子中词的位置信息和权重向量,并构造句子的最终语义表示;最后由多层感知器进行分类和输出.实验结果表明,PALSTM在公开语料库Movie Reviews、Internet Movie Database和Stanford Sentiment Treebank二元分类及五元情感上的准确率均比一般的LSTM和注意力LSTM模型有一定的提升.