基于XLNet+BiGRU+Att(Label)的文本分类模型

传统的词向量嵌入模型,如Word2Vec、GloVe等模型无法实现一词多义表达;传统的文本分类模型也未能很好地利用标签词的语义信息。基于此,提出一种基于XLNet+BiGRU+Att(Label)的文本分类模型。首先用XLNet生成文本序列与标签序列的动态词向量表达;然后将文本向量输入到双向门控循环单元(BiGRU)中提取文本特征信息;最后将标签词与注意力机制结合,选出文本的倾向标签词,计算倾向标签词与文本向量的注意力得分,根据注意力得分更新文本向量。通过对比实验,本文模型比传统模型在文本分类任务中的准确率更高。使用XLNet作为词嵌入模型,在注意力计算时结合标签词能够提升模型的分类性能。     

基于多头注意力机制的医学文本实体研究

医学文本实体识别过程存在多义性和复杂性等特点，这导致传统的语言处理模型无法有效获取医学文本语义信息，从而影响了医学实体识别效果。本文提出了一种基于全词MASK的医学文本实体识别模型，其能有效处理中文文本。其中，BERT预处理层能够生成表征上下文语义信息的词向量，Bi-LSTM层对输入的词向量进行双向特征信息提取，注意力机制层对输出的特征向量进行权重分配，从而有效获取文本语句中的长距离依赖，最后通过CRF解码以生成实体标签序列。实验结果表明，该模型在中文简历语料库和CCKS2017语料库中表现优异，F1值分别为96.14%和92.68%。     

基于BERT预训练语言模型的电网设备缺陷文本分类

电网设备缺陷部位识别是设备故障分析的关键环节。该文提出一种基于预训练语言模型双向Transformers偏码表示(Bidirectional encoder representation from transformers,BERT)的电网设备缺陷文本分类方法。基于BERT预训练语言模型对电网设备缺陷部位文本进行预训练生成具有上下文特征的词嵌入(Word embedding)向量作为模型输入,然后,利用双向长短时记忆(Bi-directional long short-term memory)网络对输入的电网设备缺陷文本向量进行双向编码提取表征缺陷文本的语义表征,并通过注意力机制增强电网设备缺陷文本中与缺陷部位相关的领域词汇的语义特征权重,进而得到有助于电网设备缺陷部位分类的语义特征向量。通过模型的归一化层实现电网设备缺陷部位文本分类。在主变压器、SF6真空断路器这两种设备缺陷文本数据集上实验结果表明,提出的方法比基于BiLSTM-Attention模型的F_1值分别提升了2.77%和2.95%。     

基于注意力机制多特征融合与文本情感分析的日志异常检测方法

现有的基于深度学习和神经网络的日志异常检测方法通常存在语义信息提取不完整、依赖日志序列构建和依赖日志解析器等问题.基于注意力机制多特征融合和文本情感分析技术,提出了一种日志异常检测方法 .该方法首先采用词嵌入方法将日志文本向量化以获取日志消息的词向量表示,接着将词向量输入到由双向门控循环单元网络和卷积神经网络组成的特征提取层中分别提取日志消息的上下文依赖特征和局部依赖特征,使用注意力机制分别加强两种特征中的关键信息,增强模型识别关键信息的能力.使用基于注意力机制的特征融合层为两种特征赋予不同权重并加权求和后输入由全连接层构成的输出层中,实现日志消息的情感极性分类,达到日志异常检测的目的 .在BGL公开数据集上的实验结果表明,该模型的分类准确率和F1值分别达到了96.36%和98.06%,与同类日志异常检测模型相比有不同程度的提升,从而证明了日志中的语义情感信息有助于异常检测效果的提升,并且经过实验证明了使用注意力机制的模型可以进一步提高文本情感分类效果,进而提升日志异常检测的准确率.     

基于并行双向门控循环单元与自注意力机制的中文文本情感分类

在基于深度学习的文本情感分类研究领域中,目前传统的模型主要是序列结构,即采用单一的预训练词向量来表示文本从而作为神经网络的输入,然而使用某一种预训练的词向量会存在未登录词和词语语义学习不充分的问题。针对此问题,提出基于并行双向门控循环单元（gated recurrent unit,GRU）网络与自注意力机制的文本情感分类模型,利用两种词向量对文本进行表示并作为并行双向GRU网络的输入,通过上下两个通道分别对文本进行上下文信息的捕捉,得到表征向量,再依靠自注意力机制学习词语权重并加权,最后对两个通道的输出向量进行向量融合,作为输入进入全连接层判别情感倾向。将本文模型与多个传统模型在两个公共数据集上进行实验验证,结果表明本文模型在查准率、查全率、F₁值和准确率等性能指标上相比于双向门控循环单元网络模型、双向长短时记忆网络模型和双向门控循环单元网络与自注意力机制的单通道网络模型均有所提升。     

基于BERT-BiGRU-CNN模型的短文本分类研究

针对传统语言模型不能解决深层双向表征和分类模型不能充分捕获文本显著特征的问题,提出了一种基于BERT-BiGRU-CNN(Bidirectional Encoder Representation from Transformers-Bidirectional Gating Recurrent Unit-Convolutional Neural Networks)的文本分类模型。首先,该模型使用BERT预训练语言模型进行文本表示;其次,将BERT的输出数据输入BiGRU中,以捕获文本的全局语义信息;然后,将BiGRU层的结果输入CNN中,捕获文本局部语义特征;最后,将特征向量输入Softmax层得到分类结果。实验采用中文新闻文本标题数据集,结果表明,基于BERT-BiGRU-CNN的文本分类模型在数据集上的F₁值达到0.948 5,优于其他基线模型,证明了BERT-BiGRU-CNN模型可提升短文本的分类性能。     

改进的基于Transformer的双向编码器的对话文本识别

利用文本分析技术可以帮助民警快速地准确地提取电子数据,使用预训练语言模型进行下游任务能够有效减轻过拟合,在使用微调BERT进行文本分类的时候一般将[CLS]位对应的隐含层表示作为句向量输入到全连接层中进行分类,这会产生一部分语义信息的丢失从而导致分类准确率的下降。针对这一问题,提出在BERT后接一个语义特征提取器以充分利用高层的语义信息,使用不同大小的二维卷积核对BERT输出的隐藏状态进行卷积,然后用共享权重的Squeeze-and-Excitation模块对通道进行加权,通过最大池化层后连结起来,最后输入到全连接层进行分类。在自建的涉案对话文本数据集和公开数据集THUCNews上进行测试,结果表明,与BERT基线模型和其他分类模型相比,改进后的微调BERT模型具有更好的分类效果。     

基于预训练模型和多视角循环神经网络的电力文本匹配模型

针对传统方法未能考虑词向量的动态性及句子间交互不充分等问题,提出基于BERT预训练模型及多视角循环神经网络的文本匹配模型。通过BERT-whitening方法对BERT输出的句向量进行线性变换优化,并利用多视角循环神经网络将两句子不同位置的BERT动态词向量进行双向交互计算;将句向量与词粒度交互向量进行融合后计算结果。实验结果表明,提出的模型相较于对比模型有明显性能提升,实用性良好。     

融合BERT中间隐藏层的方面级情感分析模型

现有的基于BERT(bidirectional encoder representations from transformers)的方面级情感分析模型仅使用BERT最后一层隐藏层的输出,忽略BERT中间隐藏层的语义信息,存在信息利用不充分的问题,提出一种融合BERT中间隐藏层的方面级情感分析模型。首先,将评论和方面信息拼接为句子对输入BERT模型,通过BERT的自注意力机制建立评论与方面信息的联系;其次,构建门控卷积网络(gated convolutional neural network, GCNN)对BERT所有隐藏层输出的词向量矩阵进行特征提取,并将提取的特征进行最大池化、拼接得到特征序列;然后,使用双向门控循环单元(bidirectional gated recurrent unit, BiGRU)网络对特征序列进行融合,编码BERT不同隐藏层的信息;最后,引入注意力机制,根据特征与方面信息的相关程度赋予权值。在公开的SemEval2014 Task4评论数据集上的实验结果表明：所提模型在准确率和F₁值两种评价指标上均优于BERT、CapsBERT(ca...     

基于双向长短期记忆网络和标签嵌入的文本分类模型

提出了一种基于双向长短期记忆网络和标签嵌入的文本分类模型。首先利用BERT模型提取句子特征,然后通过BiLSTM和注意力机制得到融合重要上、下文信息的文本表示,最后将标签和词在联合空间学习,利用标签与词之间的兼容性得分对标签和句子表示加权,实现标签信息的双重嵌入,分类器根据给定标签信息对句子进行分类。在5个权威数据集上的实验表明,该方法能有效地提高文本分类性能,具有更好的实用性。     

基于分层注意力循环神经网络的司法案件刑期预测

为了解决刑期预测任务准确率较差的问题,提出一种基于多通道分层注意力循环神经网络的司法案件刑期预测模型.该模型对传统的循环神经网络模型进行了改进,引入了BERT词嵌入、多通道模式和分层注意力机制,将刑期预测转化为文本分类问题.模型采用分层的双向循环神经网络对案件文本进行建模,并通过分层注意力机制在词语级和句子级两个层面捕获不同词语和句子的重要性,最终生成有效表征案件文本的多通道嵌入向量.实验结果表明:对比现有的基于深度学习的刑期预测模型,本文提出的模型具有更高的预测性能.     

基于STACKING-BERT集成学习的中文短文本分类算法

由于word2vec、Glove等静态词向量表示方法存在无法完整表示文本语义等问题,且当前主流神经网络模型在做文本分类问题时,其预测效果往往依赖于具体问题,场景适应性差,泛化能力弱.针对上述问题,提出一种多基模型框架(Stacking-Bert)的中文短文本分类方法.模型采用BERT预训练语言模型进行文本字向量表示,输...     

基于短语结构和词语词性相结合的情感分类方法

针对传统文本分类方法忽略词语间的语义特征的问题,并为了改善输入文本的表示质量,提出一种基于短语结构和词语词性相结合的情感分类方法.该方法首先通过短语结构优化分词,可以更好地提取文本特征;其次利用Word2vec工具训练词语和词性相结合的文本语料库得到词向量模型,解决了Word2vec无法识别一词多义的问题;最后通过SVM算法对文本进行情感分类.实验结果表明,该算法能够提高文本情感分类的正确性.该方法对舆情监控、股票市场行情预测和了解消费者对产品的偏好等具有较高的实用性.     

基于领域BERT模型的服务文本分类方法

针对BERT模型领域适应能力较差，无法解决训练数据类别数量不均衡和分类难易不均衡等问题，提出一种基于WBBI模型的服务文本分类方法。首先通过TF-IDF算法提取领域语料中的词汇扩展BERT词表，提升了BERT模型的领域适应性；其次，通过建立的BERT-BiLSTM模型实现服务文本分类；最后，针对数据集的类别数量不均衡和分类难易不均衡问题，在传统焦点损失函数的基础上提出了一种可以根据样本不均衡性特点动态调整的变焦损失函数。为了验证WBBI模型的性能，在互联网获取的真实数据集上进行了大量对比试验，实验结果表明：WBBI模型与通用文本分类模型TextCNN、BiLSTM-attention、RCNN、Transformer相比Macro-F1值分别提高了4.29%、6.59%、5.3%和43%;与基于BERT的文本分类模型BERT-CNN、BERT-DPCNN相比，WBBI模型具有更快的收敛速度和更好的分类效果。     

基于外部知识筛选的主题文本生成技术研究

在自然语言生成任务中，主题文本生成是一项富有挑战性的工作，其主要难点在于：源信息量远小于目标生成的信息量.为了解决该问题，本文提出一个基于外部知识筛选的主题文本生成模型Trans K，通过引入与主题词相关的外部知识来丰富源信息，进而提高生成文本的质量.本文为了解决引入外部知识的“一词多义”问题，提出一种基于线性变换的主题向量计算方法，用于筛选和主题词语义一致的外部知识；提出一种基于注意力机制的外部权重计算方法，为每个外部词设定一个主题权重，使其更贴合文本语义；为了解决主题词（含候选词）在生成文本中反复出现的问题，提出一种基于多头注意力机制的内部权重计算方法.在EASSY数据集上的实验表明，与基线相比，Trans K生成文本质量的各项指标更优.此外，人类评估表明，该模型可生成与主题更相关、语言更连贯、且符合语义逻辑的文本.     

基于注意力机制结合CNN-BiLSTM模型的电子病历文本分类

为了解决中文电子病历文本分类的高维稀疏性、算法模型收敛速度较慢、分类效果不佳等问题,提出了一种基于注意力机制结合CNN-BiLSTM模型的病历文本分类模型.该模型首先使用word2vec工具进行词向量表示,利用多层卷积神经网络(convolutional neural networks,CNN)结构提取病历文本的局部特...