基于Transformer的序列生成多标签文本分类

多标签文本分类任务存在难以从文本信息中提取标签关联的判别特征，建立标签相关性困难等问题。现有方法主要采用基于RNN的序列生成模型来建立标签高阶相关性，但缺乏对文本语义信息的充分利用。为此文章提出基于Transformer解码器的序列生成模型，使用标签嵌入作为查询，通过其多头自注意力机制建立标签之间的高阶相关性，并利用多头交叉注意力子层从文本信息中自适应地聚合标签相关的关键特征。文章的注意力权重可视化实验表明，序列生成Transformer在建立标签相关性的同时，能够更全面、更深层次地考虑文本和标签之间的语义相关性。与传统RNN类模型相比，序列生成Transformer在分类任务中兼具有效性和可解释性，并在AAPD和SLASHDOT两个数据集上取得了更优的结果。在AAPD数据集上分别取得了70.49%的Instance-F1值和52.04%的Label-F1值，比以往分类效果最好的set-RNN模型分别高1.44%和1.83%。     

区分冗余序列的抽象文本摘要

序列到序列模型已经被广泛用于抽象文本摘要中,主要将源端语句的词序列通过神经网络生成摘要的词序列.在生成过程中,源端语句所携带的信息被编码,继而由解码器生成摘要.源端句子中包含有两种类型的信息,一类是与摘要有关联的信息,另一类是与摘要无关的冗余信息.为了区分这两类信息,提出了一种新的模型架构,在序列到序列模型的目标端加入冗余序列信息,通过解码器分别生成摘要文本以及冗余文本.将该模型应用于Gigaword英文测试集和LCSTS中文测试集,测试结果表明:相对于基准系统Transformer模型,加入冗余序列的Transformer模型在评估指标ROUGE-1(recall-oriented understudy for gisting evaluation-1)下的得分提高了0.7个百分点,证明该模型能够生成更高质量的抽象文本摘要.     

一种自动求解数学应用题的双路文本编码器

近年来，得益于人工智能技术(Artificial Intelligence, AI)的快速发展，关于自动求解数学应用题(Math Word Problem, MWP)的研究越来越趋向成熟。在自动求解数学应用题任务中，对问题文本进行建模至关重要。针对这一问题，文章提出了一个基于循环神经网络(Recursive Neural Network, RNN)和Transformer编码网络的双路文本编码器(Dual Channel Text Encoder, DCTE):首先，使用循环神经网络对文本进行初步的编码；然后，利用基于自注意力(Self-attention)机制的Transformer编码网络来获得词语的远距离上下文语义信息，以增强词语和文本的语义表征。结合DCTE和GTS(Goal-Driven Tree-structured MWP Solver)解码器，得到了数学应用题求解器(DCTE-GTS模型),并在Math23k数据集上，将该模型与Graph2Tree、HMS等模型进行了对比实验；同时，为探讨编码器配置方法对模型效果的影响，进行了消融实验。对比实验结果表明：DCTE-GTS...     

基于生成对抗网络的类别文本生成

类别文本生成旨在让机器生成人类可理解的文本,并且赋予生成文本特定的类别属性。现有工作主要采用基于生成对抗网络的文本生成框架,往往直接采用卷积神经网络进行文本特征提取,缺乏对文本全局语义的关注;此外,简单地在生成网络中引入注意力无法有效消除解码过程中的噪声。针对上述问题,本文提出一种将文本全局特征与局部特征联合建模的方法,通过将长短时记忆网络提取的全局语义信息与卷积神经网络提取的局部语义信息进行融合,增强生成过程中对文本全局语义信息的关注,并且引入双重注意力,进一步过滤掉序列生成中的无关信息。与基准模型相比,本文提出的方法分别在2个公开的真实数据集(Movie Review和Amazon Review)上取得了至少0.01和0.004的BLEU值的提升,表明了本文方法的有效性。     

基于CNN-ATTBiLSTM的文本情感分析

卷积神经网络(CNN)和循环神经网络(RNN)已经被证明在文本情感分析中是有效的文本表示模型。然而,CNN只考虑连续词之间的局部信息,忽略了词语之间长距离的上下文依赖信息,在前向传播的过程中池化操作会丢失一部分语义信息; RNN在文本长度较短的情况下相比CNN并没有展现应有的优势。本文通过融合CNN和基于注意力机制的双向长短期记忆(ATTBiLSTM)网络提取的特征,提高模型的文本表示能力,同时为了防止过拟合,采取dropout策略。在中科院谭松波博士整理的酒店评论数据集上进行实验,结果表明本文提出的模型相比基线模型可以提取出更丰富的特征,效果较基线模型有所提升。     

基于编码器共享和门控网络的生成式文本摘要方法

结合基于自注意力机制的Transformer模型, 提出一种基于编码器共享和门控网络的文本摘要方法。该方法将编码器作为解码器的一部分, 使解码器的部分模块共享编码器的参数, 同时使用门控网络筛选输入序列中的关键信息。相对已有方法, 所提方法提升了文本摘要任务的训练和推理速度, 同时提升了生成摘要的准确性和流畅性。在英文数据集Gigaword和DUC2004上的实验表明, 所提方法在时间效率和生成摘要质量上, 明显优于已有模型。     

基于TF-IDF和多头注意力Transformer模型的文本情感分析

文本情感分析旨在对带有情感色彩的主观性文本进行分析、处理、归纳和推理,是自然语言处理中一项重要任务。针对现有的计算方法不能充分处理复杂度和混淆度较高的文本数据集的问题,提出了一种基于TF-IDF(Term Frequency-Inverse Document Frequency)和多头注意力Transformer模型的文本情感分析模型。在文本预处理阶段,利用TF-IDF算法对影响文本情感倾向较大的词语进行初步筛选,舍去常见的停用词及其他文本所属邻域对文本情感倾向影响较小的专有名词。然后,利用多头注意力Transformer模型编码器进行特征提取,抓取文本内部重要的语义信息,提高模型对语义的分析和泛化能力。该模型在多领域、多类型评论语料库数据集上取得了98.17%的准确率。     

基于BERT-Transformer的跨语言文本摘要技术研究

自动生成技术在信息提取任务中具有重要作用,为此研究设计了基于双向Transformer编码器(Bidirectional Encoder Representation from Transformers, BERT)的摘要生成模型.模型的掩码方式由casual改为了seq2seq,模型使用改进的随机集束搜索算法(Random Beam Search Algorithm, RBSA)作为解码算法.实验结果显示,RBSA的多样性百分比最高为69.20%,高于对比算法.摘要模型的覆盖度分数为30.12,生成的摘要在数据集1上的ROUGE-1、ROUGE-2、ROUGE-L数值分别为39.11、17.20、29.71,在数据集2上分别为41.21、18.70、38.29,均优于对比模型,可以自动生成中文和英文文本摘要,通过快速提取原文信息提高翻译效率.     

面向文本分类的张量残差图卷积网络模型

针对现有文本分类模型上下文信息挖掘不足、全局特征表示提取不充分等问题,提出了一种基于张量的残差图卷积网络模型．首先,以归纳学习方式构建文本图,挖掘文本中蕴含的句法关系、语义关系和序列关系并整合构建邻接张量,捕获文档的高阶上下文信息与关键局部特征信息;然后,利用残差连接加深网络深度,处理图卷积网络过平滑问题,提升模型的泛化能力;最后,设计图读出机制聚集所有节点特征,提取文本的全局特征表示．在R8和MR数据集上进行了实验评估,实验结果表明与已有文本分类方法相比,所提方法取得了优越的分类效果．     

基于XLNet的双通道特征融合文本分类模型

提出了基于XLNet的双通道特征融合文本分类(XLNet-CNN-BiGRU, XLCBG)模型。相对于单模型通道,XLCBG模型通过融合XLNet+CNN和XLNet+BiGRU这2个通道的特征信息,能提取更加丰富的语义特征。XLCBG模型对融合后的特征信息分别采用了Maxpooling、Avgpooling和注意力机制等处理方式,分别提取全局中特征值最大的向量、全局中的均值特征向量、注意力机制的关键特征来代替整个向量,从而使融合特征处理的方式多样化,使最优分类模型的可选择性增多。最后,将当前流行的文本分类模型与XLCBG模型进行了比较实验。实验结果表明：XLCBG-S模型在中文THUCNews数据集上分类性能优于其他模型;XLCBG-Ap模型在英文AG News数据集上分类性能优于其他模型;在英文20NewsGroups数据集上,XLCBG-Att模型在准确率、召回率指标上均优于其他模型,XLCBG-Mp模型在精准率、F₁指标上均优于其他模型。     

基于细粒度可解释矩阵的摘要生成模型

针对摘要模型中总结并解释长篇上下文信息存在的困难,提出一种基于细粒度可解释矩阵,先抽取再生成的摘要模型(fine-grained interpretable matrix,FGIM),提升长文本对显著度、更新性和相关度的可解释抽取能力,引导系统自动生成摘要.该模型通过一个句对判别(pair-wise)抽取器对文章内容进...     

Study on the fusion emotion classification of multiple characteristics based on attention mechanism

The current research on emotional classification uses many methods that combine the attention mechanism with neural networks.However,the effect is unsatisfactory when dealing with complex text.An emotional classification model is proposed,which combines multi-head attention(MHA)with improved structured-self attention(SSA).The model makes several different linear transformations of input by introducing MHA mechanism and can extract more comprehensive high-level phrase representation features from the word embedded vector.Meanwhile,it can realize the parallelization calculation and ensure the training speed of the model.The improved SSA structure uses matrices to represent different parts of a sentence to extract local key information,to ensure that the degree of dependence between words is not affected by time and sentence length,and generate the overall semantics of the sentence.Experiment results show that the current model effectively obtains global structural information and improves classification accuracy.     

基于RoBERTa与句法信息的中文影评情感分析

细粒度情感分析是自然语言处理的关键任务之一,针对现有的解决中文影评情感分析的主流方案一般使用Word2Vector等预训练模型生成静态词向量,不能很好地解决一词多义问题,并且采用CNN池化的方式提取文本特征可能造成文本信息损失造成学习不充分,同时未能利用文本中包含的长距离依赖信息和句子中的句法信息。因此,提出了一种新的情感分析模型RoBERTa-PWCN-GTRU。模型使用RoBERTa预训练模型生成动态文本词向量,解决一词多义问题。为充分提取利用文本信息,采用改进的网络DenseDPCNN捕获文本长距离依赖信息,并与Bi-LSTM获取到的全局语义信息以双通道的方式进行特征融合,再融入邻近加权卷积网络(PWCN)获取到的句子句法信息,并引入门控Tanh-Relu单元(GTRU)进行进一步的特征筛选。在构建的中文影评数据集上的实验结果表明,提出的情感分析模型较主流模型在性能上有明显提升,其在中文影评数据集上的准确率达89.67%,F1值达82.51%,通过消融实验进一步验证了模型性能的有效性。模型能够为制片方未来的电影制作和消费者的购票决策提供有用信息,具有一定的实用价值。     

基于Transformer局部信息及语法增强架构的中文拼写纠错方法

针对中文拼写纠错,提出两种新的改进方法.其一,在Transformer注意力机制的基础上,添加高斯分布的偏置矩阵,用于提高模型对局部文本的关注程度,加强对错误文本中错误字词和周边文字的信息提取.其二,使用ON_LSTM模型,对错误文本表现出的特殊语法结构特征进行语法信息提取.实验结果表明,所提出的两种方法均能有效提高准...     

基于图Transformer网络的城市路网短时交通流预测模型

针对城市路网短时交通流预测问题,在考虑路网交通状态时空相关性基础上,提出一种基于图Transformer（graph transformer,Graformer）的预测方法。该方法将多条路段的交通状态预测问题转化为图节点状态预测问题,针对区分相同结构的空间路网结构图,本文将带有边的图同构网络（graph isomorphism network with edges,GINE）和Transformer网络相结合,对交通状态在路网层面的时空相关性进行建模,从而实现城市路网短时交通流预测。具体来说,Graformer模型首先利用长短期记忆网络（long short-term memory,LSTM）对交通数据的时序信息进行预处理,接着采用基于GINE与Transformer的全局注意力机制提取交通数据的空间特征,最后实现路网各路段交通流的同步预测。通过使用PeMS数据集进行实验验证,结果表明提出的Graformer模型在各项性能指标上均优于对比模型,证明了其作为一种可靠且高效的路网短时交通流预测方法的有效性。     

基于多层次特征融合的Transformer人脸识别方法

卷积神经网络中的卷积操作只能捕获局部信息,而Transformer能保留更多的空间信息且能建立图像的长距离连接.在视觉领域的应用中,Transformer缺乏灵活的图像尺寸及特征尺度适应能力,通过利用层级式网络增强不同尺度建模的灵活性,且引入多尺度特征融合模块丰富特征信息.本文提出了一种基于改进的Swin Transformer人脸模型——Swin Face模型.Swin Face以Swin Transformer为骨干网络,引入多层次特征融合模块,增强了模型对人脸的特征表达能力,并使用联合损失函数优化策略设计人脸识别分类器,实现人脸识别.实验结果表明,与多种人脸识别方法相比,Swin Face模型通过使用分级特征融合网络,在LFW、CALFW、AgeDB-30、CFP数据集上均取得最优的效果,验证了此模型具有良好的泛化性和鲁棒性.     

融合ChineseBERT和双向注意力流的中文商品评论方面情感分析

准确分类电商平台中用户评论所包含的多个方面的情感极性,能够提升购买决策的有效性。为此,提出一种融合ChineseBERT和双向注意力流(Bidirectional Attention Flow,BiDAF)的中文商品评论方面情感分析模型。首先,通过融合拼音与字形的ChineseBERT预训练语言模型获得评论文本和方面文本的词嵌入,并采用从位置编码和内存压缩注意力两个方面改进的Transformer来表征评论文本和方面文本的语义信息。然后,使用双向注意力流学习评论文本与方面文本的关系,找出评论文本和方面文本中关键信息所对应的词语。最后,将Transformer和双向注意力流的输出同时输入到多层感知机(Multilayer Perceptron,MLP)中,进行信息级联和情感极性的分类输出。测试结果表明,提出的模型在两个数据集上的准确率分别为82.90%和71.08%,F1分数分别为82.81%和70.98%。     

基于混合神经网络的中文隐式情感分析

隐式情感分析是情感计算的重要组成部分,尤其是基于深度学习的情感分析近年来成为了研究热点.本文利用卷积神经网络对文本进行特征提取,结合长短期记忆网络(LSTM)结构提取上下文信息,并且在网络中加入注意力机制,构建一种新型混合神经网络模型,实现对文本隐式情感的分析.混合神经网络模型分别从单词级和句子级的层次结构中提取更有意义的句子语义和结构等隐藏特征,通过注意力机制关注情绪贡献率较大的特征.该模型在公开的隐式情感数据集上分类准确率达到了77%.隐式情感分析的研究可以更全面地提高文本情感分析效果,进一步推动文本情感分析在知识嵌入、文本表示学习、用户建模和自然语言等领域的应用.