基于BERT预训练语言模型的电网设备缺陷文本分类

电网设备缺陷部位识别是设备故障分析的关键环节。该文提出一种基于预训练语言模型双向Transformers偏码表示(Bidirectional encoder representation from transformers,BERT)的电网设备缺陷文本分类方法。基于BERT预训练语言模型对电网设备缺陷部位文本进行预训练生成具有上下文特征的词嵌入(Word embedding)向量作为模型输入,然后,利用双向长短时记忆(Bi-directional long short-term memory)网络对输入的电网设备缺陷文本向量进行双向编码提取表征缺陷文本的语义表征,并通过注意力机制增强电网设备缺陷文本中与缺陷部位相关的领域词汇的语义特征权重,进而得到有助于电网设备缺陷部位分类的语义特征向量。通过模型的归一化层实现电网设备缺陷部位文本分类。在主变压器、SF6真空断路器这两种设备缺陷文本数据集上实验结果表明,提出的方法比基于BiLSTM-Attention模型的F_1值分别提升了2.77%和2.95%。     

基于双向语言模型的社交媒体药物不良反应识别

与服药相关的社交文本中隐藏着更具时效和更广泛的药物不良反应信息,但是从相对短小、稀疏的社交短文本中提取药物不良反应非常困难。基于此,本文提出一种双向语言预训练模型和注意力机制相结合的神经网络识别方法。该方法利用双向字符级语言预训练模型提取特定字符级特征,而且在提取药物不良反应的同时,通过注意力机制捕获局部和全局语义上下文信息。此外,为了提高该方法的效率,将字符级特征与词级特征相结合,并采用词级预训练和字符级预训练模型代替协同训练。在PSB 2016社交媒体挖掘共享任务2中的实验结果表明,字符特征在形态学上有助于区分药物不良反应,而注意力机制通过捕获局部和全局语义信息提高了对药物不良反应的识别性能,宏平均F₁值为82.2%。     

基于双向语言模型的社交媒体药物不良反应识别

与服药相关的社交文本中隐藏着更具时效和更广泛的药物不良反应信息,但是从相对短小、稀疏的社交短文本中提取药物不良反应非常困难。基于此,本文提出一种双向语言预训练模型和注意力机制相结合的神经网络识别方法。该方法利用双向字符级语言预训练模型提取特定字符级特征,而且在提取药物不良反应的同时,通过注意力机制捕获局部和全局语义上下文信息。此外,为了提高该方法的效率,将字符级特征与词级特征相结合,并采用词级预训练和字符级预训练模型代替协同训练。在PSB 2016社交媒体挖掘共享任务2中的实验结果表明,字符特征在形态学上有助于区分药物不良反应,而注意力机制通过捕获局部和全局语义信息提高了对药物不良反应的识别性能,宏平均F₁值为82.2%。     

基于多特征融合的新疆旅游领域关系抽取研究

通过结合2 738个领域词汇组成的词典对新疆旅游领域语料进行预处理操作，对文本信息进行实体关系抽取研究，提出基于旅游领域的词典信息，融合多级特征的Bi-LSTM、CNN和Attention机制的领域级关系抽取模型.该模型首先使用预训练模型生成含较强的语义表征能力的词向量；再使用Bi-LSTM获取更好的语义信息和词向量拼接以捕获长距离的语义特征；用CNN进行特征提取，加强局部特征的学习，并使用注意力池化层(Attentive-pooling)用以强化特征的表达；最后通过Softmax完成关系抽取任务.结果表明：该模型在SemEval-2010 Task 8公开数据集中F1值达到83.46%,证明了其有效性.且模型在新疆旅游领域语料的关系抽取任务中的F1值达到92.73%,优于目前的主流关系抽取模型.     

多模态与文本预训练模型的文本嵌入差异研究

为了详细地分析文本单模态预训练模型RoBERTa和图文多模态预训练模型WenLan文本嵌入的差异,提出两种定量比较方法,即在任一空间中,使用距离一个词最近的k近邻词集合表示其语义,进而通过集合间的Jaccard相似度来分析两个空间中词的语义变化;将每个词与其k近邻词组成词对,分析词对之间的关系。实验结果表明,图文多模态预训练为更抽象的词(如成功和爱情等)带来更多的语义变化,可以更好地区分反义词,发现更多的上下义词,而文本单模态预训练模型更擅长发现同义词。另外,图文多模态预训练模型能够建立更广泛的词之间的相关关系。     

基于LDA模型与语义网络对评论文本挖掘研究

通过主题模型与语义网络对旅游电商中的评论文本进行挖掘,从而引导消费者与商家对评论信息作出重要决策;提出一种基于LDA(Latent Dirichlet Allocation,LDA)主题聚类与语义网络模型(LDA topic clustering and semantic network model,LTC-SNM)的方法对酒店在线评论文本进行研究;获取在线评论文本进行数据预处理,使用Word2vec生成词向量,利用机器学习算法对评论文本进行情感分类;通过LDA主题模型对分类后的文本进行聚类,生成酒店的特征主题词;通过ROSTCM将特征主题词与所修饰的情感词生成语义网络,缓解了挖掘文本信息的复杂性;实验结果表明:提出的LTC-SNM文本挖掘方法使得在线用户评价的主题更具表达性。     

基于数据增强的多层次论点立场分类方法

本文旨在研究论点抽取技术，该技术的目的在于识别、抽取和分析文本信息中的论辩成分与结构。通过从若干句子中提取与辩题相关的论点，并判断该论点的立场为支持或反对，来完成对论辩事实文本的智能分析。以往的研究主要基于卷积神经网络和循环神经网络等深度学习模型，网络结构简单，无法从论辩中学习到更深层次的特征。为学习到论辩文本中更丰富的语义信息来对论辩立场进行分类，本文提出一种增强的RoBERTa模型EnhRoBERTa。该模型以预训练语言模型RoBERTa为基础，充分利用多层次的多头注意力机制，并且提取浅层和深层语义表示进行融合，从多个特征维度进一步理解论点和辩题之间的关系，完成对论点的立场分类。然而，考虑到论点对立场的分布不均衡问题，本文采用数据增强技术，增强对少样本的学习能力。在CCAC2022比赛数据集上的实验结果表明：本文模型相较于基线模型可以提取到更丰富的文本特征，取得61.4%的F1-score,比未使用预训练的基线模型TextCNN和BiLSTM提高约19个百分点，比RoBERTa提高3.8个百分点。     

基于LNBC模型的中文命名实体识别

针对中文命名实体识别中融合词典信息准确率提升不足的问题,使用在模型内部融合词典信息的策略,并结合预训练语言模型NEZHA增强文本的嵌入表示,提出一种基于LNBC(LE-NEZHA-BiLSTM-CRF)模型的中文命名实体识别方法．首先通过词典树匹配所有潜在的词,然后采用面向中文理解的神经语境表征模型(NEZHA)进行融合嵌入表示,将训练得到的字词融合向量输入双向长短期记忆(BiLSTM)网络进行特征提取,获取长距离的语义信息,最后通过条件随机场(CRF)层降低错误标签输出的概率．实验结果表明,该方法在MSRA数据集和Resume数据集中的F1值分别为95.71%和96.11%,较其他对比模型均有提高．     

基于反馈图卷积神经网络的事件检测方法

事件检测是自然语言处理领域的重要任务之一,其结果可以有效支撑信息抽取、文本分类和事件推理等下游任务. 预训练语言模型BERT在事件检测任务上取得了显著的成绩,然而该类方法无法有效获取长距离和结构化的文本信息. 为了缓解该问题,本文提出基于反馈网络的图卷积神经网络模型进行文本结构信息捕获,同时这种新方法能够有效解决图卷积神经网络带来的语义信息衰减性问题. 本文首先使用BERT预训练模型获取文本的语义特征,然后使用融入反馈网络的图卷积神经网络提取文本的句法结构特征,最终使用多分类器实现对事件触发词的识别和分类.公开数据集ACE 2005上的实验结果表明,本文提出的事件检测方法在事件触发词识别和分类任务上的F1值分别达到了74.46%和79.49%,较现有工作平均提高了4.13%和4.79%.     

结合主题模型与自监督学习的可控文本生成技术研究

基于大型预训练语言模型的有监督学习方法在可控文本生成任务上取得了优秀的成果，但这些研究都着重于控制生成文本的高级属性(比如情感与主题),而忽略了泛化性问题.现有的基于自监督学习的研究方法则通过句子级别的训练来使模型获得补全整句的能力，使模型做到单词和短语级别的控制生成，但生成与特定属性强相关句子的能力依旧待提升.所以本文提出了一种单词级别(细粒度)与句子(粗粒度)级别相结合的多粒度训练方式：单词级别的主题模型让模型学习主题层面的语义以获得主题到文本的生成能力，句子级别的自监督训练让模型学习整句的表征以获得补全句子的能力.通过主题模型与自监督学习的结合，使模型在单词与短语级别的可控生成阶段取得了更好的效果.实验表明，本文提出的模型在主题契合度以及常规文本生成指标方面优于现有的基线模型.     

基于ChineseBert的中文拼写纠错方法

中文拼写错误主要集中在拼音相似和字形相似两个方面，而通用的预训练语言模型只考虑文本的语义信息，忽略了中文的拼音和字形特征.最新的中文拼写纠错（Chinese Spelling Correction,CSC）方法在预训练模型的基础上利用额外的网络来融入拼音和字形特征，但和直接微调预训练模型相比，改进的模型没有显著提高模型的性能，因为由小规模拼写任务语料训练的拼音和字形特征，和预训练模型获取的丰富语义特征相比，存在严重的信息不对等现象.将多模态预训练语言模型ChineseBert应用到CSC问题上，由于ChineseBert已将拼音和字形信息放到预训练模型构建阶段，基于ChineseBert的CSC方法不仅无须构建额外的网络，还解决了信息不对等的问题.由于基于预训练模型的CSC方法普遍不能很好地处理连续错误的问题，进一步提出SepSpell方法 .首先利用探测网络检测可能错误的字符，再对可能错误的字符保留拼音特征和字形特征，掩码对应的语义信息进行预测，这样能降低预测过程中错误字符带来的干扰，更好地处理连续错误问题.在三个官方评测数据集上进行评估，提出的两个方法都取得了非常不错的结果 .     

基于语义对齐的生成式文本摘要研究

针对当前生成式文本摘要模型在解码时对摘要整体语义信息利用不充分的问题,提出一种基于语义对齐的神经网络文本摘要方法.该方法以带注意力、Pointer机制和Coverage机制的Sequence-to-Sequence模型为基础,在编码器与解码器之间加入语义对齐网络,实现文本到摘要的语义信息对齐;将获得的摘要整体语义信息与...     

基于情感信息预处理和Bi-GRU的虚假评论识别模型

虚假评论识别在电子商务、社交媒体等领域具有重要的应用价值。尽管现有虚假评论识别模型融合了文本的情感信息,但在预训练过程中忽视了对情感信息的提取,导致准确率不高。针对此问题,本文提出一种基于情感信息预处理和双向门控循环单元(Bidirectional Gated Recurrent Unit, Bi-GRU)的虚假评论识别模型(FR-SG),用于提高虚假评论识别的准确率。首先,通过Albert模型获取文本的语义向量;然后,使用词频-逆文本频率(Term Frequency-Inverse Document Frequency, TF-IDF)和K-均值(K-means++)聚类的方法从评论中挖掘情感种子词,基于种子词对文本中的属性词和情感词进行掩码(mask);接着,使用面向情感的目标优化函数,将情感信息嵌入到语义表示中,生成情感向量;最后,将这两组向量的拼接结果输入虚假评论识别网络中,得到文本的分类结果。实验结果表明,相较于Bi-GRU+Attention模型,FR-SG提高了虚假评论识别的准确率。     

一种融合词序信息的多粒度文本话题情感联合模型

针对基本话题模型只能抽取粗粒度上下文信息的问题,通过对潜在狄里克雷分配(LDA)模型进行扩展,建立了一种利用词序信息的多粒度话题情感联合模型(MTSU-Col)。MTSU-Col模型客观表达了词汇、全局/局部话题、情感标签和词序信息之间的关联关系,使模型中话题和情感的建模更加符合文本的语义表达,有效解决了现有话题、情感分析方法存在的领域依赖问题,从而实现了文本多粒度话题信息和情感倾向信息的同步非监督获取。实验表明:利用MTSU-Col模型对文本进行情感倾向性分类,可使综合评价指标F1值达到84%,整体性能与监督分类方法支持向量机(SVM)类似,均优于未采用词序信息的分析方法。由于挖掘话题集合具有层次化、语义相关的特点,因此MTSU-Col模型对观点挖掘是可行、有效的。     

融合标签嵌入和知识感知的多标签文本分类方法

多标签文本分类是自然语言处理领域的重要任务之一.文本的标签语义信息与文本的文档内容有紧密的联系，而传统的多标签文本分类方法存在忽略标签的语义信息以及标签的语义信息不足等问题.针对以上问题，提出一种融合标签嵌入和知识感知的多标签文本分类方法 LEKA (Label Embedding and Knowledge-Aware).该方法依赖于文档文本以及相应的多个标签，通过标签嵌入来获取与标签相关的注意力.考虑标签的语义信息，建立标签与文档内容的联系，将标签应用到文本分类中.另外，为了增强标签的语义信息，通过知识图谱嵌入引入外部感知知识，对标签文本进行语义扩展.在AAPD和RCV1-V2公开数据集上与其他分类模型进行了对比，实验结果表明，与LCFA (Label Combination and Fusion of Attentions)模型相比，LEKA的F1分别提高了3.5%和2.1%.     

基于BERT的危险化学品命名实体识别模型

针对危险化学品实体识别及关系识别的问题,本文基于双向长短期记忆网络连接条件随机场(Bidirectional Long Short-Term Memory with Conditional Random Field, BiLSTM-CRF)模型,通过引入双向编码器表示(Bidirectional Encoder Representation from Transformers, BERT)模型结合多头自注意力机制,提出了一种预训练命名实体模型BERT-BiLSTM-self-Attention-CRF,通过对危险化学品的文本进行字符级别编码,得到基于上下文信息的字向量,增强了模型挖掘文本全局和局部特征的能力。实验结果表明,在自行构建的数据集上,本文模型优于其他传统模型,其F1值为94.57%。     

基于Bert和卷积神经网络的人物关系抽取研究

通过构造人物关系数据集,将人物关系定义为14类,提出了基于Bert-BiGRU-CNN的人物关系抽取网络模型.该模型首先通过Bert预训练模型获取上下文语义信息的词向量,利用双向门限循环单元网络(BiGRU)进一步获取相关的文本特征,然后加入卷积神经网络(CNN)获取局部文本特征,最后通过全连接层加Softmax分类器进行关系分类.在构造的人物关系数据集中进行了实验,结果表明,本文模型相较于其他4种模型进一步提高了人物关系抽取的精确率和召回率.     

基于BERT-SUMOPN模型的抽取-生成式文本自动摘要

抽取式摘要可读性、准确性较差,生成式摘要存在连贯性、逻辑性的不足,此外2种摘要方法的传统模型对文本的向量表示往往不够充分、准确。针对以上问题,该文提出了一种基于BERT-SUMOPN模型的抽取-生成式摘要方法。模型通过BERT预训练语言模型获取文本向量,然后利用抽取式结构化摘要模型抽取文本中的关键句子,最后将得到的关键句子输入到生成式指针生成网络中,通过EAC损失函数对模型进行端到端训练,结合coverage机制减少生成重复,获取摘要结果。实验结果表明,BERT-SUMOPN模型在BIGPATENT专利数据集上取得了很好的效果,ROUGE-1和ROUGE-2指标分别提升了3.3%和2.5%。     

基于RoBERTa与句法信息的中文影评情感分析

细粒度情感分析是自然语言处理的关键任务之一,针对现有的解决中文影评情感分析的主流方案一般使用Word2Vector等预训练模型生成静态词向量,不能很好地解决一词多义问题,并且采用CNN池化的方式提取文本特征可能造成文本信息损失造成学习不充分,同时未能利用文本中包含的长距离依赖信息和句子中的句法信息。因此,提出了一种新的情感分析模型RoBERTa-PWCN-GTRU。模型使用RoBERTa预训练模型生成动态文本词向量,解决一词多义问题。为充分提取利用文本信息,采用改进的网络DenseDPCNN捕获文本长距离依赖信息,并与Bi-LSTM获取到的全局语义信息以双通道的方式进行特征融合,再融入邻近加权卷积网络(PWCN)获取到的句子句法信息,并引入门控Tanh-Relu单元(GTRU)进行进一步的特征筛选。在构建的中文影评数据集上的实验结果表明,提出的情感分析模型较主流模型在性能上有明显提升,其在中文影评数据集上的准确率达89.67%,F1值达82.51%,通过消融实验进一步验证了模型性能的有效性。模型能够为制片方未来的电影制作和消费者的购票决策提供有用信息,具有一定的实用价值。     

结合预训练和自训练的法律信息抽取增强式方法

在“智慧法院”的建设中，法律信息抽取是法律人工智能任务中最基本的任务。目前，法律信息抽取方法主要基于深度神经网络的监督学习模型。由于现有的监督学习模型需要大量的标签数据，而人工标注的方式会提高法律信息抽取任务的成本，存在只有少样本情况下模型学习性能较差的问题。针对上述问题，提出一种结合预训练和自训练的法律信息抽取增强式方法。首先，利用大规模预训练模型和标签数据训练出一个教师模型；然后，利用改进的文本相似度计算公式从法律文书库中寻找出与训练集相似的无标签法律文本数据，再结合训练完成的教师模型对其生成伪标签数据；最后，将有标签数据和伪标签数据混合起来重新训练出一个学生模型用于下游的法律信息抽取任务。本文在2021法研杯提供的信息抽取数据集上进行验证。与基线模型进行对比，本文提出的结合预训练和自训练的法律信息抽取增强式方法取得了较好的抽取效果。