基于预训练模型和混合神经网络的医疗实体关系抽取

医疗文本具有实体密度高、句式冗长等特点,简单的神经网络方法不能很好地捕获其语义特征,因此提出一种基于预训练模型的混合神经网络方法。首先使用预训练模型获取动态词向量,并提取实体标记特征;然后通过双向长短期记忆网络获取医疗文本的上下文特征,同时使用卷积神经网络获取文本的局部特征;再使用注意力机制对序列特征进行加权,获取文本全局语义特征;最后将实体标记特征与全局语义特征融合,并通过分类器得到抽取结果。在医疗领域数据集上的实体关系抽取实验结果表明,新提出的混合神经网络模型的性能比主流模型均有提升,说明这种多特征融合的方式可以提升实体关系抽取的效果。     

基于BERT-CNN的数据标准化方法

针对复杂多源的非结构化数据，提出一种数据标准化方法，在抽取信息的同时，能将不同来源的数据转换为统一的表示形式.首先，对文本进行词性标注等预处理，提取出需要进一步识别类型的实体；其次，使用语言表征模型对文本信息进行向量表示；最后，通过基于注意力机制的卷积神经网络对抽取出的实体进行分类，以适应不同应用场景的分类标准.实验结果验证了该模型的有效性.     

基于实体信息和图神经网络的药物相互作用关系抽取

药物相互作用是指药物与药物之间相互促进或抑制.针对现有的药物关系抽取方法利用外部背景知识和自然语言处理工具导致错误传播和积累的问题，以及现有大多数研究在数据预处理阶段对药物实体进行盲化，忽略了有助于识别关系类别的目标药物实体信息的问题.论文提出了基于预训练生物医学语言模型和词汇图神经网络的药物相互作用关系抽取模型，该模型通过预训练语言模型获得句子的原始特征表示，在基于数据集构建的词汇图上进行卷积操作获得与句子相关的全局特征信息表示，最后与药物目标实体对特征进行拼接从而构建药物相互作用关系提取任务的特征表示，在获得丰富的全局特征信息的同时避免了使用自然语言处理工具和外部背景知识，提升模型的准确率.论文的模型在DDIExtraction 2013数据集上的F₁值达到了83.25%,优于目前最新方法2.35%.     

基于BERT的诉讼案件违法事实要素自动抽取

针对诉讼案件违法事实要素抽取效果依赖领域专业知识的特点,提出一种基于transformer双向编码器表示(bidirec-tional encoder representations from transformer,BERT)的诉讼案件违法事实要素自动抽取方法.首先,通过构建领域知识并采用谷歌BERT预训练语言模型进行训练得到拟合诉讼案件领域数据的模型参数和中文预训练字嵌入向量作为模型的输入,得到具有上下文相关的语义表示,以提高词嵌入的上下文语义质量.其次,采用循环卷积神经网络对文本进行编码并获取在文本分类任务中扮演关键角色的信息,提升案件违法事实要素抽取的效果.最后,采用focal函数作为损失函数关注难以区分的样本.违法事实要素抽取的工作是通过对文本标签进行分类得到的.实验测试表明,该方法对诉讼案件要素抽取的F1值为86.41％,相比其他方法性能均有提高.对模型注入领域内知识,也可以提高模型抽取准确率.     

基于双向编码器表示模型和注意力机制的食品安全命名实体识别

针对于目前传统的命名实体识别模型在食品案件纠纷裁判文书领域的准确率不足的问题,在双向长短时记忆网络的基础上提出一种基于双向编码器表示模型(bidirectional encoder representations from transformers,Bert)和注意力机制的命名实体识别模型.模型通过Bert层进行字向量预训练,根据上下文语意生成字向量,字向量序列输入双向长短期记忆网络(bi-directional long short-term memory,BiLSTM)层和Attention层提取语义特征,再通过条件随机场(conditional random field,CRF)层预测并输出字的最优标签序列,最终得到食品案件纠纷裁判文书中的实体.实验表明,该模型在食品纠纷法律文书上面的准确率和F1值分别达到了92.56％和90.25％,准确率相较于目前应用最多的BiLSTM-CRF模型提升了6.76％.Bert-BiL-STM-Attention-CRF模型通过对字向量的预训练,充分结合上下文语意,能够有效克服传统命名实体识别模型丢失字的多义性的问题,提高了食品案件纠纷裁判文书领域命名实体识别的准确率.     

Bert-BLSTM-CRF模型的中文命名实体识别

中文命名实体识别方法中采用较多的是神经网络模型,但该模型在训练过程中存在字向量表征过于单一的问题,无法很好地处理字的多义性特征.因此,提出一种基于Bert-BLSTM-CRF模型的中文命名实体识别研究方法,使用Bert预训练语言模型,根据字的上下文信息来丰富字的语义向量,将输出的字向量序列作为输入送入BLSTM-CRF模型进行训练.实验结果表明,此方法在中文命名实体识别任务上其准确率、召回率和F1值分别取得了94.80％、95.44％和95.12％的成绩,相较于其他传统方法,效果显著.     

基于字词混合和GRU的科技文本知识抽取方法

知识抽取任务是从非结构化的文本数据抽取三元组关系（头实体-关系-尾实体）。现有知识抽取方法分为流水式方法和联合抽取方法。流水式方法将命名实体识别和实体知识抽取分别用各自的模块抽取，这种方式虽然有较好的灵活性，但训练速度较慢。联合抽取的学习模型是一种通过神经网络实现的端到端的模型，同时实现实体识别和知识抽取，能够很好地保留实体和关系之间的关联，将实体和关系的联合抽取转化为一个序列标注问题。基于此，本文提出了一种基于字词混合和门控制单元（Gated Recurrent Unit，GRU）的科技文本知识抽取（MBGAB）方法，结合注意力机制提取中文科技资源文本的关系；采用字词混合的向量映射方式，既在最大程度上避免边界切分出错，又有效融入语义信息；采用端到端的联合抽取模型，利用双向GRU网络，结合自注意力机制来有效捕获句子中的长距离语义信息，并且通过引入偏置权重来提高模型抽取效果。     

结合预训练和自训练的法律信息抽取增强式方法

在“智慧法院”的建设中，法律信息抽取是法律人工智能任务中最基本的任务。目前，法律信息抽取方法主要基于深度神经网络的监督学习模型。由于现有的监督学习模型需要大量的标签数据，而人工标注的方式会提高法律信息抽取任务的成本，存在只有少样本情况下模型学习性能较差的问题。针对上述问题，提出一种结合预训练和自训练的法律信息抽取增强式方法。首先，利用大规模预训练模型和标签数据训练出一个教师模型；然后，利用改进的文本相似度计算公式从法律文书库中寻找出与训练集相似的无标签法律文本数据，再结合训练完成的教师模型对其生成伪标签数据；最后，将有标签数据和伪标签数据混合起来重新训练出一个学生模型用于下游的法律信息抽取任务。本文在2021法研杯提供的信息抽取数据集上进行验证。与基线模型进行对比，本文提出的结合预训练和自训练的法律信息抽取增强式方法取得了较好的抽取效果。     

融合汉字字形信息的文本关系抽取

关系抽取任务旨在从文本中抽取实体对之间的关系,是当前自然语言处理领域的热门方向之一.由于中文具有复杂的句式和语法,导致现有的神经网络提取的特征以及语义表示能力较差,从而影响中文关系抽取的性能.汉字是象形文字,其字形结构在一定程度上隐含了字义,为此提出了包含字形级别实体表示的BERT_BI-GRU_Glyph模型.模型中...     

基于多特征双向门控神经网络的领域专家实体抽取方法

命名实体识别是自然语言处理和信息提取的基本任务,传统专家命名实体识别方法存在过度依赖人工特征标注和分词效果、专家简介中大量专业新词无法识别等问题.本文提出一种基于多特征双向门控神经网络结构并结合条件随机场模型进行领域专家实体抽取方法.该方法首先通过构建领域专家语料库以训练实体抽取模型;接着,使用Bert方法进行字嵌入表示,对语料库专业领域词汇构造要素进行特征分析并提取边界特征;然后,利用双向门控神经网络和注意力机制有效获取特定词语长距离依赖关系;最后,结合条件随机场模型实现命名实体识别.在同一数据集上进行5种方法实验比较分析,结果表明该模型较BiLSTM-CRF和IDCNN-CRF方法F1值提高9.98%以上.     

预训练模型下航天情报实体识别方法

为了快速处理航天情报,基于数据驱动的深度学习技术,提出融合多源异构知识标注中文航天情报数据集的方法流程,以及基于预训练(pre-training)模型的航天情报实体识别(AIER)方法;通过对航天情报进行命名实体识别,达到对航天情报进行信息抽取的目的.通过融合BERT(bidirectional encoder representation from transformers)预训练模型和条件随机场(CRF)模型构建AIER模型(BERT-CRF模型),将其与隐马尔可夫模型(HMM)、条件随机场(CRF)模型、双向长短期记忆网络加条件随机场(BiLSTM-CRF)模型进行实体识别对比实验.结果表明:基于预训练模型的AIER模型能够取得93.68%的准确率、97.56%的召回率和95.58%的F₁值;相比于其他方法,基于预训练模型方法的性能得到提高.     

基于深度CRF模型的图像语义分割方法

从图像中提取多种特征向量堆叠为一个高维特征向量用于图像语义分割,会导致部分特征向量的分类能力减弱或丢失。针对此问题,提出了一种结合深度卷积神经网络AlexNet和条件随机场的图像语义分割方法。利用预训练好的AlexNet模型提取图像特征,再通过条件随机场对多特征及上下文信息的有效利用来实现图像的语义分割。与利用传统经典特征的方法进行对比,实验结果表明:在利用AlexNet模型提取特征进行图像语义分割时,Conv5层为最有效的特征提取层,在Stanford background和Weizmann horse数据集下的识别准确率分别为81.0%和91.7%,均高于其他2种对比方法,说明AlexNet可以提取更有效的特征,得到更高的语义分割精度。     

基于语义特征提取与层次结构的问题生成方法

针对传统端到端模型在输入文本语义较复杂情况下生成的问题普遍存在语义不完整的情形， 提出一种基于语义特征提取的文本编码器架构. 首先构建双向长短时记忆网络获得基础的上下文信息, 然后采用自注意力机制及双向卷积神经网络模型分别提取语义的全局特征和局部特征, 最后设计一种层次结构, 融合特征及输入自身信息得到最终的文本表示进行问题生成. 在数据集SQuAD上的实验结果表明, 基于语义特征提取与层次结构进行问题生成效果显著, 结果明显优于已有方法, 并且语义特征提取和层次结构在任务的各评价指标上均有提升.     

融合笔画特征的命名实体识别方法

汉字是象形文字,其字形特征对于中文命名实体识别有着重要的作用。针对双向长短期记忆模型（bi-directional long short-term memory,BiLSTM）提取部首,命名实体识别准确率不高的问题,提出笔画组成编码器,用于获取汉字的字形特征,并将笔画字形特征向量和预训练的语言表征模型（bidirectional encoder representation from transformers,BERT）输出的字向量进行拼接,将拼接后的向量放入双向长短期记忆模型与条件随机场（conditional random field,CRF）相连的标注模型（BiLSTM-CRF）中进行命名实体识别。实验表明,所提的方法在Resume数据集上命名实体识别准确率有显著提升。相较于用卷积神经网络做编码器提取汉字字形特征,准确率高出0.4%。相较于使用BiLSTM提取的部首特征模型和加入词典的长短期记忆模型(Lattice LSTM)模型其准确率分别提升了4.2%、0.8%。     

基于CNN-BLSTM的食品舆情实体关系抽取模型研究

食品舆情实体关系抽取是构建食品舆情知识图谱的关键技术,也是当前信息抽取领域的重要研究课题。针对食品舆情中常出现的实体对多关系问题,在卷积神经网络(convolutional neural network,CNN)中引入基于位置感知的领域词语义注意力机制;在双向长短时记忆(bidirectional long short-term memory,BLSTM)网络中引入基于位置感知的语义角色注意力机制,构建基于CNN-BLSTM的食品舆情实体关系抽取模型。在食品舆情数据集上进行了对比实验,实验结果表明:基于CNN-BLSTM的食品舆情实体关系抽取模型在食品舆情数据集上准确率比常用的几种深度神经网络模型高出8.7%~13.94%,验证了模型的合理性和有效性。     

基于组合神经网络的中文事件抽取

中文事件抽取通常使用循环神经网络(recurrent neural network, RNN)来进行事件和事件要素的抽取, 但 RNN 在处理长度较长的词语时容易丢失重要信息, 为此提出一种组合卷积神经网络(convolutional neural network, CNN)与双向长短期记忆(bidirectional long short-term memory, Bi-LSTM)网络的中文事件抽取模型 CNN-Bi-LSTM-CRF, 其中 CRF (conditional random field) 为条件随机场. 采用基于注意力机制和语义特征生成的字词联合向量, 使用 CNN 和 Bi-LSTM 模型对字词联合向量进行处理, 以获取其隐含表示, 最后通过 CRF 得出预测结果. 实验结果表明, 所提出的方法与其他现有的中文事件抽取方法相比, 准确率有明显提升.     

基于BERT的因果关系抽取

针对传统关系抽取模型依赖特征工程等机器学习方法, 存在准确率较低且规则较繁琐等问题, 提出一种BERT+BiLSTM＋CRF方法. 首先使用BERT(bidirectional encoder representations from transformers)对语料进行预训练; 然后利用BERT根据上下文特征动态生成词向量的特点, 将生成的词向量通过双向长短期记忆网络（BiLSTM）编码; 最后输入到条件随机场（CRF）层完成对因果关系的抽取. 实验结果表明, 该模型在SemEval-CE数据集上准确率比BiLSTM+CRF+self-ATT模型提高了0.054 1, 从而提高了深度学习方法在因果关系抽取任务中的性能.