基于双向LSTM和自注意力机制的中文关系抽取研究

在采取远程监督方法构建大规模的关系抽取语料库时,一般会不可避免地引入大量冗余和噪声,从而影响关系抽取的效果。为此,文章提出基于双向长短期记忆网络(LSTM)和结构化自注意力机制的方法来缓解训练数据的噪声问题。结合中文语言的特点,在输入层采用结合义原训练的词向量作为输入,通过双向LSTM来抽取句子的语义特征,利用结构化的自注意力机制来学习面对实体对的上下文表示,通过多实例选择的方法来选择有效的实例,从而尽量避免噪声数据的影响。实验结果表明,文章提出的模型能有效提高实体关系抽取的准确率与召回率,其F1值比加上了注意力机制的CNN与双向LSTM分别提升了4.3%和1.2%。     

基于机器阅读理解的中文司法实体识别优化策略研究

针对中文司法领域信息抽取数据集中实体专业性较强、现有机器阅读理解(MRC)模型无法通过构建问句提供充足的标签语义且在噪声样本上表现不佳等问题,本研究提出了一种联合优化策略。首先,通过聚合在司法语料中多次出现的实体构建司法领域词典,将专业性较强的实体知识注入RoBERTa-wwm预训练语言模型进行预训练。然后,通过基于自注意力机制来区分每个字对不同标签词的重要性,从而将实体标签语义融合到句子表示中。最后,在微调阶段采用对抗训练算法对模型进行优化,增强模型的鲁棒性和泛化能力。在2021年中国法律智能评测(CAIL2021)司法信息抽取数据集上的实验结果表明：相较于基线模型,本研究方法F1值提高了2.79%,并且模型在CAIL2021司法信息抽取赛道中获得了全国三等奖的成绩,验证了联合优化策略的有效性。     

基于TransH的双重注意力机制远程监督关系抽取算法

远程监督为关系抽取任务提供了大量自动标注的数据集,且领域迁移性强,为实现自动抽取奠定了基础。然而,构造的数据集伴随了强约束性的假设,存在着严重的错误标签问题,且这些噪声数据极大影响了最终的性能结果。为了缓解错误标注的问题,文中提出了一种双重注意力模型：第一层注意力机制通过在句子编码部分引入TransH预训练好的实体向量,与句子特征共同进行注意力选择,为体现关系信息的特征分配更高的权重来提高句子编码质量;第二层则是从句子级别再进行一次注意力计算,挑选出有效的实例,进一步降低噪声数据的权重。通过在广泛使用的数据集上进行多次对比实验,表明文中所提模型可以充分利用所有信息资源,结果明显优于其他基线模型。     

基于ENCODER_ATT机制的远程监督关系抽取

在信息抽取中,关系抽取是一项准确识别自然语言中实体间关系的关键技术。针对关系抽取模型中容易丢失关键语义特征问题及远程监督的基本假设容易引入噪声数据的问题,本文提出一种基于远程监督的ENCODER_ATT关系抽取模型。基于循环神经网络构造的ENCODER模型在以词级别进行特征记忆提取,并在句子层面进行语义特征信息整合,保证不遗失关键语义特征的同时去除冗余特征。然后在句子层面引入了注意力机制来降低噪声数据对实验结果的影响。在真实的数据集上进行实验,并绘制准确率-召回率曲线,实验结果表明ENCODER_ATT模型对比同类型的关系抽取方法有明显的提升。     

基于注意力机制归纳网络的小样本关系抽取模型

针对小样本关系抽取问题,提出一种基于注意力机制的归纳网络.首先,利用归纳网络中的动态路由算法学习类别表示;其次,提出实例级别的注意力机制,用于调整支持集,并获取支持集与查询集样本之间的高级信息,进而获得与查询实例更相关的支持集样本.该模型很好地解决了训练数据不足时如何进行关系抽取的问题.在小样本关系抽取数据集FewRel上进行实验,得到的实验结果为：5-way 5-shot情形下准确率为(88.38±0.27)%,5-way 10-shot情形下准确率为(89.91±0.33)%, 10-way 5-shot情形下准确率为(77.92±0.44)%, 10-way 10-shot情形下准确率为(81.21±0.39)%.实验结果表明,该模型能适应任务并且优于其他对比模型,在小样本关系抽取中取得了优于对比模型的结果.     

基于高层语义注意力机制的中文实体关系抽取

实体关系抽取在挖掘结构化事实的信息抽取系统中扮演着重要的角色。近年来,深度学习在关系抽取任务中取得了显著的成果,同时,注意力机制也逐步地融入到神经网络中,进一步提高了关系抽取的性能。但是,目前的注意力机制主要关注一些低层次的特征,比如词汇等。本文提出一种基于高层语义注意力机制的分段卷积神经网络模型(PCNN_HSATT,high-level semantic attention-based piecewise convolutional neural networks),该模型将注意力机制设置在分段最大池化层后,动态地关注了高层次的语义信息。除此之外,由于中文实体关系语料稀疏性较大,本文利用同义词词林对COAE2016语料进行增强以扩大数据规模。最后在COAE2016和ACE2005的中文语料上进行实验,F1值分别达到了78.41%和73.94%,与效果最好的SVM方法相比分别提高了10.45%和0.67%,这充分证明了PCNN_HSATT模型在中文关系抽取上的有效性。     

面向互联网食品文本实体关系联合抽取研究

传统实体关系抽取方法中存在错误传播、实体冗余等问题,食品文本语料中存在主实体对应多个关系的特点,针对此情况,提出一种面向互联网食品文本领域的实体关系联合抽取方法。采用序列标注标签和实体关系匹配规则,将实体关系抽取任务转化为序列标注问题;引入基于位置感知的领域词注意力机制的字词双维度语义编码向量,增强文本的语义表征;在对句子进行字词双维度表示的基础上结合双向长短期记忆网络(bi-directional long short-term memory, BiLSTM)和条件随机场(conditional random field, CRF)构建了序列标注模型(position attention-bidirectional encoder representation from transformer, PA-BERT),实现实体关系联合抽取。对比实验证明,提出的实体关系联合抽取模型在食品数据集上的准确率比常用深度神经网络模型高出6%～11%,在食品文本实体关系抽取中是有效性的。     

基于CNN-BLSTM的食品舆情实体关系抽取模型研究

食品舆情实体关系抽取是构建食品舆情知识图谱的关键技术,也是当前信息抽取领域的重要研究课题。针对食品舆情中常出现的实体对多关系问题,在卷积神经网络(convolutional neural network,CNN)中引入基于位置感知的领域词语义注意力机制;在双向长短时记忆(bidirectional long short-term memory,BLSTM)网络中引入基于位置感知的语义角色注意力机制,构建基于CNN-BLSTM的食品舆情实体关系抽取模型。在食品舆情数据集上进行了对比实验,实验结果表明:基于CNN-BLSTM的食品舆情实体关系抽取模型在食品舆情数据集上准确率比常用的几种深度神经网络模型高出8.7%~13.94%,验证了模型的合理性和有效性。     

多标签小样本实例级注意力原型网络分类方法

多标签分类中,一个样本可能属于多个类别,且在小样本场景下模型性能更容易受到样本中复杂语义特征的影响。然而,目前常用的原型网络方法仅使用每类支持集样本的均值作为标签原型,导致原型中存在其他类别特征带来的噪声,弱化了原型间的差异性,影响预测效果。本文提出一种利用实例级注意力的多标签小样本原型网络分类方法,通过提高支持集中与当前标签关联度高的样本的权重,减少其他标签特征的干扰,增大标签原型之间的区分度,进而提高预测的精确率.实验表明,方法通过引入实例级注意力强化了多标签原型网络的学习能力,分类效果明显提升.     

基于注意力机制的特征融合序列标注模型

序列标注任务是自然语言处理领域的重要问题,包括命名实体识别、词性标注、意见抽取等具有重要应用价值的子任务。目前,长短期记忆网络-条件随机场模型(LSTM-CRF)作为序列标注任务的主流框架,虽然取得了很好的性能并被广泛使用,但仍存在局部依赖性以及受限于序列化特征学习的缺点。为了同步建模句子中每个词的局部上下文语义与全局语义,并将两部分语义进行有效融合,提出基于注意力机制的特征融合序列标注模型。具体地,本模型利用多头注意力机制建模句子中任意两个词之间的语义关系,得到每个词应关注的全局语义。考虑到LSTM学习的局部上下文信息和注意力机制学习的全局语义具有互补性,进一步设计了三种特征融合方法将两部分语义深度融合以得到更丰富的语义依赖信息。为验证模型的有效性,在四个数据集上进行了大量的实验,实验结果表明本模型达到较优的性能。     

基于BERT和改进胶囊网络的关系分类方法

针对关系分类主流模型中存在的空间信息丢失和旋转不变性差的缺点,提出一个基于BERT和多头注意机制-胶囊网络(MA-CapsNet)的算法模型.该模型首先在句子的实体两端插入特殊符号,增强模型对实体信息的表示能力,再通过预训练的BERT语言模型获得包含上下文信息的语义向量表示,然后传入改进后的注重空间位置信息的胶囊网络中学习句子的语义特征并分类.同时引入多头注意力机制进一步提升模型的分类效果.在SemEval-2010 task 8关系分类数据集上,该算法模型取得了90.15%的宏F值.实验表明该模型架构能强化对句子语义特征的捕捉,改善关系分类任务的分类效果.     

基于字词混合和GRU的科技文本知识抽取方法

知识抽取任务是从非结构化的文本数据抽取三元组关系(头实体-关系-尾实体)。现有知识抽取方法分为流水式方法和联合抽取方法。流水式方法将命名实体识别和实体知识抽取分别用各自的模块抽取,这种方式虽然有较好的灵活性,但训练速度较慢。联合抽取的学习模型是一种通过神经网络实现的端到端的模型,同时实现实体识别和知识抽取,能够很好地保留实体和关系之间的关联,将实体和关系的联合抽取转化为一个序列标注问题。基于此,本文提出了一种基于字词混合和门控制单元(Gated Recurrent Unit, GRU)的科技文本知识抽取(MBGAB)方法,结合注意力机制提取中文科技资源文本的关系;采用字词混合的向量映射方式,既在最大程度上避免边界切分出错,又有效融入语义信息;采用端到端的联合抽取模型,利用双向GRU网络,结合自注意力机制来有效捕获句子中的长距离语义信息,并且通过引入偏置权重来提高模型抽取效果。     

融合篇章表征的事件指代消解研究

事件指代消解任务比实体指代消解难度大, 主要原因为事件描述在非结构化文本中分布稀疏, 且不具备同指关系的单链占很大比例, 同时事件自身承载的语义信息比实体更加丰富。为了准确地抽取文本中的同指事件, 针对以上特点, 提出一种融合篇章表征的事件指代消解模型。该模型通过CRF有效地区分非事件句、单链以及同指链, 同时利用分层注意力机制捕捉句子级别和篇章级别的重要信息。在KBP2015和2016数据集上进行的事件指代消解实验验证了该模型的有效性, 在CoNLL评测标准下F1值达到43.07%。     

基于注意力机制语义增强的文档级关系抽取

文档级关系抽取旨在从文档中抽取出多个实体对之间的关系,具有较高的复杂性。针对文档级关系抽取中的多实体、关系相关性、关系分布不平衡等问题,提出了一种基于注意力机制（Attention）语义增强的文档级关系抽取方法,能够实现实体对之间关系的推理。具体来说,首先在数据编码模块改进编码策略,引入更多实体信息,通过编码网络捕获文档的语义特征,获得实体对矩阵;然后,设计了一个基于Attention门控机制的U-Net网络,对实体对矩阵进行局部信息捕获和全局信息汇总,实现语义增强;最后,使用自适应焦点损失函数缓解关系分布不平衡的问题。在4个公开的文档级关系抽取数据集（DocRED、CDR、GDA和DWIE）上评估了Att-DocuNet模型并取得了良好的实验结果。     

结合语义和依存关系的药物相互作用关系抽取

从生物医学文本中抽取药物相互作用对可以快速更新药物数据库,具有非常重要的意义与医学应用价值.现有的神经网络模型往往仅从句子序列或其他外部信息中学习到单一片面的特征,难以充分挖掘句中潜在的长距离依赖特征获得全面的特征表示.本文提出一种结合语义和依存关系的药物相互作用关系抽取方法,该方法在利用Bi-GRU网络分别从句子序列和目标药物实体的最短依存路径序列中学习语义特征表示的同时,进一步结合多头自注意力机制挖掘单词之间潜在的依存关系,通过充分融合多源特征来有效提升生物医学文本中药物相互作用对的识别和抽取性能.在DDIExtraction-2013数据集上的实验结果表明,该方法超过现有的药物相互关系抽取方法获得了75.82%的F1值.     

融合门控机制的远程监督关系抽取方法

提出一种融合门控机制的远程监督关系抽取方法。首先在词级别上自动选择正相关特征, 过滤与关系标签无关的词级别噪声; 然后在门控机制内引入软标签的思想, 弱化硬标签对噪声过滤的影响; 最后结合句子级别的噪声过滤, 提升模型的整体性能。在公开数据集上的实验结果表明, 相对于句子级别噪声过滤方法, 所提方法的性能有显著提高。     

基于预训练模型和混合神经网络的医疗实体关系抽取

医疗文本具有实体密度高、句式冗长等特点,简单的神经网络方法不能很好地捕获其语义特征,因此提出一种基于预训练模型的混合神经网络方法。首先使用预训练模型获取动态词向量,并提取实体标记特征;然后通过双向长短期记忆网络获取医疗文本的上下文特征,同时使用卷积神经网络获取文本的局部特征;再使用注意力机制对序列特征进行加权,获取文本全局语义特征;最后将实体标记特征与全局语义特征融合,并通过分类器得到抽取结果。在医疗领域数据集上的实体关系抽取实验结果表明,新提出的混合神经网络模型的性能比主流模型均有提升,说明这种多特征融合的方式可以提升实体关系抽取的效果。     

基于多层次动态门控推理网络的文本蕴含识别

现有的文本蕴含模型通常计算一次词级别注意力得到两段文本在不同层面的交互特征,但对于文本不同层面的理解,不同重要词的注意力应该是不同的,并且一次词级注意力推理仅能捕捉到文本对局部特征.针对这个问题,提出一种多层次动态门控推理网络,该网络结合了词级别信息的细粒度推理和句子级别门控机制来动态捕捉文本对的语义信息,并采用不同注意力计算方式提取文本对不同层面的语义特征,共同推理文本对的蕴含关系.本文在两个文本蕴含数据集上均做了实验,相较于基准模型和现有主流模型,准确率提升了0.4%～1.7%,通过消融分析,进一步验证了本文模型各部分结构的有效性.     

基于伪标签和迁移学习的双关语识别方法

针对双关语样本短缺问题,研究提出了基于伪标签和迁移学习的双关语识别模型(pun detection based on Pseudo-label and transfer learning)。该模型利用上下文语义、音素向量和注意力机制生成伪标签;然后,迁移学习和置信度结合挑选可用的伪标签;最后,将伪标签数据和真实数据混合到网络中进行训练,重复伪标签标记和混合训练过程。一定程度上解决了双关语样本量少且获取困难的问题。使用该模型在SemEval 2017 shared task 7以及Pun of the Day数据集上进行双关语检测实验,结果表明模型性能均优于现有主流双关语识别方法。     

基于自注意力与分段卷积神经网络的实体关系抽取

远程监督通过已有知识库的关系三元组和自然语言文本语料库进行启发式匹配,获得数据来完成关系抽取任务,解决有监督学习方法完全依赖人工标注数据的问题,但远程监督数据中会存在大量噪声关系标签.针对以上问题,提出了一种结合自注意力机制和分段卷积神经网络的实体关系抽取模型SAPCNN,首先通过自注意力机制捕获词与词之间的全局相关性...