基于分层序列标注的实体关系联合抽取方法

为了提高实体关系联合抽取的效果,提出一种端到端的联合抽取模型(HSL).HSL模型采取一种新的标记方案,将实体和关系的联合抽取转化成序列标注问题,同时采用分层的序列标注方式来解决三元组重叠问题.实验证明,HSL模型能有效地解决三元组重叠问题,在军事语料数据集上F1值达到80.84％,在公开的WebNLG数据集上F1值达...     

基于深度主动学习的实体关系联合抽取方法

知识图谱的构建对于信息检索、智能问答、智能推荐等下游工作具有重要意义,而抽取资料中的信息是构建知识图谱的关键。为了实现有效知识抽取,提出了一个基于深度主动学习的实体关系联合抽取框架。在该框架下,基于深度主动学习的采样方法降低文本标注成本,改进的EDA数据增强方法(EDA-RE)解决样本间的关系分类不均衡、标注资料不足等问题,“BIO-OVE/R-HT”的标注策略和ChineseBERT-BiLSTM-CRF(CBBC)联合抽取模型解决传统流水线模型存在误差累积和无法抽取重叠关系等问题。通过百度竞赛提供的数据集进行实验,验证了框架中各方法的有效性。     

面向互联网食品文本实体关系联合抽取研究

传统实体关系抽取方法中存在错误传播、实体冗余等问题,食品文本语料中存在主实体对应多个关系的特点,针对此情况,提出一种面向互联网食品文本领域的实体关系联合抽取方法。采用序列标注标签和实体关系匹配规则,将实体关系抽取任务转化为序列标注问题;引入基于位置感知的领域词注意力机制的字词双维度语义编码向量,增强文本的语义表征;在对句子进行字词双维度表示的基础上结合双向长短期记忆网络(bi-directional long short-term memory, BiLSTM)和条件随机场(conditional random field, CRF)构建了序列标注模型(position attention-bidirectional encoder representation from transformer, PA-BERT),实现实体关系联合抽取。对比实验证明,提出的实体关系联合抽取模型在食品数据集上的准确率比常用深度神经网络模型高出6%～11%,在食品文本实体关系抽取中是有效性的。     

面向领域知识图谱的实体关系联合抽取

文本数据中的实体和关系抽取是领域知识图谱构建和更新的来源.针对金融科技领域中文本数据存在重叠关系、训练数据缺乏标注样本等问题,提出一种融合主动学习思想的实体关系联合抽取方法.首先,基于主动学习,以增量的方式筛选出富有信息量的样本作为训练数据;其次,采用面向主实体的标注策略将实体关系联合抽取问题转化为序列标注问题;最后,基于改进的BERT-BiGRU-CRF模型实现领域实体与关系的联合抽取,为知识图谱构建提供支撑技术,有助于金融从业者根据领域知识进行分析、投资、交易等操作,从而降低投资风险.针对金融领域文本数据进行实验测试,实验结果表明,本文所提出的方法有效,验证了该方法后续可用于金融知识图谱的构建.     

基于时间关系的Bi-LSTM+GCN因果关系抽取

针对传统时间关系只应用在机器学习方向关系抽取的问题, 提出一种基于序列标注实体识别的关系抽取方法. 先构建双向长短期记忆网络(Bi-LSTM)模型进行特征提取, 再输入时间关系作为特征矩阵进行图卷积. 实验结果表明: 时间关系能提高因果关系抽取效果, 并且包含时间关系的Bi-LSTM+GCN模型能有效抽取因果事件; 带有时间关系的Bi-LSTM+GCN模型获得因果关系的抽取结果优于传统方法因果关系的抽取结果.     

基于CRF的网页动态关系抽取研究

提出了基于条件随机场(conditional random fields,CRF)的网页动态关系抽取算法.给出了动态关系的定义,建立了动态关系的表示模型,并用一个六维结构来表达动态关系.与传统关系抽取中基于规则或者基于分类的解决方法不同,本文认为可以将动态关系识别问题转化为一个标注问题,并提出了基于CRF的句子层面的关系标注和抽取方法.在本算法中,首先将一个句子通过语义角色标注(semantic role labeling,SRL)系统进行成分识别,然后将语义角色标注结果以及词的POS类型、词组的命名实体类型等作为CRF的训练特征,对句子成分进行标注.最后测试了大量的真实新闻网页,实验结果表明了本文提出算法的实用性和有效性.     

中文嵌套命名实体关系抽取研究

为了解决嵌套命名实体关系抽取研究缺乏相关语料库这一问题, 在现有中文命名实体语料库的基础上, 将人工标注与机器学习相结合来抽取其语义关系。人工标注一个中文嵌套命名实体关系语料库, 然后分别采用支持向量机和卷积神经网络等方法, 进行中文嵌套实体关系抽取实验。实验结果表明, 在人工标注实体的中文嵌套命名实体语料上, 嵌套实体关系抽取的性能非常好, F1指数达到95%以上, 而在自动识别实体上的抽取性能尚不理想。     

基于BoBGSAL-Net的文档级实体关系抽取方法

文档级实体关系抽取的主要任务是提取文档中实体之间的关系.相较于句内实体关系提取,文档级实体关系抽取需要对文档中多个句子进行推理.为了解决文档中不同实体之间的复杂信息交互问题,提出一个混合提及级图MMLG (Mixed Mention-Level Graph)策略,用于拟合文档中不同实体之间的复杂信息交互,提高模型对于文档级实体关系的感知能力.此外,为了应对实体关系中存在的关系重叠问题,构建了实体关系图ERG (Entity Relation Graph)模块,该模块融合了路径推理机制,主要针对实体间的多个关系路径进行推理学习,更准确地识别提及级节点实体及关系.通过将MMLG策略与ERG模块聚合到实体关系抽取模型中,构建BoBGSAL-Net (Based on Bipartite Graph Structure Aggregate Logic Network)模型,并在公开数据集DocRED和作者实验室构建的数据集AlSiaRED上开展实验,结果证明BoBGSAL-Net在文档级实体关系抽取任务中性能得到提升,其中BoBGSAL-Net+BERT模型在AlSiaRED数据集上的关系抽取...     

联合罪名预测的涉案新闻重叠实体关系抽取

涉案新闻重叠实体关系抽取对于构建案件知识图谱有着重要意义。传统的方法通过定位关系指示符来抽取重叠实体关系,在涉案新闻中,预测罪名的关键词可以作为定位关系指示符的重要依据。该文提出一种联合罪名预测的涉案新闻重叠实体关系抽取方法。预测罪名,将罪名向量融入到关系分类和实体标签分类的状态向量中,实现重叠实体关系抽取。为了缓解因联合罪名预测而给重叠实体关系抽取带来的错误传播问题,引入一种分层级联强化学习机制,将整个过程分解为罪名预测层和重叠实体关系抽取层,利用罪名指导重叠实体关系抽取,帮助重叠实体关系抽取层优化强化学习策略。将重叠实体关系抽取结果反馈给罪名预测层帮助罪名预测层优化强化学习策略。试验表明:该文提出的模型相比基线模型的F1指标提升了4%。     

基于新型关系注意力机制的实体关系抽取

实体关系抽取是信息抽取领域的一项关键技术,在知识库自动构建、问答系统等领域有着极为重要的意义.远程监督关系抽取技术利用大型知识库(Knowledge Base,KB)自动对语料进行标注,但存在噪声过大的问题.前人提出的注意力模型中利用实体对的向量表示相减得到关系语义表示,进而使用关系表示来达到降噪的效果,然而同一实体对...     

基于注意力机制的远程监督实体关系抽取

关系抽取是许多信息抽取系统中的一个关键步骤,旨在从文本中挖掘结构化事实.在应用传统的远程监督方法完成实体关系抽取任务时存在2个问题:①远程监督方法将语料库中的文本与已标注实体和实体间关系的知识库启发式地对齐,并将对齐结果作为文本的标注数据,这必然会导致错误标签问题;②目前基于统计学的方法过于依赖自然语言处理工具,提取特...     

国防科技领域两阶段开放信息抽取方法

互联网开源渠道蕴含大量国防科技信息资源,是获取高价值军事情报的重要数据来源。国防科技领域开放信息抽取(open information extraction, OpenIE)旨在从海量信息资源中进行主谓宾-宾补(SAO-C)结构元组抽取,其对于国防科技领域本体归纳、知识图谱构建等具有重要意义。然而,相比其他领域的信息抽取,国防科技领域开放信息抽取面临元组重叠嵌套、实体跨度长且难识别、领域标注数据缺乏等问题。本文提出一种国防科技领域两阶段开放信息抽取方法,首先利用基于预训练语言模型的序列标注算法抽取谓语,然后引入多头注意力机制来学习预测要素边界。结合领域专家知识,利用基于实体边界的标注策略构建了国防科技领域标注数据集,并在该数据集上进行了实验,结果显示该方法的F1值在两阶段上比长短期记忆结合条件随机场(LSTM+CRF)方法分别提高了3.92%和16.67百分点。     

基于双向LSTM和自注意力机制的中文关系抽取研究

在采取远程监督方法构建大规模的关系抽取语料库时,一般会不可避免地引入大量冗余和噪声,从而影响关系抽取的效果。为此,文章提出基于双向长短期记忆网络(LSTM)和结构化自注意力机制的方法来缓解训练数据的噪声问题。结合中文语言的特点,在输入层采用结合义原训练的词向量作为输入,通过双向LSTM来抽取句子的语义特征,利用结构化的自注意力机制来学习面对实体对的上下文表示,通过多实例选择的方法来选择有效的实例,从而尽量避免噪声数据的影响。实验结果表明,文章提出的模型能有效提高实体关系抽取的准确率与召回率,其F1值比加上了注意力机制的CNN与双向LSTM分别提升了4.3%和1.2%。     

基于特征选择的人物关系抽取方法

在人物关系抽取中,其特征空间维度往往非常高,会造成向量稀疏问题,从而影响关系抽取的效率。针对这一现象,首先将人物关系分为6类;然后引入了文档频率、信息增益、互信息和χ2统计这四种文本文类的特征选择算法,对特征空间进行降维。最后运用SVM分类器抽取人物的实体关系。实验结果表明这四种特征选择算法不仅能够保证抽取性能,还能有效的降低向量空间维数,极大提高关系抽取效率。其中,χ2统计算法效果最佳,信息增益次之。     

基于序列标注的事件联合抽取方法

事件抽取是自然语言处理领域的重要研究方向。传统的事件类型抽取系统采用分类方式,无法解决跨句子的事件角色和事件类型匹配问题。为了解决该问题,提出一种基于序列标注的事件联合抽取模型,结合卷积神经网络(convolutional neural networks, CNN)与长短期记忆网络(long short-term memory, LSTM)提取全局特征和局部特征;并在浅层LSTM层共享参数实现联合抽取,以序列标注方式抽取事件论元并匹配事件类型。实验结果表明,模型能有效提取司法领域的文档事件信息。     

基于训练模型改进的语音问句信息抽取方法

为进一步提高客户语音问句实体信息抽取的准确性,增强智能问答系统知识图谱中信息抽取技术的整体效果,首先对语义标注进行优化,随后在BiLSTM-CRF(bidirectional long short-term memory conditional random filed)基础上加入BERT(bidi-rectional encoder representation from transformers)模型对句子进行实体抽取学习.在具体实验中,以语音问句事件文本为数据来源,对其进行语义标注和实体抽取实验.结果 表明,在语义标注优化的基础上同时加入BERT改进模型,信息抽取结果均高于BiLSTM-CRF方法,且改进模型的调和平均值达到91.53％,即可为增强事件实体信息抽取提供实践意义.     

基于字词混合和GRU的科技文本知识抽取方法

知识抽取任务是从非结构化的文本数据抽取三元组关系(头实体-关系-尾实体)。现有知识抽取方法分为流水式方法和联合抽取方法。流水式方法将命名实体识别和实体知识抽取分别用各自的模块抽取,这种方式虽然有较好的灵活性,但训练速度较慢。联合抽取的学习模型是一种通过神经网络实现的端到端的模型,同时实现实体识别和知识抽取,能够很好地保留实体和关系之间的关联,将实体和关系的联合抽取转化为一个序列标注问题。基于此,本文提出了一种基于字词混合和门控制单元(Gated Recurrent Unit, GRU)的科技文本知识抽取(MBGAB)方法,结合注意力机制提取中文科技资源文本的关系;采用字词混合的向量映射方式,既在最大程度上避免边界切分出错,又有效融入语义信息;采用端到端的联合抽取模型,利用双向GRU网络,结合自注意力机制来有效捕获句子中的长距离语义信息,并且通过引入偏置权重来提高模型抽取效果。     

基于ENCODER_ATT机制的远程监督关系抽取

在信息抽取中,关系抽取是一项准确识别自然语言中实体间关系的关键技术。针对关系抽取模型中容易丢失关键语义特征问题及远程监督的基本假设容易引入噪声数据的问题,本文提出一种基于远程监督的ENCODER_ATT关系抽取模型。基于循环神经网络构造的ENCODER模型在以词级别进行特征记忆提取,并在句子层面进行语义特征信息整合,保证不遗失关键语义特征的同时去除冗余特征。然后在句子层面引入了注意力机制来降低噪声数据对实验结果的影响。在真实的数据集上进行实验,并绘制准确率-召回率曲线,实验结果表明ENCODER_ATT模型对比同类型的关系抽取方法有明显的提升。     

利用关系抽取技术联合识别文本中的方面-极性对

方面级情感分析旨在识别出句子中显式提及的方面及其情感极性,是细粒度情感分析中的重要任务.现有使用序列标注进行方面级情感分析的方法存在当方面(aspect)由多个单词构成时,每个单词的情感极性可能不一致,而基于跨度(span)的方法存在因方面标签和情感标签混合而导致的标签异质问题,同时现有的研究忽略了文本中方面-情感极性对之间的相互关联.为了解决上述问题,受关系抽取技术的启发,本文将方面-情感极性对抽取视作一元关系抽取问题,其中方面看成论元,其对应的情感极性作为关系,通过序列解码捕捉方面-情感极性对之间的关联.本文在3个数据集上进行了一系列实验来验证模型的有效性,实验结果表明,其性能超过了现有的最佳模型.     

基于CNN-BLSTM的食品舆情实体关系抽取模型研究

食品舆情实体关系抽取是构建食品舆情知识图谱的关键技术,也是当前信息抽取领域的重要研究课题。针对食品舆情中常出现的实体对多关系问题,在卷积神经网络(convolutional neural network,CNN)中引入基于位置感知的领域词语义注意力机制;在双向长短时记忆(bidirectional long short-term memory,BLSTM)网络中引入基于位置感知的语义角色注意力机制,构建基于CNN-BLSTM的食品舆情实体关系抽取模型。在食品舆情数据集上进行了对比实验,实验结果表明:基于CNN-BLSTM的食品舆情实体关系抽取模型在食品舆情数据集上准确率比常用的几种深度神经网络模型高出8.7%~13.94%,验证了模型的合理性和有效性。