基于注意力机制语义增强的文档级关系抽取

文档级关系抽取旨在从文档中抽取出多个实体对之间的关系,具有较高的复杂性。针对文档级关系抽取中的多实体、关系相关性、关系分布不平衡等问题,提出了一种基于注意力机制（Attention）语义增强的文档级关系抽取方法,能够实现实体对之间关系的推理。具体来说,首先在数据编码模块改进编码策略,引入更多实体信息,通过编码网络捕获文档的语义特征,获得实体对矩阵;然后,设计了一个基于Attention门控机制的U-Net网络,对实体对矩阵进行局部信息捕获和全局信息汇总,实现语义增强;最后,使用自适应焦点损失函数缓解关系分布不平衡的问题。在4个公开的文档级关系抽取数据集（DocRED、CDR、GDA和DWIE）上评估了Att-DocuNet模型并取得了良好的实验结果。     

基于实体信息和图神经网络的药物相互作用关系抽取

药物相互作用是指药物与药物之间相互促进或抑制.针对现有的药物关系抽取方法利用外部背景知识和自然语言处理工具导致错误传播和积累的问题，以及现有大多数研究在数据预处理阶段对药物实体进行盲化，忽略了有助于识别关系类别的目标药物实体信息的问题.论文提出了基于预训练生物医学语言模型和词汇图神经网络的药物相互作用关系抽取模型，该模型通过预训练语言模型获得句子的原始特征表示，在基于数据集构建的词汇图上进行卷积操作获得与句子相关的全局特征信息表示，最后与药物目标实体对特征进行拼接从而构建药物相互作用关系提取任务的特征表示，在获得丰富的全局特征信息的同时避免了使用自然语言处理工具和外部背景知识，提升模型的准确率.论文的模型在DDIExtraction 2013数据集上的F₁值达到了83.25%,优于目前最新方法2.35%.     

一种基于知识图谱的用户多偏好推荐系统

提出了一种基于知识图谱（KG）的用户多偏好（MPKG）推荐系统,从用户关系级、实体级和细粒度高阶用户三种不同的视角建模用户的偏好. 首先,将KG中关系向量组合,构建关系级意图,并通过独立性将不同意图之间的差异最大化,由关系级意图来指导学习关系级偏好;然后,根据用户交互实体的频率构建实体偏好图（EPG）,并学习用户的实体级偏好;接着,分别使用关系级意图和实体级偏好来指导模型学习用户的表示;此外,还直接从KG中构建关系实体信息流,用于用户的表示,挖掘用户的高阶细粒度偏好. 在两个基准数据集上进行实验,实验结果验证了该方法的有效性和可行性.     

基于BERT和双向RNN的中文林业知识图谱构建研究

为了融合碎片化林业文本数据,解决目前林业网络知识散乱、无序和关联性不强的问题,将深度学习与知识图谱相结合,提出一种基于改进BERT和双向RNN的模型用于林业实体识别和实体关系抽取.通过基于实体Mask的BERT词向量处理,自动提取出序列中与研究领域相关的词级和语义特征,将词向量输入命名实体识别模型和实体关系提取模型训练...     

面向信息与通信技术供应链网络画像构建的文本语义匹配方法

针对信息与通信技术（information and communication，ICT）项目及产品数据种类多、形式复杂，难以提取其语义匹配信息，且现有句子级文本匹配模型对不同长度文本无差别编码会引入噪声导致匹配效果差的问题，本文提出一种融合局部和全局特征的实体-文档级联合匹配模型，利用TextCNN编码器提取实体级招投标项目和产品名称的局部信息，消除产品描述中与招投标项目无关信息的影响，再利用卷积-自注意力编码器提取文档级产品描述的局部和全局信息，最后结合实体级和文档级匹配信息进行决策.实验结果表明，招投标项目与供应商产品匹配映射准确率92%以上，方法可直接实际应用.      

面向自主工业软件的知识提取和知识库构建方法

自主工业软件是支撑国内中小企业创新发展的核心力量之一。自主工业软件相关文本中蕴含着大量与制造业相关的知识，但是目前缺少相应的知识提取和知识库构建方法。该文提出一种基于神经网络和自然语言处理的知识提取模型，该模型包括文本表示、实体识别、关系抽取3个部分。基于知识图谱对提取的实体和关系进行建模，通过本体建模定义自主工业软件相关概念，利用图数据建模将本体模型中的概念映射到图数据中，提升了数据检索和建模能力，并将数据持久化存储到知识库中。应用结果表明：该方法可用于构建自主工业软件知识库，对整合制造业相关知识起到重要作用。     

融合上下文的知识图谱补全方法

构建了一种融合了上下文的知识图谱补全模型。首先通过Inception网络得到给定头尾实体对的深度交互嵌入;其次定义和编码给定实体对的2种上、下文信息：邻接关系上下文和路径上下文;然后使用基于头尾交互嵌入的注意力机制,分别聚合给定实体对的邻接关系上下文和路径上下文;最后利用全连接层来融合给定实体对的2种上下文信息,预测给定实体对之间的关系。在数据集FB15K-237、WN18RR和NELL-995中与其他主流模型对比,实验结果证实了所提补全模型的有效性。     

面向互联网食品文本实体关系联合抽取研究

传统实体关系抽取方法中存在错误传播、实体冗余等问题,食品文本语料中存在主实体对应多个关系的特点,针对此情况,提出一种面向互联网食品文本领域的实体关系联合抽取方法。采用序列标注标签和实体关系匹配规则,将实体关系抽取任务转化为序列标注问题;引入基于位置感知的领域词注意力机制的字词双维度语义编码向量,增强文本的语义表征;在对句子进行字词双维度表示的基础上结合双向长短期记忆网络(bi-directional long short-term memory, BiLSTM)和条件随机场(conditional random field, CRF)构建了序列标注模型(position attention-bidirectional encoder representation from transformer, PA-BERT),实现实体关系联合抽取。对比实验证明,提出的实体关系联合抽取模型在食品数据集上的准确率比常用深度神经网络模型高出6%～11%,在食品文本实体关系抽取中是有效性的。     

基于CNN-BLSTM的食品舆情实体关系抽取模型研究

食品舆情实体关系抽取是构建食品舆情知识图谱的关键技术,也是当前信息抽取领域的重要研究课题。针对食品舆情中常出现的实体对多关系问题,在卷积神经网络(convolutional neural network,CNN)中引入基于位置感知的领域词语义注意力机制;在双向长短时记忆(bidirectional long short-term memory,BLSTM)网络中引入基于位置感知的语义角色注意力机制,构建基于CNN-BLSTM的食品舆情实体关系抽取模型。在食品舆情数据集上进行了对比实验,实验结果表明:基于CNN-BLSTM的食品舆情实体关系抽取模型在食品舆情数据集上准确率比常用的几种深度神经网络模型高出8.7%~13.94%,验证了模型的合理性和有效性。     

基于噪声检测的多语言知识图谱实体对齐技术研究

针对在实体对齐任务中,由于缺少噪音实体对的标记,导致对齐准确率不高的问题,提出采用健壮性实体对齐(Robust Entity Alignment,REA)方法,设计了噪声感知实体对齐模块和噪声检测模块.首先,噪声感知实体对齐模块是基于图卷积神经网络(Graph Convolutional Networks,GCN)的知识图编码器,将知识图谱中的实体对更新嵌入;然后,基于生成对抗网络(Generative Adversarial Networks,GAN)设计了噪声生成器和噪声鉴别器,从而将实体对中的噪音实体对区分出来;最后,通过一种交互的强化训练策略,迭代使噪声感知和实体对齐相结合.实验结果表明,在DBP15K数据集上测试,新方法能有效提高在涉及噪音情况下的实体对齐精准度,与GCN-Align和IPTransE这些基准嵌入模型相比,Hits@1、Hits@5、M_RR 3个评价指标上均有较大的提升.     

BSAED:一种基于双向语义关联的实体消歧算法

考虑了实体的全局一致性,充分利用了知识库中实体间结构化的语义信息.在PageRank算法的基础上,提出一种基于双向语义关联的实体消歧算法,该算法通过在维基百科中抽取出实体之间的超链接关系构建知识图谱,重新定义两个实体之间的平均最短路径,并联合实体之间的语义信息以完成实体链接消歧的任务.在公开数据集上进行的实验结果显示:该算法能提高实体消歧结果的准确率和召回率,实验结果优于当前主流算法.     

基于分层序列标注的实体关系联合抽取方法

为了提高实体关系联合抽取的效果,提出一种端到端的联合抽取模型(HSL).HSL模型采取一种新的标记方案,将实体和关系的联合抽取转化成序列标注问题,同时采用分层的序列标注方式来解决三元组重叠问题.实验证明,HSL模型能有效地解决三元组重叠问题,在军事语料数据集上F1值达到80.84％,在公开的WebNLG数据集上F1值达...     

基于页面实体空间关系的Web对象抽取

针对Web同一对象内部信息组件之间的空间距离小于不同对象之间信息组件之间的距离这一显示特征.提出一种新的Web对象抽取方法.通过分析给定页面中不同实体间的空间位置关系来判断哪些信息成分属于同一对象,与Web文档的表示无关.通过Web页的文档对象模型(DOM)获得不同信息成分之间的位置关系,进而判断这些信息组件是否属于同一对象.实验结果表明,该方法对于多个领域中不同结构的Web文档具有很好的适应性.对于设计结构规则,含有多个数据对象的页面,抽取结果的准确率可以达到100%.     

面向数控机床设计知识图谱构建的实体识别

为解决数控(computer numerical control, CNC)机床设计知识图谱构建过程中关键实体的抽取问题,制定了数控机床领域知识分类标准和标注策略,构建了领域数据集,并提出了一种基于RoBERTa(robustly optimized BERT pretraining approach)的数控机床设计知识实体识别方法。首先,利用数控机床领域数据集对RoBERTa模型进行微调,再利用RoBERTa对文本编码,生成向量表示;其次,采用双向长短期记忆(bidirectional long short-term memory, BiLSTM)网络提取向量特征;最后,利用条件随机场(conditional random field, CRF)推理出最优结果,进而为实体打上标签。实验结果表明：模型在数据集上的F₁值为86.139%;对多数关键实体的F₁值大于85%;相比其他模型提升2%～18%。可见该方法在数控机床设计知识实体识别中具有明显优势,能够识别机床设计知识文本包含的关键实体,为数控机床设计知识图谱构建提供了数据基础。     

融合属性嵌入与关系注意力的跨语言实体对齐

目前知识图谱实体对齐的主流方法是通过图神经网络学习知识图谱的嵌入表示，并测量实体嵌入之间的相似性实现实体的对齐.很多实体对齐方法只考虑知识图谱的结构信息和关系信息，却常常忽略了属性信息.针对上述问题，提出了一种融合属性嵌入的实体对齐方法：融合属性信息的精简关系感知双图卷积网络模型.首先，基于关系感知双图卷积网络的注意力机制提取知识图谱的关系信息；然后，利用带高速门的图卷积网络获取属性信息；最后，融合二者的嵌入信息以实现更高准确率的实体对齐.在3个跨语言数据集上的实验结果表明，该方法通过融合知识图谱属性信息增强了实体表示能力，在3个数据集上Hits@1值相比原模型分别增长了6.42%、4.59%和1.98%，对齐效果明显优于目前主流的实体对齐方法.     

基于新型关系注意力机制的实体关系抽取

实体关系抽取是信息抽取领域的一项关键技术,在知识库自动构建、问答系统等领域有着极为重要的意义.远程监督关系抽取技术利用大型知识库(Knowledge Base,KB)自动对语料进行标注,但存在噪声过大的问题.前人提出的注意力模型中利用实体对的向量表示相减得到关系语义表示,进而使用关系表示来达到降噪的效果,然而同一实体对...     

一种面向基因与疾病关系的文本挖掘方法

结合模式匹配、生物医学本体及共现技术,设计了一种自动抽取基因与疾病、基因与基因之间关系的文本挖掘方法,并开发了一个可以处理海量文本数据的系统.该系统可抽取与疾病相关的基因实体,挖掘基因与疾病、基因与基因之间的关系,衡量基因与疾病实体的相关性,并为分析基因与疾病、基因与基因之间的关系提供了网络可视化工具.实验结果表明,系统在测试数据集上抽取基因与疾病之间的关系可获得83.0%的综合测评率,抽取基因与基因之间的关系可获得78.5%的综合测评率.该系统已成功应用于乳腺癌及相关基因的研究.     

融合角色指代的多方对话关系抽取方法研究

在前期基于图网络的模型基础上,引入角色指代信息,提出融合角色指代的多方对话关系抽取模型.在构建图节点时加入角色节点,将其与对应角色指代的词节点进行连接,并使用图注意力网络进行编码.在DialogRE数据集上的实验效果与基线模型相比,F1值在验证集上提升2.9％,在测试集上提升4.6％.     

基于深度主动学习的实体关系联合抽取方法

知识图谱的构建对于信息检索、智能问答、智能推荐等下游工作具有重要意义,而抽取资料中的信息是构建知识图谱的关键。为了实现有效知识抽取,提出了一个基于深度主动学习的实体关系联合抽取框架。在该框架下,基于深度主动学习的采样方法降低文本标注成本,改进的EDA数据增强方法(EDA-RE)解决样本间的关系分类不均衡、标注资料不足等问题,“BIO-OVE/R-HT”的标注策略和ChineseBERT-BiLSTM-CRF(CBBC)联合抽取模型解决传统流水线模型存在误差累积和无法抽取重叠关系等问题。通过百度竞赛提供的数据集进行实验,验证了框架中各方法的有效性。     

文档级关系抽取方法的研究进展

关系抽取是自然语言处理领域的一项基础研究,抽取的结果可以用于知识图谱构建、人机问答、语义搜索等下游任务,具有广泛的应用场景和重要的研究价值。近年来,关系抽取研究取得了丰富的成果,但绝大多数研究局限于句子级关系抽取。研究表明,大量的关系无法通过单个句子提取,随着深度学习和自然语言处理技术的不断发展,文档级关系抽取研究工作迎来了新一轮的机遇和挑战。文中着重对近几年文档级关系抽取的研究进展进行分类和梳理,提炼出文档级关系抽取的一般技术路线图,分析文档级关系抽取研究的特征编码及特征聚合方法,并根据提取特征的不同,将文档级关系抽取方法概括为基于词汇特征、基于句法特征以及基于关系特征的3类方法;同时介绍常用文档级关系抽取数据集和评测指标,并对未来的研究趋势进行展望。