基于BoBGSAL-Net的文档级实体关系抽取方法

文档级实体关系抽取的主要任务是提取文档中实体之间的关系.相较于句内实体关系提取,文档级实体关系抽取需要对文档中多个句子进行推理.为了解决文档中不同实体之间的复杂信息交互问题,提出一个混合提及级图MMLG (Mixed Mention-Level Graph)策略,用于拟合文档中不同实体之间的复杂信息交互,提高模型对于文档级实体关系的感知能力.此外,为了应对实体关系中存在的关系重叠问题,构建了实体关系图ERG (Entity Relation Graph)模块,该模块融合了路径推理机制,主要针对实体间的多个关系路径进行推理学习,更准确地识别提及级节点实体及关系.通过将MMLG策略与ERG模块聚合到实体关系抽取模型中,构建BoBGSAL-Net (Based on Bipartite Graph Structure Aggregate Logic Network)模型,并在公开数据集DocRED和作者实验室构建的数据集AlSiaRED上开展实验,结果证明BoBGSAL-Net在文档级实体关系抽取任务中性能得到提升,其中BoBGSAL-Net+BERT模型在AlSiaRED数据集上的关系抽取...     

基于多跳路径的知识库补全

为了对知识库(KBs)进行补全,提出一种新的基于路径的推理方法,使用注意力机制,将实体与其类型相结合,共同对路径中的实体进行表示,并使用注意力机制对每条路径预测的关系向量与给定关系的表示向量之差的绝对值进行汇总来计算模型的置信度.在基准数据集WN18RR和FB15k-237上的实验结果表明,与现有的基于路径的关系推理方...     

融合文本和路径语义的知识图谱嵌入学习模型

针对现有的融合文本和路径信息的模型未能充分挖掘和利用文本与路径语义的问题,提出了新的知识图谱嵌入学习模型(GETR模型):首先,利用LDA丰富实体描述文本语义并用TWE获取词和主题向量,采用Bi-LSTM模型把词和主题向量编码融入实体向量表示中,以增强结点的语义表达能力;其次,设计了以组合PageRank和余弦相似度算法为策略的随机游走算法,以获取实体间的多步路径,并利用自注意力机制捕获路径的重要语义融入到翻译模型中进行联合训练,从而达到有效过滤路径中的噪声和提高模型效率的目的.最后,在数据集FB15K、FB20K和WN18上,对GETR、Trans E、DKRL、TKGE模型进行知识补全和实体分类任务的评测,结果表明:GETR模型具有更好的性能表现,是一种更加高效的知识表示方法.     

融合属性嵌入与关系注意力的跨语言实体对齐

目前知识图谱实体对齐的主流方法是通过图神经网络学习知识图谱的嵌入表示，并测量实体嵌入之间的相似性实现实体的对齐.很多实体对齐方法只考虑知识图谱的结构信息和关系信息，却常常忽略了属性信息.针对上述问题，提出了一种融合属性嵌入的实体对齐方法：融合属性信息的精简关系感知双图卷积网络模型.首先，基于关系感知双图卷积网络的注意力机制提取知识图谱的关系信息；然后，利用带高速门的图卷积网络获取属性信息；最后，融合二者的嵌入信息以实现更高准确率的实体对齐.在3个跨语言数据集上的实验结果表明，该方法通过融合知识图谱属性信息增强了实体表示能力，在3个数据集上Hits@1值相比原模型分别增长了6.42%、4.59%和1.98%，对齐效果明显优于目前主流的实体对齐方法.     

服务组合系统交互协议兼容性检测模型

针对服务组合系统中存在某些实体属性会控制Web服务内在的隐式执行路径,致使客户端发送的消息与服务组合系统等待接收的消息不一致时,会发生交互无响应等问题,提出一种在服务组合系统的设计阶段进行交互协议兼容性检测的通用模型。将实体信息抽象为上下文变量,并对上下文感知服务交互协议进行建模;设计一种消除隐式转换的算法,对消除隐式转换后的服务组合系统进行上下文感知服务交互协议兼容性检测模型的形式化定义,并通过NuSMV模型检测工具对应用案例中的CSR模型进行验证。实验结果表明,该模型应用范围广,实现简单,实用性强;不仅能避免服务组合模型状态数较大时引发的状态爆炸问题,而且能有效地缩短服务组合系统的开发周期,降低系统的开发成本。     

基于对抗迁移的复合材料检测领域命名实体识别

命名实体识别(named entity recognition, NER)可整合复合材料检测领域相关数据精准提取关键实体信息,促进产业信息化,为行业发展提供技术支撑。针对复合材料检测领域专业名词过多及边界混淆等问题,提出了一种基于对抗训练(adversarial training)和BERT(bidirectional encoder representations from transformers)嵌入相结合的领域命名实体识别模型(BERT-AdBC)。首先,复合材料检测领域数据规模较小,BERT嵌入增强了领域迁移能力,通过融合字向量获取充分的语义表示;其次,领域语句繁杂冗长,引入自注意力机制结合双向长短期记忆网络(Bi-LSTM)模型增强了上下文之间语义关系的获取;最后,对抗训练利用分词任务与实体识别任务的共享信息解决了边界混淆问题。实验结果表明,本文所提出的BERT-AdBC模型对复合材料检测领域实体识别的效果要优于传统模型,综合评价指标F₁最高提升6.48%。     

融合局部共现和上下文相似度的查询扩展方法

为解决信息检索中用户查询可能与索引文档信息表示不匹配从而影响检索效果的问题,提出一种融合局部共现和上下文相似度的查询扩展方法,从与查询词具有共现关系的邻接词和与查询词具有高相关性或同指关系的词两个方面对用户输入查询词进行扩展,重点测试邻接词的取词窗口大小以及上下文向量的最优长度。试验表明:与采用单一扩展方法相比,融合方法的平均准确率取得了明显提高,当邻接词的窗口大小取5,上下文向量的长度取15时,具有更好的平均准确率。     

融合软奖励和退出机制的WGAN知识图谱补全方法

基于强化学习的方法在知识图谱补全任务中虽然具有较好的表现,但存在智能体得到的指导奖励质量偏低、关系路径判定易错等问题。为此,提出一种融合软奖励和退出机制的对抗学习推理方法(WGAN reward and exit, WGAN-RE),在生成式对抗网络中引入软奖励和动作退出机制。利用知识嵌入模型构建外部软奖励机制,增强强化学习过程中的奖励机制;利用动作退出机制对路径上的中间实体随机掩盖外向边,并强制搜索路径集,稀释无意义路径的影响。在FB15K-237和NELL-995数据集上与多种强化学习方法进行对比实验,结果表明,所提方法的路径搜索成功率最高,在事实预测和链接预测任务上其性能均有显著提升。     

基于预训练模型和混合神经网络的医疗实体关系抽取

医疗文本具有实体密度高、句式冗长等特点,简单的神经网络方法不能很好地捕获其语义特征,因此提出一种基于预训练模型的混合神经网络方法。首先使用预训练模型获取动态词向量,并提取实体标记特征;然后通过双向长短期记忆网络获取医疗文本的上下文特征,同时使用卷积神经网络获取文本的局部特征;再使用注意力机制对序列特征进行加权,获取文本全局语义特征;最后将实体标记特征与全局语义特征融合,并通过分类器得到抽取结果。在医疗领域数据集上的实体关系抽取实验结果表明,新提出的混合神经网络模型的性能比主流模型均有提升,说明这种多特征融合的方式可以提升实体关系抽取的效果。     

TransE和TransH模型空间地址表示学习中的对比研究——以广州市天河区为例

将地理知识融入空间地址,研究空间信息与语义信息融合的知识表示学习方法;将空间地址数据集在TransE模型和TransH模型上进行训练,通过元组分类和向量间距离评估的方法进行对比研究.研究结果表明:(1)在地址实体的表示学习任务中,TransH模型在对复杂关系的建模任务上明显优于TransE模型;(2)在语义知识基础上融入空间关系,能够有效地解决地址实体语义相似而空间距离不相近和空间距离相近而语义不相似的两大问题.语义关系与空间关系的融合,将能够挖掘更多有价值的信息,有利于进一步开展地理知识图谱的补全工作,可为地理知识图谱表示学习提供方法借鉴.     

融合实体信息的图卷积神经网络的短文本分类模型

提出一种融合实体信息的图卷积神经网络模型（ETGCN），用于短文本分类.首先，使用实体链接工具抽取短文本中的实体；然后，利用图卷积神经网络对文档、实体和单词进行建模，丰富文本的潜在语义特征；将学习到的单词节点表示与BERT词嵌入进行拼接，通过双向长短期记忆网络，进一步挖掘文本上下文语义特征，再与图神经网络模型得到的文本特征进行融合，用于分类.实验结果表明，该模型在数据集AGNews、R52和MR上的分类准确率分别为88.38%、93.87%和82.87%，优于大部分主流的基线方法.     

基于镜像空间的平移嵌入模型

知识图广泛应用于许多人工智能(AI)任务。然而，现有知识图通常是不完整的，需对知识图进行补全或链接预测。本文通过对知识图中的实体和关系进行嵌入来预测知识图的缺失环节：首先，引入镜像空间的概念，使得模型具有学习对称和反对称模式的能力；其次，在新的空间模型中，关系仍然被建模为平移，而实体被建模为具有镜像点的点；最后，提出了MTransE模型将镜像空间的概念应用到TransE上，并在4个广泛使用的数据集上进行实验。实验结果表明，该方法能减少参数的规模，并提高了在4个广泛使用的知识补全数据集上的性能。     

基于扩展Span表示的电力变压器运维知识抽取与知识图谱构建

为实现电力变压器运维知识的有效沉淀,以运维文本为研究对象,提出一种融合规则的电力变压器运维知识图谱深度构建框架.首先根据专家指导自顶向下构建知识图谱概念层;然后融合规则和深度神经网络模型抽取知识,构建知识图谱的数据层.针对运维文本中的实体界限模糊和上下文信息利用不充分问题,提出一种通过扩展上下文信息和BERT(bidirectional encoder representations from transformers)获取扩展Span标签的方法,用于实体和关系抽取.算例分析表明,该方法在电力变压器运维数据集中知识抽取效果良好.     

基于内联关系的方面级情感分析方法

方面级情感分析(aspect-based sentiment analysis,ABSA)旨在预测给定文本中特定目标的情感极性.研究表明,利用注意力机制对目标及其上下文进行建模,可以获得更有效的情感分类特征表达.然而,目前常用的方法是通过对特定目标使用平均向量来计算该目标上下文的注意权值,这类方法无法突出文本中个别单词对于整个句子的重要性.因此,提出了一种基于内联关系的方面级情感分析方法,该方法可以对目标和上下文进行建模,将关注点放在目标的关键词上,以学习更有效的上下文表示.首先使用门控循环单元(gated recurrent unit,GRU)对方面信息和句中单词进行融合分布式表达;然后将分布式表达输入到结合注意力机制的长短时记忆网络(long short-term memory network,LSTM),通过查询机制来增加内联关系的权重,最终得到方面级情感分类.该模型在公开数据集上进行的实验结果表明,该方法是有效的,精确度均超过基线模型.     

基于内联关系的方面级情感分析方法

方面级情感分析 (aspect-based sentiment analysis, ABSA) 旨在预测给定文本中特定目标的情感极性. 研究表明, 利用注意力机制对目标及其上下文进行建模, 可以获得更有效的情感分类特征表达. 然而, 目前常用的方法是通过对特定目标使用平均向量来计算该目标上下文的注意权值, 这类方法无法突出文本中个别单词对于整个句子的重要性. 因此, 提出了一种基于内联关系的方面级情感分析方法, 该方法可以对目标和上下文进行建模, 将关注点放在目标的关键词上, 以学习更有效的上下文表示. 首先使用门控循环单元 (gated recurrent unit, GRU) 对方面信息和句中单词进行融合分布式表达; 然后将分布式表达输入到结合注意力机制的长短时记忆网络 (long short-term memory network, LSTM), 通过查询机制来增加内联关系的权重, 最终得到方面级情感分类. 该模型在公开数据集上进行的实验结果表明, 该方法是有效的, 精确度均超过基线模型.     

网格环境下一种基于分类的行为信任模型

在网格环境中,针对不同上下文环境下实体之间的交互行为,提出了一种新的基于分类的行为信任模型.模型根据信任等级对实体进行相应分类,在此基础上与实际社会相结合引入了交互事件重要性因子,惩罚因子,惩罚加速因子等,实现了实体动态的主体特征.分析和仿真表明,模型在性能上得到了一定程度的提高,并对恶意实体的恶意交互行为起到了一定的抑制作用.     

融合上下文信息的隐式情感句判别方法

文本情感分析作为自然语言处理领域中热点研究方向之一受到持续的广泛关注。相较于显式情感表达,隐式情感表达本身所提供的信息不足。文章提出一种融合上下文信息的隐式情感句判别方法。使用多极性正交注意力机制对隐式情感句嵌入表示,建立融合上下文的多极性注意层,对上下文信息进行建模,以挖掘上下文中的关键信息。最后,将上下文信息表示与隐式情感句表示拼接,以弥补隐式情感句本身信息不足的问题。在SMP2019-ECISA隐式情感分析数据集上的实验结果表明,该模型充分利用了上下文信息,提升了隐式情感句判别的效果。     

基于四元数图神经网络的知识图谱嵌入

针对当前大多数知识图谱嵌入方法对实体和关系的表示能力低、难以处理复杂关系的问题,提出一种基于四元数图神经网络的知识图谱嵌入方法,用于解决知识图谱的链路预测问题。该方法为了包含更丰富的关系信息,将四元数引入到知识图谱嵌入中对实体和关系建模,并考虑两者之间的共现关系。模型利用勒维图变换将知识图谱中的实体和关系转换为图网络中的节点,采用两者的共现关系构建图中的边;将四元数图神经网络(quaternion graph neural networks, QGNN)作为编码器模块,学习图节点的四元数嵌入;利用四元数空间内的哈密顿乘积构造评分函数对生成三元组进行排序。实验结果表明,所提模型能够很好地捕捉到实体与关系之间潜在的相互依赖关系,在知识图谱嵌入方面优于现有的嵌入模型。     

基于路径相互关注的网络嵌入算法

网络嵌入,或者称为网络表示学习,旨在将网络中的节点映射到表示空间中,生成低维稠密的向量,从而在保留网络结构信息的前提下对网络中的节点进行表示,而后通过已有的机器学习方法解决诸如链接预测、节点分类、社团发现和网络可视化等下游任务.随机游走算法可以很好地探索网络中节点的局部结构,然而之前的基于随机游走的表示学习算法只能为节点产生一种角色嵌入,没有考虑到和不同邻居进行交互时节点扮演的不同角色嵌入.因此,提出一种基于路径相互关注的网络嵌入算法,使用节点随机游走产生的上下文信息,通过注意力机制为每个节点生成上下文相互关注的节点嵌入.在真实数据集上的实验结果表明,与三个经典的网络嵌入算法相比,该算法具有更好的表现.     

面向物联网的异构实体间关系服务模型

物联网中的实体大多以异构形式存在,解决异构问题是推进物联网发展的重要因素.为此,在分析了实体及实体上载到网络中信息的特点后,基于Agent提出一种异构实体关系服务模型.该模型具有实体信息数据处理和构建实体服务逻辑两种功能,利用提出的全新的实体物间动态关系计算公式将异构数据转化为物间关系紧密度（值）,并依此生成了Agent服务序列,结合二分图理论实现物联网环境下的Agent服务逻辑;屏蔽了原本因实体和其信息的异构而使得其无法正常交互通信的缺点,实体通过模型中与之对应的Agent进行交互,并在已构建的服务逻辑下支配Agent;最后对该模型进行了仿真实验,结果表明其可满足物联网环境中的用户服务需求,在数据更新和服务准确率及冲突的处理上要优于传统的本体语义技术对异构问题的处理结果.