融合属性嵌入与关系注意力的跨语言实体对齐

目前知识图谱实体对齐的主流方法是通过图神经网络学习知识图谱的嵌入表示，并测量实体嵌入之间的相似性实现实体的对齐.很多实体对齐方法只考虑知识图谱的结构信息和关系信息，却常常忽略了属性信息.针对上述问题，提出了一种融合属性嵌入的实体对齐方法：融合属性信息的精简关系感知双图卷积网络模型.首先，基于关系感知双图卷积网络的注意力机制提取知识图谱的关系信息；然后，利用带高速门的图卷积网络获取属性信息；最后，融合二者的嵌入信息以实现更高准确率的实体对齐.在3个跨语言数据集上的实验结果表明，该方法通过融合知识图谱属性信息增强了实体表示能力，在3个数据集上Hits@1值相比原模型分别增长了6.42%、4.59%和1.98%，对齐效果明显优于目前主流的实体对齐方法.     

表示学习知识图谱的实体对齐算法

与现有的根据知识图谱的结构信息或实体属性特征进行相似度匹配的实体对齐的方法不同,提出了一种基于表示学习的知识图谱实体对齐方法.首先,在低维向量空间下,通过机器学习方法学得实体和关系的语义表示,这种表示形式蕴含了知识图谱的内在结构信息及实体属性特征;其次,将人工标注的实体对作为先验知识,学习知识图谱间实体对的映射关系.经实验验证表明:与基于特征匹配的方法SiGMa相比,本文方法能够有效提高知识图谱实体对齐的精确率,同时保持较高的F1值.     

融合属性信息的知识表示方法

现有的联合知识表示学习模型使用实体描述作为辅助信息来提升表示效果,忽略了互联网中大量有价值的信息。为此,提出一种融合属性信息的知识表示学习方法(AIKR)。首先抓取实体的不同属性,并通过莱文斯坦距离从语料库中匹配属性对应的说明文本;然后利用卷积神经网络对说明文本进行编码;最后将得到的实体属性表示与翻译模型生成的结构表示相结合进行联合学习。实验结果表明,相比仅利用实体描述的方法,融合属性信息的知识表示方法可以学习到更多的语义信息,取得了更好的表示效果。     

一种融合实体关联性约束的表示学习方法

知识图谱的表示学习方法将实体和关系嵌入到低维连续空间中,从而挖掘出实体间的隐含联系.传统的表示学习方法多基于知识图谱的结构化信息,没有充分利用实体的描述文本信息.目前基于文本的表示学习方法多将文本向量化,忽略了文本中实体间的语义关联.针对上述缺点提出一种利用实体描述文本进行增强学习的方法,基于文本挖掘出关联性实体并对关联性进行分级,将关联性作为辅助约束融合到知识图谱的表示学习中.实验结果表明,该辅助约束能明显提升推理效果,优于传统的结构化学习模型以及基于深度学习的文本和结构的联合表示模型.      

TransE和TransH模型空间地址表示学习中的对比研究——以广州市天河区为例

将地理知识融入空间地址，研究空间信息与语义信息融合的知识表示学习方法；将空间地址数据集在TransE模型和TransH模型上进行训练，通过元组分类和向量间距离评估的方法进行对比研究.研究结果表明:(1)在地址实体的表示学习任务中，TransH模型在对复杂关系的建模任务上明显优于TransE模型；(2)在语义知识基础上融入空间关系，能够有效地解决地址实体语义相似而空间距离不相近和空间距离相近而语义不相似的两大问题.语义关系与空间关系的融合，将能够挖掘更多有价值的信息，有利于进一步开展地理知识图谱的补全工作，可为地理知识图谱表示学习提供方法借鉴.     

嵌入知识图谱信息的命名实体识别方法

在大规模文本语料库上预先训练的BERT(bidirectional encoder representation from transformers, BERT)等神经语言表示模型可以较好地从纯文本中捕获丰富的语义信息。但在进行中文命名实体识别任务时,由于命名实体存在结构复杂、形式多样、一词多义等问题,识别效果不佳。基于知识图谱可以提供丰富的结构化知识,从而更好地进行语言理解,提出了一种融合知识图谱信息的中文命名实体识别方法,通过知识图谱中的信息实体增强语言的外部知识表示能力。实验结果表明,与BERT、OpenAI GPT、ALBERT-BiLSTM-CRF等方法相比,所提出的方法有效提升了中文命名实体的识别效果,在MSRA(Microsoft Research Asia, MSRA)与搜狐新闻网标注数据集上,F_1值分别达到了95.4%与93.4%。     

基于MuGNN模型的互联网医疗知识融合研究

为了解决多来源医疗知识库融合过程中常见的知识冗余问题,基于综合多种注意力机制和图卷积神经网络的MuGNN模型对互联网医疗知识融合的效果进行了研究.以乳腺癌疾病为例,首先构建了基于不同医疗网站的疾病实体关系库,然后利用MuGNN模型完成了实体对齐,同时与JAPE模型和GCN-Align模型的实体对齐效果进行了对比,最后对基于不同医疗网站的疾病实体关系库进行知识融合并通过Neo4j图数据库对融合后的知识图谱进行可视化处理.结果表明,与JAPE模型和GCN-Align模型相比,MuGNN模型的实体对齐效果更好.利用综合多种注意力机制和图卷积神经网络的MuGNN模型对互联网医疗知识进行融合,有助于提升多来源互联网医疗知识的融合效果,有助于多源知识图谱的构建与补全,有助于提供更优质的知识服务.     

融合小句对齐知识的汉英神经机器翻译

针对当前神经机器翻译在捕捉复杂句内小句间的语义和结构关系方面存在不足,导致复杂句长文本翻译的篇章连贯性不佳的问题,提出一种融合小句对齐知识的汉英神经机器翻译方法.首先提出手工和自动相结合的标注方案,构建大规模小句对齐的汉英平行语料库,为模型训练提供丰富的小句级别的汉英双语对齐知识;然后设计一种基于小句对齐学习的神经机器...     

融合知识图谱信息的命名实体识别方法

在大规模文本语料库上预先训练的BERT等神经语言表示模型可以很好地从纯文本中捕获丰富的语义信息.但在进行中文命名实体识别任务时,由于中文命名实体存在结构复杂、形式多样、一词多义等问题,导致中文命名实体识别效果不佳.考虑到知识图谱可以提供丰富的结构化知识事实,从而更好地进行语言理解,提出了一种融合知识图谱信息的中文命名实体识别方法,通过知识图谱中的信息实体增强语言的外部知识表示能力.实验结果表明,与BILSTM-CRF、BERT等方法相比,所提出的方法有效提升了中文命名实体的识别效果,在MSRA与搜狐新闻网标注数据集上,F1值分别达到了95. 4%与93. 4%.     

基于BERT和双向RNN的中文林业知识图谱构建研究

为了融合碎片化林业文本数据,解决目前林业网络知识散乱、无序和关联性不强的问题,将深度学习与知识图谱相结合,提出一种基于改进BERT和双向RNN的模型用于林业实体识别和实体关系抽取。通过基于实体Mask的BERT词向量处理,自动提取出序列中与研究领域相关的词级和语义特征,将词向量输入命名实体识别模型和实体关系提取模型训练。在通用数据集上,实体关系抽取BERT-BiGRU-Attention模型效果更优,F1值提升1%,准确率在90%以上;实体识别BERT-BiLSTM-CRF模型各项指标比传统模型提高2%。在林业数据集上,模型准确率达到80%以上。表明基于BERT和双向RNN模型构建中文林业知识图谱是可行的。在此模型的基础上搭建中文林业知识图谱智能系统,可以优化林业信息管理方法,促进林业发展。     

基于深度学习的多语言跨领域主题对齐模型

在主题深度表示学习的基础上,该文提出了一种融合双语词嵌入的主题对齐模型(topic alignment model, TAM),通过双语词嵌入扩充语义对齐词汇词典,在传统双语主题模型基础上设计辅助分布用于改进不同词分布的语义共享,以此改善跨语言和跨领域情境下的主题对齐效果;提出了2种新的指标,即双语主题相似度(bilingual topic similarity, BTS)和双语对齐相似度(bilingual alignment similarity, BAS),用于评价辅助分布对齐的效果。相比传统的对齐模型MCTA, TAM在跨语言主题对齐任务中双语对齐相似度提升了约1.5%,在跨领域主题对齐任务中F1值提升了约10%。研究结果对于改进跨语言和跨领域信息处理具有重要意义。     

基于多数据源的知识图谱构建方法研究

针对多数据源的融合应用,构建了基于多数据源的知识图谱.首先,对不同领域内的数据源构建相应本体库,并将不同本体库通过数据融合映射到全局本体库;然后,利用实体对齐和实体链接方法进行知识获取和融合;最后,搭建知识图谱应用平台,提供查询和统计等操作.在实体对齐方面,利用传统的基于相似性传播实体对齐方法,获得良好的实体对齐效果;在实体链接方面,提出了基于约束嵌入转换的预测推理方法,实验结果表明,在预测准确率上取得较好的结果.     

基于链接预测模型的融合研究

知识图谱技术在信息检索、智能问答领域有着重要作用.为了解决大型知识图谱中的有效实体缺失问题,需要使用链接预测手段自动预测实体之间缺失的链接,完善知识图谱中缺失的实体.现在有许多链接预测的方法,其中基于神经网络的Grail模型侧重于对局部子图进行推理,具有很强的归纳倾向,但在语义层次建模方面存在不足.因此,提出了Grail&HAKE融合模型,通过将Grail模型与HAKE模型进行融合,解决了Grail模型在语义层次建模方面存在的不足.实验结果表明,Grail&HAKE的融合模型比单独使用Grail和HAKE模型的MRR值分别高出0.100 5和0.306 3,并且在部分数据集上优于其他融合模型.说明Grail&HAKE融合模型在知识图谱的有效实体链接预测方面是有效可用的.     

基于知识增强的深度新闻推荐网络

在新闻推荐场景下,传统的基于文本特征的新闻推荐模型只考虑了词的共现关系,无法捕获词语的隐含词义和关联知识;而基于深度学习的推荐模型在融合知识图谱信息中仅仅考虑实体的信息,忽略了远距离实体之间的联系,造成实体之间的关联信息和深层次语义联系的缺失.针对该问题提出了一种基于知识增强的深度新闻推荐网络（deep knowledge-enhanced network,DKEN）,利用长短期记忆网络提取知识图谱中的实体路径特征,补充到注意力网络中,然后针对不同的候选新闻动态地构建用户的特征.实验表明该实体路径信息能提高模型的效果,在F₁指标上提升大约1%.      

基于领域知识图谱和对比学习的汉越跨境民族文本检索方法

汉越跨境民族文本检索是一类面向领域的跨语言检索任务，旨在以一种语言作为问题查询，检索出另一种语言对应的民族、宗教、文化习俗等跨境民族文档.但在汉越跨境民族文本检索任务中存在大量不常见的领域实体，实体表达形式多样，且中文和越南语两种语言领域实体没有直接对应关系，导致跨语言领域词对齐和语义对齐困难，进而影响汉越跨境民族文本检索模型性能.基于此，提出一种基于领域知识图谱和对比学习的汉越跨境民族文本检索方法 .首先，利用多头注意力机制将汉越跨境民族领域知识图谱融入查询和文档，丰富查询和文档中不常见的跨境民族领域实体信息；然后，引入对比学习来解决跨语言查询和文档的语义表征对齐困难问题；最后，将融入知识图谱的查询和文档表征之间的相似度计算作为相关性分数.实验表明，提出的方法和基线模型相比，性能提高了4.1%.     

基于知识表示学习的协同矩阵分解方法

针对协同过滤算法中用户反馈数据的稀疏性问题,提出一种基于知识库的协同矩阵分解方法.该方法从物品的知识图谱中学习其向量表示,并在此基础上联合地分解反馈矩阵和物品关联度矩阵,两种矩阵共享物品向量,利用物品的语义信息弥补反馈数据的缺失.实验结果表明,该方法显著地提升了矩阵分解模型的推荐效果,在一定程度上解决了协同过滤的冷启动问题.      

融合文本和路径语义的知识图谱嵌入学习模型

针对现有的融合文本和路径信息的模型未能充分挖掘和利用文本与路径语义的问题，提出了新的知识图谱嵌入学习模型(GETR模型):首先, 利用LDA丰富实体描述文本语义并用TWE获取词和主题向量，采用Bi-LSTM模型把词和主题向量编码融入实体向量表示中，以增强结点的语义表达能力；其次，设计了以组合PageRank和余弦相似度算法为策略的随机游走算法，以获取实体间的多步路径，并利用自注意力机制捕获路径的重要语义融入到翻译模型中进行联合训练，从而达到有效过滤路径中的噪声和提高模型效率的目的.最后，在数据集FB15K、FB20K和WN18上，对GETR、TransE、DKRL、TKGE模型进行知识补全和实体分类任务的评测，结果表明:GETR模型具有更好的性能表现，是一种更加高效的知识表示方法.     

人工智能时代知识图谱表示学习方法体系

 总结了不含辅助信息的知识图谱表示学习方法,主要是基于距离和基于语义匹配2类主流方法;研究了包含文本辅助信息和类别辅助信息的知识图谱表示学习方法;通过对比各类表示学习方法的优缺点,发现引入辅助信息能有效表达知识图谱中新实体,但时空开支大幅上升,因而在现阶段,不含辅助信息的方法更易应用于实际场景中。分析了知识图谱嵌入如何应用于三元组分类、链路预测、推荐系统等下游任务,整理归纳了应用于不同任务的数据集和开源库的集合,并展望了大规模、动态知识图谱等具有广泛应用前景的研究方向。     

面向推理的知识图谱表示学习方法综述

知识图谱以其错综复杂、信息密集和语义关联的特征,推动了知识应用以及神经网络学科的发展。知识表示学习方法的发展以及日益增长的认知智能需求,使得知识表示与推理成为当前知识图谱和自然语言处理领域的研究热点。得益于良好的知识表示学习方法,基于表示学习的大规模知识推理已在相关数据集上得到验证。文章主要展开如下工作:(1)对已有表示学习与推理方法进行梳理,将知识图谱推理方法划分为:距离模型方法、双线性模型的语义相似度方法、神经网络学习方法和图神经网络学习方法;(2)对未来知识图谱表示学习与推理方法进行展望。知识图谱的表示学习与推理方法的发展,对推动整个知识社区和强人工智能发展具有重要意义。     

地理信息服务领域的实体自动化识别

针对地理信息服务领域(Geographic Information Services,GIServices)在实体自动识别方面存在缺乏语料、多种实体嵌套、语义稀疏等问题,本文设计了一套地理信息服务文献实体标注规范,构建了地理信息服务领域的语料;在传统实体识别模型BiLSTM-CRF的基础上,引入了BERT(Bidirectional Encoder Representaions from Transformers)预训练模型及卷积层(Convolutional layer),构建了 BERT-1DCNN-BiLSTM-CRF模型,提升了地理信息服务文献实体识别的准确率.该模型在词嵌入层以BERT预训练模型取代了传统的静态语言模型,从而有效地解决了地理信息服务领域因缺乏大量训练语料而无法表达更丰富句子语义信息的问题;此外,在BERT模型之后还加入了字间卷积特征,提升了句子局部特征的表示能力,降低了句子语义稀疏的干扰.实验结果表明,融合了 BERT模型与CNN模型的GIServices文献实体识别方法效果优于传统深度学习的方法,模型准确率达到了 0.826 8,能够较好地实现GIServices文献自动化实体识别,同时也能较好地体现基于BERT的深度学习模型在实体自动化识别方面的有效性.