改进的TransH模型在知识表示与推理领域的研究

针对Trans系列的知识图谱表示与推理模型在训练的过程中,随机构造正负例三元组样本进行训练,没有考虑替换的实体与原实体之间存在的相似度差异度关系,导致模型无法识别实体之间的相似度,效果低下。在TransH模型的构建基础上,采用单层神经网络的非线性操作来精确刻画实体和关系之间的语义信息,同时创新性地加入了正、负三元组之间的头/尾实体之间的差异度信息,用于校正正、负三元组样本之间的联系,使模型能够辨别替换的实体与原实体间的相似度,进而提出了mTransH模型。实验证明:mTransH模型在知识图谱的链接预测任务中,提高了模型对正例样本的辨识度,从而提高知识推理的链接预测准确率。     

TransE和TransH模型空间地址表示学习中的对比研究——以广州市天河区为例

将地理知识融入空间地址，研究空间信息与语义信息融合的知识表示学习方法；将空间地址数据集在TransE模型和TransH模型上进行训练，通过元组分类和向量间距离评估的方法进行对比研究.研究结果表明:(1)在地址实体的表示学习任务中，TransH模型在对复杂关系的建模任务上明显优于TransE模型；(2)在语义知识基础上融入空间关系，能够有效地解决地址实体语义相似而空间距离不相近和空间距离相近而语义不相似的两大问题.语义关系与空间关系的融合，将能够挖掘更多有价值的信息，有利于进一步开展地理知识图谱的补全工作，可为地理知识图谱表示学习提供方法借鉴.     

融合软奖励和退出机制的WGAN知识图谱补全方法

基于强化学习的方法在知识图谱补全任务中虽然具有较好的表现,但存在智能体得到的指导奖励质量偏低、关系路径判定易错等问题。为此,提出一种融合软奖励和退出机制的对抗学习推理方法(WGAN reward and exit, WGAN-RE),在生成式对抗网络中引入软奖励和动作退出机制。利用知识嵌入模型构建外部软奖励机制,增强强化学习过程中的奖励机制;利用动作退出机制对路径上的中间实体随机掩盖外向边,并强制搜索路径集,稀释无意义路径的影响。在FB15K-237和NELL-995数据集上与多种强化学习方法进行对比实验,结果表明,所提方法的路径搜索成功率最高,在事实预测和链接预测任务上其性能均有显著提升。     

融合文本和路径语义的知识图谱嵌入学习模型

针对现有的融合文本和路径信息的模型未能充分挖掘和利用文本与路径语义的问题，提出了新的知识图谱嵌入学习模型(GETR模型):首先, 利用LDA丰富实体描述文本语义并用TWE获取词和主题向量，采用Bi-LSTM模型把词和主题向量编码融入实体向量表示中，以增强结点的语义表达能力；其次，设计了以组合PageRank和余弦相似度算法为策略的随机游走算法，以获取实体间的多步路径，并利用自注意力机制捕获路径的重要语义融入到翻译模型中进行联合训练，从而达到有效过滤路径中的噪声和提高模型效率的目的.最后，在数据集FB15K、FB20K和WN18上，对GETR、TransE、DKRL、TKGE模型进行知识补全和实体分类任务的评测，结果表明:GETR模型具有更好的性能表现，是一种更加高效的知识表示方法.     

一种融合实体关联性约束的表示学习方法

知识图谱的表示学习方法将实体和关系嵌入到低维连续空间中,从而挖掘出实体间的隐含联系.传统的表示学习方法多基于知识图谱的结构化信息,没有充分利用实体的描述文本信息.目前基于文本的表示学习方法多将文本向量化,忽略了文本中实体间的语义关联.针对上述缺点提出一种利用实体描述文本进行增强学习的方法,基于文本挖掘出关联性实体并对关联性进行分级,将关联性作为辅助约束融合到知识图谱的表示学习中.实验结果表明,该辅助约束能明显提升推理效果,优于传统的结构化学习模型以及基于深度学习的文本和结构的联合表示模型.      

基于四元数图神经网络的知识图谱嵌入

针对当前大多数知识图谱嵌入方法对实体和关系的表示能力低、难以处理复杂关系的问题,提出一种基于四元数图神经网络的知识图谱嵌入方法,用于解决知识图谱的链路预测问题。该方法为了包含更丰富的关系信息,将四元数引入到知识图谱嵌入中对实体和关系建模,并考虑两者之间的共现关系。模型利用勒维图变换将知识图谱中的实体和关系转换为图网络中的节点,采用两者的共现关系构建图中的边;将四元数图神经网络(quaternion graph neural networks, QGNN)作为编码器模块,学习图节点的四元数嵌入;利用四元数空间内的哈密顿乘积构造评分函数对生成三元组进行排序。实验结果表明,所提模型能够很好地捕捉到实体与关系之间潜在的相互依赖关系,在知识图谱嵌入方面优于现有的嵌入模型。     

融合属性嵌入与关系注意力的跨语言实体对齐

目前知识图谱实体对齐的主流方法是通过图神经网络学习知识图谱的嵌入表示，并测量实体嵌入之间的相似性实现实体的对齐.很多实体对齐方法只考虑知识图谱的结构信息和关系信息，却常常忽略了属性信息.针对上述问题，提出了一种融合属性嵌入的实体对齐方法：融合属性信息的精简关系感知双图卷积网络模型.首先，基于关系感知双图卷积网络的注意力机制提取知识图谱的关系信息；然后，利用带高速门的图卷积网络获取属性信息；最后，融合二者的嵌入信息以实现更高准确率的实体对齐.在3个跨语言数据集上的实验结果表明，该方法通过融合知识图谱属性信息增强了实体表示能力，在3个数据集上Hits@1值相比原模型分别增长了6.42%、4.59%和1.98%，对齐效果明显优于目前主流的实体对齐方法.     

融合语义和结构信息的知识图谱实体对齐

实体对齐能够发现不同知识图谱实体间的对齐关系,是多源知识融合的基础。现有的基于知识表示学习的方法依赖大量标注数据,且并未利用知识图谱中属性等结构化信息,限制了实体对齐的效果。针对这个问题,文章提出融合语义和结构信息的实体对齐方法,使用协同训练(Cotraining)框架,将特征分为语义视角和结构视角,在两个视角下分别训练基于两个图谱联合表示学习(Joint Embedding)的实体对齐模型,并不断选出最可信的实体对齐结果用于辅助另一视角下模型的训练,实现语义和结构信息的融合,从而提升实体对齐的效果。同时,提出使用属性强约束,限制协同训练过程中产生的漂移。实验证明,与传统方法相比,该方法在准确率和F1值上都有提升。     

基于知识增强的深度新闻推荐网络

在新闻推荐场景下,传统的基于文本特征的新闻推荐模型只考虑了词的共现关系,无法捕获词语的隐含词义和关联知识;而基于深度学习的推荐模型在融合知识图谱信息中仅仅考虑实体的信息,忽略了远距离实体之间的联系,造成实体之间的关联信息和深层次语义联系的缺失.针对该问题提出了一种基于知识增强的深度新闻推荐网络（deep knowledge-enhanced network,DKEN）,利用长短期记忆网络提取知识图谱中的实体路径特征,补充到注意力网络中,然后针对不同的候选新闻动态地构建用户的特征.实验表明该实体路径信息能提高模型的效果,在F₁指标上提升大约1%.      

基于知识图谱的轻量级图卷积网络推荐

知识图谱可以给推荐系统提供丰富的、结构化的信息,从而提高推荐准确性.最近的技术趋势是基于传播的方法设计端到端的模型,但有的基于传播的方法无法捕获项目的高阶协作信号.一般图卷积网络中包含的最常见形式是特征转换、非线性激活和邻域聚合,然而,经验表明,特征转换和非线性激活对协同过滤推荐不一定有积极的影响,更糟糕的是,它们可能会降低推荐性能,使训练更加困难.针对以上问题,提出基于知识图谱的轻量级图卷积网络推荐模型.首先,从实体邻居中抽取样本作为感受野,将知识图谱中的实体通过多次迭代嵌入传播来获取高阶邻域信息.感受野结合邻域信息和可能存在的偏差来计算实体表示,还可以扩展到多跳以模拟高阶连通性并捕获用户潜在的远距离兴趣.其次,使用邻域聚合以预测用户和项目之间的评分,这不仅简化了模型设计,还提高了模型的有效性和准确度.最后,在电影、书籍和音乐推荐这三个数据集中应用提出的模型,实验结果表明,提出的方法优于其他推荐基线.     

双语影视知识图谱的构建研究

提出一种双语影视知识图谱(BMKG)的构建流程。通过半自动化的方法构建了双语影视本体(BMO), 将各个影视数据源对齐到BMO, 以保持异构数据源的语义描述一致性。在知识链接方面, 在充分挖掘和利用领域特征的基础上, 采用基于Word2Vec 和TFIDF 两种向量模型的实体相似度计算方法, 使相似度特征增加一倍, 大大提升了模型的链接效果。在实体匹配方面, 提出基于相似度传播算法的实体匹配算法, 并利用影视数据源之间的内在联系, 克服了跨语言实体之间计算相似度的语言障碍。实验结果表明, 当阈值取到0.75 以上时, 实体匹配的准确率都能达到90% 左右。此外, 还建立了影视知识图谱共享平台, 并提供开放性的数据访问和查询接口。     

基于路径分析和关系描述的知识图谱补全方法

面对相对复杂的互联网信息,知识图谱能够将其表达成更加便于理解的形式,通过可视化技术加以显示并提供有价值的参考.但伴随数据实体及实体关系的快速扩增,知识图谱的稀疏性和连通性不足等问题日趋凸显.提出一种基于路径分析和关系描述的知识图谱补全方法,并以泛娱乐领域相关数据为例,对该方法的有效性进行验证.构建基于泛娱乐知识特点的泛娱乐领域知识图谱,并在该知识图谱上进行验证实验.实验结果表明,提出的方法能够很好地推理出知识图谱中的隐含与遗漏路径,有效地实现知识图谱补全,从而发现具有丰富价值的隐含知识.     

结合知识图谱进行信息强化的协同过滤算法

针对传统协同过滤算法存在使用信息单一、基础评分数据过于稀疏导致推荐效果不佳等问题,该文提出一种结合知识图谱进行信息强化的协同过滤(KGRI-CF)算法.该算法利用电影的特征数据构建1张关于电影的知识图谱,对用户-评分矩阵进行有条件的填充,有效改善了传统协同过滤算法的数据稀疏性问题.通过对评分数据进行统计与挖掘获取用户的偏好信息,构建了关于用户偏好的知识图谱.利用实体向量化算法将知识图谱中的实体以及关系向量化后计算出用户信息相似度,将其与基于用户的传统协同过滤算法得到的用户评分相似度以一定比例进行融合,从而得到最终的用户相似度,并以此为基础进行评分预测并得到推荐列表.实验结果表明:与传统协同过滤算法相比,该算法能有效地改善数据稀疏性问题,预测结果的精准率和召回率均有显著提升,同时具有较好的可解释性.     

表示学习知识图谱的实体对齐算法

与现有的根据知识图谱的结构信息或实体属性特征进行相似度匹配的实体对齐的方法不同,提出了一种基于表示学习的知识图谱实体对齐方法.首先,在低维向量空间下,通过机器学习方法学得实体和关系的语义表示,这种表示形式蕴含了知识图谱的内在结构信息及实体属性特征;其次,将人工标注的实体对作为先验知识,学习知识图谱间实体对的映射关系.经实验验证表明:与基于特征匹配的方法SiGMa相比,本文方法能够有效提高知识图谱实体对齐的精确率,同时保持较高的F1值.     

面向推理的知识图谱表示学习方法综述

知识图谱以其错综复杂、信息密集和语义关联的特征,推动了知识应用以及神经网络学科的发展。知识表示学习方法的发展以及日益增长的认知智能需求,使得知识表示与推理成为当前知识图谱和自然语言处理领域的研究热点。得益于良好的知识表示学习方法,基于表示学习的大规模知识推理已在相关数据集上得到验证。文章主要展开如下工作:(1)对已有表示学习与推理方法进行梳理,将知识图谱推理方法划分为:距离模型方法、双线性模型的语义相似度方法、神经网络学习方法和图神经网络学习方法;(2)对未来知识图谱表示学习与推理方法进行展望。知识图谱的表示学习与推理方法的发展,对推动整个知识社区和强人工智能发展具有重要意义。     

融合知识图谱信息的命名实体识别方法

在大规模文本语料库上预先训练的BERT等神经语言表示模型可以很好地从纯文本中捕获丰富的语义信息.但在进行中文命名实体识别任务时,由于中文命名实体存在结构复杂、形式多样、一词多义等问题,导致中文命名实体识别效果不佳.考虑到知识图谱可以提供丰富的结构化知识事实,从而更好地进行语言理解,提出了一种融合知识图谱信息的中文命名实...     

基于训练模型改进的语音问句信息抽取方法

为进一步提高客户语音问句实体信息抽取的准确性,增强智能问答系统知识图谱中信息抽取技术的整体效果,首先对语义标注进行优化,随后在BiLSTM-CRF(bidirectional long short-term memory conditional random filed)基础上加入BERT(bidi-rectional encoder representation from transformers)模型对句子进行实体抽取学习.在具体实验中,以语音问句事件文本为数据来源,对其进行语义标注和实体抽取实验.结果 表明,在语义标注优化的基础上同时加入BERT改进模型,信息抽取结果均高于BiLSTM-CRF方法,且改进模型的调和平均值达到91.53％,即可为增强事件实体信息抽取提供实践意义.     

好奇心驱动的深度强化学习机器人路径规划算法

针对采用深度强化学习算法实现机器人路径规划任务中,训练前期随机性高导致奖励难获取问题,提出内在好奇心驱动的深度确定性策略梯度算法对连续型动作输出的端到端机器人路径规划进行研究。将环境获取的感知信息作为输入状态,输出机器人动作(线速度、角速度)的连续型控制量,在Gazebo仿真平台进行训练并验证。实验结果表明,基于内在好奇心驱动的深度确定性策略梯度路径规划算法可以较好地实现端到端的机器人路径规划,并且有利于解决训练前期奖励难获取问题,与离散型动作输出的深度Q学习网络模型进行了对比分析,结果表明本文算法决策控制效果更优越。在真实环境中进行了验证,在静态障碍和动态障碍的场景下,所提出算法可成功到达目标点。     

两级选址--路径问题的大规模邻域搜索模拟退火算法

针对目前越来越普遍的多级配送模式,建立以总成本最小为目标函数的两级选址-路径问题模型,并提出了大规模邻域搜索模拟退火算法进行求解.在模拟退火算法框架中,嵌入大规模邻域搜索过程,包含破坏、重组和局部搜索方法,从而进一步提高算法在解空间中构建邻域的范围.采用两级选址-路径问题标准算例对算法求解效果进行验证,并与标准模拟退火算法和国际已知最优解进行对比.结果显示,所建模型和算法正确有效,并且在求解大规模问题时算法能够取得相对更好的优化结果.     

基于知识图谱的恶意域名检测

网络技术的发展导致恶意域名类型层出不穷,为了挖掘更深层次的恶意域名,提出一种将知识图谱应用到恶意域名的检测方法。在设计域名知识图谱本体模型的基础上,抽取对应的实体、关系,使用Neo4j图数据库存储域名知识图谱,根据图推理算法计算未知域名与图谱中已知属性相邻节点的密切程度,来判断未知域名的属性。实验结果表明,新方法在恶意域名检测上有良好的实验效果(AUC=0.98),可有效识别之前未检测出的恶意域名,实现对隐藏较深恶意域名的挖掘。