融合实体信息的图卷积神经网络的短文本分类模型

提出一种融合实体信息的图卷积神经网络模型（ETGCN），用于短文本分类.首先，使用实体链接工具抽取短文本中的实体；然后，利用图卷积神经网络对文档、实体和单词进行建模，丰富文本的潜在语义特征；将学习到的单词节点表示与BERT词嵌入进行拼接，通过双向长短期记忆网络，进一步挖掘文本上下文语义特征，再与图神经网络模型得到的文本特征进行融合，用于分类.实验结果表明，该模型在数据集AGNews、R52和MR上的分类准确率分别为88.38%、93.87%和82.87%，优于大部分主流的基线方法.     

基于噪声检测的多语言知识图谱实体对齐技术研究

针对在实体对齐任务中,由于缺少噪音实体对的标记,导致对齐准确率不高的问题,提出采用健壮性实体对齐(Robust Entity Alignment,REA)方法,设计了噪声感知实体对齐模块和噪声检测模块.首先,噪声感知实体对齐模块是基于图卷积神经网络(Graph Convolutional Networks,GCN)的知识图编码器,将知识图谱中的实体对更新嵌入;然后,基于生成对抗网络(Generative Adversarial Networks,GAN)设计了噪声生成器和噪声鉴别器,从而将实体对中的噪音实体对区分出来;最后,通过一种交互的强化训练策略,迭代使噪声感知和实体对齐相结合.实验结果表明,在DBP15K数据集上测试,新方法能有效提高在涉及噪音情况下的实体对齐精准度,与GCN-Align和IPTransE这些基准嵌入模型相比,Hits@1、Hits@5、M_RR 3个评价指标上均有较大的提升.     

基于MuGNN模型的互联网医疗知识融合研究

为了解决多来源医疗知识库融合过程中常见的知识冗余问题,基于综合多种注意力机制和图卷积神经网络的MuGNN模型对互联网医疗知识融合的效果进行了研究.以乳腺癌疾病为例,首先构建了基于不同医疗网站的疾病实体关系库,然后利用MuGNN模型完成了实体对齐,同时与JAPE模型和GCN-Align模型的实体对齐效果进行了对比,最后对基于不同医疗网站的疾病实体关系库进行知识融合并通过Neo4j图数据库对融合后的知识图谱进行可视化处理.结果表明,与JAPE模型和GCN-Align模型相比,MuGNN模型的实体对齐效果更好.利用综合多种注意力机制和图卷积神经网络的MuGNN模型对互联网医疗知识进行融合,有助于提升多来源互联网医疗知识的融合效果,有助于多源知识图谱的构建与补全,有助于提供更优质的知识服务.     

融合语义和结构信息的知识图谱实体对齐

实体对齐能够发现不同知识图谱实体间的对齐关系,是多源知识融合的基础。现有的基于知识表示学习的方法依赖大量标注数据,且并未利用知识图谱中属性等结构化信息,限制了实体对齐的效果。针对这个问题,文章提出融合语义和结构信息的实体对齐方法,使用协同训练(Cotraining)框架,将特征分为语义视角和结构视角,在两个视角下分别训练基于两个图谱联合表示学习(Joint Embedding)的实体对齐模型,并不断选出最可信的实体对齐结果用于辅助另一视角下模型的训练,实现语义和结构信息的融合,从而提升实体对齐的效果。同时,提出使用属性强约束,限制协同训练过程中产生的漂移。实验证明,与传统方法相比,该方法在准确率和F1值上都有提升。     

基于知识图谱的轻量级图卷积网络推荐

知识图谱可以给推荐系统提供丰富的、结构化的信息,从而提高推荐准确性.最近的技术趋势是基于传播的方法设计端到端的模型,但有的基于传播的方法无法捕获项目的高阶协作信号.一般图卷积网络中包含的最常见形式是特征转换、非线性激活和邻域聚合,然而,经验表明,特征转换和非线性激活对协同过滤推荐不一定有积极的影响,更糟糕的是,它们可能会降低推荐性能,使训练更加困难.针对以上问题,提出基于知识图谱的轻量级图卷积网络推荐模型.首先,从实体邻居中抽取样本作为感受野,将知识图谱中的实体通过多次迭代嵌入传播来获取高阶邻域信息.感受野结合邻域信息和可能存在的偏差来计算实体表示,还可以扩展到多跳以模拟高阶连通性并捕获用户潜在的远距离兴趣.其次,使用邻域聚合以预测用户和项目之间的评分,这不仅简化了模型设计,还提高了模型的有效性和准确度.最后,在电影、书籍和音乐推荐这三个数据集中应用提出的模型,实验结果表明,提出的方法优于其他推荐基线.     

融合上下文的知识图谱补全方法

构建了一种融合了上下文的知识图谱补全模型。首先通过Inception网络得到给定头尾实体对的深度交互嵌入;其次定义和编码给定实体对的2种上、下文信息：邻接关系上下文和路径上下文;然后使用基于头尾交互嵌入的注意力机制,分别聚合给定实体对的邻接关系上下文和路径上下文;最后利用全连接层来融合给定实体对的2种上下文信息,预测给定实体对之间的关系。在数据集FB15K-237、WN18RR和NELL-995中与其他主流模型对比,实验结果证实了所提补全模型的有效性。     

TransE和TransH模型空间地址表示学习中的对比研究——以广州市天河区为例

将地理知识融入空间地址，研究空间信息与语义信息融合的知识表示学习方法；将空间地址数据集在TransE模型和TransH模型上进行训练，通过元组分类和向量间距离评估的方法进行对比研究.研究结果表明:(1)在地址实体的表示学习任务中，TransH模型在对复杂关系的建模任务上明显优于TransE模型；(2)在语义知识基础上融入空间关系，能够有效地解决地址实体语义相似而空间距离不相近和空间距离相近而语义不相似的两大问题.语义关系与空间关系的融合，将能够挖掘更多有价值的信息，有利于进一步开展地理知识图谱的补全工作，可为地理知识图谱表示学习提供方法借鉴.     

表示学习知识图谱的实体对齐算法

与现有的根据知识图谱的结构信息或实体属性特征进行相似度匹配的实体对齐的方法不同,提出了一种基于表示学习的知识图谱实体对齐方法.首先,在低维向量空间下,通过机器学习方法学得实体和关系的语义表示,这种表示形式蕴含了知识图谱的内在结构信息及实体属性特征;其次,将人工标注的实体对作为先验知识,学习知识图谱间实体对的映射关系.经实验验证表明:与基于特征匹配的方法SiGMa相比,本文方法能够有效提高知识图谱实体对齐的精确率,同时保持较高的F1值.     

信息网络表示学习方法综述

网络表示学习方法将信息网络表示为低维稠密携带网络节点特征信息的实数向量,应用于下游机器学习任务的输入,随着机器学习与深度学习的发展,网络表示学习拥有强大的建模能力且应用广泛。对网络表示学习方法、应用进行了归纳总结。首先,对当前国内外网络表示学习方法进行梳理归类,分为传统方法、基于网络结构的嵌入、融入属性信息的嵌入,以及基于谱域的图卷积、基于空间的图卷积和图attention网络,按类别对各类模型详细阐述,对比模型之间的适用性和方法特点;其次,介绍了网络表示学习的相关应用,包括推荐系统领域、生物医药领域等,整理常用的数据集、开源实现的表示学习模型和强大的图深度学习库供研究者参考调用;最后,对网络表示学习的发展趋势进行了总结与展望。未来可在深层的图神经网络学习、动态和异构网络的表示、网络模型的泛化能力等方面继续开展研究。     

基于图卷积和全局对齐策略的图分类网络

受限于图数据拓扑结构的不规则性,以及图结点的无序性和规模多变性,现有图分类网络往往对结点嵌入向量采取简单聚合或排序等方式来构建图级别的表示向量,这会导致特征过度压缩以及特征平移等问题.针对这些问题,提出基于全局对齐策略的图卷积网络,通过构建子图特征近似分布将图表示特征向量做全局对齐,在避免过度压缩和特征平移、有效提高下游分类网络对于特征信息挖掘效率的同时,又利用子图特征的分布信息,进一步学习图数据之间内在的结构相似性,从而提升整体网络对于图分类任务的推理能力.在多个图分类数据集上的实验结果表明,采用全局对齐的图卷积网络相较于其他网络模型有2％～6％左右分类精度的稳定提升,消融实验和超参数敏感性分析实验也进一步证实了全局对齐策略的有效性和鲁棒性.     

基于多尺度卷积的胶囊网络知识图谱嵌入模型

该文基于胶囊神经网络出色的维度信息挖掘能力,加入多尺度卷积以进一步增强其特征提取和交互能力,提出了基于多尺度卷积的胶囊网络知识图谱嵌入模型.首先,通过TransE算法训练得到实体和关系的初始化嵌入向量;其次,通过多尺度卷积生成不同的特征图,将得到的特征图进行特征融合,融合后得到的特征图重组为相对应的胶囊;最后,利用动态路由指定从第一层胶囊到第二层胶囊的连接,经过路由得到的第二层胶囊利用squash函数得到最终向量长度,该向量长度决定三元组的置信度.知识图谱链接预测任务的实验结果表明,较嵌入模型CapsE,本文提出的模型在WN18RR数据集上指标Hit@10提高1.8%,MRR提高1.4%,在FB15k-237数据集上Hit@10提高2.2%,MR提高4.8%.     

基于上下文感知空间坐标嵌入的时空图卷积网络

针对空间复杂的非欧几里得结构，图卷积网络不易通过欧氏距离构造输入图的问题，提出了上下文感知空间坐标嵌入的时空图卷积网络(STE-STA)模型，将空间背景和相关性明确地结合到模型中，并基于地理空间辅助任务学习、语义空间嵌入和动态图的时空注意力识别手势。首先从手骨架构造一个完全连接图，通过学习地理坐标的上下文感知向量编码，以及自我注意机制对节点特征和边缘进行自动学习；然后，与主任务并行预测数据中的空间自相关。实验结果表明，在DHG-14/28数据集上，STE-STA模型识别率分别达到92.40%与87.85%,均高于目前最优模型；在SHREC′17数据集上，比时空图卷积网络(ST-GCN)分别高0.60%和0.10%。     

基于多数据源的知识图谱构建方法研究

针对多数据源的融合应用,构建了基于多数据源的知识图谱.首先,对不同领域内的数据源构建相应本体库,并将不同本体库通过数据融合映射到全局本体库;然后,利用实体对齐和实体链接方法进行知识获取和融合;最后,搭建知识图谱应用平台,提供查询和统计等操作.在实体对齐方面,利用传统的基于相似性传播实体对齐方法,获得良好的实体对齐效果;在实体链接方面,提出了基于约束嵌入转换的预测推理方法,实验结果表明,在预测准确率上取得较好的结果.     

基于BERT和双向RNN的中文林业知识图谱构建研究

为了融合碎片化林业文本数据,解决目前林业网络知识散乱、无序和关联性不强的问题,将深度学习与知识图谱相结合,提出一种基于改进BERT和双向RNN的模型用于林业实体识别和实体关系抽取。通过基于实体Mask的BERT词向量处理,自动提取出序列中与研究领域相关的词级和语义特征,将词向量输入命名实体识别模型和实体关系提取模型训练。在通用数据集上,实体关系抽取BERT-BiGRU-Attention模型效果更优,F1值提升1%,准确率在90%以上;实体识别BERT-BiLSTM-CRF模型各项指标比传统模型提高2%。在林业数据集上,模型准确率达到80%以上。表明基于BERT和双向RNN模型构建中文林业知识图谱是可行的。在此模型的基础上搭建中文林业知识图谱智能系统,可以优化林业信息管理方法,促进林业发展。     

面向文本分类的张量残差图卷积网络模型

针对现有文本分类模型上下文信息挖掘不足、全局特征表示提取不充分等问题,提出了一种基于张量的残差图卷积网络模型．首先,以归纳学习方式构建文本图,挖掘文本中蕴含的句法关系、语义关系和序列关系并整合构建邻接张量,捕获文档的高阶上下文信息与关键局部特征信息;然后,利用残差连接加深网络深度,处理图卷积网络过平滑问题,提升模型的泛化能力;最后,设计图读出机制聚集所有节点特征,提取文本的全局特征表示．在R8和MR数据集上进行了实验评估,实验结果表明与已有文本分类方法相比,所提方法取得了优越的分类效果．     

一种融合实体关联性约束的表示学习方法

知识图谱的表示学习方法将实体和关系嵌入到低维连续空间中,从而挖掘出实体间的隐含联系.传统的表示学习方法多基于知识图谱的结构化信息,没有充分利用实体的描述文本信息.目前基于文本的表示学习方法多将文本向量化,忽略了文本中实体间的语义关联.针对上述缺点提出一种利用实体描述文本进行增强学习的方法,基于文本挖掘出关联性实体并对关联性进行分级,将关联性作为辅助约束融合到知识图谱的表示学习中.实验结果表明,该辅助约束能明显提升推理效果,优于传统的结构化学习模型以及基于深度学习的文本和结构的联合表示模型.      

融合LDA的门控图卷积网络文本分类研究

在现有文本图基础上引入隐狄利克雷分布,将文档-主题和主题-词信息融入文本图以丰富文本图中节点间关系,之后将该文本图送入一个基于图卷积网络门控机制模型.在多个数据集上进行验证.结果表明,所提出的模型优于现有图卷积网络文本分类模型.     

基于人体时空骨架特征的图卷积行为识别算法

【目的】为了充分利用动态的人体骨架特征，提高行为识别精度，提出一种基于人体时空骨架特征的图卷积行为识别算法。【方法】首先在空间上确定主关节点，再融合各关节点与主关节点之间的向量和关节点间的骨骼长度，获取瞬时状态下关节点的相对位置关系；然后计算相邻两帧之间由相同关节点构成的时序动作信息来描述运动状态；最后，将时空信息融合到时空图卷积网络中，进行端到端训练。【结果】与时空图卷积网络识别算法相比，在400分类Kinetics行为识别数据集上的Top-1和Top-5指标分别提升了1.78%和1.77%，在NTURGB+D数据集的两个基准上的Top-1分别提升4.13%和2.61%。【结论】提出的基于人体时空骨架特征的图卷积行为识别算法是有效实用的。     

基于四元数图神经网络的知识图谱嵌入

针对当前大多数知识图谱嵌入方法对实体和关系的表示能力低、难以处理复杂关系的问题,提出一种基于四元数图神经网络的知识图谱嵌入方法,用于解决知识图谱的链路预测问题。该方法为了包含更丰富的关系信息,将四元数引入到知识图谱嵌入中对实体和关系建模,并考虑两者之间的共现关系。模型利用勒维图变换将知识图谱中的实体和关系转换为图网络中的节点,采用两者的共现关系构建图中的边;将四元数图神经网络(quaternion graph neural networks,QGNN)作为编码器模块,学习图节点的四元数嵌入;利用四元数空间内的哈密顿乘积构造评分函数对生成三元组进行排序。实验结果表明,所提模型能够很好地捕捉到实体与关系之间潜在的相互依赖关系,在知识图谱嵌入方面优于现有的嵌入模型。     

基于LNBC模型的中文命名实体识别

针对中文命名实体识别中融合词典信息准确率提升不足的问题,使用在模型内部融合词典信息的策略,并结合预训练语言模型NEZHA增强文本的嵌入表示,提出一种基于LNBC(LE-NEZHA-BiLSTM-CRF)模型的中文命名实体识别方法．首先通过词典树匹配所有潜在的词,然后采用面向中文理解的神经语境表征模型(NEZHA)进行融合嵌入表示,将训练得到的字词融合向量输入双向长短期记忆(BiLSTM)网络进行特征提取,获取长距离的语义信息,最后通过条件随机场(CRF)层降低错误标签输出的概率．实验结果表明,该方法在MSRA数据集和Resume数据集中的F1值分别为95.71%和96.11%,较其他对比模型均有提高．