融合标签嵌入和知识感知的多标签文本分类方法

多标签文本分类是自然语言处理领域的重要任务之一.文本的标签语义信息与文本的文档内容有紧密的联系,而传统的多标签文本分类方法存在忽略标签的语义信息以及标签的语义信息不足等问题.针对以上问题,提出一种融合标签嵌入和知识感知的多标签文本分类方法 LEKA (Label Embedding and Knowledge-Aware).该方法依赖于文档文本以及相应的多个标签,通过标签嵌入来获取与标签相关的注意力.考虑标签的语义信息,建立标签与文档内容的联系,将标签应用到文本分类中.另外,为了增强标签的语义信息,通过知识图谱嵌入引入外部感知知识,对标签文本进行语义扩展.在AAPD和RCV1-V2公开数据集上与其他分类模型进行了对比,实验结果表明,与LCFA (Label Combination and Fusion of Attentions)模型相比,LEKA的F1分别提高了3.5%和2.1%.     

基于多尺度卷积的胶囊网络知识图谱嵌入模型

该文基于胶囊神经网络出色的维度信息挖掘能力,加入多尺度卷积以进一步增强其特征提取和交互能力,提出了基于多尺度卷积的胶囊网络知识图谱嵌入模型.首先,通过TransE算法训练得到实体和关系的初始化嵌入向量;其次,通过多尺度卷积生成不同的特征图,将得到的特征图进行特征融合,融合后得到的特征图重组为相对应的胶囊;最后,利用动态路由指定从第一层胶囊到第二层胶囊的连接,经过路由得到的第二层胶囊利用squash函数得到最终向量长度,该向量长度决定三元组的置信度.知识图谱链接预测任务的实验结果表明,较嵌入模型CapsE,本文提出的模型在WN18RR数据集上指标Hit@10提高1.8%,MRR提高1.4%,在FB15k-237数据集上Hit@10提高2.2%,MR提高4.8%.     

嵌入知识图谱信息的命名实体识别方法

在大规模文本语料库上预先训练的BERT(bidirectional encoder representation from transformers,BERT)等神经语言表示模型可以较好地从纯文本中捕获丰富的语义信息.但在进行中文命名实体识别任务时,由于命名实体存在结构复杂、形式多样、一词多义等问题,识别效果不佳.基于...     

融合领域知识图谱的跨境民族文本分类方法

跨境民族文本分类任务是跨境民族文化分析中的基础性工作,其目的是将跨境民族文化文本进行归类处理。针对跨境民族文化数据分类面临类别交叉的问题,提出融合领域知识图谱的跨境民族文本分类方法,利用跨境民族文化知识图谱对文本中的跨境民族实体进行语义扩展,通过实体在知识图谱中的类别特征来增强文本的类别语义特征。此外,通过掩码自注意力机制分别对文本的词级、句子级进行特征提取以此得到文本中句子的局部特征和全局特征。实验表明,本文方法在跨境民族文化数据集中相比基线模型的F1值提升了11.9%。     

融合上下文的知识图谱补全方法

构建了一种融合了上下文的知识图谱补全模型。首先通过Inception网络得到给定头尾实体对的深度交互嵌入;其次定义和编码给定实体对的2种上、下文信息：邻接关系上下文和路径上下文;然后使用基于头尾交互嵌入的注意力机制,分别聚合给定实体对的邻接关系上下文和路径上下文;最后利用全连接层来融合给定实体对的2种上下文信息,预测给定实体对之间的关系。在数据集FB15K-237、WN18RR和NELL-995中与其他主流模型对比,实验结果证实了所提补全模型的有效性。     

融合知识图谱信息的命名实体识别方法

在大规模文本语料库上预先训练的BERT等神经语言表示模型可以很好地从纯文本中捕获丰富的语义信息.但在进行中文命名实体识别任务时,由于中文命名实体存在结构复杂、形式多样、一词多义等问题,导致中文命名实体识别效果不佳.考虑到知识图谱可以提供丰富的结构化知识事实,从而更好地进行语言理解,提出了一种融合知识图谱信息的中文命名实...     

基于知识图谱嵌入的多跳中文知识问答方法

基于知识图谱嵌入模型, 提出一种知识图谱嵌入评分与链路评分相结合的评分方法, 以解决中文领域的多跳知识图谱问答任务, 与传统的单跳知识问答方法相比适用性更广. 该方法在搜索最优答案的同时构建一个查询链路, 通过查询给出答案集合, 从而有效缓解了现有方法中遗漏答案的情况. 在NLPCC-MH数据集上的实验结果表明, 该方法在多跳问题上的平均F₁值为0.653, 显著优于对比方法. 真实知识图谱通常存在链路缺失的情况, 实验以随机丢弃25%三元组的方式模拟了知识图谱的稀疏性, 结果表明该方法在这种情况下仍然有效.     

融合知识图谱的多通道中医辨证模型

中医辨证是中医临床立法、处方、用药的基础和前提。中医电子病历缺乏高质量语料,模型训练容易欠拟合,且四诊信息的症状表达形式存在较大差异,限制了网络模型对复杂症状的识别能力。针对上述问题,通过对四诊信息多通道的分开处理,以及人工构建的小规模知识图谱对模型训练进行知识的增强,提出了融合知识图谱的多通道中医辨证模型。实验结果表明,基于中医电子病历数据集,提出的模型在P@1指标、P@3指标、P@5指标上相比基线模型分别提高3.51%、3.38%、3.32%,相比其他网络结构模型也有不同程度的提高,验证了所提模型对中医辨证具有显著效果。     

融合知识图谱的文本情感分析

目前研究文本情感分类往往只关注文档内容,对文本信息缺失和歧义等特点考虑不够,导致模型性能较低,为此提出一种融合知识图谱的用户和产品层次化注意力网络.首先通过双向长短期记忆网络获取词汇层隐藏表示,利用具有哨兵注意力机制将知识图谱中的知识与文本相结合获取词汇的知识感知状态向量;其次利用注意力机制结合用户和产品信息;最终利用归一化指标函数识别情感极性.结果表明,该方法在Yelp和IMDB数据集上的精确率和均方根误差优于基准方法,验证了模型的有效性.     

人工智能时代知识图谱表示学习方法体系

总结了不含辅助信息的知识图谱表示学习方法,主要是基于距离和基于语义匹配2类主流方法;研究了包含文本辅助信息和类别辅助信息的知识图谱表示学习方法;通过对比各类表示学习方法的优缺点,发现引入辅助信息能有效表达知识图谱中新实体,但时空开支大幅上升,因而在现阶段,不含辅助信息的方法更易应用于实际场景中.分析了知识图谱嵌入如何应...     

Knowledge Graph Embedding for Hyper-Relational Data

Knowledge graph representation has been a long standing goal of artificial intelligence. In this paper,we consider a method for knowledge graph embedding of hyper-relational data, which are commonly found in knowledge graphs. Previous models such as Trans(E, H, R) and CTrans R are either insufficient for embedding hyper-relational data or focus on projecting an entity into multiple embeddings, which might not be effective for generalization nor accurately reflect real knowledge. To overcome these issues, we propose the novel model Trans HR, which transforms the hyper-relations in a pair of entities into an individual vector, serving as a translation between them. We experimentally evaluate our model on two typical tasks—link prediction and triple classification.The results demonstrate that Trans HR significantly outperforms Trans(E, H, R) and CTrans R, especially for hyperrelational data.     

POI Neural-Rec Model via Graph Embedding Representation

With the booming of the Internet of Things(Io T) and the speedy advancement of Location-Based Social Networks(LBSNs), Point-Of-Interest(POI) recommendation has become a vital strategy for supporting people's ability to mine their POIs. However, classical recommendation models, such as collaborative filtering, are not effective for structuring POI recommendations due to the sparseness of user check-ins. Furthermore, LBSN recommendations are distinct from other recommendation scenarios. With respect to user data, a user's check-in record sequence requires rich social and geographic information. In this paper, we propose two different neural-network models,structural deep network Graph embedding Neural-network Recommendation system(SG-Neu Rec) and Deepwalk on Graph Neural-network Recommendation system(DG-Neu Rec) to improve POI recommendation. combined with embedding representation from social and geographical graph information(called SG-Neu Rec and DG-Neu Rec).Our model naturally combines the embedding representations of social and geographical graph information with user-POI interaction representation and captures the potential user-POI interactions under the framework of the neural network. Finally, we compare the performances of these two models and analyze the reasons for their differences. Results from comprehensive experiments on two real LBSNs datasets indicate the effective performance of our model.     

基于路径分析和关系描述的知识图谱补全方法

面对相对复杂的互联网信息,知识图谱能够将其表达成更加便于理解的形式,通过可视化技术加以显示并提供有价值的参考.但伴随数据实体及实体关系的快速扩增,知识图谱的稀疏性和连通性不足等问题日趋凸显.提出一种基于路径分析和关系描述的知识图谱补全方法,并以泛娱乐领域相关数据为例,对该方法的有效性进行验证.构建基于泛娱乐知识特点的泛娱乐领域知识图谱,并在该知识图谱上进行验证实验.实验结果表明,提出的方法能够很好地推理出知识图谱中的隐含与遗漏路径,有效地实现知识图谱补全,从而发现具有丰富价值的隐含知识.     

细粒度课程知识元组织模型及知识图谱实现

为解决目前数字网络课程知识碎片化、语义关系缺乏等问题,提出将知识的控制单位深入到知识元层面,结合CELTS 标准构建细粒度课程知识元组织模型,再采用精细化加工理论对教学内容进行编排与设计。定义了知识元、知识链和知识单元之间的逻辑关系,构建了C 语言课程知识图谱,通过Neo4j 可视化知识元粒度以及知识元之间的关系。实践表明,知识元和知识图谱结合可有效表示知识之间的逻辑关系,提高知识之间的关联性。     

可嵌入建筑设计模型的施工顺序知识

针对以往提出的施工顺序知识表述模式在描述并行时间逻辑方面能力较弱的问题,提出了构件施工状态的概念及14种用来描述构件施工状态间时间关系的区间到区间的时间逻辑,其不仅可以描述施工活动在时间上的前后逻辑,还可以描述并行逻辑.在此基础上,提出了针对单个构件的"状态链"和针对2个构件间的"状态相互作用"的施工顺序规则,并以Express语言描述了两种顺序知识,使它们能够与工业基础类标准兼容,并可以直接嵌入到符合工业基础类标准的建筑设计模型中,使得从建筑设计模型中导出施工顺序成为可能.     

Semantic Relation Annotation for Biomedical Text Mining Based on Recursive Directed Graph

In this paper we propose a novel model "recursive directed graph" based on feature structure, and apply it to represent the semantic relations of postpositive attributive structures in biomedical texts. The usages of postpositive attributive are complex and variable, especially three categories: present participle phrase, past participle phrase, and preposition phrase as postpositive attributive, which always bring the difficulties of automatic parsing. We summarize these categories and annotate the semantic information. Compared with dependency structure, feature structure, being recursive directed graph, enhances semantic information extraction in biomedical field. The annotation results show that recursive directed graph is more suitable to extract complex semantic relations for biomedical text mining.     

地质知识图谱标准化模型研究

现有地质元数据标准普遍表现为缺乏语义、比较零散、体系不够完善等缺点.为解决地质知识标准的组织,在对国内外地质领域内标准以及知识图谱研究的基础上,以地层知识和石油地质知识为依据构建了地质知识标准化模型,分别以地层和石油地质为应用背景,采用知识图谱技术对他们进行了实现验证.结果 表明,所提出的标准化能为地质知识组织的标准化...     

Link-Privacy Preserving Graph Embedding Data Publication with Adversarial Learning

The inefficient utilization of ubiquitous graph data with combinatorial structures necessitates graph embedding methods, aiming at learning a continuous vector space for the graph, which is amenable to be adopted in traditional machine learning algorithms in favor of vector representations. Graph embedding methods build an important bridge between social network analysis and data analytics, as social networks naturally generate an unprecedented volume of graph data continuously. Publishing socia...