面向中文基础教育知识图谱的关系抽取模型

在构建中文基础教育知识图谱过程中,使用远程监督的方法能够有效解决训练语料匮乏的问题,同时使用神经网络模型能够提升构建过程中关系抽取的准确率.为了缓解远程监督中引入的错误标签带来的影响,模型通过双向门限循环单元(bidirectional gated recurrent unit)获取双向上下文中的语义信息,同时引入句子层注意力机制,动态降低噪声数据的权重.在基于中文信息技术教材教辅和百度百科的基础上构建的知识库上的关系抽取实验表明,引入句子层注意力机制能够促进模型的关系抽取效果,模型的准确率相比于中文主流关系抽取方法提高了4%～5%,能更好地应用于知识图谱的构建.     

基于主题注意力层次记忆网络的文档情感建模

针对文档水平情感分析传统模型存在先验知识依赖以及语义理解不足问题,提出一种基于注意力机制与层次网络特征表示的情感分析模型TWE-ANN.采用基于CBOW方式的word2vec模型针对语料训练词向量,减小词向量间的稀疏度,使用基于Gibbs采样的LDA算法计算出文档主题分布矩阵,继而通过层次LSTM神经网络获取更为完整的文本上下文信息从而提取出深度情感特征,将文档主题分布矩阵作为模型注意力机制提取文档特征,从而实现情感分类.实验结果表明:提出的TWE-ANN模型较TSA、HAN模型分类效果较好,在Yelp2015、IMDB、Amazon数据集上的F值分别提升了1.1%、0.3%、1.8%,在Yelp2015和Amazon数据集上的RMSE值分别提升了1.3%、2.1%.     

基于知识表示学习的公共计算机课程管理研究

为解决假负例和零损失问题, 将 Transformer 网络结构用于提取知识库中的实体描述信息, 用带有约束性的自注意力机制寻找最能表达实体意义的表示子空间以增强实体的表示能力, 引入对抗生成网络思想生成负样本, 提升了知识表示能力。 该方法在公共计算机课程知识图谱的构建中, 清楚描绘了课程知识点间的内在关系, 对于指导课程设置与进度安排, 引导学生学习具有十分重要的意义。     

基于层次化表示的隐式篇章关系识别

篇章关系识别研究旨在理解篇章内部论述单元(简称"论元",包括短语、句子及文本片段)之间的语义连接关系.现有研究通过交互式注意力机制方法,提升论元之间的信息的交互性,从而提升模型的分类能力.尽管如此,仅通过提升论元间的信息交互不能表述论元对的整体语义概念,原因在于现有方法往往将论元对视作独立的个体,忽略上下文信息对其语义上的影响.针对以上问题,提出一种基于层次化表示的隐式篇章关系识别方法,通过基于词的交互式注意力机制提取出较为重要的单词或短语,并通过论元的注意力机制赋予关键论元较高的权重,最终通过基于上下文的注意力机制融合论元对所在段落的信息,获得具有上下文语义信息的论元对表示.该方法进一步强化了论元之间信息交互性,同时强化了论元对与上下文信息间的交互.使用PDTB(Penn Discourse Treebank)语料进行实验,结果证明该方法的F_1值在四个大类关系(Comparison,Contingency,Expansion,Temporal)上相对基准系统提高了4. 94%,5. 43%,4. 57%和7. 42%.     

基于Attention机制的链接预测算法

针对社会网络中链接预测问题,提出了基于注意力(Attention)机制的链接表示及其预测算法.基于待预测节点的共邻关系构建其链接局部网络,设计了基于紧密游走的网络拓扑序列化方法.采用双向循环神经网络(Bi-RNN)对链接序列进行向量编码,以充分挖掘序列相关节点间的上下文依赖信息.通过Attention机制对链接中的节点进行关注和加权,强化重要节点对链接预测任务的贡献,实现链接拓扑特征的自动提取与准确分类预测.实验结果表明,在4种不同类型的社会网络数据集中,该算法的准确率和运算效率都有较大提高且普适性较强.     

ITS系统中知识模型的设计与实现

ITS系统中。知识表示是一个关键问题。如何表示好知识关系，构建领域知识模型，难度很大。芩文讨论了ITS系统中知识点间关系的表示，特别对于知识点间依赖关系的设计与表示，提出了一个知识图模型，结合了树和有向图的表现形式，并给出了一些构建原则，能够较好解决当前知识表示中存在的不足。最后用相应的关系数据模型给予实现。     

高光谱图像半监督局部稀疏嵌入降维算法

针对目前高光谱图像半监督降维算法中基于流形学习的开放性选择近邻参数问题,以及利用传统算法不能有效地获取标签数据的局部信息,提出了一种无需考虑近邻参数的半监督局部稀疏嵌入（SELSE）算法.该算法基于稀疏表示理论,通过求解范数优化问题构建稀疏系数图,并且利用有限的标签数据最大化类间信息,提取高光谱图像的特征.在AVIRIS高光谱遥感图像的Indian Pine数据集上进行仿真实验,结果表明所提出算法在分类精度和计算效率上都有所提高.     

基于注意力和图网络的多粒度脚本事件推理方法

[目的]对于一些覆盖面广、延续时间长的事件(如台风、洪水等自然灾害),考虑事件演化过程复杂多变,所获取的事件信息存在疏密程度不均的问题,研究其事件推理问题.[方法]提出一种基于注意力机制和图网络的多粒度脚本事件推理方法,通过提取及合并不同粒度的事件信息以获得更丰富的事件语义信息,并结合图注意力网络和事件转移概率矩阵以充分利用密集事件连接提升推理性能.具体而言,首先采用自注意力机制从事件链中获得事件片段,并结合单个事件和事件片段的表示扩展模型输入信息,然后充分利用密集的事件连接,从海量事件新闻中提取事件链构建事件演化图来获得事件转移矩阵,提高模型推理准确率.[结果]在多个真实台风事件以及标准数据集上的实验结果表明,本文所提方法优于传统的基于事件链、基于事件对以及基于事件图等的事件推理模型.[结论]采用自注意力机制从事件链中获得事件片段,并结合单个事件和事件片段的表示扩展模型输入信息可以缓解事件稀疏带来的推理困难问题;仅采用时序关系不能完全表示基本事件链与候选事件的关系,构建事件演化图可以更好的提取事件间的复杂交互信息;多粒度事件信息的融合可以更好地反映候选事件与基本事件链的关系.     

基于ERNIE和双重注意力机制的微博情感分析

针对传统词向量无法在上下文中表示词的多义性,以及先验的情感资源未能在神经网络中得到充分利用等问题,提出一种基于知识增强语义表示（Enhanced Representation through Knowledge Integration,ERNIE）和双重注意力机制（Dual Attention Mechanism, DAM）的微博情感分析模型ERNIE-DAM.首先利用现有的情感资源构建一个包含情感词、否定词和程度副词的情感资源库;其次采用BLSTM网络和全连接网络分别对文本和文本中包含的情感信息进行编码,不同的注意力机制分别用于提取文本和情感信息中的上下文关系特征和情感特征,并且均采用ERNIE预训练模型获取文本的动态特征表示;最后将上下文关系特征和情感特征进行拼接融合,获取最终的特征向量表示.实验结果表明,新模型在COAE2014和weibo＿senti＿100k数据集上的分类准确率分别达到了94.50%和98.23%,同时也验证了将情感资源运用到神经网络中的有效性.     

复述平行语料构建及其应用方法研究

以汉语为研究对象, 提出构建大规模高质量汉语复述平行语料的方法。基于翻译引擎进行复述数据增强, 将英语复述平行语料迁移到汉语中, 同时人工构建汉语复述评测数据集。基于构建的汉语复述数据, 在复述识别和自然语言推理任务中验证复述数据构建及其应用方法的有效性。首先基于复述语料生成复述识别数据集, 预训练基于注意力机制的神经网络句子匹配模型, 训练模型捕获复述信息, 然后将预训练的模型用于自然语言推理任务, 改进其性能。在自然语言推理公开数据集上的评测结果表明, 所构建的复述语料可有效地应用在复述识别任务中, 模型可以学习复述知识。应用在自然语言推理任务中时, 复述知识能有效地提升自然语言推理模型的精度, 从而验证了复述知识对下游语义理解任务的有效性。所提出的复述语料构建方法不依赖语种, 可为其他语言和领域提供更多的训练数据, 生成高质量的复述数据, 改进其他任务的性能。     

基于学习者能力的注意力机制知识追踪方法

基于学习者能力，针对基于循环神经网络（RNN）和长短期记忆（LSTM）网络的深度知识追踪（DKT）算法对早期知识点关注的不足，提出一种加入注意力机制的DKT算法，并用时隙聚类的方法对不同能力学习者动态分组并赋予不同的注意力权值，以建立更平衡、更客观的知识记忆程度权重分布模型.常用公开数据集上的实验结果表明：该模型优于2种基准模型和2种消融实验模型，说明所提出的模型能更好地表现学习者的知识状态.     

一种融合实体关联性约束的表示学习方法

知识图谱的表示学习方法将实体和关系嵌入到低维连续空间中,从而挖掘出实体间的隐含联系.传统的表示学习方法多基于知识图谱的结构化信息,没有充分利用实体的描述文本信息.目前基于文本的表示学习方法多将文本向量化,忽略了文本中实体间的语义关联.针对上述缺点提出一种利用实体描述文本进行增强学习的方法,基于文本挖掘出关联性实体并对关联性进行分级,将关联性作为辅助约束融合到知识图谱的表示学习中.实验结果表明,该辅助约束能明显提升推理效果,优于传统的结构化学习模型以及基于深度学习的文本和结构的联合表示模型.      

基于BERT和改进胶囊网络的关系分类方法

针对关系分类主流模型中存在的空间信息丢失和旋转不变性差的缺点,提出一个基于BERT和多头注意机制-胶囊网络(MA-CapsNet)的算法模型.该模型首先在句子的实体两端插入特殊符号,增强模型对实体信息的表示能力,再通过预训练的BERT语言模型获得包含上下文信息的语义向量表示,然后传入改进后的注重空间位置信息的胶囊网络中学习句子的语义特征并分类.同时引入多头注意力机制进一步提升模型的分类效果.在SemEval-2010 task 8关系分类数据集上,该算法模型取得了90.15%的宏F值.实验表明该模型架构能强化对句子语义特征的捕捉,改善关系分类任务的分类效果.     

复杂网络下基于路径选择的表示学习方法

基于路径和基于知识表示的推理是当前知识图谱领域两大主流推理方法,二者的融合算法可以提高知识推理的准确率,但是依旧存在表示学习的时候效率低下、预测准确率低、模型过拟合等若干问题.本文方法针对这些问题提出了基于路径选择的表示学习方法.对路径特征信息进行进一步的过滤和筛选,保留关键路径,在路径信息和知识表示的结合过程中使用平衡参数对缺失路径信息的三元组进行处理.使用公开数据集对模型进行测试,实验表明模型可以有效提高泛化能力和准确率.      

融合序列语法知识的卷积-自注意力生成式摘要方法

针对基于编码-解码的生成式摘要模型不能充分提取语法知识导致摘要出现不符合语法规则的问题，循环神经网络易遗忘历史信息且训练时无法并行计算导致处理长文本时生成的摘要主旨不显著以及编码速度慢的问题，提出了一种融合序列语法知识的卷积-自注意力生成式摘要方法.该方法对文本构建短语结构树，将语法知识序列化并嵌入到编码器中，使编码时能充分利用语法信息；使用卷积-自注意力模型替换循环神经网络进行编码，更好学习文本的全局和局部信息.在CNN/Daily Mail语料上进行实验，结果表明提出的方法优于当前先进方法，生成的摘要更符合语法规则、主旨更显著且模型的编码速度更快.      

融合属性嵌入与关系注意力的跨语言实体对齐

目前知识图谱实体对齐的主流方法是通过图神经网络学习知识图谱的嵌入表示，并测量实体嵌入之间的相似性实现实体的对齐.很多实体对齐方法只考虑知识图谱的结构信息和关系信息，却常常忽略了属性信息.针对上述问题，提出了一种融合属性嵌入的实体对齐方法：融合属性信息的精简关系感知双图卷积网络模型.首先，基于关系感知双图卷积网络的注意力机制提取知识图谱的关系信息；然后，利用带高速门的图卷积网络获取属性信息；最后，融合二者的嵌入信息以实现更高准确率的实体对齐.在3个跨语言数据集上的实验结果表明，该方法通过融合知识图谱属性信息增强了实体表示能力，在3个数据集上Hits@1值相比原模型分别增长了6.42%、4.59%和1.98%，对齐效果明显优于目前主流的实体对齐方法.     

基于高层语义注意力机制的中文实体关系抽取

实体关系抽取在挖掘结构化事实的信息抽取系统中扮演着重要的角色。近年来,深度学习在关系抽取任务中取得了显著的成果,同时,注意力机制也逐步地融入到神经网络中,进一步提高了关系抽取的性能。但是,目前的注意力机制主要关注一些低层次的特征,比如词汇等。本文提出一种基于高层语义注意力机制的分段卷积神经网络模型(PCNN_HSATT,high-level semantic attention-based piecewise convolutional neural networks),该模型将注意力机制设置在分段最大池化层后,动态地关注了高层次的语义信息。除此之外,由于中文实体关系语料稀疏性较大,本文利用同义词词林对COAE2016语料进行增强以扩大数据规模。最后在COAE2016和ACE2005的中文语料上进行实验,F1值分别达到了78.41%和73.94%,与效果最好的SVM方法相比分别提高了10.45%和0.67%,这充分证明了PCNN_HSATT模型在中文关系抽取上的有效性。     

基于句法结构的神经网络复述识别模型

为解决已有复述语义计算方法未考虑句法结构的问题, 提出基于句法结构的神经网络复述识别模型, 设计基于树结构的神经网络模型进行语义组合计算, 使得语义表示从词语级扩展到短语级。进一步地, 提出基于短语级语义表示的句法树对齐机制, 利用跨句子注意力机制提取特征。最后, 设计自注意力机制来增强语义表示, 从而捕获全局上下文信息。在公开英语复述识别数据集Quora上进行评测, 实验结果显示, 复述识别性能得到改进, 达到89.3%的精度, 证明了提出的基于句法结构的语义组合计算方法以及基于短语级语义表示的跨句子注意力机制和自注意力机制在改进复述识别性能方面的有效性。     

基于深度学习建模多行为动态演化的转化率预估

针对基于用户行为特征的转化率预估在计算广告领域的应用中尚未充分提取和利用用户多种行为模式的动态演化特性等问题,考虑用户兴趣模型和行为模型的动态演化性,提出一种融合注意力机制的深度学习策略,获取用户行为动态演化特征,进而构建基于用户行为特征的转化率预估模型.首先,构建基于门控循环单元(gated recurrent unit, GRU)和注意力机制的用户单个行为序列模型,将提取出的用户行为嵌入表示作为用户行为的动态变化特征;然后,利用自注意力对用户的多行为动态演化进行建模;最后,融合所提取的用户多行为序列向量作为用户的行为特征,构建移动APP广告转化率预估模型.实验结果表明所提取的用户行为序列特征可有效改善转化率预估效果.     

基于注意力机制的远程监督实体关系抽取

关系抽取是许多信息抽取系统中的一个关键步骤, 旨在从文本中挖掘结构化事实. 在应用传统的远程监督方法完成实体关系抽取任务时存在 2 个问题: ① 远程监督方法将语料库中的文本与已标注实体和实体间关系的知识库启发式地对齐, 并将对齐结果作为文本的标注数据, 这必然会导致错误标签问题; ② 目前基于统计学的方法过于依赖自然语言处理工具, 提取特征处理过程中生成的噪声积累严重影响抽取结果. 为了解决远程监督存在的弊端, 提出了一种基于注意力机制的端到端的分段循环卷积神经网络(convolutional neural network, CNN)模型. 为了检测更加细微的特征, 在网络输入层添加了注意力机制, 自动学习句子中与关系抽取相关的内容; 基于位置特征和词向量特征对句子进行编码, 并使用分段卷积神经网络(piecewise CNN, PCNN)抽取句子特征进行分类, 在网络中使用了效率较高的最大边界损失函数来衡量模型的性能. 该方法在 New York Times (NYT)数据集上的准确率比经典的 PCNN+MIL 模型提高了 2.0%, 比经典的 APCNN+D 模型提高了 1.0%, 与其他几种基线模型相比, 该模型准确率表现出色.