面向脚本事件预测的稠密事件图嵌入

脚本事件预测是指在给定现有上下文事件链的情况下预测后续事件.在现实世界中，不同事件的关系可以自然地表示为图结构，以事件为节点，以时间或因果关系为边.由于语料库规模有限和信息提取工具的能力不足，先前工作中自动构建的事件图会存在稀疏性问题，并且无法集成来自高阶节点的信息以支持多步推理.为了解决这个问题，本文提出使用可学习的多维加权邻接矩阵的稠密事件图（DEG）来解决之前事件图存在的稀疏性问题并表征事件之间的关系强度.为了实现DEG的嵌入表示，本文同时提出了一个通用框架，该框架能够将高阶事件演化信息组合到事件表示中.在多选叙事完形填空（multiple choice narrative cloze，MCNC）和连贯多选叙事完形填空（coherent multiple choice narrative cloze ，CMCNC） 数据集上进行了实验，结果证明了此框架的有效性.     

基于多通道压缩双线性池化的情感‒原因句子对提取模型

提出一个基于多通道压缩双线性池化的模型, 对文档中的候选情感?原因句子对进行排序。该模型利用图注意力网络提取包含位置信息的情感特定化表示和原因特定化表示, 通过局部关系学习模块, 进一步学习情感与原因句子之间的局部关系表示, 再使用多通道压缩双线性池化来融合学习情感?原因候选句子对表示。最后, 对候选句子对进行排序。实验结果表明, 与最新模型相比, 所提模型在多方面表现更优。     

基于门控图神经网络的谣言检测模型

针对基于图神经网络的谣言检测方法在聚合邻居节点信息生成谣言表示过程中存在的噪声干扰问题，充分利用社交媒体源帖包含的丰富语义和结构信息对谣言检测的重要影响，提出一种基于门控图神经网络的谣言检测模型，该模型根据信息传播过程建模谣言的传播图和扩散图，基于门控图神经网络聚合邻居信息生成节点表示，利用门控机制去除邻居节点噪声，同时引入根节点语义增强方法提升表征节点的能力。此外，利用注意力机制融合局部结构和全局结构信息学习更加全面的谣言表示用于谣言检测任务。在公开数据集上的实验结果证明，提出的模型在谣言检测性能和早期检测能力方面均优于基线方法。     

基于卷积图神经网络的多粒度表示学习框架

卷积图神经网络（Convolutional Graph Neural Network,ConvGNN）以其强大的表达能力被广泛应用于社交网络、生物网络等领域的网络表示学习中，多粒度网络表示学习已被证明能够改善已有网络嵌入方法的性能，但目前尚缺乏以改善ConvGNN性能为目标的框架.针对此问题，提出一种基于ConvGNN的多粒度网络表示学习框架M-NRL，分为四个模块：粒化模块、训练模块、推理模块和融合模块.粒化模块构造从细到粗的多粒度网络并保留不同粒度节点的属性和标签信息，训练模块在最粗粒度的网络上以端到端的方法训练任意一种ConvGNN并优化其模型参数，推理模块使用优化后的ConvGNN推理出不同粒度网络的节点表示，融合模块采用注意力权重聚合不同粒度的节点表示以产生最终的节点表示.在四个公开引文网络数据集上进行的半监督节点分类任务验证了M-NRL的有效性，实验结果表明，MNRL不仅能加速现有ConvGNN的训练，还可以增强其最终的表示质量.     

基于多粒度的异质图表示

异质图表示学习旨在将图中的语义信息和异质的结构信息嵌入到低维向量空间中。目前大多数的异质图表示学习方法主要通过基于元路径、元图和网络模式的采样以保留图中同类型节点间的单粒度局部结构,忽略了现实世界中复杂异质图具有的丰富的层次结构。商空间理论中的多粒度思想可以在不同粒度内捕获节点间的潜在联系。因此,为在异质图表示中有效地保留层次结构的信息,文章提出一个基于多粒度的异质图表示方法（Heterogeneous Graph Representations Based on Multi-granularity,HeMug）。该方法首先基于不同元路径构建多个同质子图,并利用多粒度的粗化思想,将每个同质子图分别粗化形成多个多粒度子网络,以保留异质图中同类型节点在给定元路径下的层次结构。其次,利用多粒度的细化思想,将每个多粒度子网络最粗层通过现有表示学习方法获得的节点表示逐层细化,以得到节点在每个多粒度子网络下的表示。最后,设计注意力机制以融合节点在不同元路径对应的多粒度子网络下的表示。在四个真实数据集上的实验结果表明,与对比算法相比,提出的HeMug获得了更有效的节点表示。     

基于句法结构的神经网络复述识别模型

为解决已有复述语义计算方法未考虑句法结构的问题, 提出基于句法结构的神经网络复述识别模型, 设计基于树结构的神经网络模型进行语义组合计算, 使得语义表示从词语级扩展到短语级。进一步地, 提出基于短语级语义表示的句法树对齐机制, 利用跨句子注意力机制提取特征。最后, 设计自注意力机制来增强语义表示, 从而捕获全局上下文信息。在公开英语复述识别数据集Quora上进行评测, 实验结果显示, 复述识别性能得到改进, 达到89.3%的精度, 证明了提出的基于句法结构的语义组合计算方法以及基于短语级语义表示的跨句子注意力机制和自注意力机制在改进复述识别性能方面的有效性。     

基于双维注意力机制的事件要素识别方法

事件要素识别是事件抽取的基本任务,对后续任务的开展起着重要作用.随着深度学习技术的发展,神经网络逐渐成为事件要素识别的主流方法.近几年,注意力机制在自然语言处理领域得到广泛使用,但注意力机制依赖于嵌入层对上下文特征的提取,在事件要素识别等序列标注问题中效果不理想.针对这一问题,提出了一种基于注意力机制的双维注意力机制,从矩阵行和列两个维度计算注意力得分,因此可以较好地提取句子的上下文特征,并且使用了动态目标损失函数,通过动态给予不同标签不同的权重,一定程度上缓解了样本不平衡和数据稀疏带来的模型泛化不足问题.在CEC2.0中文突发事件语料库上对比实验表明,所提方法取得较好效果.     

基于多特征融合和深度学习的微观扩散预测

准确地预测社交网络中的信息扩散节点可以对谣言、计算机病毒等不良信息的传播以及信息泄露做到早检测、早溯源和早抑制。为了提高微观扩散预测精度,该文提出了一个基于多特征融合和深度学习的微观信息扩散预测通用框架(MFFDLP)。为了获取信息扩散的时序特征,基于信息扩散序列和社交网络图,采用门控循环神经网络提取局部时序特征和全局时序特征,并融合形成信息扩散序列表征;为了获取用户交互行为和兴趣爱好的动态表示,根据历史信息构建信息扩散图,使用级联图注意力网络提取信息扩散子图中节点特征和边特征,并通过嵌入查找,融合形成当前信息扩散序列中相应节点的动态扩散表征;使用双多头注意力机制,进一步捕获静态和动态扩散特征的上下文信息,实现了高精度微观扩散预测。在3个公共数据集上的对比实验结果表明：所提方法优于对比方法,在微观扩散预测的精度上最高提高了9.98%。     

关系图注意力网络的方面级情感分析模型

针对方面级情感分析利用注意力机制和传统深度学习方法提取方面词与上下文之间的联系时,未充分考虑句法依存信息及关系标签导致预测效果不佳的问题,提出一种基于关系图注意力网络的分析模型。利用DeBERTa预训练模型进行词嵌入,并将初始词向量进行多头注意力计算以增强方面词与上下文信息之间的关系。通过图注意力网络学习句法信息中的关系标签特征,借助这些关系标签特征进一步提取句法信息中方面词和上下文之间的联系,增强模型对于情感特征的提取能力。SemEval-2014数据集的实验测试结果表明,所提出模型的准确率和Macro-F1均优于对比模型。     

具有局部和全局注意力机制的图注意力网络学习单样本组学数据表征

针对生物组学数据中基因数目远大于样本数目的高维“大p小n”问题,提出一种具有局部和全局注意力机制的图注意力网络GATOr.该模型首先在组学数据上利用Pearson相关系数计算特征之间的相关性,构建组学数据的单样本网络;然后提出一种结合局部和全局注意力机制的图注意力网络从单样本网络中学习基于图的组学特征表示,从而将组学数据的高维特性转化为低维表示.实验结果表明,GATOr与其他传统分类算法相比,在分类任务的准确率及其他指标上均取得了较优性能.     

基于异构图神经网络的药物重定位研究

提出了一种基于异构图神经网络(HGNN)的药物重定位方法。该方法对药物-疾病关联网络、药物-药物相似性网络和疾病-疾病相似性网络的信息进行并行融合，有效地保留了各个网络的信息。此外，针对图卷积神经网络(GCN)提取信息能力的不足，本工作加入了图注意力网络(GAT)和层注意力机制，增强了特征提取能力，进一步提高了模型的预测性能。实验验证表明，提出的网络在Fdataset上达到了94.4%的AUROC和57.0%的AUPRC,在Cdataset上达到了95.9%的AUROC和65.3%的AUPR,超过了现有的基准方法。     

基于图注意力和特征融合的链路预测方法

链路预测是一种还原网络缺失信息的方法，通过当前已观察到的链路，预测实际存在但未被观察到的链路或可能出现的新链路.当前链路预测主要是基于图神经网络的深度学习方法，相比基于规则的启发式方法，前者可有效利用网络拓扑结构信息，较大地提升了网络链路预测性能，并可应用到类型更广泛的网络中.但是现有基于图神经网络的方法，仅利用网络中节点相对位置信息，忽视了节点基本属性和链路的邻居信息，且无法区分不同节点对链路形成的重要程度.为此，本文提出一种基于图注意力网络和特征融合的链路预测方法.通过增加节点的度、链路的共同邻居数量和共同邻居最大度等特征，丰富了网络的输入特征信息.本文首先提取以目标节点对为中心的子图，然后将其转化为对应的线图，线图中的节点和原图中的链路一一对应，从而将原图节点和链路信息融合到线图的节点中，提升了特征融合的有效性和可解释性.同时本文使用图注意力机制学习节点的权重，增强了特征融合的灵活性.实验表明，本文所提出的方法，在多个不同领域数据集上的AUC和AP均超过90%,在已观测链路缺失较多时，预测性能保持80%以上，且均优于现有最新方法.     

融合图注意力网络和注意力因子分解机的服务推荐方法

为了解决服务推荐过程中的特征稀疏问题、提高服务的语义表示能力,进而提升推荐的准确性和有效性,提出基于图注意力网络(graph attention networks,GAT)研究服务推荐方法,引入服务的组合权重和组合的结构信息,综合利用多种服务特征,提高服务推荐质量。将GAT和注意力因子分解机(attention factorization machine,AFM)结合在一起,利用多头自注意力机制,学习每个节点在图邻域中的重要性;进行信息聚合,处理网络中的不同图结构,以适应服务动态变化的场景。 实验结果显示,在数据平衡的情况下,提出的方法性能表现均好于对比方法;在数据不平衡的情况下,提出的方法大部分性能指标也表现良好,达到了提升服务推荐准确性和有效性的目标。     

面向事件的文本表示模型的构建及应用研究

文本表示是自然语言研究的基础问题,也是帮助我们高效处理网络上文本信息的关键.针对当前基于词或短语的文本表示模型容易丢失语义信息的问题,采用图结构的思想构造一种面向事件的文本表示模型-事件语义网络,该模型用事件触发词代替事件作为节点,以事件之间的语义关系作为边,把文本表示为节点和边构成的图.基于该模型实现了自动摘要应用,...     

基于自注意力机制的多模态场景分类

针对真实环境场景会同时出现多种事件导致场景分类准确率受到干扰信息影响的问题，本文提出了一种基于自注意力机制的多模态场景分类方法。首先，对音频进行特征提取并使用自注意力机制获得关注信息；然后，对视频进行分帧图片抽取，通过ResNet 50对图片特征进行提取；最后，将两个模态的特征进行拼接并再次使用自注意力机制对特征信息进行抓取分类。基于DCASE2021 Challenge Task 1B数据集的实验结果表明，与其基线系统、双模态信息简单拼接、视频辅助音频和音频辅助视频的分类系统相比，基于自注意力机制的多模态场景分类系统的准确率优于单模态互相辅助决策的场景分类系统。     

面向点击通过率预测的交互边选择算法研究

点击通过率(click-through rate, CTR)作为推荐系统中必不可少的核心任务分支,提高其预测准确性,既能改善用户的浏览体验,也能为平台增加收益。以往模型在对点击通过率进行建模预测时,保留所有的交互特征存在信息冗余,交互低效等问题。针对这一问题提出了一种面向点击通过率预测的交互边选择模型,通过自动识别冗余信息来动态选择有益的交互特征,主要由交互边选择网络层,图节点相似度注意力层构成。交互边选择网络层引入过滤阈值机制并结合动态关联矩阵来去除冗余信息,图节点相似度注意力层通过学习相似度权重矩阵来解决节点过度平滑问题。在Criteo和Avazu两个公开数据集上的大量实验证明,该模型的预测能力优于已有模型。     

密集池化连接和短语注意力下的文本分类算法

为了解决在文本分类中神经网络训练时产生的梯度消失、特征信息丢失以及注意力机制短语维度组合不匹配的问题,提出一种基于密集池化连接和短语注意力机制的文本分类算法.首先,通过密集池化连接中的残差网络部分进行特征提取,可有效缓解梯度消失问题;其次,通过池化层复用重要特征,改善特征信息丢失问题;最后,通过改进常规注意力机制,提出短语注意力机制,可灵活得到不同阶短语之间的联系,解决常规注意力机制短语维度不匹配问题.结果表明,该模型在对比模型中取得了最好的效果,在相同的新闻数据集中准确率可达92.7％,同时还对3个对比模型的收敛性和分类准确性进行分析,可见改进后的模型可以有效缓解梯度消失,并且解决短语维度组合不匹配问题,从而提高了分类准确性.     

基于深度学习建模多行为动态演化的转化率预估

针对基于用户行为特征的转化率预估在计算广告领域的应用中尚未充分提取和利用用户多种行为模式的动态演化特性等问题,考虑用户兴趣模型和行为模型的动态演化性,提出一种融合注意力机制的深度学习策略,获取用户行为动态演化特征,进而构建基于用户行为特征的转化率预估模型.首先,构建基于门控循环单元(gated recurrent unit, GRU)和注意力机制的用户单个行为序列模型,将提取出的用户行为嵌入表示作为用户行为的动态变化特征;然后,利用自注意力对用户的多行为动态演化进行建模;最后,融合所提取的用户多行为序列向量作为用户的行为特征,构建移动APP广告转化率预估模型.实验结果表明所提取的用户行为序列特征可有效改善转化率预估效果.     

融入词性自注意力机制的方面级情感分类方法

针对基于注意力机制的模型在方面级情感分类任务中忽略了单词词性信息的问题,提出一种融入词性自注意力机制的方面级情感分类方法.该方法首先基于自然语言处理词性标注工具获得词性标注序列,并随机初始化一个词性嵌入矩阵得到词性嵌入向量;然后用自注意力机制学习单词之间的句法依赖关系;最后计算出每个单词的情感分数,利用词情感的结合表示特定方面的情感极性.实验结果表明,在5个公共数据集上,该方法相比效果最好的基线模型,在准确率和宏观F₁分数上分别提升2%和4.83%.表明融入词性信息的注意力机制模型在方面级情感分类任务中性能更好.     

用于检测音乐借用中短相似片段的方法

首次提出了一种基于换位不变交叉相似度矩阵和改进稀疏交叉递推图的短相似片段检测算法.为了构造相似度矩阵,采用了能够抵抗单帧噪声和不准确度的中心加权扩展特征.然后结合全局稀疏阈值策略和局部稀疏阈值策略的优点,建立了一个混合稀疏交叉递推图,以获得更精确的相似片段位置.实验结果证实了该方法的有效性,特别是对于较短的相似片段.