基于层次注意力机制的垃圾用户检测模型

目前基于网络的垃圾用户检测方法只考虑了简单社会关系,缺乏对更多复杂社会语义关系的利用,难以达到最优性能.针对这一挑战,提出一种基于层次注意力机制的垃圾用户检测模型(HAM-SD).模型首先使用异质信息网络对社交媒体进行建模,挖掘丰富的语义与结构信息,接着利用节点级注意力层聚合元路径邻居增强节点表示,同时利用自适应层级聚合模块选择不同层级特征提升表征能力,然后通过语义级注意力层融合不同元路径下的节点表示,最后带入分类检测模块实现垃圾用户检测.在公开数据集上的实验结果表明该模型能够有效检测垃圾用户,并在不平衡数据分布时保持较强的稳定性.     

基于正则约束的分层仿射图神经网络文本分类模型

文本分类是自然语言处理中一个重要的研究课题。近年来，图神经网络（graph neural network，GNN）在这一典型任务中取得了良好的效果。目前基于图结构的文本分类方法存在边噪声和节点噪声干扰、缺乏文本层次信息和位置信息等问题。为了解决这些问题，提出了一种基于正则约束的分层仿射图神经网络文本分类模型Text-HARC，该模型融合了图注意力网络（graph attention network，GAT）与门控图神经网络（gated graph neural network，GGNN），引入正则约束过滤节点与边噪声，分别使用仿射模块与相对位置编码补充词语表示。通过实验，该方法在TREC、SST1、SST2、R8四个基准数据集上的准确率提升明显，消融实验结果也验证了该方法的有效性。     

基于时空建模的动态图卷积神经网络

为了使图表示学习得到的嵌入向量对节点和边不断变化的动态图具有很好的信息表征能力, 提出一种动态图卷积神经网络模型(DyGCN), 将动态图上的表示学习建模为时间和空间信息的聚合。该模型将从图卷积神经网络(GCN)的空间卷积提取图上的结构信息与从时间卷积神经网络(TCN)的因果卷积提取时序上的历史信息相结合, 同时在空间卷积层加入自适应的模型更新机制, 使得模型参数随着图结构的变化能够自适应地更新。在金融领域数据集上针对金融欺诈检测进行的边分类实验表明, 该模型比现有方法有很大的性能提升。     

基于异质信息网络元路径的药物‒靶标相互作用预测模型

提出一种融合元路径信息的图神经网络模型, 用于预测药物-靶标相互作用(GMDTI)。首先根据8个数据集中的药物、靶标、疾病和副作用数据以及它们之间的8种作用关系, 构建药物-靶标异质信息网络(HIN); 然后定义两条元路径来捕获药物-靶标HIN 中的不同子结构信息和不同节点间隐藏的语义信息, 并应用图神经网络的方法聚合节点的一阶邻居信息和元路径中节点间的语义信息; 最后利用端到端的学习方法完成DTIs预测。该方法同时考虑药物-靶标HIN的结构特性和元路径语义信息, 有助于学习到更多潜在的药物-靶标作用关系。实验结果表明, GMDTI的预测准确率高于所有基线模型, AUC达到98.6%, AUPR达到94.5%。同时通过调整数据的稀疏度和降噪实验, 证明GMDTI具备优于所有基线模型的鲁棒性。     

基于多特征融合和深度学习的微观扩散预测

准确地预测社交网络中的信息扩散节点可以对谣言、计算机病毒等不良信息的传播以及信息泄露做到早检测、早溯源和早抑制。为了提高微观扩散预测精度,该文提出了一个基于多特征融合和深度学习的微观信息扩散预测通用框架(MFFDLP)。为了获取信息扩散的时序特征,基于信息扩散序列和社交网络图,采用门控循环神经网络提取局部时序特征和全局时序特征,并融合形成信息扩散序列表征;为了获取用户交互行为和兴趣爱好的动态表示,根据历史信息构建信息扩散图,使用级联图注意力网络提取信息扩散子图中节点特征和边特征,并通过嵌入查找,融合形成当前信息扩散序列中相应节点的动态扩散表征;使用双多头注意力机制,进一步捕获静态和动态扩散特征的上下文信息,实现了高精度微观扩散预测。在3个公共数据集上的对比实验结果表明：所提方法优于对比方法,在微观扩散预测的精度上最高提高了9.98%。     

基于图神经网络的兴趣点推荐的隐私保护框架

传统的基于图神经网络的兴趣点模型的研究是通过简单的注意力机制进行权重定义,或仅仅将多种因素简单进行线性组合,缺乏从多角度考虑用户和兴趣点自身的语义信息和交互信息。此外,现有的图神经网络推荐依赖于图结构信息的集中式存储和训练,存在隐私泄露风险。为了解决上述问题,提出基于图神经网络的兴趣点推荐的隐私保护框架(privacy of POI recommendations for graph neural networks, PPGNN)。首先,通过引入多特征模式和注意力机制对图结构进行强化,构建强化用户社交关系图模型;其次,通过多场景角度提出兴趣点邻居结点采样算法以及重新设计卷积聚合机制,对异质图使用语义级别注意力机制进行聚合;最后,提出了可变动态梯度的客户端差分隐私算法,达到边优化边反馈的效果。通过在Yelp和Gowalla不同的数据集上进行大量实验,证明该方案具有有效性,弥补了图神经网络推荐因隐私威胁带来的局限性,优于集中式图神经网络推荐方法,同时也优于传统兴趣点推荐方法,并且PPGNN可以更好地克服推荐中的数据稀疏和冷启动问题。     

多状态图神经网络文本分类算法

为了提高模型在文本分类任务中的分类性能,针对图神经网络中存在的过度平滑问题,同时增强模型在处理文本特征与文本表示方面的能力,提出了一种基于多状态图神经网络的文本分类算法(multi-state graph neural network, MSGNN)。多状态图神经网络是利用网络层的多个历史状态信息对图神经网络进行强化,构建合理的文本图结构数据作为模型输入。在缓解网络层过度平滑问题的同时,结合2种改进后的不同类型的图神经网络来增强模型的特征提取与特征聚合能力。利用多头自注意力机制对文本关键词的挖掘与利用能力,从多个文本子空间来生成高质量的文本表示,进而完成文本分类。通过在几个公开的文本分类数据集上进行实验分析,相较于其他神经网络的文本分类算法,该方法取得了较好的分类准确率。     

面向事件的文本表示模型的构建及应用研究

文本表示是自然语言研究的基础问题,也是帮助我们高效处理网络上文本信息的关键.针对当前基于词或短语的文本表示模型容易丢失语义信息的问题,采用图结构的思想构造一种面向事件的文本表示模型-事件语义网络,该模型用事件触发词代替事件作为节点,以事件之间的语义关系作为边,把文本表示为节点和边构成的图.基于该模型实现了自动摘要应用,...     

基于图注意力网络的多行为推荐算法

现有的多行为推荐系统未有效利用不同层次的图传播信息，难以捕获用户不同行为的影响。为解决此问题，文章提出了一种基于图注意力网络的多行为推荐模型(GABR):首先，采用小批量采样节点嵌入方法聚合同一行为类型交互的邻域节点，以提高特征表示效率；接着，采用注意力机制学习不同行为类型的影响系数，以进一步融合节点特征；然后，合并多层用户和项目表示，以有效利用不同层次的图传播信息；最后，将已交互的用户-项目对和随机采样未交互过的用户-项目对作为正负样本对来训练目标模型，以优化模型性能。为验证模型推荐性能，在3个真实数据集(Yelp、Scholat、Beibei)上与现有9种推荐模型进行对比。实验结果表明GABR模型能够有效利用融合了不同行为类型影响系数的多层图传播信息，更好地预测用户偏好：在3个真实数据集上，与目前最佳的基线模型(GNMR)相比，GABR模型的HR、NDCG平均提高了1.73%、2.43%。     

基于双通道的智能合约漏洞检测方法

智能合约因漏洞而造成巨大的经济损失受到了广泛关注。针对现有的智能合约漏洞检测方法检测精度不高的问题,结合动态卷积神经网络(dynamic convolution neural network,DCNN)、双向门控递归单元(bidirectional gate recurrent unit,Bi GRU)、图传递神经网络(message passing neural network,MPNN)、注意力机制提出了基于双通道的漏洞检测方法DBTA(DCNN-BiGRU-MPNN-Attention)。首先利用Word2vec词嵌入技术和图归一化方法对数据进行预处理,将获得的词向量表示传入改进DCNN-BiGRU,并引入了R-Drop(regularized dropout for neural networks)正则化方法提高模型泛化能力。将图归一化表示传入图传递神经网络,通过两个通道分别提取序列特征和图特征,然后结合自注意力机制和交叉注意力机制捕捉不同特征间的相关性,从而突出关键特征对漏洞检测的重要性。最后通过全连接层得到输出向量,利用sigmoid函数输出结果。通过消融实验和对比实验表明...     

基于句法结构的神经网络复述识别模型

为解决已有复述语义计算方法未考虑句法结构的问题, 提出基于句法结构的神经网络复述识别模型, 设计基于树结构的神经网络模型进行语义组合计算, 使得语义表示从词语级扩展到短语级。进一步地, 提出基于短语级语义表示的句法树对齐机制, 利用跨句子注意力机制提取特征。最后, 设计自注意力机制来增强语义表示, 从而捕获全局上下文信息。在公开英语复述识别数据集Quora上进行评测, 实验结果显示, 复述识别性能得到改进, 达到89.3%的精度, 证明了提出的基于句法结构的语义组合计算方法以及基于短语级语义表示的跨句子注意力机制和自注意力机制在改进复述识别性能方面的有效性。     

基于图注意力和特征融合的链路预测方法

链路预测是一种还原网络缺失信息的方法，通过当前已观察到的链路，预测实际存在但未被观察到的链路或可能出现的新链路.当前链路预测主要是基于图神经网络的深度学习方法，相比基于规则的启发式方法，前者可有效利用网络拓扑结构信息，较大地提升了网络链路预测性能，并可应用到类型更广泛的网络中.但是现有基于图神经网络的方法，仅利用网络中节点相对位置信息，忽视了节点基本属性和链路的邻居信息，且无法区分不同节点对链路形成的重要程度.为此，本文提出一种基于图注意力网络和特征融合的链路预测方法.通过增加节点的度、链路的共同邻居数量和共同邻居最大度等特征，丰富了网络的输入特征信息.本文首先提取以目标节点对为中心的子图，然后将其转化为对应的线图，线图中的节点和原图中的链路一一对应，从而将原图节点和链路信息融合到线图的节点中，提升了特征融合的有效性和可解释性.同时本文使用图注意力机制学习节点的权重，增强了特征融合的灵活性.实验表明，本文所提出的方法，在多个不同领域数据集上的AUC和AP均超过90%,在已观测链路缺失较多时，预测性能保持80%以上，且均优于现有最新方法.     

基于改进TADW的链路预测算法

针对经典的节点相似性链路预测算法只考虑网络拓扑结构或者节点属性信息的问题,使用词嵌入模型Word2vec学习得到节点文本属性信息的表示,进而改进TADW(text-associated deep walk)算法,弥补其语义信息表示能力的不足.基于改进的TADW图嵌入方法提出一种融合网络拓扑结构和节点属性信息的相似性指标,并基于此相似性指标提出链路预测算法.在三个真实数据集上的实验结果表明所提出算法可以提高预测精度,并具有更好的鲁棒性,同时使用图嵌入的方法有效解决了网络数据的稀疏性问题.     

融合图注意力网络和注意力因子分解机的服务推荐方法

为了解决服务推荐过程中的特征稀疏问题、提高服务的语义表示能力,进而提升推荐的准确性和有效性,提出基于图注意力网络(graph attention networks,GAT)研究服务推荐方法,引入服务的组合权重和组合的结构信息,综合利用多种服务特征,提高服务推荐质量。将GAT和注意力因子分解机(attention factorization machine,AFM)结合在一起,利用多头自注意力机制,学习每个节点在图邻域中的重要性;进行信息聚合,处理网络中的不同图结构,以适应服务动态变化的场景。 实验结果显示,在数据平衡的情况下,提出的方法性能表现均好于对比方法;在数据不平衡的情况下,提出的方法大部分性能指标也表现良好,达到了提升服务推荐准确性和有效性的目标。     

CIC模型下基于社区检测的谣言抑制最大化方法

随着电子设备的日益普及和信息扩散的便利性,在线社交网络为各种负面信息的传播提供了高效的媒介.谣言是社交媒体上负面信息的突出形式之一,会引发社会动荡,造成经济损失,因此,快速有效地抑制谣言传播成为当前社交网络研究领域中的一个热点.提出一种有效的谣言抑制传播方法,从网络中选取多个正种子节点来传播真相,抑制谣言的传播.首先采用竞争性独立级联（Conpetitive Independent Cascade,CIC）模型来同时传播谣言和真相;其次,提出一种基于标签传播的社区检测算法对社交网络进行分解,并为各个社区分配正种子节点预算;最后,创新地提出节点强度来衡量网络中节点的重要性,并利用节点强度在各个社区中选取抑制谣言传播的初始正种子集.实验证明,该方法能达到与贪婪算法相匹配的抑制效果,且运行时间比贪婪算法快三个数量级.     

基于注意力机制多特征融合与文本情感分析的日志异常检测方法

现有的基于深度学习和神经网络的日志异常检测方法通常存在语义信息提取不完整、依赖日志序列构建和依赖日志解析器等问题.基于注意力机制多特征融合和文本情感分析技术,提出了一种日志异常检测方法 .该方法首先采用词嵌入方法将日志文本向量化以获取日志消息的词向量表示,接着将词向量输入到由双向门控循环单元网络和卷积神经网络组成的特征提取层中分别提取日志消息的上下文依赖特征和局部依赖特征,使用注意力机制分别加强两种特征中的关键信息,增强模型识别关键信息的能力.使用基于注意力机制的特征融合层为两种特征赋予不同权重并加权求和后输入由全连接层构成的输出层中,实现日志消息的情感极性分类,达到日志异常检测的目的 .在BGL公开数据集上的实验结果表明,该模型的分类准确率和F1值分别达到了96.36%和98.06%,与同类日志异常检测模型相比有不同程度的提升,从而证明了日志中的语义情感信息有助于异常检测效果的提升,并且经过实验证明了使用注意力机制的模型可以进一步提高文本情感分类效果,进而提升日志异常检测的准确率.     

基于异构图注意力网络的Android恶意软件检测

近年来Android已经成为最流行的移动操作系统,越来越多的移动终端恶意软件窃取用户的私人信息,对安全造成了严重的威胁。现有的检测方法通常是通过挖掘不同APK文件中具有显著区分度的特征信息,使用机器学习的方法对欧式空间数据进行检测,但这类方法往往没有考虑到特征的结构性依赖关系。因此,将Android应用程序的API调用、请求权限、访问URL和包含组件关系映射到一个大型的异质网络中,把原来的检测问题转换成节点分类任务,构造的异质信息网络通过节点级注意力将所有类型的节点映射到统一的特征空间中,学习元路径邻居节点的权重并将其聚合得到特定语义的节点嵌入。实验结果证明,基于异构图注意力网络的检测方法能充分利用异质信息网络的结构特征和语义信息,能有效检测Android恶意软件。     

面向强化当前兴趣的图神经网络推荐算法研究

在基于会话的推荐中，与传统序列建模相比，将会话序列建模为图结构在该领域表现得更为出色。但是，现有的研究方法仅利用图结构来挖掘项目之间转换特性，以此捕获用户当前兴趣的能力有限。本文提出一种面向强化当前兴趣的图神经网络推荐算法，通过引入位置嵌入，并与图神经网络相结合，从而互补顺序感知模型和图形感知模型的优势。会话序列被建模为图结构，并取原始序列的最后一次点击，通过多头注意力机制计算其对图节点信息的注意力权重，以更加准确地获取用户当前兴趣的表示。同时，在2个真实的数据集上进行验证实验，结果表明本文提出的方法实现了所有方法的最佳性能，特别是在Diginetica数据集上，所有评价指标都提升了7%以上，MRR@10指标甚至提升了9.52%,证明本文所提方法对基于会话推荐的正确性和有效性。     

联合自编码任务的多机制融合复述生成模型

基于神经网络编码–解码框架的复述生成模型存在两方面的问题: 1) 生成的复述句中存在实体词不准确、未登录词和词汇重复生成; 2) 复述平行语料的有限规模限制了编码器的语义学习能力。针对第一个问题, 本文提出在解码过程中融合注意力机制、复制机制和覆盖机制的多机制复述生成模型, 利用复制机制从原句复制词语来解决实体词和未登录词生成问题; 利用覆盖机制建模学习注意力机制历史决策信息来规避词汇重复生成。针对第二个问题, 基于多任务学习框架, 提出在复述生成任务中联合自编码任务, 两个任务共享一个编码器, 同时利用平行复述语料和原句子数据, 共同增强复述生成编码器的语义学习能力。在Quora复述数据集上的实验结果表明, 提出的联合自编码的多机制融合复述生成模型有效地解决了复述生成的问题, 并提高了复述句的生成质量。     

基于多粒度的异质图表示

异质图表示学习旨在将图中的语义信息和异质的结构信息嵌入到低维向量空间中。目前大多数的异质图表示学习方法主要通过基于元路径、元图和网络模式的采样以保留图中同类型节点间的单粒度局部结构,忽略了现实世界中复杂异质图具有的丰富的层次结构。商空间理论中的多粒度思想可以在不同粒度内捕获节点间的潜在联系。因此,为在异质图表示中有效地保留层次结构的信息,文章提出一个基于多粒度的异质图表示方法（Heterogeneous Graph Representations Based on Multi-granularity,HeMug）。该方法首先基于不同元路径构建多个同质子图,并利用多粒度的粗化思想,将每个同质子图分别粗化形成多个多粒度子网络,以保留异质图中同类型节点在给定元路径下的层次结构。其次,利用多粒度的细化思想,将每个多粒度子网络最粗层通过现有表示学习方法获得的节点表示逐层细化,以得到节点在每个多粒度子网络下的表示。最后,设计注意力机制以融合节点在不同元路径对应的多粒度子网络下的表示。在四个真实数据集上的实验结果表明,与对比算法相比,提出的HeMug获得了更有效的节点表示。