基于图注意力和特征融合的链路预测方法

链路预测是一种还原网络缺失信息的方法，通过当前已观察到的链路，预测实际存在但未被观察到的链路或可能出现的新链路.当前链路预测主要是基于图神经网络的深度学习方法，相比基于规则的启发式方法，前者可有效利用网络拓扑结构信息，较大地提升了网络链路预测性能，并可应用到类型更广泛的网络中.但是现有基于图神经网络的方法，仅利用网络中节点相对位置信息，忽视了节点基本属性和链路的邻居信息，且无法区分不同节点对链路形成的重要程度.为此，本文提出一种基于图注意力网络和特征融合的链路预测方法.通过增加节点的度、链路的共同邻居数量和共同邻居最大度等特征，丰富了网络的输入特征信息.本文首先提取以目标节点对为中心的子图，然后将其转化为对应的线图，线图中的节点和原图中的链路一一对应，从而将原图节点和链路信息融合到线图的节点中，提升了特征融合的有效性和可解释性.同时本文使用图注意力机制学习节点的权重，增强了特征融合的灵活性.实验表明，本文所提出的方法，在多个不同领域数据集上的AUC和AP均超过90%,在已观测链路缺失较多时，预测性能保持80%以上，且均优于现有最新方法.     

基于图注意力网络的安卓恶意软件检测

安卓恶意软件的爆发式增长对恶意软件检测方法提出了更高效、准确的要求.早年的检测方法主要是基于权限、opcode序列等特征,然而这些方法并未充分挖掘程序的结构信息.基于API调用图的方法是目前主流方法之一,它重在捕获结构信息,可准确地预测应用程序可能的行为.本文提出一种基于图注意力网络的安卓恶意软件检测方法,该方法通过静态分析构建API调用图来初步表征APK,然后引入SDNE图嵌入算法从API调用图中学习结构特征和内容特征,再通过注意力网络充分融合邻居节点特征向量,进而构成图嵌入进行检测任务.在AMD数据集上的实验结果表明,本文提出的方法可以有效检测恶意软件,准确率为97.87%,F1分数为97.40%.     

注意力机制下的EMD-GRU短期电力负荷预测

为进一步提高短期电力负荷预测精度,构建一种基于注意力机制的经验模态分解(EMD)和门控循环单元(GRU)混合模型,对时间序列的短期负荷进行预测.首先,对负荷序列进行EMD,将数据重构成多个分量;再通过GRU提取各分量中时序数据的潜藏特征;经注意力机制突出关键特征后,分别对各分量进行预测;最后,将各分量的预测结果叠加,得到最终预测值.仿真结果表明:相对于BP网络模型、支持向量机(SVR)模型、GRU网络模型和EMD-GRU模型,基于EMD-GRU-Attention的混合预测模型能取得更高的预测精度,有效地提高短期电力负荷预测精度.     

基于Attention机制的链接预测算法

针对社会网络中链接预测问题,提出了基于注意力(Attention)机制的链接表示及其预测算法.基于待预测节点的共邻关系构建其链接局部网络,设计了基于紧密游走的网络拓扑序列化方法.采用双向循环神经网络(Bi-RNN)对链接序列进行向量编码,以充分挖掘序列相关节点间的上下文依赖信息.通过Attention机制对链接中的节点进行关注和加权,强化重要节点对链接预测任务的贡献,实现链接拓扑特征的自动提取与准确分类预测.实验结果表明,在4种不同类型的社会网络数据集中,该算法的准确率和运算效率都有较大提高且普适性较强.     

基于融合注意力机制与CNN-LSTM的人体行为识别算法

为解决单一的卷积神经网络（CNN）缺乏利用时序信息与单一循环神经网络（RNN）对局部信息把握不全问题,提出了融合注意力机制与时空网络的深度学习模型（CLA-net）的人体行为识别方法。首先,通过CNN的强学习能力提取局部特征;其次,利用长短时记忆网络（LSTM）提取时序信息;再次,运用注意力机制获取并优化最重要的特征;最后使用softmax分类器对识别结果进行分类。仿真实验结果表明,CLA-net模型在UCI HAR和DaLiAc数据集上的准确率分别达到95.35%、99.43%,F1值分别达到95.35%、99.43%,均优于对比实验模型,有效提高了识别精度。     

结合注意力机制与时空特征融合的长时程行为识别方法

为了建立基于视频行为识别的长时程图像序列的时空信息模型,文章提出了一种嵌入注意力的时空特征融合网络(attention-embedded spatial-temporal feature fusion network, ASTFFN)的深度神经网络模型。ASTFFN将一个包含动作的长时程图像序列分割成多个重叠的片段,并使用一个注意力嵌入特征提取网络(attention-embedded feature extraction network, AFEN)从每个片段中的RGB图像或光流图像中提取经过注意力加权的时空特征,进而融合每个片段的时空加权特征,生成行为识别的视频级预测。基于UCF101和HMDB51行为识别数据库进行了大量的实验,验证了方法的有效性。与目前主流的行为识别算法相比,该文方法在识别精度上取得了较好的效果。     

基于图神经网络的社交网络影响力预测算法

近十年来,通过社交网络（如微博、推特）分享信息已经成为人们日常生活中不可缺少的一个环节,如何有效地预测信息传播的影响力成为社交网络研究中的重要课题,不论是识别病毒式营销和虚假新闻还是精确推荐和在线广告都有许多应用.目前,一些应用深度学习进行社交网络影响力预测的方法已经取得了一定进展,但在进行深度学习时仍会面临以下难点：用户通常具有不同的行为和兴趣并且他们同时通过不同的渠道进行互动;用户之间的关系难以检测和形式化表达.传统的社交网络影响力预测方法通过设计复杂的规则来手动提取用户及其所处网络的特征信息,这一方法的有效性严重依赖于设置规则的专业性,所以很难将某一领域的规则推广到其他领域的应用中去.基于深度神经网络模型,设计一种端到端的神经网络来学习用户的隐藏特征信息以预测其社交网络影响力.首先通过图嵌入的方式对用户的局部网络进行特征提取,然后将特征向量作为输入对图神经网络进行训练,从而对用户的社会表征进行预测.该方法的创新之处：运用图卷积和图关注方法,将社交网络中用户的特征属性和其所处局域网络特征相结合,大大提高了模型预测的精度.通过在推特、微博、开放知识图谱等数据集上的大量实验,证明该方法...     

基于门控图神经网络的谣言检测模型

针对基于图神经网络的谣言检测方法在聚合邻居节点信息生成谣言表示过程中存在的噪声干扰问题，充分利用社交媒体源帖包含的丰富语义和结构信息对谣言检测的重要影响，提出一种基于门控图神经网络的谣言检测模型，该模型根据信息传播过程建模谣言的传播图和扩散图，基于门控图神经网络聚合邻居信息生成节点表示，利用门控机制去除邻居节点噪声，同时引入根节点语义增强方法提升表征节点的能力。此外，利用注意力机制融合局部结构和全局结构信息学习更加全面的谣言表示用于谣言检测任务。在公开数据集上的实验结果证明，提出的模型在谣言检测性能和早期检测能力方面均优于基线方法。     

注意力叠加与时序特征融合的目标检测方法

提出一种基于注意力叠加与时序特征融合的目标检测方法.在端到端目标检测(DETR)网络的基础上,依据注意力机制特性,使用注意力权重叠加的方式提取目标物像素级标识,用于实例轨迹的划分.为使目标检测与轨迹跟踪协同作用,通过时序特征融合的方式融合之前轨迹跟踪信息,调整当前帧目标检测效果,从而充分利用视频载体提供的时间维度信息.在公开数据集上,对文中方法进行验证,结果表明:文中方法能有效识别被遮挡的目标物,具有较强鲁棒性.     

基于图注意力网络的案件罪名预测方法:CP-GAT

案件罪名预测任务是基于文本数据去预测案件所属罪名.针对现有方法在相似罪名和长尾数据集上表现不佳的问题，提出了一种基于图注意力网络的案件罪名预测方法CP-GAT(charge prediction based on graph attention network).该方法首先使用司法文书数据集中的案例事件描述文本和案例对应的法条信息建立异质图结构数据，构建后的异质图包含两种类型的节点(词节点、案例节点)，两种类型的边(词节点与词节点相连的边，词节点与案例节点相连的边).在基于法律文本构建后的异质图上使用图注意力网络进行图特征提取，最后将得到的特征向量输入到罪名预测的分类器中，得到案例所属的罪名.在CAIL2018法律数据集上的实验结果表明，基于图注意力网络的罪名预测方法优于对比实验使用的方法，准确率和宏观F1值分别达到了95.2%和66.1，验证了提出的方法有利于提升案件罪名预测任务的性能.     

基于局部信息增强注意力机制的网络流量预测

针对网络流量具有强烈的非线性和不确定性导致传统统计方式或者机器学习方法难以准确预测的问题,为进一步提升网络流量预测精度,在传统时序序列预测模型的基础上设计实现了一种局部上下文信息增强的注意力机制,通过卷积计算将输入转换为注意力机制中的Query和Key,从微观角度对时间序列进行解释,提高了预测模型的局部感知能力。进而将提出的注意力机制分别与长短期记忆人工神经网络和门控循环单元两个时序预测模型相结合并将结合后的模型用于某运营商提供的两个不同网络流量数据集进行网络设备流量预测。实验结果表明基于局部上下文信息增强注意力机制的预测模型具有更好的预测效果。     

融合互作网络和多模态信息的化合物-蛋白质相互作用预测模型(INMI)

化合物-蛋白质相互作用(Compound-protein interaction, CPI)预测是药物研发领域的一个重大课题.随着生物科学的飞速发展，各种科学实验产生了大量的生物数据，通过计算方法能够快速有效地提取和利用这些信息.已有方法未能将相互作用网络中的信息显式地进行提取并加以利用，且多模态信息的融合方式未能抓住蛋白质和化合物之间的联系.为了解决上述问题，本文提出了一个二分类深度学习模型.该模型使用交叉注意力模块整合分子图和蛋白质序列信息，并从相互作用网络中显式提取节点的中心性和相关性信息，作为模型编码.实验表明，本文所提出的模型可以准确预测蛋白质和化合物之间的相互作用，而且节点中心性编码能够大大提高模型性能.     

MRTP:时间-动作感知的多尺度时间序列实时行为识别方法

针对行为识别中时空信息分布不均衡以及对长时间跨度信息表征获取难的问题,提出了一种时间-动作感知的多尺度时间序列实时行为识别方法MRTP。以RGB视频为输入,使用两个并行的感知路径在不同的时间分辨率上对视频进行空间特征与动作特征提取。在空间路径中,使用基于特征差分的动作感知寻找并加强通道动作特征表征;在动作路径中,基于动作感知的权重对通道进行筛选,并加入通道注意力和时间注意力加强关键特征;在两个路径提取出特征后,对特征进行融合,融合后的特征通过激活函数映射出样本在各个类别的得分,取得分最高的类别为最终识别结果。实验结果表明：所提方法在UCF101数据集上达到了95.6%的准确率,优于未使用时间注意力的方法;在AVA2.2数据集上的平均精度达到了28%,优于未使用动作感知和时间注意力的方法。与目前主流的基于光流法的双流网络、以Slowfast为代表的3D卷积网络、Transformer等方法进行了准确率、参数量、处理速度对比,结果表明所提方法具有更良好的识别效果和鲁棒性。     

基于Attention机制和ResNet的CNN-BiLSTM短期电力负荷预测模型研究

短期电力负荷预测有利于电力系统的高效运行,对电力市场实现有效调度有重要意义。短期电力负荷受多种因素影响,波动性大、随机性强,使得其预测准确率低。双向长短期记忆网络和卷积神经网络难以在短期负荷序列中提取足够多的信息,本文提出了一种结合注意力机制和残差网络的卷积神经网络-双向长短期记忆网络短期负荷预测方法。首先利用基准模型卷积神经网络-双向长短期记忆网络对输入特征进行信息提取,然后利用注意力机制突出提取到的关键信息,最后通过残差网络创建残差层以充分学习时序特征。通过某公开数据集进行实验,结果表明该方法的平均绝对百分比误差达到2.80%,均方根误差达到2.15,并与常用的五种模型预测结果对比,验证了所提模型的准确性及有效性。     

基于注意力的多质量图像融合方法

为了降低视频传感器网络中的网络负载,减少能量消耗、降低时延,提出了一种分层的基于注意力模型的多质量图像融合方法.通过对节点的结构化部署及视图间的区域映射,建立了基于动态注意力的节点唤醒机制.通过使用低层节点采集的高质量图像对高层节点低质量图像的融合,使注意力目标得到增强.实验结果证明了该融合方法的有效性.     

基于神经网络的行驶时长预测

定位设备的普及产生了海量的车辆行驶数据,使得利用历史数据预测车辆行驶时长成为可能.车辆行驶数据由两部分组成:车辆行驶经过的路段序列信息和出发时段;路径总长度等外部信息.如何提取路段序列特征,以及如何将序列特征与外部特征有效地融合,成为预测行驶时间的关键问题.为解决以上问题,提出了一个基于Transformer的行驶时间预测模型,模型由路段序列处理模块和特征融合模块两部分组成.首先,路段序列处理模块使用自注意力机制处理路段序列,提取路段序列特征.该模型不但可以充分考虑各条路段与其他路段间道路速度的时空关联性,同时可保证数据并行输入模型,避免了使用循环神经网络时数据顺序输入导致的效率低下.其次,特征融合模块将路段序列特征与出发时段等外部信息相融合,最终获得预测的行驶时长.在此基础上,统计路口连接的路段数作为路段的上/下游路口特征,与路段特征结合输入模型,进一步提升了行驶时长的预测精度.在真实的数据集上与主流预测模型进行的对比实验表明,该模型在预测精度以及训练速度上均有提升,体现了所提模型的有效性.     

融合图注意力网络和注意力因子分解机的服务推荐方法

为了解决服务推荐过程中的特征稀疏问题、提高服务的语义表示能力,进而提升推荐的准确性和有效性,提出基于图注意力网络(graph attention networks,GAT)研究服务推荐方法,引入服务的组合权重和组合的结构信息,综合利用多种服务特征,提高服务推荐质量。将GAT和注意力因子分解机(attention factorization machine,AFM)结合在一起,利用多头自注意力机制,学习每个节点在图邻域中的重要性;进行信息聚合,处理网络中的不同图结构,以适应服务动态变化的场景。 实验结果显示,在数据平衡的情况下,提出的方法性能表现均好于对比方法;在数据不平衡的情况下,提出的方法大部分性能指标也表现良好,达到了提升服务推荐准确性和有效性的目标。     

基于注意力机制和特征融合的网络威胁情报技战术分类研究

在威胁情报包含的信息中,与网络攻击相关的战术、技术、程序（TTPs）是最能刻画组织行为的关键信息。但是,TTPs信息抽象层次高,并且通常存在于语法结构不规则的网络威胁情报文本中。这导致传统的人工分析方法以及基于特征工程的机器学习方法难以快速有效地从中分类出TTPs。使用单一的深度学习特征提取器则因无法提取文本语意中完整的邻域特征和序列特征,导致技战术分类精度低。 针对上述问题,本文提出一种基于注意力机制和特征融合的深度学习模型：ACRCNN,用于网络威胁情报中的战术与技术的分类。该模型通过卷积与循环神经网络同时提取网络威胁情报文本中的邻域与序列信息,再由卷积层与池化层进行深层次的特征抽取与降维,完成特征融合。然后,通过注意力层完成特征加权,最终经由全连接层完成战术与技术的分类。实验结果表明,ACRCNN在战术、技术分类任务中表现优异,在F1指标上达到了91.91%、83.86%,对比现有模型,分别提高了2.46%和4.94%。     

融合注意力机制的煤层气产量动态预测

为了提升煤层气产量的预测精度,提出融合注意力(Attention)机制并结合卷积神经网络（convolutional neural networks,CNN）和长短期记忆神经网络（long short term memory,LSTM)的煤层气产量动态预测模型。利用随机森林变量筛选方法,确定井底流压、动液面高度、套压、冲次为排采过程中影响煤层气产量的主控因素;利用CNN信息提取优势,提取煤层气排采数据的特征向量,并将特征向量作为LSTM网络的输入;再将LSTM隐含层融合注意力机制提取重要信息权重,有效解决信息长期依赖性和信息丢失。实验结果表明：融合注意力机制的CNN-LSTM煤层气产量动态预测模型各方面均表现较优。具体表现为：1. 模型预测性能较好,利用不同模型对比预测,改进后的煤层气产量预测模型精度最高,比标准的LSTM预测精度提升了3%~4%;2. 泛化性能较优,预测同一区块不同生产天数的6口煤层气井产量时,预测60天日产气量的平均相对误差均小于5%,预测200天日产气量的平均相对误差均小于8%。     

关系图注意力网络的方面级情感分析模型

针对方面级情感分析利用注意力机制和传统深度学习方法提取方面词与上下文之间的联系时,未充分考虑句法依存信息及关系标签导致预测效果不佳的问题,提出一种基于关系图注意力网络的分析模型。利用DeBERTa预训练模型进行词嵌入,并将初始词向量进行多头注意力计算以增强方面词与上下文信息之间的关系。通过图注意力网络学习句法信息中的关系标签特征,借助这些关系标签特征进一步提取句法信息中方面词和上下文之间的联系,增强模型对于情感特征的提取能力。SemEval-2014数据集的实验测试结果表明,所提出模型的准确率和Macro-F1均优于对比模型。