融合双重注意力机制的多源深度推荐模型

针对评分数据稀疏导致协同过滤算法推荐质量下降的问题,通过充分挖掘评论信息增强推荐性能,提出了一种融合双重注意力机制的多源深度推荐模型(MSDA)。该模型基于评分数据、用户评论集和商品评论集3个信息源进行推荐,结合卷积神经网络和双重注意力机制挖掘评论文本特征,利用神经因子分解机进行评分和评论特征之间的高阶非线性交互,从而实现评分预测。实验结果表明,相比于NeuMF、NARRE、HRDR等先进基准方法,MSDA显著提升了模型的评分预测性能。     

基于评分与文本融合的多注意力跨域推荐算法

为解决在目标领域推荐过程中用户与物品交互数据的稀疏性问题,提出一种新的跨域推荐模型。将辅助领域中的知识迁移到目标域中,基于前馈神经网络分别获得评分信息与评论文本信息的域独有特征;通过采用基于神经网络的特征提取器与基于向量嵌入的域鉴别器融合后的对抗模型,获得评分信息与评论文本信息的域共享特征;再基于多层注意力机制将域独有特征与域共享特征进行融合,从而获得用户对物品的兴趣度。研究结果表明：对于两种经典的推荐评价性能指标,所提出的模型在Amazon数据集上可以获得更好的推荐性能。     

运用上下文增强和分层注意力机制的社交推荐

针对现有方法在建模用户、项目及其上下文特征上与社交网络耦合程度低,且没有充分挖掘社交信息中其他细粒度特征的问题,提出一种基于上下文增强和分层注意力机制的社交推荐模型(context enhancement and hierarchical attention mechanism social recommendation, CEHA-SR)。针对社交网络用户间关系所具有的图结构性质,该模型以图神经网络为框架,对社交信息、用户-项目-类别信息使用分层的注意力机制从不同层面的特征进行充分建模,并自适应得到不同特征之间的关系权重。在Ciao-28和Epinions-27两个真实数据集上的验证表明,该模型的均方根误差和平均绝对误差比经典的图神经网络社交推荐模型(GraphRec)分别降低了约3.63%、4.13%和4.33%、4.12%。     

基于评论特征提取和隐因子模型的评分预测推荐系统

评分预测是推荐系统研究的核心问题,通过用户的历史行为来预测用户对商品的评分,根据评分高低来推荐用户喜欢的商品.当前基于评论评分预测推荐系统普遍只使用卷积神经网络捕获局部特征或者循环神经网络捕获全局特征,忽略了将这两类特征的有效融合.针对现存问题,本文提出基于评论特征提取和隐因子模型的评分预测推荐模型,使用自适应感受野的卷积神经网络(CNN)提取局部特征,同时使用门控循环单元(GRU)提取全局特征,将不同特征融合为评论的嵌入表达.再结合隐因子模型(LFM)对用户的特征偏好和商品的特征属性进行建模.最后,通过对用户和商品的嵌入表达进行评分预测.实验结果表明,本文模型在5个数据集上均高于现有基线模型.     

基于双编码器的会话型推荐模型

针对现有会话型推荐模型难以准确捕获物品间全局依赖的问题,提出了一种基于双编码器的会话型推荐模型(SR-BE)。该双编码器由基于自注意力网络的全局编码器和基于图神经网络的局部编码器组成,无论被浏览物品之间的时间间隔长还是短,全局编码器都能够利用注意力机制自适应地捕获被浏览物品之间的全局依赖,并将其编码为全局隐向量。为弥补自注意力网络没有结构信息而难以捕获邻近物品间局部依赖的不足,在局部编码器中,首先将会话序列构建成会话图,然后通过图神经网络在会话图上捕获邻近物品间的局部依赖,并将其编码为局部隐向量。最后将从双编码器得到的全局隐向量和局部隐向量线性组合为会话表示,再通过预测层解码会话表示得到每个候选物品被点击的概率。实验结果表明:将基于自注意力网络的全局编码器与基于图神经网络的局部编码器结合在一起,比单一地使用全局编码器或局部编码器在命中率上分别提高了3.11%和6.55%。通过与同类模型客观定量比较,SR-BE模型在两个公开数据集上取得了突出的效果,表明该模型有效、可行。     

基于双通道模型的航空发动机剩余寿命预测

针对现阶段航空发动机单一剩余使用寿命预测模型数据挖掘深度不足导致预测精度低的问题,提出一种双通道模型的预测方法。首先,构建双通道网络结构：通道一使用时间卷积网络,通过残差结构和空洞卷积使得网络具有更大的感受野和计算速度;通道二使用卷积长短时间记忆网络,提取多维时空特征,捕捉数据长期依赖关系。其次,利用多头注意力机制为双通道网络特征重新赋予权重。最后,将双通道网络进行特征融合输出,实现对航空发动机剩余寿命预测。使用涡扇发动机退化数据集进行实验验证,并与其它文献中提到的卷积双向长短时间记忆网络模型、多特征注意力模型、多头注意力模型、卷积门控单元循环神经网络模型进行对比。结果表明,所提模型在3种评价指标上均取得更好的表现,为航空发动机剩余寿命预测提供了一种新思路。     

基于双层注意力机制的联合深度推荐模型

许多电子商务网站中存在用户编写的大量评论信息,大部分推荐系统虽然利用了评论信息,但仅从单词级别而不是评论级别来评估评论的重要性。如果只考虑评论中的重要单词,而忽略了真正有用的评论,则会降低推荐模型的性能。基于此,文中提出了一种基于双层注意力机制的联合深度推荐模型(DLALSTM)。该模型首先利用双向长短期记忆网络(BiLSTM)分别对用户和项目评论进行词以及评论级别联合建模,并通过两层注意力机制聚合为评论表示和用户/项目表示,然后把从评论中学习的用户和项目的潜在表示融入由评分矩阵得到的用户偏好和项目特征,实现评分预测。采用文中模型在Yelp和亚马逊的不同领域数据集上进行实验评估,并与常用的推荐方法进行比较,发现文中提出的模型性能超过目前常用的推荐方法,同时该模型能够缓解数据稀疏问题,且具有较好的可解释性。     

基于并行自注意力的石窟寺岩体裂隙发育研究

针对石窟寺岩体裂隙发育缓慢、影响因素多样化,难以对裂隙发育情况进行预测的问题,提出了一种新的基于深度学习的岩体裂隙发育预测网络(FDPNet:Fracture Development Prediction Network),即并行自注意力机制混合网络。FDPNet通过局部卷积模块和全局循环模块对序列数据的时间相关性进行建模,使模型能准确捕捉到不同时间尺度的时间模式。同时通过引入自注意力机制对多元时序数据中不同序列之间复杂的依赖关系进行建模。在此基础上,利用传统的自回归模型进一步提高模型的鲁棒性。此外,以Q市北石窟寺32号窟6个月的裂隙发育相关因素监测数据构建了国内外首个该领域的数据集。在该数据集上进行的对比实验结果表明,该模型在石窟寺岩体裂隙发育预测场景下具有更好的性能表现。     

基于异质图神经网络的推荐算法研究

基于图神经网络的推荐算法通过从图中获取知识,提高了推荐的可解释性.然而随着推荐系统网络数据规模的不断扩大,用户-项目评分矩阵呈现出稀疏性问题,图神经网络难以学习到高质量的网络节点特征,导致推荐质量下降.本文将图神经网络与异质信息网络相结合,提出一种基于异质图神经网络的推荐算法.该算法使用异质信息网络对多源异质数据进行联合解码,将注意力机制引入用户-项目交互网络和用户社交网络的用户、项目聚合表示过程,从而实现用户-项目交互和用户社交两类网络间的节点及拓扑结构特征的有效融合.两个公开数据集上的对比实验结果表明,本文提出的算法在不断稀疏化的数据集上的推荐误差比基线方法少40％.     

基于图神经网络的兴趣点推荐的隐私保护框架

传统的基于图神经网络的兴趣点模型的研究是通过简单的注意力机制进行权重定义,或仅仅将多种因素简单进行线性组合,缺乏从多角度考虑用户和兴趣点自身的语义信息和交互信息。此外,现有的图神经网络推荐依赖于图结构信息的集中式存储和训练,存在隐私泄露风险。为了解决上述问题,提出基于图神经网络的兴趣点推荐的隐私保护框架(privacy of POI recommendations for graph neural networks, PPGNN)。首先,通过引入多特征模式和注意力机制对图结构进行强化,构建强化用户社交关系图模型;其次,通过多场景角度提出兴趣点邻居结点采样算法以及重新设计卷积聚合机制,对异质图使用语义级别注意力机制进行聚合;最后,提出了可变动态梯度的客户端差分隐私算法,达到边优化边反馈的效果。通过在Yelp和Gowalla不同的数据集上进行大量实验,证明该方案具有有效性,弥补了图神经网络推荐因隐私威胁带来的局限性,优于集中式图神经网络推荐方法,同时也优于传统兴趣点推荐方法,并且PPGNN可以更好地克服推荐中的数据稀疏和冷启动问题。     

基于改进非局部注意力模块的非侵入负荷辩识

针对目前基于深度学习的非侵入式负荷辩识领域中存在的模型复杂度高、参数量大及获取长距离特征间依赖关系的能力弱等问题,提出一种基于注意力机制的轻量级负荷辨识模型．该模型以低时间维度的设备电流信息为输入,通过引入改进非局部注意力模块建模不同时间电流的特征关系,建立轻量级的时间残差卷积神经网络．在公开PLAID(即插设备标识数据集)和WHITED(全球家庭和工业瞬态能源数据集)上的实验表明：在设备识别率分别达到97.32%和99.32%的情况下,模型的计算量低至4×10⁵,且模型的参数量小于5.2×10⁴.     

基于主题注意力层次记忆网络的文档情感建模

针对文档水平情感分析传统模型存在先验知识依赖以及语义理解不足问题,提出一种基于注意力机制与层次网络特征表示的情感分析模型TWE-ANN.采用基于CBOW方式的word2vec模型针对语料训练词向量,减小词向量间的稀疏度,使用基于Gibbs采样的LDA算法计算出文档主题分布矩阵,继而通过层次LSTM神经网络获取更为完整的文本上下文信息从而提取出深度情感特征,将文档主题分布矩阵作为模型注意力机制提取文档特征,从而实现情感分类.实验结果表明:提出的TWE-ANN模型较TSA、HAN模型分类效果较好,在Yelp2015、IMDB、Amazon数据集上的F值分别提升了1.1%、0.3%、1.8%,在Yelp2015和Amazon数据集上的RMSE值分别提升了1.3%、2.1%.     

一种基于图注意力机制的气温预测模型

 积极应对气候变化是可持续发展的目标之一。针对气温准确预测任务，提出了一种基于图注意力机制的气温预测模型。该模型在气温站点组成的拓扑结构上使用了注意力机制，选择性地聚合周围区域的气温特征，再使用神经网络拟合复杂的气温变化规律，得到预测结果。实验使用了2000-2010年京津冀地区的气温数据，经大量实验验证，在极少依赖历史气温数据的情况下，模型能够得到更准确的预测值。模型能够为气候预测和气候灾害预防提供决策支持。     

基于图嵌入和区域注意力的多标签文本分类

针对传统多标签文本分类模型未考虑标签之间以及标签与文本各个部分之间的相关性、低频标签预测效果不佳的问题,使用图嵌入和区域注意力技术来挖掘标签之间以及标签和文本之间的关系,提出了编码器-图嵌入和区域注意力机制-解码器模型来处理多标签分类任务.采用Bi-LSTM作为编码器,使用图嵌入技术生成标签嵌入矩阵;利用区域注意力机制结合单词级别与区域级别的信息,使得模型在预测每个标签时考虑文本不同部分的信息,挖掘了文本与标签之间的潜在关联;使用循环神经网络和多层感知机作为解码器结合随机策略梯度算法,减少训练损失,改善多标签分类效果.在AAPD和RCV1-V2多标签文本分类数据集上进行试验,根据数据集特征设置相关参数,以micro-F1和Hamming Loss作为评价指标,对比所提出模型与LP、卷积神经网络等9个经典模型.结果表明,所提出模型能够根据高频标签预测出低频标签,在2个数据集上的micro-F1和Hamming Loss均优于经典模型.     

基于多头注意力和词共现关系的方面级情感分析

针对特定目标的情感分析是文本情感细粒度理解任务的重要内容.已有研究大多通过循环神经网络和注意力机制来建模文本序列信息和全局依赖,并利用文本依赖解析树作为辅助知识,但这些方法没有充分利用目标词与文本词之间的依赖关系,也忽略了训练语料库中的词共现关系,而词共现信息往往意味着一种语法搭配.为了解决上述问题,提出一种目标依赖的多头自注意力网络模型.该模型首先设计内联和外联两种不同的注意力机制用于建模文本词和目标词的隐藏状态和语义交互;其次,该模型构建了语料库级别和句子级别的词共现图,并通过图卷积网络将词共现信息融合进文本的特征表示学习并用于下游分类任务.在五个标准数据集上进行了对比实验,实验结果表明,提出的模型在方面级情感分析任务中的性能优于所有对比模型.     

基于句法结构的神经网络复述识别模型

为解决已有复述语义计算方法未考虑句法结构的问题, 提出基于句法结构的神经网络复述识别模型, 设计基于树结构的神经网络模型进行语义组合计算, 使得语义表示从词语级扩展到短语级。进一步地, 提出基于短语级语义表示的句法树对齐机制, 利用跨句子注意力机制提取特征。最后, 设计自注意力机制来增强语义表示, 从而捕获全局上下文信息。在公开英语复述识别数据集Quora上进行评测, 实验结果显示, 复述识别性能得到改进, 达到89.3%的精度, 证明了提出的基于句法结构的语义组合计算方法以及基于短语级语义表示的跨句子注意力机制和自注意力机制在改进复述识别性能方面的有效性。     

基于注意力机制多特征融合与文本情感分析的日志异常检测方法

现有的基于深度学习和神经网络的日志异常检测方法通常存在语义信息提取不完整、依赖日志序列构建和依赖日志解析器等问题.基于注意力机制多特征融合和文本情感分析技术,提出了一种日志异常检测方法 .该方法首先采用词嵌入方法将日志文本向量化以获取日志消息的词向量表示,接着将词向量输入到由双向门控循环单元网络和卷积神经网络组成的特征提取层中分别提取日志消息的上下文依赖特征和局部依赖特征,使用注意力机制分别加强两种特征中的关键信息,增强模型识别关键信息的能力.使用基于注意力机制的特征融合层为两种特征赋予不同权重并加权求和后输入由全连接层构成的输出层中,实现日志消息的情感极性分类,达到日志异常检测的目的 .在BGL公开数据集上的实验结果表明,该模型的分类准确率和F1值分别达到了96.36%和98.06%,与同类日志异常检测模型相比有不同程度的提升,从而证明了日志中的语义情感信息有助于异常检测效果的提升,并且经过实验证明了使用注意力机制的模型可以进一步提高文本情感分类效果,进而提升日志异常检测的准确率.     

基于BiTCNSA的恶意代码分类方法

当前恶意代码的对抗技术不断变化，恶意代码变种层出不穷，使恶意代码分类问题面临严峻挑战。针对目前基于深度学习的恶意代码分类方法提取特征不足和准确率低的问题，提出了基于双向时域卷积网络(BiTCN)和自注意力机制(Self-Attention)的恶意代码分类方法(BiTCNSA)。该方法融合恶意代码操作码特征和图像特征以展现不同的特征细节，增加特征多样性。构建BiTCN对融合特征进行处理，充分利用特征的前后依赖关系。引入自注意力机制对数据权值进行动态调整，进一步挖掘恶意代码内部数据间的关联性。在Kaggle数据集上对模型进行验证，实验结果表明:该方法准确率可达99.75%，具有较快的收敛速度和较低的误差。     

基于张量特征-GRU和多头自注意力机制的水质预测模型方法

针对现有水质预测模型对水质监测指标间存在数据特征利用不足,导致预测精度不高的问题,本文提出了一种基于张量分解融合门控神经网络(gate recurrent unit, GRU)和多头自注意力机制(Multi Head Self-Attention)的多指标水质预测模型(TGMHA)。该模型通过标准延迟嵌入变换(Standard delay embedding transform, SDT)将时序水质指标数据转换为张量数据,利用Tucker张量分解提取数据特征,然后结合多头自注意力机制挖掘多种水质指标数据特征之间的潜在关系,最后采用GRU模型实现多指标水质预测。对比实验证明了该模型预测相比传统GRU水质预测模型,得到的均方根误差(RMSE)、平均绝对误差(MAE)、平均绝对百分比误差(MAPE)和决定系数(R²)四个指标有5-10%的提升,有效提升了水质预测的精度,具有较好的鲁棒性,为水质预测和环境监测管理提供了科学决策依据。     

基于图注意力网络的多行为推荐算法

现有的多行为推荐系统未有效利用不同层次的图传播信息，难以捕获用户不同行为的影响。为解决此问题，文章提出了一种基于图注意力网络的多行为推荐模型(GABR):首先，采用小批量采样节点嵌入方法聚合同一行为类型交互的邻域节点，以提高特征表示效率；接着，采用注意力机制学习不同行为类型的影响系数，以进一步融合节点特征；然后，合并多层用户和项目表示，以有效利用不同层次的图传播信息；最后，将已交互的用户-项目对和随机采样未交互过的用户-项目对作为正负样本对来训练目标模型，以优化模型性能。为验证模型推荐性能，在3个真实数据集(Yelp、Scholat、Beibei)上与现有9种推荐模型进行对比。实验结果表明GABR模型能够有效利用融合了不同行为类型影响系数的多层图传播信息，更好地预测用户偏好：在3个真实数据集上，与目前最佳的基线模型(GNMR)相比，GABR模型的HR、NDCG平均提高了1.73%、2.43%。