基于双编码器的会话型推荐模型

针对现有会话型推荐模型难以准确捕获物品间全局依赖的问题,提出了一种基于双编码器的会话型推荐模型(SR-BE)。该双编码器由基于自注意力网络的全局编码器和基于图神经网络的局部编码器组成,无论被浏览物品之间的时间间隔长还是短,全局编码器都能够利用注意力机制自适应地捕获被浏览物品之间的全局依赖,并将其编码为全局隐向量。为弥补自注意力网络没有结构信息而难以捕获邻近物品间局部依赖的不足,在局部编码器中,首先将会话序列构建成会话图,然后通过图神经网络在会话图上捕获邻近物品间的局部依赖,并将其编码为局部隐向量。最后将从双编码器得到的全局隐向量和局部隐向量线性组合为会话表示,再通过预测层解码会话表示得到每个候选物品被点击的概率。实验结果表明:将基于自注意力网络的全局编码器与基于图神经网络的局部编码器结合在一起,比单一地使用全局编码器或局部编码器在命中率上分别提高了3.11%和6.55%。通过与同类模型客观定量比较,SR-BE模型在两个公开数据集上取得了突出的效果,表明该模型有效、可行。     

融合多源图信息的图神经网络会话推荐算法

现有的基于图神经网络的会话推荐算法通过将会话序列构筑为图形结构捕捉项目转换关系,能够有效提高推荐性能.然而多数图神经网络及其改进模型在建模会话时仅考虑会话序列中项目的单次转换关系,忽略了会话中包含的大量有效信息,同时缺乏对项目间隐藏关联性的分析.因此提出融合多源图信息的图神经网络会话推荐算法.将用户重复行为信息,项目内容关联信息纳入到会话图建模过程当中,有效提取项目更深层次的复杂转换关系,并通过线性转换进行聚合.此外采用外部注意力机制辅助获取会话序列项目隐藏关联信息,使得生成的会话向量在推荐过程中更加精确.在真实数据集Yoochoose和Diginetica上进行实验,实验结果表明该模型优于基准模型,特别地,相较于SR-GNN模型在MRR@20指标上提高了12.50%,能更好地预测用户的下一次点击项目.     

基于Bi-GRU和外部注意网络的会话推荐模型

基于会话的推荐系统(SRS)可以根据匿名用户的历史行为序列预测用户的下一个动作。现有推荐模型大都会忽略当前会话与其他会话的潜在相关性,不能捕捉用户的主要意图。为解决该问题,提出一种基于Bi-GRU和外部注意网络的会话推荐模型(SR-BGEAN)。该模型首次将外部注意机制引入会话推荐任务中,并结合Bi-GRU进行建模,同时捕获会话内物品双向顺序信息和会话样本间全局信息,形成最终的兴趣表示。在Diginetica和Yoochoose数据集上的实验结果表明,相对最优的基线模型,SR-BGEAN模型在推荐的前20个项目中的命中率更高,可达到71.50%。     

基于知识图谱的轻量级图卷积网络推荐

知识图谱可以给推荐系统提供丰富的、结构化的信息,从而提高推荐准确性.最近的技术趋势是基于传播的方法设计端到端的模型,但有的基于传播的方法无法捕获项目的高阶协作信号.一般图卷积网络中包含的最常见形式是特征转换、非线性激活和邻域聚合,然而,经验表明,特征转换和非线性激活对协同过滤推荐不一定有积极的影响,更糟糕的是,它们可能会降低推荐性能,使训练更加困难.针对以上问题,提出基于知识图谱的轻量级图卷积网络推荐模型.首先,从实体邻居中抽取样本作为感受野,将知识图谱中的实体通过多次迭代嵌入传播来获取高阶邻域信息.感受野结合邻域信息和可能存在的偏差来计算实体表示,还可以扩展到多跳以模拟高阶连通性并捕获用户潜在的远距离兴趣.其次,使用邻域聚合以预测用户和项目之间的评分,这不仅简化了模型设计,还提高了模型的有效性和准确度.最后,在电影、书籍和音乐推荐这三个数据集中应用提出的模型,实验结果表明,提出的方法优于其他推荐基线.     

面向强化当前兴趣的图神经网络推荐算法研究

在基于会话的推荐中，与传统序列建模相比，将会话序列建模为图结构在该领域表现得更为出色。但是，现有的研究方法仅利用图结构来挖掘项目之间转换特性，以此捕获用户当前兴趣的能力有限。本文提出一种面向强化当前兴趣的图神经网络推荐算法，通过引入位置嵌入，并与图神经网络相结合，从而互补顺序感知模型和图形感知模型的优势。会话序列被建模为图结构，并取原始序列的最后一次点击，通过多头注意力机制计算其对图节点信息的注意力权重，以更加准确地获取用户当前兴趣的表示。同时，在2个真实的数据集上进行验证实验，结果表明本文提出的方法实现了所有方法的最佳性能，特别是在Diginetica数据集上，所有评价指标都提升了7%以上，MRR@10指标甚至提升了9.52%,证明本文所提方法对基于会话推荐的正确性和有效性。     

异质图神经网络协同过滤模型

协同过滤算法被广泛运用于各类大数据的推荐系统中，能够向用户推荐与该用户类似的用户感兴趣的信息。随着深度学习，尤其是图神经网络的发展，基于图神经网络的协同过滤算法受到了越来越多的关注。基于图结构的协同过滤模型通常将用户与条目的交互信息建模为二部图，然后利用二部图的高阶连通性建模捕获用户与条目之间的隐藏关系。但是，这种二部图模型没有将用户之间的相似关系和条目之间的相似关系明确建模。此外，二部图的稀疏性会产生图中高阶连通性依赖问题。为此，该文提出了一种基于异质图卷积神经网络的协同过滤模型，将用户之间的相似度和条目之间的相似度显式地编码到图结构中，使得用户与条目的交互关系被建模成异质图。异质图结构使用户之间的相似度与条目之间的相似度能被直接捕获，降低了对高阶连通性的依赖，同时缓解了二部图过于稀疏的问题。该文在4个典型的数据集上进行了实验，并与4种经典模型进行了对比，结果表明所提出的模型效果较好。     

融合LDA的门控图卷积网络文本分类研究

在现有文本图基础上引入隐狄利克雷分布,将文档-主题和主题-词信息融入文本图以丰富文本图中节点间关系,之后将该文本图送入一个基于图卷积网络门控机制模型.在多个数据集上进行验证.结果表明,所提出的模型优于现有图卷积网络文本分类模型.     

基于反馈图卷积神经网络的事件检测方法

事件检测是自然语言处理领域的重要任务之一,其结果可以有效支撑信息抽取、文本分类和事件推理等下游任务. 预训练语言模型BERT在事件检测任务上取得了显著的成绩,然而该类方法无法有效获取长距离和结构化的文本信息. 为了缓解该问题,本文提出基于反馈网络的图卷积神经网络模型进行文本结构信息捕获,同时这种新方法能够有效解决图卷积神经网络带来的语义信息衰减性问题. 本文首先使用BERT预训练模型获取文本的语义特征,然后使用融入反馈网络的图卷积神经网络提取文本的句法结构特征,最终使用多分类器实现对事件触发词的识别和分类.公开数据集ACE 2005上的实验结果表明,本文提出的事件检测方法在事件触发词识别和分类任务上的F1值分别达到了74.46%和79.49%,较现有工作平均提高了4.13%和4.79%.     

图卷积神经网络综述

图卷积神经网络是图论与深度学习的交叉,已成为机器学习领域的研究热点。基于此,介绍了图卷积神经网络的形成,梳理了两大类经典的图卷积神经网络：谱方法和空间方法,详细介绍了这两类图卷积神经网络模型,分析了图卷积操作的核心理论基础,介绍了图卷积神经网络在各领域的应用,总结了图卷积神经网络面临的主要挑战,展望了图卷积神经网络的发展趋势,并分析了图卷积神经网络在野外环境下蝴蝶识别任务中的潜在应用。     

融合图卷积神经网络的文本情感分类

文档级别情感分类旨在预测用户对评论文本的情感极性标签。最近研究发现,利用用户和产品信息能有效地提升情感分类性能,然而,现有大多数研究只关注用户与评论、产品与评论的信息,忽略了用户与用户、产品与产品之间的内在关联,因此,本文提出一种融合图卷积神经网络的文本情感分类模型。首先,根据数据集构建了用户与用户关系图、用户与产品关系图;然后,融合两种关系图形成异质图,并使用图卷积神经网络学习用户与用户、产品与产品之间的内在联系,获得更好的用户和产品表示;最后,使用融合CNN的用户注意力和产品注意力机制的分层网络进行情感分类。实验结果表明,在公开数据集IMDB、Yelp2013和Yelp2014上,本文提出的模型能取得较好的分类效果。     

基于图卷积神经网络的跨域行人再识别

针对由源域训练的行人再识别模型通常在目标域的泛化能力不强的问题,提出基于图卷积神经网络的跨域行人再识别方法,将源域数据学习到的整合邻居样本信息的能力迁移至目标域数据.首先,为经过特征提取后的源域数据建立亲属子图,并将源域数据特征和亲属子图作为所设计的图卷积神经网络模块的输入,以基于源域的监督信息训练图卷积神经网络模块;然后,对经过特征提取后的目标域数据建立亲属子图,将训练过的图卷积神经网络模块应用于目标域数据,为目标域数据赋伪标签;最后,联合源域数据和目标域数据训练得到一个泛化能力强的行人再识别模型.分别在两个大规模公开数据集Market-1501和DukeMTMC-reID上对所提出方法进行实验验证,结果表明所提出的方法与所选择的基准模型相比使得Market-1501的rank-1准确率和平均准确率均值(mAP)分别提高了7.4%和9.2%,而DukeMTMC-reID的rank-1准确率和m AP分别提高了14.2%和14.9%.     

基于图神经网络特征交叉的协同过滤算法

学习用户和项目有效的向量表示是推荐系统的核心目标,现有的推荐模型大多通过深度神经网络或专门设计的特征交叉,来学习用户-项目间的特征交叉生成用户(项目)向量表示,但并未将用户(项目)特征间的交叉信息编码到嵌入向量中充分利用特征交叉信息,且多个特征交叉信息对于生成最终的用户(项目)向量表示的影响不同.基于此,构建两个图神经网络模块,学习用户(项目)特征间的交叉信息、用户-项目之间的特征交叉信息,并通过计算注意力分数对特征交叉信息进行加权,得到用户(项目)的特征信息;然后通过门控循环神经网络(GRU)聚合原始的特征信息和网络层学习到的特征交叉信息,得到最终的用户(项目)向量表达;最后通过用户向量与项目向量的元素积得到最终的推荐结果.在数据集MovieLens 1M、Book-Crossing和Taobao上验证了模型的有效性.     

基于样本间潜在关系的多变量时间序列分类

多变量时间序列(multivariate time series, MTS)分类任务旨在确定多变量时间序列样本的标签。多变量时间序列数据存在时序关系和样本相似性关系等丰富的关系信息,然而现有的算法未能充分利用关系信息导致分类性能难以提升。基于此,文章提出一种基于图卷积网络(graph convolutional network, GCN)的多变量时间序列分类方法,通过挖掘样本间的潜在关系来提高分类性能。为了有效表示样本关系,设计基于样本相似度的构图规则,对样本数据进行建模从而将样本的时序特征和潜在关系信息映射到图空间中,提出基于图卷积的分类模型,通过聚合样本特征来捕获有利于分类的潜在样本关系,更新到样本自身特征向量以提升分类精度。在11个公共数据集上的大量实验结果表明,该文所提算法优于12种对比算法,可见通过挖掘时间序列数据之间潜在的关系用于分类对分类结果具有重要影响,从而为处理时间序列分类问题提供一种新的途径。     

基于图框架变换的动态图神经网络模型

为了有效地挖掘并利用动态图的低频和高频信息并捕捉其时空演变规律，提出了一种基于图小波的兼顾低通、高通滤波的多尺度图卷积，并将该卷积运算融入长短期记忆网络中，构建了一类基于图框架变换的动态图神经网络模型.在离散动态图的3个基准数据集中采用2种不同的训练方式进行实验，对比了11种动态图表示学习方法.实验结果表明：所提模型通常能取得最优效果且稳定性更好，同时也验证了模型能够更好地捕获动态图的演变规律.     

面向文本分类的张量残差图卷积网络模型

针对现有文本分类模型上下文信息挖掘不足、全局特征表示提取不充分等问题,提出了一种基于张量的残差图卷积网络模型．首先,以归纳学习方式构建文本图,挖掘文本中蕴含的句法关系、语义关系和序列关系并整合构建邻接张量,捕获文档的高阶上下文信息与关键局部特征信息;然后,利用残差连接加深网络深度,处理图卷积网络过平滑问题,提升模型的泛化能力;最后,设计图读出机制聚集所有节点特征,提取文本的全局特征表示．在R8和MR数据集上进行了实验评估,实验结果表明与已有文本分类方法相比,所提方法取得了优越的分类效果．     

基于语义行为和社交关联的好友推荐模型

现今社交媒体是建立社交联系的重要媒介,好友推荐对于扩展人们的关系网络起到至关重要的作用,准确的用户特征提取和分析是社交网络中好友推荐的关键.传统的好友推荐方法一般都是根据部分用户属性信息或行为信息进行推荐,所以对用户特征的描述不完整,推荐的效率和准确率远非预期.提出基于用户语义行为和社交关联的推荐模型应用于社交媒体平台上的好友推荐.为了获得准确的预测,使用LDA(Latent Dirichlet Allocation)对语义信息进行主题建模,得到基于主题的用户语义行为特征表达;使用DeepWalk算法对用户社交关联网络图进行特征提取,得到准确的社交关联特征表达;使用反向传播神经网络来预测用户潜在的社交关联,为用户精准推荐好友.该模型实现了利用用户语义行为和社交关联预测用户潜在的社交关联,可以根据潜在社交关联进行精准的好友推荐.     

基于评论特征提取和隐因子模型的评分预测推荐系统

评分预测是推荐系统研究的核心问题,通过用户的历史行为来预测用户对商品的评分,根据评分高低来推荐用户喜欢的商品.当前基于评论评分预测推荐系统普遍只使用卷积神经网络捕获局部特征或者循环神经网络捕获全局特征,忽略了将这两类特征的有效融合.针对现存问题,本文提出基于评论特征提取和隐因子模型的评分预测推荐模型,使用自适应感受野的卷积神经网络(CNN)提取局部特征,同时使用门控循环单元(GRU)提取全局特征,将不同特征融合为评论的嵌入表达.再结合隐因子模型(LFM)对用户的特征偏好和商品的特征属性进行建模.最后,通过对用户和商品的嵌入表达进行评分预测.实验结果表明,本文模型在5个数据集上均高于现有基线模型.     

基于图卷积神经网络的健美操难度动作识别方法

针对现有健美操难度动作识别方法中存在的识别效果差等问题,提出将图卷积神经网络应用到健美操难度动作识别中。将健美操视频划分为若干个图像,并消除健美操难度动作图像背景,设定灰度共生矩阵,估计难度动作图像局部区域模糊核,校正难度动作图像的视觉误差。在此基础上,对图卷积神经网络进行预训练,构建人体有向时空骨架图,对人体有向时空图表示与时序动态信息建模,实现健美操难度动作识别。实验结果表明,在复杂背景与简单背景下,基于图卷积神经网络的健美操难度动作识别方法识别的时间较短,并且错误识别的次数也较少,证明所提方法提高了健美操难度动作的识别效果。     

基于MuGNN模型的互联网医疗知识融合研究

为了解决多来源医疗知识库融合过程中常见的知识冗余问题,基于综合多种注意力机制和图卷积神经网络的MuGNN模型对互联网医疗知识融合的效果进行了研究.以乳腺癌疾病为例,首先构建了基于不同医疗网站的疾病实体关系库,然后利用MuGNN模型完成了实体对齐,同时与JAPE模型和GCN-Align模型的实体对齐效果进行了对比,最后对基于不同医疗网站的疾病实体关系库进行知识融合并通过Neo4j图数据库对融合后的知识图谱进行可视化处理.结果表明,与JAPE模型和GCN-Align模型相比,MuGNN模型的实体对齐效果更好.利用综合多种注意力机制和图卷积神经网络的MuGNN模型对互联网医疗知识进行融合,有助于提升多来源互联网医疗知识的融合效果,有助于多源知识图谱的构建与补全,有助于提供更优质的知识服务.     

基于图神经网络的兴趣点推荐的隐私保护框架

传统的基于图神经网络的兴趣点模型的研究是通过简单的注意力机制进行权重定义,或仅仅将多种因素简单进行线性组合,缺乏从多角度考虑用户和兴趣点自身的语义信息和交互信息。此外,现有的图神经网络推荐依赖于图结构信息的集中式存储和训练,存在隐私泄露风险。为了解决上述问题,提出基于图神经网络的兴趣点推荐的隐私保护框架(privacy of POI recommendations for graph neural networks, PPGNN)。首先,通过引入多特征模式和注意力机制对图结构进行强化,构建强化用户社交关系图模型;其次,通过多场景角度提出兴趣点邻居结点采样算法以及重新设计卷积聚合机制,对异质图使用语义级别注意力机制进行聚合;最后,提出了可变动态梯度的客户端差分隐私算法,达到边优化边反馈的效果。通过在Yelp和Gowalla不同的数据集上进行大量实验,证明该方案具有有效性,弥补了图神经网络推荐因隐私威胁带来的局限性,优于集中式图神经网络推荐方法,同时也优于传统兴趣点推荐方法,并且PPGNN可以更好地克服推荐中的数据稀疏和冷启动问题。