基于自监督学习的序列推荐算法

针对现有序列推荐算法易受数据稀疏影响以及对用户短期动态偏好建模不充分的问题,提出基于自监督学习的序列推荐算法。针对短期序列中的原始项目关系更易受到随机数据增强破坏的问题,对长短期序列使用不同的数据增强方法来构建更有效的自监督信号;利用对比式自监督学习框架对用户长期偏好和短期偏好进行多任务联合建模;针对现有自注意力机制无法建模序列中项目相对位置关系的问题,将自然语言处理领域中的解耦注意力机制引入到用户短期偏好学习过程中,充分捕获用户短期序列中项目的相对位置信息。实验结果证明了所提算法的有效性。     

基于混合神经网络的序列推荐算法

为了提高推荐算法的推荐性能,在序列建模过程中,针对循环神经网络(recurrent neural network,RNN)无法并行运算导致建模速度与准确度较低,以及在偏好预测过程中对用户不同阶段偏好没有动态融合的问题,提出了一种基于混合神经网络的序列推荐算法.在算法模型的用户交互序列建模阶段,考虑到用户近期偏好变化频繁,对于时间效率与推荐准确度都有更高的要求,引入时间卷积网络(temporal convolutional network,TCN)对近期交互序列进行建模,解决了循环神经网络建模速度和准确度较低的问题;在用户偏好预测阶段,在考虑用户近期与长期偏好的基础上,基于注意力机制动态融合了用户近期与长期2个交互阶段的偏好,从而提高了推荐的性能.在公共数据集MovieLens10M与LastFM上进行了实验,结果证明了模型的有效性.     

融合多源图信息的图神经网络会话推荐算法

现有的基于图神经网络的会话推荐算法通过将会话序列构筑为图形结构捕捉项目转换关系,能够有效提高推荐性能.然而多数图神经网络及其改进模型在建模会话时仅考虑会话序列中项目的单次转换关系,忽略了会话中包含的大量有效信息,同时缺乏对项目间隐藏关联性的分析.因此提出融合多源图信息的图神经网络会话推荐算法.将用户重复行为信息,项目内容关联信息纳入到会话图建模过程当中,有效提取项目更深层次的复杂转换关系,并通过线性转换进行聚合.此外采用外部注意力机制辅助获取会话序列项目隐藏关联信息,使得生成的会话向量在推荐过程中更加精确.在真实数据集Yoochoose和Diginetica上进行实验,实验结果表明该模型优于基准模型,特别地,相较于SR-GNN模型在MRR@20指标上提高了12.50%,能更好地预测用户的下一次点击项目.     

基于图注意力网络的多行为推荐算法

现有的多行为推荐系统未有效利用不同层次的图传播信息，难以捕获用户不同行为的影响。为解决此问题，文章提出了一种基于图注意力网络的多行为推荐模型(GABR):首先，采用小批量采样节点嵌入方法聚合同一行为类型交互的邻域节点，以提高特征表示效率；接着，采用注意力机制学习不同行为类型的影响系数，以进一步融合节点特征；然后，合并多层用户和项目表示，以有效利用不同层次的图传播信息；最后，将已交互的用户-项目对和随机采样未交互过的用户-项目对作为正负样本对来训练目标模型，以优化模型性能。为验证模型推荐性能，在3个真实数据集(Yelp、Scholat、Beibei)上与现有9种推荐模型进行对比。实验结果表明GABR模型能够有效利用融合了不同行为类型影响系数的多层图传播信息，更好地预测用户偏好：在3个真实数据集上，与目前最佳的基线模型(GNMR)相比，GABR模型的HR、NDCG平均提高了1.73%、2.43%。     

基于深度学习建模多行为动态演化的转化率预估

针对基于用户行为特征的转化率预估在计算广告领域的应用中尚未充分提取和利用用户多种行为模式的动态演化特性等问题,考虑用户兴趣模型和行为模型的动态演化性,提出一种融合注意力机制的深度学习策略,获取用户行为动态演化特征,进而构建基于用户行为特征的转化率预估模型.首先,构建基于门控循环单元(gated recurrent unit, GRU)和注意力机制的用户单个行为序列模型,将提取出的用户行为嵌入表示作为用户行为的动态变化特征;然后,利用自注意力对用户的多行为动态演化进行建模;最后,融合所提取的用户多行为序列向量作为用户的行为特征,构建移动APP广告转化率预估模型.实验结果表明所提取的用户行为序列特征可有效改善转化率预估效果.     

面向强化当前兴趣的图神经网络推荐算法研究

在基于会话的推荐中，与传统序列建模相比，将会话序列建模为图结构在该领域表现得更为出色。但是，现有的研究方法仅利用图结构来挖掘项目之间转换特性，以此捕获用户当前兴趣的能力有限。本文提出一种面向强化当前兴趣的图神经网络推荐算法，通过引入位置嵌入，并与图神经网络相结合，从而互补顺序感知模型和图形感知模型的优势。会话序列被建模为图结构，并取原始序列的最后一次点击，通过多头注意力机制计算其对图节点信息的注意力权重，以更加准确地获取用户当前兴趣的表示。同时，在2个真实的数据集上进行验证实验，结果表明本文提出的方法实现了所有方法的最佳性能，特别是在Diginetica数据集上，所有评价指标都提升了7%以上，MRR@10指标甚至提升了9.52%,证明本文所提方法对基于会话推荐的正确性和有效性。     

基于双层注意力机制的联合深度推荐模型

许多电子商务网站中存在用户编写的大量评论信息,大部分推荐系统虽然利用了评论信息,但仅从单词级别而不是评论级别来评估评论的重要性。如果只考虑评论中的重要单词,而忽略了真正有用的评论,则会降低推荐模型的性能。基于此,文中提出了一种基于双层注意力机制的联合深度推荐模型(DLALSTM)。该模型首先利用双向长短期记忆网络(BiLSTM)分别对用户和项目评论进行词以及评论级别联合建模,并通过两层注意力机制聚合为评论表示和用户/项目表示,然后把从评论中学习的用户和项目的潜在表示融入由评分矩阵得到的用户偏好和项目特征,实现评分预测。采用文中模型在Yelp和亚马逊的不同领域数据集上进行实验评估,并与常用的推荐方法进行比较,发现文中提出的模型性能超过目前常用的推荐方法,同时该模型能够缓解数据稀疏问题,且具有较好的可解释性。     

融合注意力机制的群组推荐研究

现有群组推荐方法在偏好融合时大多采用预定义策略,这种静态方法忽略了群组间用户的交互,难以对复杂的决策过程进行建模,从而影响推荐效果。针对该问题,提出了一种基于注意力机制的群组推荐方法,使用注意力机制获取群组中每个用户对其他用户的注意力权重,为群组选出一个决策者,以此来模拟群组中用户的交互,再根据用户的加权偏好为群组推荐项目。通过在CAMRa2011和MovieLens1M数据集上与基线方法的对比可知,该方法在命中率和归一化折扣累计增益方面都有较大提高。     

融合用户兴趣度的基于自注意力的序列推荐模型

序列推荐试图利用用户的连续行为、用户偏好、物品流行度以及用户和项目之间的交互动作进行建模,传统的马尔科夫链(MC)、递归神经网络(RNN)和基于自注意力的模型已被大量应用于序列推荐,但它们只是将交互历史假设成有序序列,忽略各个交互之间的时间间隔,也不考虑序列中项目之间交互的可能性存在大小关系以及用户对项目的兴趣度可能随...     

基于图神经网络特征交叉的协同过滤算法

学习用户和项目有效的向量表示是推荐系统的核心目标,现有的推荐模型大多通过深度神经网络或专门设计的特征交叉,来学习用户-项目间的特征交叉生成用户(项目)向量表示,但并未将用户(项目)特征间的交叉信息编码到嵌入向量中充分利用特征交叉信息,且多个特征交叉信息对于生成最终的用户(项目)向量表示的影响不同.基于此,构建两个图神经网络模块,学习用户(项目)特征间的交叉信息、用户-项目之间的特征交叉信息,并通过计算注意力分数对特征交叉信息进行加权,得到用户(项目)的特征信息;然后通过门控循环神经网络(GRU)聚合原始的特征信息和网络层学习到的特征交叉信息,得到最终的用户(项目)向量表达;最后通过用户向量与项目向量的元素积得到最终的推荐结果.在数据集MovieLens 1M、Book-Crossing和Taobao上验证了模型的有效性.     

基于多特征融合和深度学习的微观扩散预测

准确地预测社交网络中的信息扩散节点可以对谣言、计算机病毒等不良信息的传播以及信息泄露做到早检测、早溯源和早抑制。为了提高微观扩散预测精度,该文提出了一个基于多特征融合和深度学习的微观信息扩散预测通用框架(MFFDLP)。为了获取信息扩散的时序特征,基于信息扩散序列和社交网络图,采用门控循环神经网络提取局部时序特征和全局时序特征,并融合形成信息扩散序列表征;为了获取用户交互行为和兴趣爱好的动态表示,根据历史信息构建信息扩散图,使用级联图注意力网络提取信息扩散子图中节点特征和边特征,并通过嵌入查找,融合形成当前信息扩散序列中相应节点的动态扩散表征;使用双多头注意力机制,进一步捕获静态和动态扩散特征的上下文信息,实现了高精度微观扩散预测。在3个公共数据集上的对比实验结果表明：所提方法优于对比方法,在微观扩散预测的精度上最高提高了9.98%。     

基于评分与文本融合的多注意力跨域推荐算法

为解决在目标领域推荐过程中用户与物品交互数据的稀疏性问题,提出一种新的跨域推荐模型。将辅助领域中的知识迁移到目标域中,基于前馈神经网络分别获得评分信息与评论文本信息的域独有特征;通过采用基于神经网络的特征提取器与基于向量嵌入的域鉴别器融合后的对抗模型,获得评分信息与评论文本信息的域共享特征;再基于多层注意力机制将域独有特征与域共享特征进行融合,从而获得用户对物品的兴趣度。研究结果表明：对于两种经典的推荐评价性能指标,所提出的模型在Amazon数据集上可以获得更好的推荐性能。     

基于Bi-GRU和外部注意网络的会话推荐模型

基于会话的推荐系统(SRS)可以根据匿名用户的历史行为序列预测用户的下一个动作。现有推荐模型大都会忽略当前会话与其他会话的潜在相关性,不能捕捉用户的主要意图。为解决该问题,提出一种基于Bi-GRU和外部注意网络的会话推荐模型(SR-BGEAN)。该模型首次将外部注意机制引入会话推荐任务中,并结合Bi-GRU进行建模,同时捕获会话内物品双向顺序信息和会话样本间全局信息,形成最终的兴趣表示。在Diginetica和Yoochoose数据集上的实验结果表明,相对最优的基线模型,SR-BGEAN模型在推荐的前20个项目中的命中率更高,可达到71.50%。     

基于记忆的注意力图神经网络专家推荐方法

在问答社区专家推荐算法中,图神经网络主要利用问答社区中用户与问题的交互关系建模,其模型性能取决于交互数据的稠密度,难以对无交互信息的用户及问题进行有效表示学习.针对这一问题,提出了一个基于记忆的注意力图神经网络专家推荐方法.该方法首先设计了面向用户多维特征的联合表示子网络,然后构建了一个记忆网络,为每个问题保存用户回答...     

融合注意力机制的QRNN语音增强方法

为在保障网络训练速度的基础上进一步提高语音增强性能,提出一种融合注意力(Atten-tion)机制的准循环神经网络(QRNN)语音增强方法.通过QRNN序列信息并行计算的特性保证网络的训练速度,将Attention机制重新赋予权重的含噪语音序列作为QRNN层的输入,使网络更加关注目标语音序列信息,以提高语音增强模型的性...     

基于RCBAM和SSD的特征融合低照度环境目标检测算法研究

针对低光照、雨雾等恶劣场景对智能驾驶视觉系统检测能力的影响,提出了一种雷达与相机特征融合的网络模型. 基于毫米波雷达信息和注意力模型构建了雷达注意力机制特征模块,该模块可以为特征融合网络提供一个先验信息和增加算法在目标候选区域权重. 测试结果表明,引入雷达注意力机制模块后,特征融合网络的目标检测性能要比仅依赖计算机视觉的检测性能有了明显的提升,并且在复杂场景下的目标检测鲁棒性更强.      

基于策略记忆的深度强化学习序列推荐算法研究

推荐系统旨在从用户-项目的交互中进行建模,为用户推荐感兴趣的内容,从而提高用户体验.然而大多数用户-项目的序列并不总是顺序相关的,而是有更灵活的顺序甚至存在噪声.为解决这一问题,提出一种基于策略记忆的深度强化学习序列推荐算法,该算法将用户的历史交互存入记忆网络,使用一个策略网络将用户当前的行为模式更细致地划分为短期偏好...     

基于BiLSTM-Attention的电商评论情感分析

为了更加准确的对电商评论中的文本信息进行情感分析,提出了一种融合注意力机制与双向长短期神经网络(LSTM)的混合模型结构。首先,利用长短期记忆神经网络对于时序序列结构的分析,充分挖掘句子中的潜在信息,有效克服长期遗忘的问题,然后通过注意力机制的使用能够对句子中不同特征分配权重,对于句子中倾向于用户情感的特征信息进行关注,有效改善识别效率。通过在有标签的京东某手机评论数据集上的实验,表明该方法在该领域具有良好的性能。     

基于兴趣和专业度建模的CQA专家发现方法

现有问答社区专家发现方法通过学习用户解答的问题序列单向信息建模用户兴趣，忽略了用户兴趣的波动性，对于解答过较少问题的用户建模准确度将受到影响，此外，未考虑历史回答与问题的语义相关性对评估用户表现的作用。论文提出基于兴趣和专业度建模的CQA专家发现方法，首先，使用BERT4Rec学习用户近期解答的问题序列双向信息得到近期动态兴趣表示；其次，构建用户社交网络，使用DeepWalk算法学习网络结构特征，得到用户长期兴趣表示；再次，构建用户专业度评估网络，依据用户回答与问题的语义相关性及反馈信息计算权重，对相应问题进行加权，引入注意力机制，重点关注用户在与新问题相近问题上的表现，得到用户专业度表示；最后，综合用户近期动态兴趣、长期兴趣和专业度表示与新问题进行匹配打分，为新问题找出有意愿接受邀请并能提供优质回答的用户。实验表明，该方法取得了较好表现，较基线方法在英语、3D打印和天涯问答数据集的MRR评价指标上分别提升了5.2%、2.7%、16.1%。     

基于注意力机制的车辆行为预测

为了解决智能驾驶场景中对周边车辆未来行为的预测问题,研究了基于注意力机制的长短时记忆网络(LSTM)模型的车辆行为预测方法.首先提出了一种非均匀步长的时间序列数据划分方法,将属于特定行为的车辆时序信息进行分类;以LSTM为基本的神经网络框架,用注意力机制判断输入时序信息中各个时间步信息的重要程度,分配不同的权重值;以目标车辆及其周边车辆的历史轨迹信息作为算法输入,用来预测目标车辆将来的运动行为.结果表明:该算法可以解决固定步长的时序分类方法导致的信息遗漏或计算资源负担增加的问题,同时能够有效提高行为预测准确性,减少车辆行为预测时间.