基于卷积神经网络和自注意力机制的文本分类模型

单词级别的浅层卷积神经网络(CNN)模型在文本分类任务上取得了良好的表现.然而,浅层CNN模型由于无法捕捉长距离依赖关系,影响了模型在文本分类任务上的效果.简单地加深模型层数并不能提升模型的效果.本文提出一种新的单词级别的文本分类模型Word-CNN-Att,该模型使用CNN捕捉局部特征和位置信息,利用自注意力机制捕捉长距离依赖.在AGNews、DBPedia、Yelp Review Polarity、Yelp Review Full、Yahoo! Answers等5个公开的数据集上,Word-CNN-Att比单词级别的浅层CNN模型的准确率分别提高了0.9%、0.2%、0.5%、2.1%、2.0%.     

基于会话的双层注意力机制新闻推荐方法

随着新闻信息的爆炸式增长,个性化新闻推荐对用户快速找到感兴趣的新闻变得非常重要.基于会话的推荐旨在根据用户的行为序列向用户推荐下一个可能感兴趣的项目.但是,现有方法大都忽略了会话内用户阅读行为的随机性和偶然性,难以捕捉用户的主要兴趣,或者将用户会话视为单个序列,忽视了用户兴趣在不同会话之间的演变和关联.文中提出了一种基...     

基于双塔隐语义与自注意力的跨域推荐模型

为缓解跨域推荐数据稀疏与冷启动问题,该文提出一种融和双塔隐语义与自注意力机制的跨域推荐模型(DLLFM-DA/Self atten CDR model, DLDASA),能够有效提升目标域推荐准确率.首先利用提出的双塔隐语义模型(DLLFM),借助源域和目标域用户的类别偏好和项目类别,生成高质量隐语义;其次,在隐语义特征迁移过程中引入域适应(domain adaptation),有效对齐源域与目标域的特征分布,最小化源域与目标域间数据分布差异,提供更高质量的隐语义特征迁移;然后利用多头自注意力机制捕捉两个域之间的差异性与相关性,对差异信息进行筛选与融合,缓解负迁移问题,以提升跨域推荐质量;最后,在Movielens-Netflix和一品威客(YPWK)-猪八戒网(ZBJW)真实数据集上,将DLDASA与基线单域和跨域推荐模型进行对比实验,结果表明,均方根误差(RMSE)和平均绝对误差(MAE)均有明显改善.该研究验证了DLDASA模型能够更充分地提取用户特征,有效缓解目标域信息不足的问题.     

融合用户兴趣度的基于自注意力的序列推荐模型

序列推荐试图利用用户的连续行为、用户偏好、物品流行度以及用户和项目之间的交互动作进行建模,传统的马尔科夫链(MC)、递归神经网络(RNN)和基于自注意力的模型已被大量应用于序列推荐,但它们只是将交互历史假设成有序序列,忽略各个交互之间的时间间隔,也不考虑序列中项目之间交互的可能性存在大小关系以及用户对项目的兴趣度可能随着时间推移而发生变化。文中对基于时间间隔感知自注意力的序列推荐模型TiSASRec进行优化,提出了考虑到用户对项目的兴趣度会发生变化的改进模型TiSeqRec,该模型基于TiSASRec,进一步捕获用户整体偏好和局部偏好,并使用一致性感知门控网络将两种偏好智能结合,预测下一项的内容。通过大量的实验验证了TiSeqRec模型在稀疏、密集数据集和不同的评价指标上都优于已有的最新的序列推荐模型。     

基于改进FM算法和注意力机制的深度点击率预估模型

针对目前的广告点击率预估模型未能充分学习低阶特征且忽略了不同高阶特征对模型准确率的影响不同的问题,提出了一种基于注意力机制和深度学习的点击率预估模型.该模型采用改进因子分解机(Factorization machine,FM)算法,将全息简化表示(Holographic reduced representation,H...     

基于评分与文本融合的多注意力跨域推荐算法

为解决在目标领域推荐过程中用户与物品交互数据的稀疏性问题,提出一种新的跨域推荐模型。将辅助领域中的知识迁移到目标域中,基于前馈神经网络分别获得评分信息与评论文本信息的域独有特征;通过采用基于神经网络的特征提取器与基于向量嵌入的域鉴别器融合后的对抗模型,获得评分信息与评论文本信息的域共享特征;再基于多层注意力机制将域独有特征与域共享特征进行融合,从而获得用户对物品的兴趣度。研究结果表明：对于两种经典的推荐评价性能指标,所提出的模型在Amazon数据集上可以获得更好的推荐性能。     

融合注意力机制的群组推荐研究

现有群组推荐方法在偏好融合时大多采用预定义策略,这种静态方法忽略了群组间用户的交互,难以对复杂的决策过程进行建模,从而影响推荐效果。针对该问题,提出了一种基于注意力机制的群组推荐方法,使用注意力机制获取群组中每个用户对其他用户的注意力权重,为群组选出一个决策者,以此来模拟群组中用户的交互,再根据用户的加权偏好为群组推荐项目。通过在CAMRa2011和MovieLens1M数据集上与基线方法的对比可知,该方法在命中率和归一化折扣累计增益方面都有较大提高。     

融合图注意力网络和注意力因子分解机的服务推荐方法

为了解决服务推荐过程中的特征稀疏问题、提高服务的语义表示能力,进而提升推荐的准确性和有效性,提出基于图注意力网络(graph attention networks,GAT)研究服务推荐方法,引入服务的组合权重和组合的结构信息,综合利用多种服务特征,提高服务推荐质量。将GAT和注意力因子分解机(attention factorization machine,AFM)结合在一起,利用多头自注意力机制,学习每个节点在图邻域中的重要性;进行信息聚合,处理网络中的不同图结构,以适应服务动态变化的场景。 实验结果显示,在数据平衡的情况下,提出的方法性能表现均好于对比方法;在数据不平衡的情况下,提出的方法大部分性能指标也表现良好,达到了提升服务推荐准确性和有效性的目标。     

运用上下文增强和分层注意力机制的社交推荐

针对现有方法在建模用户、项目及其上下文特征上与社交网络耦合程度低,且没有充分挖掘社交信息中其他细粒度特征的问题,提出一种基于上下文增强和分层注意力机制的社交推荐模型(context enhancement and hierarchical attention mechanism social recommendation, CEHA-SR)。针对社交网络用户间关系所具有的图结构性质,该模型以图神经网络为框架,对社交信息、用户-项目-类别信息使用分层的注意力机制从不同层面的特征进行充分建模,并自适应得到不同特征之间的关系权重。在Ciao-28和Epinions-27两个真实数据集上的验证表明,该模型的均方根误差和平均绝对误差比经典的图神经网络社交推荐模型(GraphRec)分别降低了约3.63%、4.13%和4.33%、4.12%。     

基于双层注意力机制的联合深度推荐模型

许多电子商务网站中存在用户编写的大量评论信息,大部分推荐系统虽然利用了评论信息,但仅从单词级别而不是评论级别来评估评论的重要性。如果只考虑评论中的重要单词,而忽略了真正有用的评论,则会降低推荐模型的性能。基于此,文中提出了一种基于双层注意力机制的联合深度推荐模型(DLALSTM)。该模型首先利用双向长短期记忆网络(BiLSTM)分别对用户和项目评论进行词以及评论级别联合建模,并通过两层注意力机制聚合为评论表示和用户/项目表示,然后把从评论中学习的用户和项目的潜在表示融入由评分矩阵得到的用户偏好和项目特征,实现评分预测。采用文中模型在Yelp和亚马逊的不同领域数据集上进行实验评估,并与常用的推荐方法进行比较,发现文中提出的模型性能超过目前常用的推荐方法,同时该模型能够缓解数据稀疏问题,且具有较好的可解释性。     

基于双编码器的会话型推荐模型

针对现有会话型推荐模型难以准确捕获物品间全局依赖的问题,提出了一种基于双编码器的会话型推荐模型(SR-BE)。该双编码器由基于自注意力网络的全局编码器和基于图神经网络的局部编码器组成,无论被浏览物品之间的时间间隔长还是短,全局编码器都能够利用注意力机制自适应地捕获被浏览物品之间的全局依赖,并将其编码为全局隐向量。为弥补自注意力网络没有结构信息而难以捕获邻近物品间局部依赖的不足,在局部编码器中,首先将会话序列构建成会话图,然后通过图神经网络在会话图上捕获邻近物品间的局部依赖,并将其编码为局部隐向量。最后将从双编码器得到的全局隐向量和局部隐向量线性组合为会话表示,再通过预测层解码会话表示得到每个候选物品被点击的概率。实验结果表明:将基于自注意力网络的全局编码器与基于图神经网络的局部编码器结合在一起,比单一地使用全局编码器或局部编码器在命中率上分别提高了3.11%和6.55%。通过与同类模型客观定量比较,SR-BE模型在两个公开数据集上取得了突出的效果,表明该模型有效、可行。     

基于图注意力网络的多行为推荐算法

现有的多行为推荐系统未有效利用不同层次的图传播信息,难以捕获用户不同行为的影响。为解决此问题,文章提出了一种基于图注意力网络的多行为推荐模型(GABR)：首先,采用小批量采样节点嵌入方法聚合同一行为类型交互的邻域节点,以提高特征表示效率;接着,采用注意力机制学习不同行为类型的影响系数,以进一步融合节点特征;然后,合并多层用户和项目表示,以有效利用不同层次的图传播信息;最后,将已交互的用户-项目对和随机采样未交互过的用户-项目对作为正负样本对来训练目标模型,以优化模型性能。为验证模型推荐性能,在3个真实数据集(Yelp、Scholat、Beibei)上与现有9种推荐模型进行对比。实验结果表明GABR模型能够有效利用融合了不同行为类型影响系数的多层图传播信息,更好地预测用户偏好：在3个真实数据集上,与目前最佳的基线模型(GNMR)相比,GABR模型的HR、NDCG平均提高了1.73%、2.43%。     

基于记忆的注意力图神经网络专家推荐方法

在问答社区专家推荐算法中,图神经网络主要利用问答社区中用户与问题的交互关系建模,其模型性能取决于交互数据的稠密度,难以对无交互信息的用户及问题进行有效表示学习.针对这一问题,提出了一个基于记忆的注意力图神经网络专家推荐方法.该方法首先设计了面向用户多维特征的联合表示子网络,然后构建了一个记忆网络,为每个问题保存用户回答...     

基于自监督学习的序列推荐算法

针对现有序列推荐算法易受数据稀疏影响以及对用户短期动态偏好建模不充分的问题,提出基于自监督学习的序列推荐算法。针对短期序列中的原始项目关系更易受到随机数据增强破坏的问题,对长短期序列使用不同的数据增强方法来构建更有效的自监督信号;利用对比式自监督学习框架对用户长期偏好和短期偏好进行多任务联合建模;针对现有自注意力机制无法建模序列中项目相对位置关系的问题,将自然语言处理领域中的解耦注意力机制引入到用户短期偏好学习过程中,充分捕获用户短期序列中项目的相对位置信息。实验结果证明了所提算法的有效性。     

基于注意力机制结合CNN-BiLSTM模型的电子病历文本分类

为了解决中文电子病历文本分类的高维稀疏性、算法模型收敛速度较慢、分类效果不佳等问题,提出了一种基于注意力机制结合CNN-BiLSTM模型的病历文本分类模型。该模型首先使用word2vec工具进行词向量表示,利用多层卷积神经网络(convolutional neural networks, CNN)结构提取病历文本的局部特征,通过拼接操作丰富局部特征表示,再利用双向长短期记忆网络(bi-directional long short-term memory, BiLSTM)提取上下文的语义关联信息,获取句子级别的高层特征表达。最后通过Attention机制进行特征加权,降低噪声特征的影响,并输入softmax层进行分类。在多组对比实验的实验结果表明,该模型取得了97.85%的F₁,有效地提升了文本分类的效果。     

基于注意力模型的多模态特征融合雷达知识推荐

为了能够在数量庞大的雷达技术资料中快速准确地找到科研人员感兴趣的雷达知识信息并进行推荐,提出了一种基于注意力模型的多模态特征融合雷达知识推荐方法,学习高层次的雷达知识的多模态融合特征表示,进而实现雷达知识推荐.该方法主要包括数据预处理、多模态特征提取、多模态特征融合和雷达知识推荐4个阶段.实验结果表明:与只利用单一模态特征以及简单串联多模态特征的方法相比,利用文中方法学习到的多模态融合特征进行雷达知识推荐,推荐结果的准确率、召回率和综合评价指标(F1值)均有显著提高,表明提出的基于注意力模型的多模态特征融合方法对于知识推荐任务更加有效,体现了算法的优越性.     

基于注意力机制的机器阅读理解模型研究

机器阅读理解是自动问答领域的重要研究.随着深度学习技术发展,机器阅读理解已逐渐成为实现智能问答的技术支撑.注意力机制能够作为机器阅读理解中抽取文章相关信息而被广泛应用.文章总结了注意力机制发展历程发展原理以及在机器阅读理解模型中的使用方法：(1)介绍注意力机制的衍生过程及其原理;(2)阐述三种注意力机制在机器阅读理解模型中的作用;(3)对三种方法进行对比分析;(4)对注意力机制在机器阅读理解领域的应用进行总结展望.注意力机制可以帮助模型提取重要信息,能够使模型做出更加准确的判断,从而更广泛地运用于机器阅读理解的各项任务中.     

一种基于自注意力机制的文本图像生成对抗网络

图像自动生成一直以来都是计算机视觉领域的一项重要挑战,其中的文本到图像的生成更是图像生成领域的重要分支。随着深度学习技术迅猛发展,生成对抗网络的出现使得图像生成领域焕发生机,借助生成对抗网络能够生成较为生动且多样的图像。本文将自注意力机制引入生成对抗网络,提出GAN-SelfAtt以提升生成图像的质量。同时,使用WGAN、WGAN-GP 2种生成对抗网络框架对GAN-SelfAtt进行实现。实验结果表明,自注意力机制的引入能够提高生成图像的清晰度,这归功于自注意力机制弥补了卷积运算中只能计算局部像素区域内的相关性的缺陷。除此之外,GAN-SelfAtt在训练时有着更好的稳定性,避免了原始生成对抗网络中的模式坍塌问题。     

一种基于产品方面的神经网络推荐模型

提出一种端到端的基于产品方面的神经网络推荐模型。该模型利用产品方面标签注意力机制,建模了用户偏好和项目特性之间的联系,并对用户和项目采用方面级别的表示,模拟用户与项目间的细粒度交互过程,从而获得更精确和更具解释性的推荐结果。在COAE中文汽车领域数据集和Yelp基准数据集上分别进行实验,结果表明,所提模型的性能明显优于ANR和NARRE模型。