基于评分与文本融合的多注意力跨域推荐算法

为解决在目标领域推荐过程中用户与物品交互数据的稀疏性问题,提出一种新的跨域推荐模型。将辅助领域中的知识迁移到目标域中,基于前馈神经网络分别获得评分信息与评论文本信息的域独有特征;通过采用基于神经网络的特征提取器与基于向量嵌入的域鉴别器融合后的对抗模型,获得评分信息与评论文本信息的域共享特征;再基于多层注意力机制将域独有特征与域共享特征进行融合,从而获得用户对物品的兴趣度。研究结果表明：对于两种经典的推荐评价性能指标,所提出的模型在Amazon数据集上可以获得更好的推荐性能。     

基于自注意力机制的TransNet推荐模型

在神经网络的推荐模型基础上引入自注意力机制,提出一种改进的基于自注意力机制TransNet推荐模型SATransNet。SATransNet模型使用卷积神经网络提取评论特征,通过自注意力神经网络自动学习特征内部的依赖关系,由依赖关系来决定需要关注的特征,从而解决数据表达能力不足的缺陷。本文在不同数据集上进行了实验比较与分析,SATransNet推荐模型在不同数据集上的预测评分较好,均方误差总体呈优。与基于注意力机制的推荐模型相比,SATransNet推荐模型的归一化折损累计增益均有提升,具有较好的预测评分效果和推荐相关性。     

基于邻域自适应注意力的跨域融合语音增强

基于深度学习的语音增强方法可分为时域方法和频域方法两类,这两类方法各有优点.为了综合利用时、频两域方法的优点,提出了基于邻域自适应注意力的跨域融合语音增强模型.该模型能够同时对输入的波形和频谱进行增强,并对时域和频域的增强结果进行跨域融合得到最终增强结果.为了利用时域增强结果与频域增强结果的信息互补特性,提出使用信息交流模块来实现两域增强结果的互补提升.为了提高时域增强模型与频域增强模型的特征提取能力,充分利用时域和频域的信号特点,进一步提出了邻域自适应注意力模块.该模块依据输入信息自适应选择汇聚具有不同邻域窗口的局部自注意力模块,进而高效利用不同尺度下的平稳特征.实验结果表明,所提邻域自适应注意力模块和时频域的信息交流与融合模块,可有效利用波形与频谱的互补特性,进一步提升增强效果.     

融合用户兴趣度的基于自注意力的序列推荐模型

序列推荐试图利用用户的连续行为、用户偏好、物品流行度以及用户和项目之间的交互动作进行建模,传统的马尔科夫链(MC)、递归神经网络(RNN)和基于自注意力的模型已被大量应用于序列推荐,但它们只是将交互历史假设成有序序列,忽略各个交互之间的时间间隔,也不考虑序列中项目之间交互的可能性存在大小关系以及用户对项目的兴趣度可能随着时间推移而发生变化。文中对基于时间间隔感知自注意力的序列推荐模型TiSASRec进行优化,提出了考虑到用户对项目的兴趣度会发生变化的改进模型TiSeqRec,该模型基于TiSASRec,进一步捕获用户整体偏好和局部偏好,并使用一致性感知门控网络将两种偏好智能结合,预测下一项的内容。通过大量的实验验证了TiSeqRec模型在稀疏、密集数据集和不同的评价指标上都优于已有的最新的序列推荐模型。     

基于自监督学习的序列推荐算法

针对现有序列推荐算法易受数据稀疏影响以及对用户短期动态偏好建模不充分的问题,提出基于自监督学习的序列推荐算法。针对短期序列中的原始项目关系更易受到随机数据增强破坏的问题,对长短期序列使用不同的数据增强方法来构建更有效的自监督信号;利用对比式自监督学习框架对用户长期偏好和短期偏好进行多任务联合建模;针对现有自注意力机制无法建模序列中项目相对位置关系的问题,将自然语言处理领域中的解耦注意力机制引入到用户短期偏好学习过程中,充分捕获用户短期序列中项目的相对位置信息。实验结果证明了所提算法的有效性。     

基于压缩-激励网络双塔模型的卷烟推荐算法

采用压缩和激励网络(squeeze and excitation network, SENET)构建双塔推荐模型,针对卷烟消费推荐问题进行了研究.基于长期采集的包含用户、商品和历史交互信息的数据集,使用SENET双塔推荐模型对该数据集进行建模,以预测用户的卷烟消费行为.实验结果表明,基于SENET双塔构架的卷烟消费推荐模型在消费者与产品间的交互信息获取上具有优势;与传统的推荐算法相比,SENET双塔推荐模型具有更好的推荐效果.     

基于双层注意力机制的联合深度推荐模型

许多电子商务网站中存在用户编写的大量评论信息,大部分推荐系统虽然利用了评论信息,但仅从单词级别而不是评论级别来评估评论的重要性。如果只考虑评论中的重要单词,而忽略了真正有用的评论,则会降低推荐模型的性能。基于此,文中提出了一种基于双层注意力机制的联合深度推荐模型(DLALSTM)。该模型首先利用双向长短期记忆网络(BiLSTM)分别对用户和项目评论进行词以及评论级别联合建模,并通过两层注意力机制聚合为评论表示和用户/项目表示,然后把从评论中学习的用户和项目的潜在表示融入由评分矩阵得到的用户偏好和项目特征,实现评分预测。采用文中模型在Yelp和亚马逊的不同领域数据集上进行实验评估,并与常用的推荐方法进行比较,发现文中提出的模型性能超过目前常用的推荐方法,同时该模型能够缓解数据稀疏问题,且具有较好的可解释性。     

结合协同过滤与隐语义模型的视频推荐策略

观看视频已逐渐成为人们休闲娱乐方式之一,但视频网站却面临着如何从用户的需求出发更好地推荐视频资源的困惑.传统的协同过滤算法仅通过用户之间的相似度来建立对物品的兴趣关系,忽略了用户行为所带来的隐含信息以及物品之间的分类信息.因此本文在传统协同过滤算法的基础上融合了隐语义模型进行推荐,借助隐语义模型增加推荐结果的多样性,并借助协同过滤算法保证推荐的及时性,通过两种算法的融合能够有效地提高推荐的多样性并保证推荐的性能.     

基于会话的双层注意力机制新闻推荐方法

随着新闻信息的爆炸式增长,个性化新闻推荐对用户快速找到感兴趣的新闻变得非常重要.基于会话的推荐旨在根据用户的行为序列向用户推荐下一个可能感兴趣的项目.但是,现有方法大都忽略了会话内用户阅读行为的随机性和偶然性,难以捕捉用户的主要兴趣,或者将用户会话视为单个序列,忽视了用户兴趣在不同会话之间的演变和关联.文中提出了一种基...     

基于双编码器的会话型推荐模型

针对现有会话型推荐模型难以准确捕获物品间全局依赖的问题,提出了一种基于双编码器的会话型推荐模型(SR-BE)。该双编码器由基于自注意力网络的全局编码器和基于图神经网络的局部编码器组成,无论被浏览物品之间的时间间隔长还是短,全局编码器都能够利用注意力机制自适应地捕获被浏览物品之间的全局依赖,并将其编码为全局隐向量。为弥补自注意力网络没有结构信息而难以捕获邻近物品间局部依赖的不足,在局部编码器中,首先将会话序列构建成会话图,然后通过图神经网络在会话图上捕获邻近物品间的局部依赖,并将其编码为局部隐向量。最后将从双编码器得到的全局隐向量和局部隐向量线性组合为会话表示,再通过预测层解码会话表示得到每个候选物品被点击的概率。实验结果表明:将基于自注意力网络的全局编码器与基于图神经网络的局部编码器结合在一起,比单一地使用全局编码器或局部编码器在命中率上分别提高了3.11%和6.55%。通过与同类模型客观定量比较,SR-BE模型在两个公开数据集上取得了突出的效果,表明该模型有效、可行。     

一种基于通道域自注意力的特征图剪枝方法

同时保证网络剪枝方法的准确率和稳定性,提出一种基于通道域自注意力的特征图剪枝方法。该方法采用主成分分析（principle component analysis, PCA）算法降低噪声干扰,引入通道域注意力为特征图自动分配不同权重,移除低权重通道的滤波器,并对网络进行重训练和精调,以减少网络精度损失。在公开数据集上对VGG 16网络模型展开的实验表明,当剪枝率为60%时,达到视觉几何组模型Top 5的准确率为8923%;当剪枝率逐渐增加到80%时,仍保持73%准确率。相较于同类方法,本文提出的方法更能保证剪枝时模型的准确率和稳定性。     

基于图注意力网络的多行为推荐算法

现有的多行为推荐系统未有效利用不同层次的图传播信息,难以捕获用户不同行为的影响。为解决此问题,文章提出了一种基于图注意力网络的多行为推荐模型(GABR)：首先,采用小批量采样节点嵌入方法聚合同一行为类型交互的邻域节点,以提高特征表示效率;接着,采用注意力机制学习不同行为类型的影响系数,以进一步融合节点特征;然后,合并多层用户和项目表示,以有效利用不同层次的图传播信息;最后,将已交互的用户-项目对和随机采样未交互过的用户-项目对作为正负样本对来训练目标模型,以优化模型性能。为验证模型推荐性能,在3个真实数据集(Yelp、Scholat、Beibei)上与现有9种推荐模型进行对比。实验结果表明GABR模型能够有效利用融合了不同行为类型影响系数的多层图传播信息,更好地预测用户偏好：在3个真实数据集上,与目前最佳的基线模型(GNMR)相比,GABR模型的HR、NDCG平均提高了1.73%、2.43%。     

基于自注意力机制与BiLSTM的短文本匹配模型

现有短文本匹配方法更多关注于句子之间的交互方式,而较少考虑短文本自身关键特征的提取,为此本文提出一个融合自注意力机制和双向长短期记忆网络(BiLSTM)的短文本匹配模型。首先利用BiLSTM和自注意力机制进行特征编码,通过残差连接缓解信息丢失问题;然后利用双向注意力网络进行特征交叉,得到考虑了两个短文本之间交互影响的编码形式;最后将自注意力编码与双向注意力编码进行拼接,既能保留句子本身的重要特征,又能得到交互的特征信息。在两个公开数据集Quora和MRPC上进行对比实验,结果表明,该模型能有效改善短文本匹配性能,特别是在Quora数据集上的准确率达到87.59%,明显优于其他6种常见的同类模型。     

基于记忆的注意力图神经网络专家推荐方法

在问答社区专家推荐算法中,图神经网络主要利用问答社区中用户与问题的交互关系建模,其模型性能取决于交互数据的稠密度,难以对无交互信息的用户及问题进行有效表示学习.针对这一问题,提出了一个基于记忆的注意力图神经网络专家推荐方法.该方法首先设计了面向用户多维特征的联合表示子网络,然后构建了一个记忆网络,为每个问题保存用户回答...     

融合注意力机制的群组推荐研究

现有群组推荐方法在偏好融合时大多采用预定义策略,这种静态方法忽略了群组间用户的交互,难以对复杂的决策过程进行建模,从而影响推荐效果。针对该问题,提出了一种基于注意力机制的群组推荐方法,使用注意力机制获取群组中每个用户对其他用户的注意力权重,为群组选出一个决策者,以此来模拟群组中用户的交互,再根据用户的加权偏好为群组推荐项目。通过在CAMRa2011和MovieLens1M数据集上与基线方法的对比可知,该方法在命中率和归一化折扣累计增益方面都有较大提高。     

基于特征自干扰与像素注意力机制的道路分割网络

主流网络在提取图片特征过程中易受其他目标干扰导致特征鲁棒性降低,而现有的基于噪声抗干扰机制有着伪特征与真实特征相似度不高这一劣势;注意力机制的运用可以提升道路场景特征的空间上下文关系从而增强特征的抗干扰能力,但现有的注意力机制缺乏像素级的特征筛选。针对上述问题提出了基于图像特征自干扰与像素注意力机制的道路分割网络,该网络分为主干分割网络和特征自干扰网络两部分,主干的分割网络包含像素注意力模块,可实现真实特征的提取和像素级的增强;自干扰网络输入原始图像随机裁剪和插值放大后得到的局部图生成伪特征,此外提出了融合模块用于实现伪特征与真实特征的融合并对主分割网络中间特征进行干扰。在KITTI和Cityscapes道路数据库上的实验表明：基于图像特征自干扰与像素注意力机制的分割方法与DeepLab V3分割方法相比,在KITTI数据集上的分割精度由88.02%提升至90.55%,在Cityscapes数据集上的分割精度由87.15%提升至90.16%。     

基于注意力模型的多模态特征融合雷达知识推荐

为了能够在数量庞大的雷达技术资料中快速准确地找到科研人员感兴趣的雷达知识信息并进行推荐,提出了一种基于注意力模型的多模态特征融合雷达知识推荐方法,学习高层次的雷达知识的多模态融合特征表示,进而实现雷达知识推荐.该方法主要包括数据预处理、多模态特征提取、多模态特征融合和雷达知识推荐4个阶段.实验结果表明:与只利用单一模态特征以及简单串联多模态特征的方法相比,利用文中方法学习到的多模态融合特征进行雷达知识推荐,推荐结果的准确率、召回率和综合评价指标(F1值)均有显著提高,表明提出的基于注意力模型的多模态特征融合方法对于知识推荐任务更加有效,体现了算法的优越性.     

基于注意力机制的机器阅读理解模型研究

机器阅读理解是自动问答领域的重要研究.随着深度学习技术发展,机器阅读理解已逐渐成为实现智能问答的技术支撑.注意力机制能够作为机器阅读理解中抽取文章相关信息而被广泛应用.文章总结了注意力机制发展历程发展原理以及在机器阅读理解模型中的使用方法：(1)介绍注意力机制的衍生过程及其原理;(2)阐述三种注意力机制在机器阅读理解模型中的作用;(3)对三种方法进行对比分析;(4)对注意力机制在机器阅读理解领域的应用进行总结展望.注意力机制可以帮助模型提取重要信息,能够使模型做出更加准确的判断,从而更广泛地运用于机器阅读理解的各项任务中.     

运用上下文增强和分层注意力机制的社交推荐

针对现有方法在建模用户、项目及其上下文特征上与社交网络耦合程度低,且没有充分挖掘社交信息中其他细粒度特征的问题,提出一种基于上下文增强和分层注意力机制的社交推荐模型(context enhancement and hierarchical attention mechanism social recommendation, CEHA-SR)。针对社交网络用户间关系所具有的图结构性质,该模型以图神经网络为框架,对社交信息、用户-项目-类别信息使用分层的注意力机制从不同层面的特征进行充分建模,并自适应得到不同特征之间的关系权重。在Ciao-28和Epinions-27两个真实数据集上的验证表明,该模型的均方根误差和平均绝对误差比经典的图神经网络社交推荐模型(GraphRec)分别降低了约3.63%、4.13%和4.33%、4.12%。     

基于自注意力机制的网络流量异常检测方法

网络中异常流量的有效检测对网络安全至关重要.以机器学习方法为主的异常流量检测技术,对流量数据采用特征选择方法进行降维并提取最优特征,但容易忽略数据特征之间的关联性,存在异常流量的检测率低、误报率高等问题.为了提高异常流量检测性能,论文在提取流量数据特征的过程中引入自注意力机制进行相关性学习,并结合深度卷积神经网络提出一种有效的网络流量异常检测模型.实验结果表明：通过引入自注意力机制,论文所提出的检测方法能够提取更准确的流量特征,并使得异常流量检测率高、误报率低.