面向强化当前兴趣的图神经网络推荐算法研究

在基于会话的推荐中，与传统序列建模相比，将会话序列建模为图结构在该领域表现得更为出色。但是，现有的研究方法仅利用图结构来挖掘项目之间转换特性，以此捕获用户当前兴趣的能力有限。本文提出一种面向强化当前兴趣的图神经网络推荐算法，通过引入位置嵌入，并与图神经网络相结合，从而互补顺序感知模型和图形感知模型的优势。会话序列被建模为图结构，并取原始序列的最后一次点击，通过多头注意力机制计算其对图节点信息的注意力权重，以更加准确地获取用户当前兴趣的表示。同时，在2个真实的数据集上进行验证实验，结果表明本文提出的方法实现了所有方法的最佳性能，特别是在Diginetica数据集上，所有评价指标都提升了7%以上，MRR@10指标甚至提升了9.52%,证明本文所提方法对基于会话推荐的正确性和有效性。     

基于自注意力机制的TransNet推荐模型

在神经网络的推荐模型基础上引入自注意力机制，提出一种改进的基于自注意力机制TransNet推荐模型SATransNet。SATransNet模型使用卷积神经网络提取评论特征，通过自注意力神经网络自动学习特征内部的依赖关系，由依赖关系来决定需要关注的特征，从而解决数据表达能力不足的缺陷。本文在不同数据集上进行了实验比较与分析，SATransNet推荐模型在不同数据集上的预测评分较好，均方误差总体呈优。与基于注意力机制的推荐模型相比，SATransNet推荐模型的归一化折损累计增益均有提升，具有较好的预测评分效果和推荐相关性。     

融合多源图信息的图神经网络会话推荐算法

现有的基于图神经网络的会话推荐算法通过将会话序列构筑为图形结构捕捉项目转换关系,能够有效提高推荐性能.然而多数图神经网络及其改进模型在建模会话时仅考虑会话序列中项目的单次转换关系,忽略了会话中包含的大量有效信息,同时缺乏对项目间隐藏关联性的分析.因此提出融合多源图信息的图神经网络会话推荐算法.将用户重复行为信息,项目内容关联信息纳入到会话图建模过程当中,有效提取项目更深层次的复杂转换关系,并通过线性转换进行聚合.此外采用外部注意力机制辅助获取会话序列项目隐藏关联信息,使得生成的会话向量在推荐过程中更加精确.在真实数据集Yoochoose和Diginetica上进行实验,实验结果表明该模型优于基准模型,特别地,相较于SR-GNN模型在MRR@20指标上提高了12.50%,能更好地预测用户的下一次点击项目.     

基于注意力卷积神经网络的工作票专家推荐方法

为了更准确地将工作票推荐给具备解决问题能力的系统运维专家,对历史工作票数据进行研究提出基于深度学习的工作票专家推荐算法。首先根据专业熟练度水平和领域知识构建专家能力模型,然后设计卷积神经网络框架,在输入层中引入注意力来提高模型对工作票文本特征提取能力,并度量与专家模型的匹配度,实现以推荐质量为依据的专家推荐。在真实的数据集上进行了实验,结果表明与传统的基于机器学习的推荐方法相比,该方法的准确率提升了6%,引入注意力可以有效学习特征权重。     

从粗粒度到细粒度的神经机器翻译系统推断加速方法

近年来,Transformer模型中多层注意力网络的使用有效提升了翻译模型的译文质量,但同时大量注意力操作的使用也导致模型整体的推断效率相对较低.基于此,提出了从粗粒度到细粒度(coarse-to-fine,CTF)的方法,根据注意力权重中的信息量差异对信息表示进行细粒度压缩,最终达到加速推断的目的.实验发现,在NIST中英和WMT英德翻译任务上,该方法在保证模型性能的同时,推断速度分别提升了13.9%和12.8%.此外,还进一步分析了注意力操作在不同表示粒度下的信息量差异,对该方法的合理性提供支持.     

基于XLNet+BiGRU+Att(Label)的文本分类模型

传统的词向量嵌入模型,如Word2Vec、GloVe等模型无法实现一词多义表达;传统的文本分类模型也未能很好地利用标签词的语义信息。基于此,提出一种基于XLNet+BiGRU+Att(Label)的文本分类模型。首先用XLNet生成文本序列与标签序列的动态词向量表达;然后将文本向量输入到双向门控循环单元(BiGRU)中提取文本特征信息;最后将标签词与注意力机制结合,选出文本的倾向标签词,计算倾向标签词与文本向量的注意力得分,根据注意力得分更新文本向量。通过对比实验,本文模型比传统模型在文本分类任务中的准确率更高。使用XLNet作为词嵌入模型,在注意力计算时结合标签词能够提升模型的分类性能。     

基于CRF和多元规则的层次化句法分析

针对句法分析中细粒度和粗粒度组块识别模型的冲突问题, 为解决句法分析中词语搭配规则多、减少搭配优先级变动的影响, 提出一种结合条件随机场（CRF）和多元规则的层次化句法分析模型. 先利用CRF算法识别细粒度语句的组块标记序列, 然后结合统计和多元规则识别粗粒度组块, 在识别出的组块中层层引入不同优先级的二元、三元规则. 该模型实现了同时进行细粒度和粗粒度组块的识别, 可更好地服务于句法分析. 在Chinese TreeBank8.0（CTB8.0）语料上采用5-折交叉验证, 结果表明, 相比于仅使用二元、 三元规则及使用CRF+二元规则的句法分析, 该模型的正确率分别约提高12%,3%,5%, 验证了该模型有效性和稳定性.     

基于CRF和多元规则的层次化句法分析

针对句法分析中细粒度和粗粒度组块识别模型的冲突问题, 为解决句法分析中词语搭配规则多、减少搭配优先级变动的影响, 提出一种结合条件随机场（CRF）和多元规则的层次化句法分析模型. 先利用CRF算法识别细粒度语句的组块标记序列, 然后结合统计和多元规则识别粗粒度组块, 在识别出的组块中层层引入不同优先级的二元、三元规则. 该模型实现了同时进行细粒度和粗粒度组块的识别, 可更好地服务于句法分析. 在Chinese TreeBank8.0（CTB8.0）语料上采用5-折交叉验证, 结果表明, 相比于仅使用二元、 三元规则及使用CRF+二元规则的句法分析, 该模型的正确率分别约提高12%,3%,5%, 验证了该模型有效性和稳定性.     

基于Bi-GRU和外部注意网络的会话推荐模型

基于会话的推荐系统(SRS)可以根据匿名用户的历史行为序列预测用户的下一个动作。现有推荐模型大都会忽略当前会话与其他会话的潜在相关性,不能捕捉用户的主要意图。为解决该问题,提出一种基于Bi-GRU和外部注意网络的会话推荐模型(SR-BGEAN)。该模型首次将外部注意机制引入会话推荐任务中,并结合Bi-GRU进行建模,同时捕获会话内物品双向顺序信息和会话样本间全局信息,形成最终的兴趣表示。在Diginetica和Yoochoose数据集上的实验结果表明,相对最优的基线模型,SR-BGEAN模型在推荐的前20个项目中的命中率更高,可达到71.50%。     

基于异质网络嵌入的学术论文推荐方法

针对基于异质信息网络推荐中的有效信息提取与利用,提出了一种基于异质网络嵌入的学术论文推荐方法。使用由元路径引导的随机游走策略生成节点序列;对于每个元路径,通过最大化序列中相邻节点的共现概率来学习节点的唯一嵌入表示;设计了不同的融合函数,将节点在多个不同元路径的低维表示融合为异质信息网络的嵌入,并且引入注意力机制应用于推荐系统。该方法解决了大多数基于异质信息网络的推荐方法因依赖于基于路径的相似性而无法完全挖掘用户和项目潜在结构特征的问题,在DBLP数据集中验证了模型的有效性,并在RMSE指标中取得超过传统模型的效果。     

面向点击通过率预测的交互边选择算法研究

点击通过率(click-through rate, CTR)作为推荐系统中必不可少的核心任务分支,提高其预测准确性,既能改善用户的浏览体验,也能为平台增加收益。以往模型在对点击通过率进行建模预测时,保留所有的交互特征存在信息冗余,交互低效等问题。针对这一问题提出了一种面向点击通过率预测的交互边选择模型,通过自动识别冗余信息来动态选择有益的交互特征,主要由交互边选择网络层,图节点相似度注意力层构成。交互边选择网络层引入过滤阈值机制并结合动态关联矩阵来去除冗余信息,图节点相似度注意力层通过学习相似度权重矩阵来解决节点过度平滑问题。在Criteo和Avazu两个公开数据集上的大量实验证明,该模型的预测能力优于已有模型。     

基于多尺度注意力融合的知识追踪方法

互联网的普及使线上教育迅速发展,在缓解教育资源不均衡问题的同时,也为科研人员提供了大量的研究数据.教育数据挖掘是一个新兴学科,通过分析海量数据来理解学生的学习行为,为学生提供个性化学习建议.知识追踪是教育数据挖掘中的重要任务,其利用学生的历史答题序列预测学生下一次的答题表现.已有的知识追踪模型没有区分历史序列中的长期交互信息和短期交互信息,忽略了不同时间尺度的序列信息对未来预测的不同影响.针对该问题,提出一种基于多尺度注意力融合的知识追踪模型,使用时间卷积网络捕获历史交互序列的不同时间尺度信息,并基于注意力机制进行多尺度信息融合.针对不同学生及答题序列,该模型能自适应地确定不同时间尺度信息的重要性.实验结果表明,提出模型的性能优于已有的知识追踪模型.     

基于Transformer的序列生成多标签文本分类

多标签文本分类任务存在难以从文本信息中提取标签关联的判别特征，建立标签相关性困难等问题。现有方法主要采用基于RNN的序列生成模型来建立标签高阶相关性，但缺乏对文本语义信息的充分利用。为此文章提出基于Transformer解码器的序列生成模型，使用标签嵌入作为查询，通过其多头自注意力机制建立标签之间的高阶相关性，并利用多头交叉注意力子层从文本信息中自适应地聚合标签相关的关键特征。文章的注意力权重可视化实验表明，序列生成Transformer在建立标签相关性的同时，能够更全面、更深层次地考虑文本和标签之间的语义相关性。与传统RNN类模型相比，序列生成Transformer在分类任务中兼具有效性和可解释性，并在AAPD和SLASHDOT两个数据集上取得了更优的结果。在AAPD数据集上分别取得了70.49%的Instance-F1值和52.04%的Label-F1值，比以往分类效果最好的set-RNN模型分别高1.44%和1.83%。     

基于多头注意力机制字词联合的中文命名实体识别

针对现有基于字词联合的中文命名实体识别方法会引入冗余词汇干扰、模型网络结构复杂、难以迁移的问题,提出一种基于多头注意力机制字词联合的中文命名实体识别算法.算法采用多头注意力机制融合词汇边界信息,并通过分类融合BIE词集降低冗余词汇干扰.建立了多头注意力字词联合模型,包含字词匹配、多头注意力、融合等模块.与现有中文命名实体识别方法相比,本算法避免了设计复杂的序列模型,方便与现有基于字的中文命名实体识别模型结合.采用召回率、精确率以及F₁值作为评价指标,通过消融试验验证模型各个部分的效果.结果表明,本算法在MSRA和Weibo数据集上F₁值分别提升0.28、0.69,在Resume数据集上精确率提升0.07.     

融入规则信息的神经机器翻译

为了将统计机器翻译技术中的规则信息引入到端到端的神经网络模型中,提出了一种将规则信息转化为近似等价的序列信息的方法.在此基础上,提出了两种融入规则信息的神经机器翻译模型,并在基于注意力机制的循环神经网络(RNN)模型上进行了验证.相对于未融入规则信息的基准模型在美国国家标准与技术研究院(NIST)评测集上的评测结果,上述两种模型的双语互译评估(BLEU)值均有所提高.实验表明,将规则等外部知识融入到神经机器翻译系统中是提升模型翻译质量的一种有效途径.     

融合双重注意力机制的多源深度推荐模型

针对评分数据稀疏导致协同过滤算法推荐质量下降的问题,通过充分挖掘评论信息增强推荐性能,提出了一种融合双重注意力机制的多源深度推荐模型(MSDA)。该模型基于评分数据、用户评论集和商品评论集3个信息源进行推荐,结合卷积神经网络和双重注意力机制挖掘评论文本特征,利用神经因子分解机进行评分和评论特征之间的高阶非线性交互,从而实现评分预测。实验结果表明,相比于NeuMF、NARRE、HRDR等先进基准方法,MSDA显著提升了模型的评分预测性能。     

基于双编码器的会话型推荐模型

针对现有会话型推荐模型难以准确捕获物品间全局依赖的问题,提出了一种基于双编码器的会话型推荐模型(SR-BE)。该双编码器由基于自注意力网络的全局编码器和基于图神经网络的局部编码器组成,无论被浏览物品之间的时间间隔长还是短,全局编码器都能够利用注意力机制自适应地捕获被浏览物品之间的全局依赖,并将其编码为全局隐向量。为弥补自注意力网络没有结构信息而难以捕获邻近物品间局部依赖的不足,在局部编码器中,首先将会话序列构建成会话图,然后通过图神经网络在会话图上捕获邻近物品间的局部依赖,并将其编码为局部隐向量。最后将从双编码器得到的全局隐向量和局部隐向量线性组合为会话表示,再通过预测层解码会话表示得到每个候选物品被点击的概率。实验结果表明:将基于自注意力网络的全局编码器与基于图神经网络的局部编码器结合在一起,比单一地使用全局编码器或局部编码器在命中率上分别提高了3.11%和6.55%。通过与同类模型客观定量比较,SR-BE模型在两个公开数据集上取得了突出的效果,表明该模型有效、可行。     

融合动态兴趣偏好与特征信息的序列推荐

传统的序列推荐通常忽略用户和项目特征信息的重要性,且无法有效对动态的兴趣偏好进行建模.因此,提出融合动态兴趣与特征信息的序列推荐算法.该算法通过对目标项目进行动态兴趣建模,克服兴趣转移带来的影响;同时融合用户和项目特征信息模拟真实的用户行为以提高推荐的性能.首先,针对动态兴趣建模,采用辅助函数应用下一个行为监督上一个隐藏兴趣状态的学习,并采用带注意力机制的门控循环单元为不同的兴趣状态对目标影响程度赋予不同的权重;然后,针对用户和项目特征信息特征融合,采用平凡注意力机制为影响目标项目的特征赋予不同的权重,并通过多头注意力机制进行深层次的特征提取;最后,融合用户动态兴趣表示和用户项目特征表示输入到多层感知机.在Yelp和MovieLens-1M数据集上进行仿真实验,结果表明提出模型的性能比一些基线模型有较好的提升.     

基于会话的独立邻域矩阵偏好交互推荐

通过合并输入和输出邻域矩阵可以使一些工作生成全局和局部偏好,并直接对这2个偏好建模来构建会话表示,从而实现改进。然而,一个会话的输入矩阵和输出矩阵并没有很强的相关性,它们的连接可能会为构建2个偏好引入噪声。其次,全局偏好和局部偏好可以相互促进,且邻域会话的协同信息可能有助于提高推荐性能。因此,一种基于会话的偏好交互推荐被提出,它来自独立的输入邻域矩阵和输出邻域矩阵框架,包括2个并行模块：输入会话表示编码器(ISE)和输出会话表示编码器(OSE)。ISE通过GNN和并行协同注意力机制对具有输入信息的会话表示进行建模。OSE通过GNN和并行协同注意力机制对具有输出信息的会话表示进行建模。最后,引入一种融合门控机制来平衡ISE和OSE产生的会话表示的重要性。结果表明,在Yoochoose和Diginetica数据集上,提出的模型明显优于其他先进的方法。     

基于SKA-Unet的眼底图像视网膜血管自动分割

针对视网膜血管结构复杂，对比度较低及边界模糊等问题，构建了一种改进的Unet模型来自动分割视网膜血管。该算法在Unet基础上引入了选择性内核和注意力机制，通过增加多重感受野得到目标多维度的特征信息，并将注意力集中在最有效的特征中，从而提升网络分割血管的性能。利用网上公开的DRIVE和STARE两个常用眼底图像数据集训练和评估该模型，得到骰子系数、精确度、特异性、灵敏度和准确率分别为86.49%、88.65%、98.82%、84.5%和97.46%。实验结果表明，该算法能有效地分割视网膜血管，获得血管的形态和结构信息，对于诊断和治疗眼底相关疾病具有重要意义。