融合动态兴趣偏好与特征信息的序列推荐

传统的序列推荐通常忽略用户和项目特征信息的重要性,且无法有效对动态的兴趣偏好进行建模.因此,提出融合动态兴趣与特征信息的序列推荐算法.该算法通过对目标项目进行动态兴趣建模,克服兴趣转移带来的影响;同时融合用户和项目特征信息模拟真实的用户行为以提高推荐的性能.首先,针对动态兴趣建模,采用辅助函数应用下一个行为监督上一个隐藏兴趣状态的学习,并采用带注意力机制的门控循环单元为不同的兴趣状态对目标影响程度赋予不同的权重;然后,针对用户和项目特征信息特征融合,采用平凡注意力机制为影响目标项目的特征赋予不同的权重,并通过多头注意力机制进行深层次的特征提取;最后,融合用户动态兴趣表示和用户项目特征表示输入到多层感知机.在Yelp和MovieLens-1M数据集上进行仿真实验,结果表明提出模型的性能比一些基线模型有较好的提升.     

基于多特征融合和深度学习的微观扩散预测

准确地预测社交网络中的信息扩散节点可以对谣言、计算机病毒等不良信息的传播以及信息泄露做到早检测、早溯源和早抑制。为了提高微观扩散预测精度,该文提出了一个基于多特征融合和深度学习的微观信息扩散预测通用框架(MFFDLP)。为了获取信息扩散的时序特征,基于信息扩散序列和社交网络图,采用门控循环神经网络提取局部时序特征和全局时序特征,并融合形成信息扩散序列表征;为了获取用户交互行为和兴趣爱好的动态表示,根据历史信息构建信息扩散图,使用级联图注意力网络提取信息扩散子图中节点特征和边特征,并通过嵌入查找,融合形成当前信息扩散序列中相应节点的动态扩散表征;使用双多头注意力机制,进一步捕获静态和动态扩散特征的上下文信息,实现了高精度微观扩散预测。在3个公共数据集上的对比实验结果表明：所提方法优于对比方法,在微观扩散预测的精度上最高提高了9.98%。     

基于用户行为评估的Hadoop云平台动态访问控制

为解决现有Hadoop云平台访问控制缺乏动态性的问题,提出一种基于用户行为评估的Hadoop云平台动态访问控制模型（DACUBA）.该模型采用指令序列学习（CSL）算法从用户指令序列中提取用户行为模式,利用全局模式库对用户行为进行分类并对分类结果进行行为评估,然后将评估值应用于Hadoop云平台的访问控制机制中实现动态访问控制.验证实验结果证明了DACUBA的有效性,与其他方法相比,该方法对云请求的访问控制效率较高,且稳定性较好.      

社交网络中水军用户团队不当行为准确识别技术

传统方法通过提取用户的静态行为特征,利用监督学习模型完成识别,在社交网络规模大的状态下,水军用户团队不当行为特征和正常用户越来越相似,无法准确识别社交网络中水军用户团队的不当行为。为了解决该问题,依据用户动态行为特征研究社交网络中水军用户团队不当行为准确识别技术。对社交网络进行描述,在此基础上,提取用户行为动态特征。把社交网络中水军用户团队不当行为识别问题看作二分类问题,将提取动态特征相应的样本作为输入,构建决策树,通过决策树对新的社交网络数据集进行水军用户团队不当行为识别。结果发现：采用的动态特征可有效反映水军团队不当用户行为特征;所提技术对水军用户团队不当行为的识别结果和人工标识结果基本一致;所提技术在三个数据集上的调和平均值和平衡准确度较其它技术高。可见所提技术识别准确性高。     

基于注意力机制与多尺度特征融合的行人重识别方法

针对行人重识别中因遮挡、姿态变化使模型特征无法充分表达行人信息的问题,提出了基于注意力机制与多尺度特征融合的行人重识别方法.首先使用改进的骨干网络R-ResNet50提取图像特征;其次,抽取网络不同尺度的特征层嵌入注意力机制DANet,使模型更关注于重点信息;最后,对提取出的关键特征进行多尺度特征融合,实现特征间的优势...     

基于AMCNN-LSTM的电力无线接入专网异常流量检测

为了减轻电力无线专网系统因网络业务增多而带来的网络攻击以及异常流量入侵的安全事故隐患,提出了一种基于注意力机制的卷积-长短期记忆网络(convolution-long short-term memory network based on attention mecha-nism,AMCNN-LSTM)模型.该模型为避免序列特征稀疏分布的问题,采用卷积神经网络(convolutional neural net-work,CNN)提取时间序列数据特征并转化为维度固定的稠密向量;为防止记忆丢失和梯度分散问题,使用融合注意力机制的CNN单元来捕捉重要的时间序列细粒度特征;将CNN提取局部特征与长短期记忆网络(long short-term memory network,LSTM)提取序列特征的优势相结合,对电力接入专网流量数据进行异常检测.通过在电力网真实数据集上实验表明,基于注意力机制的算法能够在150轮次迭代下达到89.14％的召回率及89.67％的综合F-meas-ure得分.所提出的模型能够及时、准确地检测电力网络异常流量,有效提高检测效率及准确度.     

基于混合模型的广告转化率问题研究

现有广告转化率预估模型缺乏对深层特征间相互作用的研究,针对这一问题提出了一种新的混合模型.通过高效的梯度提升机(light gradient boosting machine,LightGBM)模型提取高阶组合特征,并结合基于区域的因子分解机(field-aware factorization machines,FFM)模型有效处理稀疏数据的优点进行转化率的预估.为了验证模型的有效性和泛化能力,在两个数据集上讨论了参数对预估结果的影响,并将模型与其他模型进行对比实验.实验结果表明提出的混合模型的预估结果更准确.     

融合多尺度注意力和双向LSTM的行人重识别

将深度学习应用于行人重识别领域,嵌入多尺度注意力融合模块至神经网络中进行多尺度特征提取和表示,可有效提升注意力机制对深度学习网络的识别性能。提出了一种基于SE block的多尺度通道注意力融合模块,并结合ResNet50卷积神经网络提取特征;然后通过双向LSTM网络进一步提取特征序列上下文信息,在提高模型对图像重要特征的提取能力的同时,降低对图像冗余特征的关注度;最后使用级联难采样三元组损失函数和交叉熵损失函数共同训练网络模型,使样本能够在高维特征空间中实现聚类,进一步提升模型识别准确性。所提出算法在Market1501数据集和CUHK03数据集分别进行实验,并在同等条件下和其他注意力模块算法进行比较。为进一步验证各模块作用,对算法进行消融实验,以验证各模块的有效性,实验结果表明,所提出方法可有效应用于行人重识别     

基于骨架的自适应尺度图卷积动作识别

基于骨架的动作识别任务中,一般将骨骼序列表示为预定义的时空拓扑图.然而,由于样本的多样性,固定尺度的拓扑图往往不是最优结构,针对样本特性构建自适应尺度的骨骼拓扑图能够更好地捕捉时空特征;另外,不同尺度的骨骼图能够表达不同粒度的人体结构特征,因此对多个不同尺度的拓扑图进行特征提取与融合是有必要的.针对这些问题,提出了一种自适应尺度的图卷积动作识别模型.该模型包含自适应尺度图卷积模块和多尺度融合模块两部分.自适应尺度图卷积模块基于先验与空间注意力机制,构建关键点的活跃度判决器,将活跃点细化为小尺度结构、非活跃点聚合为大尺度结构,在加速节点间特征传递的同时最小化特征损耗;多尺度融合模块基于通道注意力机制,动态融合不同尺度的特征,进一步提升网络的灵活性;最后,综合关键点、骨骼、运动信息实现多路特征聚合的动作判别,丰富模型的特征表达.结果表明:该算法在NTU-RGBD数据集的CS和CV子集上分别取得了89.7%和96.1%的分类准确率,显著提高了动作识别的准确性.     

基于改进FM算法和注意力机制的深度点击率预估模型

针对目前的广告点击率预估模型未能充分学习低阶特征且忽略了不同高阶特征对模型准确率的影响不同的问题,提出了一种基于注意力机制和深度学习的点击率预估模型.该模型采用改进因子分解机(Factorization machine,FM)算法,将全息简化表示(Holographic reduced representation,H...     

基于神经网络的行驶时长预测

定位设备的普及产生了海量的车辆行驶数据,使得利用历史数据预测车辆行驶时长成为可能.车辆行驶数据由两部分组成:车辆行驶经过的路段序列信息和出发时段;路径总长度等外部信息.如何提取路段序列特征,以及如何将序列特征与外部特征有效地融合,成为预测行驶时间的关键问题.为解决以上问题,提出了一个基于Transformer的行驶时间预测模型,模型由路段序列处理模块和特征融合模块两部分组成.首先,路段序列处理模块使用自注意力机制处理路段序列,提取路段序列特征.该模型不但可以充分考虑各条路段与其他路段间道路速度的时空关联性,同时可保证数据并行输入模型,避免了使用循环神经网络时数据顺序输入导致的效率低下.其次,特征融合模块将路段序列特征与出发时段等外部信息相融合,最终获得预测的行驶时长.在此基础上,统计路口连接的路段数作为路段的上/下游路口特征,与路段特征结合输入模型,进一步提升了行驶时长的预测精度.在真实的数据集上与主流预测模型进行的对比实验表明,该模型在预测精度以及训练速度上均有提升,体现了所提模型的有效性.     

注意力机制下的EMD-GRU短期电力负荷预测

为进一步提高短期电力负荷预测精度,构建一种基于注意力机制的经验模态分解(EMD)和门控循环单元(GRU)混合模型,对时间序列的短期负荷进行预测.首先,对负荷序列进行EMD,将数据重构成多个分量;再通过GRU提取各分量中时序数据的潜藏特征;经注意力机制突出关键特征后,分别对各分量进行预测;最后,将各分量的预测结果叠加,得到最终预测值.仿真结果表明:相对于BP网络模型、支持向量机(SVR)模型、GRU网络模型和EMD-GRU模型,基于EMD-GRU-Attention的混合预测模型能取得更高的预测精度,有效地提高短期电力负荷预测精度.     

基于概念图谱与BiGRU-Att模型的突发事件演化关系抽取

针对现有突发事件演化关系抽取方法仅利用了句子本身的信息而忽略了背景知识的问题,引入概念图谱进行特征拓展,以获得更多的语义信息来改善演化关系抽取效果。首先根据概念图谱构建突发事件语义网络,通过特征迭代选择算法获得演化因子的概念特征,然后联合概念特征与突发事件文本作为双向门控循环单元(BiGRU)模型的输入进行特征学习,并利用注意力(Attention)机制对输出的特征信息序列实施加权变换,最后将学习到的特征序列输入到分类器进行演化关系分类。实验结果表明,所提出的基于概念图谱与BiGRU-Att模型的方法相比于现有方法,在准确率、召回率和F_1值等评价指标上均有提升。     

基于序列特征的点击率预测模型

点击率预测模型是主流推荐系统中十分重要的部分.根据点击率预测的打分来调整商品的展示策略,对提高业务的转化率、改进用户体验等有着重要的意义.传统的点击率预测模型是利用用户特征和商品特征,对点击率进行预测.然而,用户行为序列的结构特征,如周期性规律、趋势等也能一定程度地体现用户行为的倾向.针对部分信息利用上的空缺,使用时间序列分析单元,将提取用户行为序列的特征作为用户特征的扩展,结合因子分解机结构将其与用户、商品特征进行交叉,能够有效提高特征质量,优化点击率预测模型的性能.实验表明,结合用户行为序列特征进行交叉优化的方法能够对点击率预测模型的表现带来很大提升,提高点击率预测的精度.     

基于图注意力网络的多行为推荐算法

现有的多行为推荐系统未有效利用不同层次的图传播信息，难以捕获用户不同行为的影响。为解决此问题，文章提出了一种基于图注意力网络的多行为推荐模型(GABR):首先，采用小批量采样节点嵌入方法聚合同一行为类型交互的邻域节点，以提高特征表示效率；接着，采用注意力机制学习不同行为类型的影响系数，以进一步融合节点特征；然后，合并多层用户和项目表示，以有效利用不同层次的图传播信息；最后，将已交互的用户-项目对和随机采样未交互过的用户-项目对作为正负样本对来训练目标模型，以优化模型性能。为验证模型推荐性能，在3个真实数据集(Yelp、Scholat、Beibei)上与现有9种推荐模型进行对比。实验结果表明GABR模型能够有效利用融合了不同行为类型影响系数的多层图传播信息，更好地预测用户偏好：在3个真实数据集上，与目前最佳的基线模型(GNMR)相比，GABR模型的HR、NDCG平均提高了1.73%、2.43%。     

基于多尺度和注意力机制的滚动轴承故障诊断

针对滚动轴承信号易受噪声干扰和智能诊断模型在不同工况下自适应性差的问题,提出了一种多尺度注意力卷积神经网络(MSACNN)模型.首先,将一维时间序列转化为二维图像作为模型的输入,在特征提取过程中,利用多尺度卷积结构拓宽网络的宽度并实现不同维度敏感特征的提取;然后,通过注意力机制对数据不同维度的特征赋予不同的权重,使模型...     

基于双维注意力机制的事件要素识别方法

事件要素识别是事件抽取的基本任务,对后续任务的开展起着重要作用.随着深度学习技术的发展,神经网络逐渐成为事件要素识别的主流方法.近几年,注意力机制在自然语言处理领域得到广泛使用,但注意力机制依赖于嵌入层对上下文特征的提取,在事件要素识别等序列标注问题中效果不理想.针对这一问题,提出了一种基于注意力机制的双维注意力机制,从矩阵行和列两个维度计算注意力得分,因此可以较好地提取句子的上下文特征,并且使用了动态目标损失函数,通过动态给予不同标签不同的权重,一定程度上缓解了样本不平衡和数据稀疏带来的模型泛化不足问题.在CEC2.0中文突发事件语料库上对比实验表明,所提方法取得较好效果.     

基于注意力和图网络的多粒度脚本事件推理方法

[目的]对于一些覆盖面广、延续时间长的事件(如台风、洪水等自然灾害),考虑事件演化过程复杂多变,所获取的事件信息存在疏密程度不均的问题,研究其事件推理问题.[方法]提出一种基于注意力机制和图网络的多粒度脚本事件推理方法,通过提取及合并不同粒度的事件信息以获得更丰富的事件语义信息,并结合图注意力网络和事件转移概率矩阵以充分利用密集事件连接提升推理性能.具体而言,首先采用自注意力机制从事件链中获得事件片段,并结合单个事件和事件片段的表示扩展模型输入信息,然后充分利用密集的事件连接,从海量事件新闻中提取事件链构建事件演化图来获得事件转移矩阵,提高模型推理准确率.[结果]在多个真实台风事件以及标准数据集上的实验结果表明,本文所提方法优于传统的基于事件链、基于事件对以及基于事件图等的事件推理模型.[结论]采用自注意力机制从事件链中获得事件片段,并结合单个事件和事件片段的表示扩展模型输入信息可以缓解事件稀疏带来的推理困难问题;仅采用时序关系不能完全表示基本事件链与候选事件的关系,构建事件演化图可以更好的提取事件间的复杂交互信息;多粒度事件信息的融合可以更好地反映候选事件与基本事件链的关系.     

基于自监督学习的序列推荐算法

针对现有序列推荐算法易受数据稀疏影响以及对用户短期动态偏好建模不充分的问题,提出基于自监督学习的序列推荐算法。针对短期序列中的原始项目关系更易受到随机数据增强破坏的问题,对长短期序列使用不同的数据增强方法来构建更有效的自监督信号;利用对比式自监督学习框架对用户长期偏好和短期偏好进行多任务联合建模;针对现有自注意力机制无法建模序列中项目相对位置关系的问题,将自然语言处理领域中的解耦注意力机制引入到用户短期偏好学习过程中,充分捕获用户短期序列中项目的相对位置信息。实验结果证明了所提算法的有效性。     

基于图注意力网络和时间卷积网络的空气污染物浓度预测方法

提出了一种融合图注意网络（GAT）和带注意力机制的时间卷积网络（ATCN）的创新模型——GAT-ATCN,旨在提高空气污染物浓度预测的精度和效率. 在通过GAT捕捉监测站点间的复杂空间依赖关系,利用注意力机制,自适应地加强重要节点之间的连接,从而提取空间特征. ATCN被用来处理时间序列数据,通过学习时间维度上的长期依赖关系,捕获污染物浓度随时间变化的动态特性. 选取中国江浙沪地区7个城市2018—2020年的实际空气质量监测和气象数据,构建数据集并进行实验,验证了GAT-ATCN模型的有效性. 实验结果显示：GAT-ATCN模型在多个评价指标上均表现优异,能够更准确地预测空气污染物浓度.