基于时空图注意力神经网络的交通道路拥塞和异常预测

为全面捕获交通路网的时空特性,分析路况的复杂多变性,实现道路拥堵和突发情况的高效准确预测,研究提出一种时空图注意力神经网络模型,通过将道路网络建模成一系列随时间变化的图,利用图注意力机制(graph attention network,GAT)关注路网图关键节点的空间特性并捕获动态的全图空间特征,再利用门控循环单元(g...     

基于图注意力网络的案件罪名预测方法:CP-GAT

案件罪名预测任务是基于文本数据去预测案件所属罪名.针对现有方法在相似罪名和长尾数据集上表现不佳的问题，提出了一种基于图注意力网络的案件罪名预测方法CP-GAT(charge prediction based on graph attention network).该方法首先使用司法文书数据集中的案例事件描述文本和案例对应的法条信息建立异质图结构数据，构建后的异质图包含两种类型的节点(词节点、案例节点)，两种类型的边(词节点与词节点相连的边，词节点与案例节点相连的边).在基于法律文本构建后的异质图上使用图注意力网络进行图特征提取，最后将得到的特征向量输入到罪名预测的分类器中，得到案例所属的罪名.在CAIL2018法律数据集上的实验结果表明，基于图注意力网络的罪名预测方法优于对比实验使用的方法，准确率和宏观F1值分别达到了95.2%和66.1，验证了提出的方法有利于提升案件罪名预测任务的性能.     

基于互信息-图注意力网络的大学生综合素质分类模型

为对高校大学生综合素质进行科学有效的分类,提出一种基于互信息-图注意力网络的大学生综合素质分类模型(Mutal＿GAT).首先,对原始数据进行预处理和分析,并通过门控循环单元算法(GRU)获得特征向量矩阵;然后,通过互信息方法提取数据之间的关联信息,并以此形成互信息关联矩阵;最后,通过图注意力网络的多头机制实现分类预测.结果表明,Mutal＿GAT模型在均方误差、准确率和召回率3项指标上均优于未加入互信息的图注意力网络、支持向量机、贝叶斯和随机森林随机梯度决策树分类算法.该模型在高校学生综合素质评定领域中具有良好的应用前景.     

基于图注意力和特征融合的链路预测方法

链路预测是一种还原网络缺失信息的方法，通过当前已观察到的链路，预测实际存在但未被观察到的链路或可能出现的新链路.当前链路预测主要是基于图神经网络的深度学习方法，相比基于规则的启发式方法，前者可有效利用网络拓扑结构信息，较大地提升了网络链路预测性能，并可应用到类型更广泛的网络中.但是现有基于图神经网络的方法，仅利用网络中节点相对位置信息，忽视了节点基本属性和链路的邻居信息，且无法区分不同节点对链路形成的重要程度.为此，本文提出一种基于图注意力网络和特征融合的链路预测方法.通过增加节点的度、链路的共同邻居数量和共同邻居最大度等特征，丰富了网络的输入特征信息.本文首先提取以目标节点对为中心的子图，然后将其转化为对应的线图，线图中的节点和原图中的链路一一对应，从而将原图节点和链路信息融合到线图的节点中，提升了特征融合的有效性和可解释性.同时本文使用图注意力机制学习节点的权重，增强了特征融合的灵活性.实验表明，本文所提出的方法，在多个不同领域数据集上的AUC和AP均超过90%,在已观测链路缺失较多时，预测性能保持80%以上，且均优于现有最新方法.     

融合多尺度注意力和双向LSTM的行人重识别

将深度学习应用于行人重识别领域,嵌入多尺度注意力融合模块至神经网络中进行多尺度特征提取和表示,可有效提升注意力机制对深度学习网络的识别性能。提出了一种基于SE block的多尺度通道注意力融合模块,并结合ResNet50卷积神经网络提取特征;然后通过双向LSTM网络进一步提取特征序列上下文信息,在提高模型对图像重要特征的提取能力的同时,降低对图像冗余特征的关注度;最后使用级联难采样三元组损失函数和交叉熵损失函数共同训练网络模型,使样本能够在高维特征空间中实现聚类,进一步提升模型识别准确性。所提出算法在Market1501数据集和CUHK03数据集分别进行实验,并在同等条件下和其他注意力模块算法进行比较。为进一步验证各模块作用,对算法进行消融实验,以验证各模块的有效性,实验结果表明,所提出方法可有效应用于行人重识别     

密集池化连接和短语注意力下的文本分类算法

为了解决在文本分类中神经网络训练时产生的梯度消失、特征信息丢失以及注意力机制短语维度组合不匹配的问题,提出一种基于密集池化连接和短语注意力机制的文本分类算法.首先,通过密集池化连接中的残差网络部分进行特征提取,可有效缓解梯度消失问题;其次,通过池化层复用重要特征,改善特征信息丢失问题;最后,通过改进常规注意力机制,提出短语注意力机制,可灵活得到不同阶短语之间的联系,解决常规注意力机制短语维度不匹配问题.结果表明,该模型在对比模型中取得了最好的效果,在相同的新闻数据集中准确率可达92.7％,同时还对3个对比模型的收敛性和分类准确性进行分析,可见改进后的模型可以有效缓解梯度消失,并且解决短语维度组合不匹配问题,从而提高了分类准确性.     

基于多层交叉注意力融合网络模型的人脸图像情感分析

目前大多数人脸图像情感分析方法只单方面关注图像整体或局部来构建视觉情感特征表示,忽略了二者在情感表达上的协同作用。针对此问题,提出了一种多层交叉注意力融合网络情感分析方法。该方法首先利用特征相关性分析实现最大化类的可分性;其次通过多层交叉注意力网络中的多个不重叠的注意力区域来提取整体和局部的信息;然后将整体与局部提取的注意力图进行融合,来共同训练图像情感分类器并进行情感分析。实验结果表明,提出的方法在真实数据集RAFDB上的情感分类准确率达到了88.53%,优于现有其他方法,验证了该方法的有效性与优越性。     

基于时空多维的VMD-GAT-Attention短时交通流量组合预测模型

文章针对短时交通流量时空依赖性、非线性的特点,为提高交通流量的预测精度,将时间建模和空间建模相结合,提出一种整合改进的变分模态分解(variational mode decomposition,VMD)结合图注意力网络(graph attention networks,GAT)与注意力模型搭建的组合预测模型.在时间维度上,利用改进粒子群算法(improved particle swarm optimization,IPSO)优化的变分模态算法分解交通流量,保证了VMD的充分分解,并得到相对平稳的交通流量序列,提高了组合模型的预测精度;在空间维度上,构建有效分解模态与原交通流量序列的GAT,提取不同时间序列中各交通节点之间的空间信息;引入注意力机制提高主要时空信息权重,降低次要时空信息权重,进一步提升了组合模型的预测精度.实验结果表明,该组合模型比IPSO-VMD-GAT-Attention模型以及VMD-GAT-Attention模型的均方根误差分别下降了31％ 和21％,而且对于VMD-GAT模型和GAT模型,均方根误差分别从14.1231和9.9136下降到2.2928,说明该模型达到较好的预测效果.     

基于记忆的注意力图神经网络专家推荐方法

在问答社区专家推荐算法中,图神经网络主要利用问答社区中用户与问题的交互关系建模,其模型性能取决于交互数据的稠密度,难以对无交互信息的用户及问题进行有效表示学习.针对这一问题,提出了一个基于记忆的注意力图神经网络专家推荐方法.该方法首先设计了面向用户多维特征的联合表示子网络,然后构建了一个记忆网络,为每个问题保存用户回答...     

基于图注意力网络的安卓恶意软件检测

安卓恶意软件的爆发式增长对恶意软件检测方法提出了更高效、准确的要求.早年的检测方法主要是基于权限、opcode序列等特征,然而这些方法并未充分挖掘程序的结构信息.基于API调用图的方法是目前主流方法之一,它重在捕获结构信息,可准确地预测应用程序可能的行为.本文提出一种基于图注意力网络的安卓恶意软件检测方法,该方法通过静态分析构建API调用图来初步表征APK,然后引入SDNE图嵌入算法从API调用图中学习结构特征和内容特征,再通过注意力网络充分融合邻居节点特征向量,进而构成图嵌入进行检测任务.在AMD数据集上的实验结果表明,本文提出的方法可以有效检测恶意软件,准确率为97.87%,F1分数为97.40%.     

The effect of attention to distractor on inhibitory processes in selective attention

Selective attention means perceiving and responding to information selectively, most of which are visual analyses and selection. By choosing a target that is task-relevant from stimuli array, while successfully ignoring distractorsthat are irrelevant, one can make a selection for his be-havioral goals correctly and efficiently. Recent studies have begun to focus on the dual-process mechanism of selective attention: target-excitation and distractor-inhibi- tion. A plenty of measures were used t…     

一种听觉显著图提取模型

本文基于人耳听觉特性提出了一种改进的自下而上听觉显著图提取模型.该模型根据人耳听觉系统对声音分频道处理以及声音信号时间方向的差异更能有效表征听觉显著性这两个特点进行显著图提取.首先对输入声音信号进行短时傅立叶变换(SFFT)得到声音信号的听觉图谱,然后重新划分频带并在各频带上采用一维高斯滤波器组进行不同尺度的时域滤波,再利用中心-周边差算子计算各频带的听觉显著度并进行跨尺度整和,最后将各频带的听觉显著度线性合并之后得到最终的听觉显著图.仿真实验的结果表明该模型提取的听觉显著图更准确.     

增强型注意力网络点击通过率预估方法

针对以往模型在对点击通过率(click-through rate,CTR)进行建模预测时,存在着特征重要性学习不足、特征交互低效等问题,提出了一种增强型注意力网络预估模型,用于动态学习特征重要性和特征交互信息,模型主要由注意力层、双线性交互层和全连接神经网络层构成。注意力层的多尺度多头自注意力机制通过设置不同尺寸子空间增强特征重要性学习能力,在得到特征重要性后,进一步采用张量积双线性交互学习特征交互信息。通过对注意力的子空间尺寸大小、张量积交互形式、神经网络层数和节点个数等进行定量分析,确定模型的最佳参数。实验证明,该模型相比已有模型拥有更好的预测能力。     

视觉注意的图像目标预检测

提出了融合自底向上和自顶向下模式的视觉注意机制的改进算法.该算法使用以完整轮廓信息作为物体识别标志的方式,几乎不需要先验知识,改进了自顶向下算法的需要大量先验知识的弱点;同时由于将物体轮廓作为的一个识别和预检测的重要参考信息,改进原视觉机制中的仅使用三个显著图,没有整体意识,从而致使识别范围过大的弱点.实验证明该方法提升了搜索预检测目标的准确度.     

Interactions between working memory and selective attention

Event-related potential (ERP) was used to examine the interactions between working memory and se- lective attention. We combined two unrelated tasks, one requiring working memory and the other se- lective attention, which were performed by some undergraduates. The ERP results revealed that both congruent and incongruent stimuli in the selective attention task evoked an N400 component, reaching the peak point at around 500 ms. The N400 evoked by incongruent stimuli was more negative than that of congruent, which indicated the difference of semantic N400. Furthermore, working memory load had a significant influence on the N400 evoked by selective attention task in parietal region. And working memory load showed difference in the ERPs of working memory retrieval in central and parietal regions. The ERPs of probe under high working memory load were more positive from 350 to 550 ms post-stimulus; however, stimulus type of selective attention had no influence on working memory re- trieval. The present study shows that working memory does not play a major role in the selective at- tention, especially in ignoring distracter, but it influences the performance of the selective attention as the background. The congruency of target and distracter in the selective attention task does not influ- ence the working memory retrieval.     

Orienting in voluntary and involuntary attention conditions

To investigate the orienting of visuospatial attention, the attention type (voluntary vs. involuntary) was manipulated in a within-subject design, and event-related potentials (ERPs) were recorded in a peripheral cued, line-orientation discrimination task. A larger and later contralateral P1 and a smaller and later contralateral N1 were elicited by the valid trails relative to the invalid trails in the involuntary attention condition, whereas larger P1 and N1 were elicited by the valid trails in the voluntary attention condition. The present results provide evidence for the dissociation between voluntary and involuntary attention in one task.     

Orienting in voluntary and involuntary attention conditions

To investigate the orienting of visuospatial attention, the attention type (voluntary vs. involuntary) was manipulated in a within-subject design, and event-related potentials (ERPs) were recorded in a peripheral cued, line-orientation discrimination task. A larger and later contralateral P1 and a smaller and later contralateral N1 were elicited by the valid trails relative to the invalid trails in the involuntary attention condition, whereas larger P1 and N1 were elicited by the valid trails in the voluntary attention condition. The present results provide evidence for the dissociation between voluntary and involuntary attention in one task.     

融合多路注意力机制的语句匹配模型

为了增强语句内关键信息和语句间交互信息的表征能力，有效整合匹配特征，提出一种融合多路注意力机制的语句匹配模型。采用双向长短时记忆网络获取文本的编码信息，通过自注意力机制学习语句内部的关键信息;将编码信息和自注意力信息拼接之后，通过多路注意力机制学习语句间的交互信息;结合并压缩多路注意力层之前和之后的信息，通过双向长短时记忆网络进行池化获得最终的语句特征，经过全连接层完成语句匹配。实验结果表明，该模型在SNLI和MultiNLI数据集上进行的自然语言推理任务、在Quora Question Pairs数据集上进行的释义识别任务和在SQuAD数据集上进行的问答语句选择任务中均表现出了更好效果，能够有效提升语句匹配的性能。     

Detection of salient objects with focused attention based on spatial and temporal coherence

The understanding and analysis of video content are fundamentally important for numerous applications,including video summarization,retrieval,navigation,and editing.An important part of this process is to detect salient (which usually means important and interesting) objects in video segments.Unlike existing approaches,we propose a method that combines the saliency measurement with spatial and temporal coherence.The integration of spatial and temporal coherence is inspired by the focused attention in human vision.In the proposed method,the spatial coherence of low-level visual grouping cues (e.g.appearance and motion) helps per-frame object-background separation,while the temporal coherence of the object properties (e.g.shape and appearance) ensures consistent object localization over time,and thus the method is robust to unexpected environment changes and camera vibrations.Having developed an efficient optimization strategy based on coarse-to-fine multi-scale dynamic programming,we evaluate our method using a challenging dataset that is freely available together with this paper.We show the effectiveness and complementariness of the two types of coherence,and demonstrate that they can significantly improve the performance of salient object detection in videos.     

浅谈橡胶弹性地板的施工及注意事项

通过某医院综合大楼橡胶弹性地板的施工实例,给出了橡胶弹性地板的施工工艺流程、铺装步骤和具体的技术措施,最后指出了施工时的注意事项。