基于车载传感器时空图卷积的驾驶行为识别

本文从图（graph）的角度出发，提出基于车载传感器时空图卷积的驾驶行为识别模型.首先，通过挖掘传感器间的关联性构建传感器的图结构；其次，基于时间信息融合策略的不同，提出基于LSTM的层级时空图卷积网络（H-STGCN）和修正的时空图卷积网络（M-STGCN），用于捕捉传感器的时空相关性进行驾驶行为识别；最后，在公开的2个驾驶行为数据集上进行实验，结果表明H-STGCN模型的识别效果优于现有方法.     

基于SAT-GCN的花样滑冰选手动作检测算法研究

针对花样滑冰运动人体运动轨迹复杂、动作类型多样、普通人肉眼难以区分且常规的行为识别方法识别准确率低的问题，提出了一种基于时空图卷积网络与多通道注意力机制融合方法 (SAT-GCN)的花样滑冰动作识别算法。该算法首先将视频提取成连续的单独帧，使用OpenPose算法提取人体骨骼关键点数据，降低背景噪声干扰；然后使用时空图卷积算法对骨骼关键点数据进行动作分类。算法对时空图卷积算法进行改进，加入了多通道时空注意力机制融合模块，使得模型更加关注重要的关键点、时间帧片段、特征；使用时序卷积网络(TCN)提取人体骨架关键点在时间序列上的特征；使用SoftMax对提取后的特征进行动作分类。在花样滑冰数据集FSD-10和公开的人类行为数据集Kinetics-Skeleton上进行训练和测试，与改进前的时空图卷积网络(ST-GCN)进行对比，本文所提算法的预测准确率在2个数据集上均有所提升，验证了多通道注意力机制融合方法在花样滑冰选手动作检测任务中的有效性。     

面向短时交通流预测的动态时空图卷积网络

针对现有的交通流量预测模型缺乏对交通数据动态时空相关性建模能力的问题,提出一种新的基于深度学习的动态时空图卷积网络(DSTGCN)模型,该模型无需给出道路网络信息,从交通数据中即可建模时空相关性.动态时空图卷积层包含2个主要部分:（1）动态邻接矩阵生成模块:使用时间自相关机制与空间注意力机制捕捉交通数据中的动态时空相关性;（2）时空图卷积:使用图卷积和标准二维卷积对信息进行高效聚合.DSTGCN通过堆叠动态时空图卷积层,能够捕捉不同时间级别的时空依赖关系.文章提出的方法在美国加利福尼亚州高速公路流量公开数据集上进行了实验,结果表明:所提出的DSTGCN模型在各项评价指标中均优于现有的基准方法.在PeMSD04数据集上,与当前较新的GeoMAN和ASTGCN模型相比,MAE分别降低了4.00和2.16,验证了所提模型在交通流预测中的有效性.     

基于多片段语义时空图卷积网络的大学生校园日常行为预测

当前大学生校园日常行为预测与挖掘研究中,一般采用统计、聚类、关联关系等浅层挖掘和学习算法,对学生校园行为的时序性、空间位置及其相关性缺乏深层与高阶应用分析.该文基于时空图网络结构,提出考虑校园活动时间序列与层次相关性和空间语义特征相关的多片段语义时空图卷积网络(MFSTGCN)模型.通过构建大学生校园行为数据集并进行实...     

基于时空建模的动态图卷积神经网络

为了使图表示学习得到的嵌入向量对节点和边不断变化的动态图具有很好的信息表征能力, 提出一种动态图卷积神经网络模型(DyGCN), 将动态图上的表示学习建模为时间和空间信息的聚合。该模型将从图卷积神经网络(GCN)的空间卷积提取图上的结构信息与从时间卷积神经网络(TCN)的因果卷积提取时序上的历史信息相结合, 同时在空间卷积层加入自适应的模型更新机制, 使得模型参数随着图结构的变化能够自适应地更新。在金融领域数据集上针对金融欺诈检测进行的边分类实验表明, 该模型比现有方法有很大的性能提升。     

基于深度学习的无人驾驶汽车车道线检测方法

车道线检测是实现当前汽车辅助驾驶和未来无人驾驶汽车的关键,深度学习技术在近年来迅猛发展,在图像识别、图像分割、语音识别及数据预测等方面都取得了出色成绩。结合深度学习技术对无人驾驶汽车环境感知中的车道线检测进行了相应的研究,提出一种基于深度学习的车道线识别算法。对比研究已有算法,针对其中的信息融合问题,提出了一种新的特征图上下文信息融合方法,将该方法与VGG(Visual Geometry Group)网络相结合提出融合上下文信息的车道线识别网络VGG-FF,进一步加入空洞卷积提出融合空洞卷积及上下文信息的车道线识别网络VGG-FFD。将该网络模型在公开数据集以及自制数据集上进行了性能测试,实验结果表明该模型具有良好的识别效果。     

融合属性嵌入与关系注意力的跨语言实体对齐

目前知识图谱实体对齐的主流方法是通过图神经网络学习知识图谱的嵌入表示，并测量实体嵌入之间的相似性实现实体的对齐.很多实体对齐方法只考虑知识图谱的结构信息和关系信息，却常常忽略了属性信息.针对上述问题，提出了一种融合属性嵌入的实体对齐方法：融合属性信息的精简关系感知双图卷积网络模型.首先，基于关系感知双图卷积网络的注意力机制提取知识图谱的关系信息；然后，利用带高速门的图卷积网络获取属性信息；最后，融合二者的嵌入信息以实现更高准确率的实体对齐.在3个跨语言数据集上的实验结果表明，该方法通过融合知识图谱属性信息增强了实体表示能力，在3个数据集上Hits@1值相比原模型分别增长了6.42%、4.59%和1.98%，对齐效果明显优于目前主流的实体对齐方法.     

基于人体时空骨架特征的图卷积行为识别算法

【目的】为了充分利用动态的人体骨架特征，提高行为识别精度，提出一种基于人体时空骨架特征的图卷积行为识别算法。【方法】首先在空间上确定主关节点，再融合各关节点与主关节点之间的向量和关节点间的骨骼长度，获取瞬时状态下关节点的相对位置关系；然后计算相邻两帧之间由相同关节点构成的时序动作信息来描述运动状态；最后，将时空信息融合到时空图卷积网络中，进行端到端训练。【结果】与时空图卷积网络识别算法相比，在400分类Kinetics行为识别数据集上的Top-1和Top-5指标分别提升了1.78%和1.77%，在NTURGB+D数据集的两个基准上的Top-1分别提升4.13%和2.61%。【结论】提出的基于人体时空骨架特征的图卷积行为识别算法是有效实用的。     

基于LSTM和注意力机制的蛋白质-配体结合亲和力预测

蛋白质-配体的结合亲和力预测是药物重定位回归中具有挑战性的任务。深度学习方法可以有效预测蛋白质与配体相互作用的结合亲和力,减少药物发现的时间和成本。由此,基于长短期记忆模块(LSTM)和注意力机制模块(attention)提出了一种深度卷积神经网络模型(DLLSA)。模型由嵌入LSTM和空间注意力模块(spatial-attention)的卷积网络并行模块构建,其中LSTM模块针对蛋白质-配体接触特征的长序列信息,spatial-attention注意力模块聚集接触特征局部信息。采用PDBbind(v.2020)数据集进行训练,CASF-2013和CASF-2016数据集进行验证,模型的皮尔逊相关系数相比于PLEC模型分别提高了0.6%和3%,实验结果显著优于其他相关方法。     

基于时间卷积网络的机器阅读理解

针对目前机器阅读理解任务中缺乏有效的上下文信息融合方式和丢失文本的整体信息等情况,提出基于时间卷积网络的机器阅读理解模型.首先将文本的单词转化成词向量并加入词性特征;接着通过时间卷积网络获取问题和文章的上下文表示;之后采用注意力机制来计算出问题感知的文章表示;最后由循环神经网络模拟推理过程得到多步预测结果,并用加权和的方式来综合结果得到答案.实验使用了SQuAD2.0数据集,在EM和F1值上相比基准实验分别提升了6.6%和8.1%,证明了该方法的有效性.     

基于多尺度卷积的胶囊网络知识图谱嵌入模型

该文基于胶囊神经网络出色的维度信息挖掘能力,加入多尺度卷积以进一步增强其特征提取和交互能力,提出了基于多尺度卷积的胶囊网络知识图谱嵌入模型.首先,通过TransE算法训练得到实体和关系的初始化嵌入向量;其次,通过多尺度卷积生成不同的特征图,将得到的特征图进行特征融合,融合后得到的特征图重组为相对应的胶囊;最后,利用动态路由指定从第一层胶囊到第二层胶囊的连接,经过路由得到的第二层胶囊利用squash函数得到最终向量长度,该向量长度决定三元组的置信度.知识图谱链接预测任务的实验结果表明,较嵌入模型CapsE,本文提出的模型在WN18RR数据集上指标Hit@10提高1.8%,MRR提高1.4%,在FB15k-237数据集上Hit@10提高2.2%,MR提高4.8%.     

基于镜像空间的平移嵌入模型

知识图广泛应用于许多人工智能(AI)任务。然而，现有知识图通常是不完整的，需对知识图进行补全或链接预测。本文通过对知识图中的实体和关系进行嵌入来预测知识图的缺失环节：首先，引入镜像空间的概念，使得模型具有学习对称和反对称模式的能力；其次，在新的空间模型中，关系仍然被建模为平移，而实体被建模为具有镜像点的点；最后，提出了MTransE模型将镜像空间的概念应用到TransE上，并在4个广泛使用的数据集上进行实验。实验结果表明，该方法能减少参数的规模，并提高了在4个广泛使用的知识补全数据集上的性能。     

采用空间依赖的MTDPN扶梯危险行为的姿态估计

为实现自动扶梯场景下姿态估计的快速响应和准确估计，提出一种基于空间依赖的多任务解耦姿态网络(MTDPN)。首先，对姿态估计网络进行定位和分类任务分支的解耦，使每个任务分支能够自适应地调整特征关注方向；其次，提出一种空间依赖卷积，通道联合层和空间联合层作为中间层，以逐点卷积和逐深度卷积取代传统卷积，从而降低MTDPN的参数量和浮点计算量，使每张图片的检测时间仅为73.3 ms。在扶梯危险行为关键点数据集和COCO关键点数据集上对MTDPN进行评估。结果表明：与原始网络YOLOPOSE相比，MTDPN在扶梯危险行为关键点数据集和COCO关键点数据集上的准确性指标均有所提高。     

融合实体信息的图卷积神经网络的短文本分类模型

提出一种融合实体信息的图卷积神经网络模型（ETGCN），用于短文本分类.首先，使用实体链接工具抽取短文本中的实体；然后，利用图卷积神经网络对文档、实体和单词进行建模，丰富文本的潜在语义特征；将学习到的单词节点表示与BERT词嵌入进行拼接，通过双向长短期记忆网络，进一步挖掘文本上下文语义特征，再与图神经网络模型得到的文本特征进行融合，用于分类.实验结果表明，该模型在数据集AGNews、R52和MR上的分类准确率分别为88.38%、93.87%和82.87%，优于大部分主流的基线方法.     

融合TCN与BiLSTM+Attention模型的疫情期间文本情感分析

鉴于目前主流的文本情感分析方法存在难以解决长期依赖和对上下文信息使用不足的缺陷,本文首次提出将时序卷积网络(TCN)和BiLSTM+Attention模型融合的文本情感分析模型。该模型利用TCN的因果卷积和扩张卷积结构获取更高层次的文本序列特征,并通过双向长短期记忆网络(BiLSTM)进一步学习上下文相关信息的情感特征;最后,引入自注意力机制(Self-Attention)帮助模型优化特征向量,提高情感分类的准确度。在新型冠状病毒疫情期间的微博文本数据集上进行对比实验,结果表明该模型的性能相较于其它模型有明显的提升。     

基于改进关系网络的小样本学习

关系网络是一种端到端的小样本学习框架,可以通过少量标注样本识别新的类别.在关系网络的基础上,融合inception块和感受野块,提出了一种基于改进关系网络的小样本学习方法.用inception块替换嵌入模型的第3个卷积层,并且将感受野块添加在关系模型的起始位置,这两种卷积块分别提升了网络的特征表达能力和度量能力.在Omniglot数据集上,该算法的识别率整体高于关系网络,达到97%以上;在miniImagenet数据集上,采用5-way 1-shot和5-way 5-shot方法,算法识别率分别达到52.89%,67.15%.     

基于双尺度串行网络的视频异常行为检测

针对传统视频异常行为检测模型存在的性能不佳与时间开销较大的问题,从空间和时序维度构造双尺度串行网络的视频异常行为检测模型(Dual-Scale Serial Network,DSS-Net)。首先,利用深度可分离卷积对Vgg-16网络进行改进,并利用改进的特征提取器从空间维度提取特征,从而可以通过减少计算参数量来降低模型的时间开销。接着,在此基础上引入注意力机制,从而强化目标特征的表达能力。最后,利用长短期记忆(Long Short-Term Memory,LSTM)网络从时序维度提取运动视频每一帧之间的上下文时序关系。在当前主流的UCSD Ped1和Ped2数据集以及更具挑战性的UCF数据集上进行测试,结果表明,在3个数据集上DSS-Net的ROC(Receiver Operating Characteristic)线下面积(Area Under Curve,AUC)值分别达到95.30%、96.80%、80.60%,等错误率(Equal Error Rate,EER)分别达到10.60%、12.60%、18.50%,同时具有更强的实时性。相比经典的One-class Neural Network (ONN)和Aggregation of Ensembles (AOE)模型,DSS-Net在Ped1和Ped2数据集上的AUC值分别提升了0.42%和0.94%。此外,DSS-Net也在UMN、ShanghaiTech和CUHK Avenue等数据集上进行了泛化能力和鲁棒性的测试,结果与当前主流模型相比具有一定的竞争力。     

融合对比学习的成语完形填空算法

成语完形填空是机器阅读理解（MRC）的一类子任务，旨在测试模型对中文文本中成语的理解和应用能力.针对现有的成语完形填空算法忽视了成语的嵌入向量会出现表征崩溃的现象，并且模型在域外数据上的准确率低，泛化能力较差的问题，本文提出了NeZha CLofTN.该算法由嵌入层、融合编码层、图注意力子网络和预测层等4部分组成.其中融合编码层中利用对比学习迫使网络改变特征提取的方式，避免了网络输出恒定的嵌入向量，从而预防了表征的崩溃；预测层综合多个近义词图子网络的输出，以获得比其中单独的子网络更好的预测性能，增强模型的泛化能力.NeZha ClofTN在ChID Official和ChID Competition数据集上进行了实验验证，准确率分别达到80.3%和85.3%，并通过消融实验证明了各个模块的有效性.     

基于注意力特征融合的SqueezeNet细粒度图像分类模型

针对现有细粒度图像分类算法普遍存在的模型结构复杂、参数多、分类准确率较低等问题,提出一种注意力特征融合的SqueezeNet细粒度图像分类模型.通过对现有细粒度图像分类算法和轻量级卷积神经网络的分析,首先使用3个典型的预训练轻量级卷积神经网络,对其微调后在公开的细粒度图像数据集上进行验证,经比较后选择了模型性能最佳的SqueezeNet作为图像的特征提取器;然后将两个具有注意力机制的卷积模块嵌入至SqueezeNet网络的每个Fire模块;接着提取出改进后的SqueezeNet的中间层特征进行双线性融合形成新的注意力特征图,与网络的全局特征再融合后分类;最后通过实验对比和可视化分析,网络嵌入Convolution Block Attention Module(CBAM)模块的分类准确率在鸟类、汽车、飞机数据集上依次提高了8.96%、4.89%和5.85%,嵌入Squeeze-and-Excitation(SE)模块的分类准确率依次提高了9.81%、4.52%和2.30%,且新模型在参数量、运行效率等方面比现有算法更具优势.     

基于感知注意力和轻量金字塔融合网络模型的室内场景语义分割方法

针对实验室场景理解时存在背景复杂、光照多变等问题，利用RGB信息与深度信息在场景理解中具有互补性的特点，提出了一种感知注意力和轻量空间金字塔融合的网络模型（Perception Attention and Lightweight Spatial Fusion Network,PLFNet）。在该模型的感知注意力模块中，利用RGB图像与深度图像在网络中的权重不同，以加权的方式实现深度信息对RGB信息的多级辅助；在轻量空间金字塔池化模块中，通过增加级联的空洞空间卷积，不但有效地聚集了多尺度特征，而且比传统空间金字塔池化模块的参数量减少了约92%，使RGB信息和深度信息的融合更充分。在两个室内场景公开数据集上的实验结果表明，该模型的表现均优于经典算法。消融实验结果表明，本文模型添加感知注意力模块和轻量空间金字塔池化模块后，平均交并比分别提高了4.3%和3.5%。最后，利用场景较复杂的生物实验室数据集进行测试，结果表明本文模型可以有效地实现对生物实验室的场景理解。