基于SAT-GCN的花样滑冰选手动作检测算法研究

针对花样滑冰运动人体运动轨迹复杂、动作类型多样、普通人肉眼难以区分且常规的行为识别方法识别准确率低的问题，提出了一种基于时空图卷积网络与多通道注意力机制融合方法 (SAT-GCN)的花样滑冰动作识别算法。该算法首先将视频提取成连续的单独帧，使用OpenPose算法提取人体骨骼关键点数据，降低背景噪声干扰；然后使用时空图卷积算法对骨骼关键点数据进行动作分类。算法对时空图卷积算法进行改进，加入了多通道时空注意力机制融合模块，使得模型更加关注重要的关键点、时间帧片段、特征；使用时序卷积网络(TCN)提取人体骨架关键点在时间序列上的特征；使用SoftMax对提取后的特征进行动作分类。在花样滑冰数据集FSD-10和公开的人类行为数据集Kinetics-Skeleton上进行训练和测试，与改进前的时空图卷积网络(ST-GCN)进行对比，本文所提算法的预测准确率在2个数据集上均有所提升，验证了多通道注意力机制融合方法在花样滑冰选手动作检测任务中的有效性。     

基于上下文感知空间坐标嵌入的时空图卷积网络

针对空间复杂的非欧几里得结构，图卷积网络不易通过欧氏距离构造输入图的问题，提出了上下文感知空间坐标嵌入的时空图卷积网络(STE-STA)模型，将空间背景和相关性明确地结合到模型中，并基于地理空间辅助任务学习、语义空间嵌入和动态图的时空注意力识别手势。首先从手骨架构造一个完全连接图，通过学习地理坐标的上下文感知向量编码，以及自我注意机制对节点特征和边缘进行自动学习；然后，与主任务并行预测数据中的空间自相关。实验结果表明，在DHG-14/28数据集上，STE-STA模型识别率分别达到92.40%与87.85%,均高于目前最优模型；在SHREC′17数据集上，比时空图卷积网络(ST-GCN)分别高0.60%和0.10%。     

面向短时交通流预测的动态时空图卷积网络

针对现有的交通流量预测模型缺乏对交通数据动态时空相关性建模能力的问题,提出一种新的基于深度学习的动态时空图卷积网络(DSTGCN)模型,该模型无需给出道路网络信息,从交通数据中即可建模时空相关性.动态时空图卷积层包含2个主要部分:（1）动态邻接矩阵生成模块:使用时间自相关机制与空间注意力机制捕捉交通数据中的动态时空相关性;（2）时空图卷积:使用图卷积和标准二维卷积对信息进行高效聚合.DSTGCN通过堆叠动态时空图卷积层,能够捕捉不同时间级别的时空依赖关系.文章提出的方法在美国加利福尼亚州高速公路流量公开数据集上进行了实验,结果表明:所提出的DSTGCN模型在各项评价指标中均优于现有的基准方法.在PeMSD04数据集上,与当前较新的GeoMAN和ASTGCN模型相比,MAE分别降低了4.00和2.16,验证了所提模型在交通流预测中的有效性.     

基于深度学习的自动驾驶技术综述

该文在行人检测技术方面介绍了基于卷积神经网络(CNN)模型的目标识别、检测技术与改进的区域卷积神经网络(R-CNN)、任务辅助卷积神经网络(TA-CNN)模型技术。在立体匹配技术方面简述了基于孪生网络的立体匹配的深度学习模型技术。在多传感器融合技术方面回顾了基于深度学习网络的视觉传感器、雷达传感器与摄像机传感器的多源数据融合技术。在汽车控制技术方面分析了基于卷积神经网络实现无人驾驶车辆端到端的横向与纵向控制技术。深度学习技术在自动驾驶领域的感知层、决策层与控制层的广泛运用,不断地提高感知、检测、决策与控制的准确率,并取得一定的成功,分析表明深度学习技术将加速自动驾驶技术的发展速度,为自动驾驶成为现实带来巨大的可能性。     

基于多片段语义时空图卷积网络的大学生校园日常行为预测

当前大学生校园日常行为预测与挖掘研究中,一般采用统计、聚类、关联关系等浅层挖掘和学习算法,对学生校园行为的时序性、空间位置及其相关性缺乏深层与高阶应用分析.该文基于时空图网络结构,提出考虑校园活动时间序列与层次相关性和空间语义特征相关的多片段语义时空图卷积网络(MFSTGCN)模型.通过构建大学生校园行为数据集并进行实...     

基于人体时空骨架特征的图卷积行为识别算法

【目的】为了充分利用动态的人体骨架特征,提高行为识别精度,提出一种基于人体时空骨架特征的图卷积行为识别算法。【方法】首先在空间上确定主关节点,再融合各关节点与主关节点之间的向量和关节点间的骨骼长度,获取瞬时状态下关节点的相对位置关系;然后计算相邻两帧之间由相同关节点构成的时序动作信息来描述运动状态;最后,将时空信息融合到时空图卷积网络中,进行端到端训练。【结果】与时空图卷积网络识别算法相比,在400分类Kinetics行为识别数据集上的Top-1和Top-5指标分别提升了1.78%和1.77%,在NTU RGB+D数据集的两个基准上的Top-1分别提升4.13%和2.61%。【结论】提出的基于人体时空骨架特征的图卷积行为识别算法是有效实用的。     

边云协同计算下基于ST-GCN的监控视频行为识别机制

智慧城市的迅速发展为人们的日常生活带来了极大的便捷，其中视频监控系统越来越智能化是信息技术逐渐成熟的必然结果 .人体行为识别是智能安防监控领域的重要任务之一，但大量的边缘监控设备产生了井喷式图像视频数据，传统单一的云计算模式已无法全面有效地应对海量数据的计算与处理.提出一种大数据驱动下采用边云协同计算的人体行为识别机制，将以往中心化的计算扩展为边缘、云端协同处理.首先，在边缘节点N0对视频进行相似帧去除的预处理并对提取的骨架序列进行多层次表示，然后云端对时空图卷积神经网络（Spatial Temporal Graph ConvNet,STGCN）模型进行训练并将其部署至边缘节点N1～Nm，边缘节点使用训练好的模型完成行为识别任务并将结果上传至云端进行融合得出最终行为类别.实验结果证明，所提方案能有效减少以往中心化计算的网络传输量及云端存储压力问题，且边云协同的优势使得模型识别的准确率稳定提升了2.2%以上.     

基于改进LRCN模型的驾驶行为图像序列识别方法

针对汽车安全辅助驾驶技术中驾驶行为识别精度低、收敛速度慢等问题,提出了一种基于改进LRCN模型的驾驶行为图像序列识别方法.采用自建驾驶行为数据集作为输入样本,经过金字塔降采样和高斯混合模型特征提取等预处理算法,得到标准视频图像序列,此序列传入以卷积神经网络和门控递归单元为基础搭建的网络模型做最优化处理,最终完成结果收敛.该模型使用Keras框架在GPU上计算,分别进行了环境适应性试验、预处理算法试验和模型对比试验.结果表明:预处理算法保证了模型的收敛,提高了模型对不同场景、不同测试对象识别的鲁棒性;在自建数据集上该模型的平均识别精度达94.3%,比传统LRCN模型高4.7%,且模型收敛的速度更快,泛化能力更强.     

基于全局图遍历的ST-GCN人体行为识别算法

传统的时空图卷积网络(spatio-temporal graph convolutional network, ST-GCN)模型存在诸多缺陷,如空间图构造受预定义影响、忽略非相邻节点间信息的有效利用以及计算成本过高等.针对上述问题,基于ST-GCN模型提出一种采用节点全局图遍历的自适应人体行为识别方法.通过建立节点关联函数找出初始节点,再遍历拓扑状态库找出变化较大的前条链路筛选关键连接特征;建立当前节点与相邻和非相邻节点间的有效关联,在卷积过程中增加位运算操作用于舍弃关联度较小的关节点,以期在减少计算量的同时通过直接捕捉人体节点间的位置和距离信息调整运动关联度,增强算法的自适应性.实验结果表明,该算法较原始ST-GCN模型的识别精度高2%,且计算成本低,每秒浮点运算次数下降2.9×10⁹.     

基于级联卷积神经网络的驾驶员分心驾驶行为检测

针对驾驶员分心驾驶行为检测,设计一种级联卷积神经网络检测框架。检测框架由第一级分心行为预筛选卷积网络和第二级分心行为精确检测卷积网络两个全卷积网络级联构成。预筛选卷积网络是一个轻量级的图像分类网络,负责对原始数据进行快速筛选,其网络层数少、训练速度快,结构特征冗余较少,能够减少后续网络的计算负担;分心行为精确检测卷积网络采用VGG(Visual geometry group)模型特征提取的深度迁移学习检测算法网络,通过迁移学习重新训练分类器和部分卷积层。提出的级联神经网络最终可以实现9种驾驶员分心驾驶行为的准确识别检测。实验结果表明,相比主流单模型检测方法,在保证算法效率的同时准确率均有明显提升,准确率达到93.3%,有效降低了误检率。该方法具有较好的鲁棒性和泛化能力。     

深度学习模型驱动的师生课堂行为识别

根据课堂教学场景设计了三维卷积神经网络（3D-convolutional neural network，3D-CNN），以动态性为主要特征，对教师进行课堂行为识别；提出了经过改进损失函数的YOLO-v5（you only look once version 5th）模型，并以多目标为主要特征，对学生进行课堂行为识别．2种模型均取得了较好的识别结果．为验证所选用模型的有效性，在所标注课堂行为数据集上进行了模型性能对比试验．试验结果表明:所选用模型在教育场景下课堂行为识别工作中展现了较好的性能；课堂行为的精准识别能够帮助教师和学生了解课堂学情，有助于推动智慧课堂的发展．      

基于图表示的智能车行人意图识别方法

智能驾驶场景下的人车冲突问题与行人过街行为密切相关,为使高级驾驶辅助系统（advanced driving assistance system, ADAS）具备识别行人过街意图的功能,并对人车碰撞事件预警,提出一种基于图表示学习（graph representation learning, GRL）方法的行人过街意图识别框架。它采用开源工具对行人骨架信息进行识别,采用图方法,以行人在一段运动过程内每一帧的骨架关键点为节点,以骨架自然连接关系、相关关系和时域关系为边建立图模型,实现对行人动作序列的表征。以图结构数据为输入,基于支持向量机（support vector machine, SVM）训练行人过街意图识别模型。在自动驾驶数据集PIE上对所提出方法进行评估,结果显示,行人过街意图分类准确率可达90.29%,所提出方法能够有效识别行人过街意图,对提高智能车决策安全性具有重要意义。      

基于卷积神经网络的壁面清洗机器人障碍物检测识别算法

结合机器人的工作原理以及卷积神经网络(CNN)在图像分类中的应用,提出了一种基于卷积神经网络的壁面障碍物检测识别算法.首先,以壁面障碍物准确识别为目标,构建壁面障碍物图像库;然后,通过对VGG-16网络简化后进行优化,得到适合壁面障碍物准确识别的卷积神经网络模型.在此基础上,设计该网络由输入层、4层卷积层、2层池化层、1层全连接层以及输出层组成,进一步利用3×3卷积核对训练样本进行卷积操作,并将所获取的特征图以2×2领域进行池化操作.重复上述操作后,通过学习获取并确定网络模型参数,得到最佳网络模型.实验结果表明,障碍物的识别准确率可达99.0%,具有良好的识别能力.     

考虑车辆间交互作用的驾驶意图预测方法

准确的意图预测可以帮助智能车辆更好地了解周围环境并做出更加安全的决策，从而提高自动驾驶的安全性，促进人机协同驾驶。为了对驾驶员未来的意图做出更加精准的预测，提出了一种交互式意图预测方法。首先，通过将隐马尔可夫模型（HMM）与高斯混合模型（GMM）相结合，在充分考虑周围场景信息后建立了行为识别模型，用于对当前的驾驶行为做出准确的判断。然后，考虑到交通场景复杂多变的特点，提出基于意图的轨迹预测方法规划出一条最佳的行驶轨迹，并采用最大期望效用理论对未来的驾驶行为进行推理。由于行为识别和意图推理模型综合考虑了交通态势的演变过程和车辆之间的交互作用，所以将两个模型得到的结果相结合可得到车辆最终预测出的驾驶意图。最后，在NGSIM数据集对所提出的方法进行验证，结果表明提出的行为识别模型能够提前0.2~0.3 s识别出车辆的换道意图，结合未来意图推理模型，能够更加准确地预测出车辆未来的驾驶行为，由此可提高车辆驾驶的安全性。     

基于深度学习的无人驾驶汽车车道线检测方法

车道线检测是实现当前汽车辅助驾驶和未来无人驾驶汽车的关键,深度学习技术在近年来迅猛发展,在图像识别、图像分割、语音识别及数据预测等方面都取得了出色成绩。结合深度学习技术对无人驾驶汽车环境感知中的车道线检测进行了相应的研究,提出一种基于深度学习的车道线识别算法。对比研究已有算法,针对其中的信息融合问题,提出了一种新的特征图上下文信息融合方法,将该方法与VGG(Visual Geometry Group)网络相结合提出融合上下文信息的车道线识别网络VGG-FF,进一步加入空洞卷积提出融合空洞卷积及上下文信息的车道线识别网络VGG-FFD。将该网络模型在公开数据集以及自制数据集上进行了性能测试,实验结果表明该模型具有良好的识别效果。     

基于时空图注意力的短期电力负荷预测方法

准确的电力负荷预测对现代电力系统的安全经济运行至关重要.电力负荷预测可以表述为一个具有一定潜在空间依赖性的多变量时序预测问题.然而,大多数现有的电力负荷预测工作未能探索这种空间依赖关系.基于此,本文提出了一种基于时空图注意网络的短期电力负荷预测方法.提出一种基于时空图注意网络模块,该模块使用图注意层实现自适应的捕捉各用户间的潜在空间依赖性,同时使用门控卷积注意力层对各用户用电量在时间维度上进行自适应拟合,以提高网络的预测精度.实际数据实验表明,本文提出的模型整体预测精度提高明显,特别是在一定程度上缓解了长程预测精度恶化的问题,验证了所提方法的有效性与可行性.     

面向路面附着估计的路面图像识别

为提升智能辅助驾驶系统对路面附着系数估计的准确性与实时性，研究了一种基于视觉信息的路面识别深度学习算法，实现路面附着系数的预估计。设计压缩卷积机制以降低网络运算参数，采用特征图全局平均替换全连接层以提升网络的拟合性能，并构建路面识别深度卷积神经网络DW-VGG。利用自建路面图像数据集对网络进行训练，测试结果表明，基于提出的多层知识蒸馏技术的DW-VGG网络识别精度较高，分类性能评估指标F₁得分为96.57%，并有效降低了网络的运算和内存成本，识别单张图像只需32.06 ms，预测模型只有5.63 M。     

一种基于双流网络的行为识别方法

针对视频行为识别任务,提出一种基于双流网络的行为识别方法.首先,该网络采用稀疏采样的策略,避免相邻帧的冗余信息对识别效果产生影响;其次,利用卷积神经网络预测光流图,提高光流图的获取效率,并降低计算量;最后,使用残差网络提取完成的视频信息,同时简化神经网络的训练过程.为验证双流行为识别网络的有效性,在两个经典数据集上进行对比实验,实验结果表明,该双流行为识别网络识别效果较好,可应用于智能视频监控、人机交互、公共安全等领域.     

基于车载毫米波雷达动态手势识别网络

基于Transformer提出一种车载毫米波雷达手势识别方法，可用于车内人员进行人机交互.毫米波雷达信号不受车内光照变化影响，同时能够保证乘客隐私.首先，毫米波雷达采样信号经过二维傅里叶变换和滤波获得距离—多普勒（RDM）和距离—角度图(RAM)；然后，将连续多帧RDM和RAM经过三维卷积网络后进行特征融合与拼接得到特征向量，利用Transformer模块进行位置和序列编码；最后通过全连接层获得手势概率分布向量.采集了基于实际路况和多种干扰环境下的雷达数据制作了手势识别分类的数据集，实验结果表明该方法可以有效的检测与识别多种典型手势，识别准确率可以达到97.14%以上.     

基于随机化网络的自主平台实时场景分类方法研究

场景分类使自主平台能够理解环境信息. 通常，基于随机化的神经网络能够快速识别场景信息，并且花费很少的时间训练权重. 然而，基于随机化的神经网络的浅层网络结构限制了其非线性表示能力. 此外，全连接的特征提取方式不能有效地提取局部特征信息. 集成框架能够有效提升精度，但会引入高模型复杂度及大量参数而大幅降低推理速度. 针对上述问题，提出一种基于多尺度卷积随机化的实时场景分类网络集成结构（multi-level convolutional randomization-based network ensemble architecture，E-MCRNet）. 首先，基于随机化网络将全连接层替换为多尺度卷积层构成多尺度卷积随机化网络（multi-level convolutional randomization-based network，MCRNet）；其次，多个MCRNet构成集成体系结构E-MCRNet. E-MCRNet由一个主隐藏层和多个子隐藏层组成，主隐藏层分别与每个子隐藏层级联形成分支网络. 测试结果表明，E-MCRNet可以提高精度以及降低集成模型的复杂度，而且能够部署于嵌入式设备有效地执行相关任务.