基于Transformer结构的多目标追踪算法研究综述

Transformer是一种基于编码器-解码器、完全使用自注意力机制的深度神经网络结构,目前已经成功应用于多目标追踪,性能得到大幅提升。本文首先分析了Transformer网络整体结构,归纳Transformer结构具有的优势。然后根据查询方式将基于Transformer结构的多目标追踪方法分为：基于稀疏查询的方法和基于密集查询的方法,对相关模型分析总结。最后介绍常用数据集,对比分析模型性能,指出基于Transformer结构的多目标追踪面临的挑战与未来研究方向。     

基于可变形上下文感知网络的多尺度仪表检测

针对复杂背景下多尺度仪表设备检测面临较大挑战的问题,提出一种基于可变形上下文感知网络的仪表检测方法。针对工业环境干扰较多、小目标容易漏检的问题,设计了一种新颖的特征金字塔结构;通过引入可变形上下文信息、自适应扩展感受野,多尺度层级的空间和语义信息得到充分利用,有效提升检测效果并降低虚警率;对通用的检测头进行改进,预测额外的定位置信度来抑制低质量的检测框,使得目标框的回归更加精准。基于构建的仪表检测数据集验证了提出方法的有效性。实验结果表明,相比于基准网络,提出的方法在检测效果上有显著的提升。     

基于改进Transformer和强化学习的僵尸网络DGA域名检测

针对现有僵尸网络检测方法检测精度不高和检测时间开销较大的问题,提出一种基于改进Transformer和强化学习的僵尸网络域名生成算法(Domain Generation Algorithm,DGA)的域名检测方法。首先,利用深度可分离卷积替换ResNet和ResNeXt网络中的卷积块,通过减少网络模型参数来降低模型的时间开销;其次,利用改进后的ResNet和ResNeXt网络将域名字符串映射到深度特征空间,构造多尺度特征,强化特征的表达能力;再次,利用长短期记忆神经网络(Long Short-Term Memory,LSTM)对Transformer网络进行改进,在保持字符间相对位置的同时,进一步建立上下文的长距离依赖编码,并在此基础上引入注意力机制,强化模型对关键特征的捕获能力;最后,引入强化学习对模型进行微调,提高DGA域名的检测精度。在多个DGA域名数据集上进行测试验证,结果表明该模型在保持检测时间开销较小的基础上,具有更高的检测精度。     

基于GA-RoI Transformer的遥感图像任意方向目标检测

遥感图像中的目标多呈现出方向上的任意性,导致遥感图像中感兴趣目标的检测难度大大增加.现有主流目标检测方法都是基于水平候选锚框的,现有方法通过对锚框添加旋转角度来解决任意方向目标检测问题,但这使得候选锚框的数量激增,导致算法计算开销过大.提出了一种基于GA-RoI Transformer(Guided Anchoring...     

基于语义分割的高原鼠兔目标检测

针对区域建议网络中锚点框引入背景噪声导致小目标检测精度低的问题,提出了基于语义分割的感兴趣区域生成方法.首先把感兴趣区域的搜索问题转化为前景和背景的二值语义分割问题;然后对语义分割所得的前景进行中值滤波及连通域分析,直接得到感兴趣区域的大小和位置,从而避免使用锚点框来生成感兴趣区域,减小了背景噪声对目标检测的影响.对自然场景下高原鼠兔目标进行检测,结果表明:基于语义分割的感兴趣区域生成方法最优F1值比区域建议网络高27.75%,检测精度更高.     

基于联合检测的多目标跟踪方法研究

为了更好地应对多目标跟踪联合检测算法面对的场景遮挡问题,通过结合注意力机制,提出基于Transformer的运动预测和数据关联（Transformer-based motion prediction and data association,TrMPDA）联合检测跟踪方法。首先,考虑到置信度检测框的质量以及深度特征的视觉表示能力对遮挡场景下跟踪效果的影响,重新设计TrMPDA骨干网络中的ResNet卷积模块,利用相邻像素和长距离像素间丰富的上下文关系指导动态注意矩阵的学习,增强深度特征的视觉表示能力,并通过边界框的宽和高估计边界框位置,提高置信度检测框的质量。其次,在本文方法中保留所有的检测框,根据阈值大小划分高置信度检测框和低置信度检测框,分别执行数据关联匹配,以此来平衡由于遮挡导致的检测框低置信度。实验结果表明本文提出的TrMPDA方法与典型的Sort、JDE、Fairmot等多目标跟踪算法相比具有更好的跟踪效果,能够应对多目标跟踪中目标遮挡的问题。     

基于最优区域生成的深度多尺度融合遥感飞机检测方法

遥感图像中典型目标的检测是当前图像处理领域的研究热点,飞机在战场监视、航空管制和交通运输等领域发挥着重要作用。为了提高遥感图像中飞机检测的正确率,提出了一种基于多特征融合的遥感飞机检测方法,将深层特征经过上采样操作后与浅层特征进行融合,解决了遥感飞机目标较小造成的检测困难的问题。首先,对于锚框尺寸和个数由人为确定而造成目标位置检测不准的问题,采用K-均值聚类(K-means)算法对数据集的目标框大小进行聚类分析并获得适合飞机遥感图像的锚框(anchor boxes)个数以及宽高维度;其次,采用上采样的方法扩大感受野,以提高网络对小目标的检测准确率。采用多尺度融合的卷积神经网络,以适应不同尺度目标的检测,最终提出一种基于最优区域生成的深度多尺度融合遥感飞机检测方法。仿真结果表明:与典型的飞机检测方法相比,所提方法在测试集上取得了更高的的检测精度。     

基于FF R-CNN钢材表面缺陷检测算法

针对深度学习算法检测钢材表面缺陷时,结构信息减少导致检测精度低的问题,提出一种特征融合和级联检测网络的Faster R-CNN钢材表面缺陷检测算法。首先利用主干网络提取特征图,通过融合特征图的方式,达到减少结构信息丢失的目的;进一步将生成的特征图输入RPN网络生成区域建议框;最后利用检测网络对区域建议框进行分类与回归,通过级联2个检测网络,实现精确检测结果的目标。对模型进行对比性实验分析,找出检测精度最优的算法模型。在NEU-DET数据集上对提出的算法进行了检验,主干网络采用VGG-16比采用Resnet-50的检测精度提高了2.40%;通过融合特征,检测精度提高了11.86%;通过检测网络的级联,检测精度提高了2.37%.通过对算法模型的不断改进和优化,检测精度达到了98.29%.与传统的钢材表面检测方法相比,改进算法能够更准确地检测出钢材表面缺陷的种类和位置,提升对钢材表面缺陷的检测精度。     

基于姿态估计和Transformer模型的遮挡行人重识别

行人重识别是利用人工智能解决边防检查、人员追踪等公共安全应用问题的技术,具有从跨设备采集的图像中识别某一特定行人的能力。但是在人员追踪等问题中,往往会出现行人刻意遮挡、复杂场景环境遮挡等因素,大大提高了行人重识别的难度。针对行人重识别遮挡问题,基于ResNet50网络,结合姿态估计（Pose estimation）和转换器（Transformer）模型,提出了一种改进的行人重识别网络PT-Net,以提高遮挡条件下的行人重识别能力。该方法首先利用现有的姿态估计方法对输入图像进行关键点检测,并将关键点信息与行人特征图像结合起来生成一个基于姿态的行人特征表示;然后利用Transformer模型对基于姿态的行人特征表示编码,用来实现特征对齐和特征融合。论文基于国际公开的数据集Occluded-Duke开展实验验证,结果表明,PT-Net方法相对于基线模型,其均值精度mAP和相似度排序Rank-1指标分别提高了1.3和1.5个百分点,验证了该方法的有效性和优越性。     

面向端到端目标检测神经网络的高效硬件加速系统设计

针对神经网络目标检测系统在硬件资源受限与功耗敏感的边缘计算设备中应用的问题,提出了一种基于现场可编程门阵列（FPGA）实现的YOLOv3-Tiny神经网络目标检测硬件加速系统. 利用网络结构重组、层间融合与动态数值量化,缩减YOLOv3-Tiny网络规模. 基于通道并行与权值驻留硬件加速算法、紧密流水线处理流程与硬件运算单元复用,提升硬件资源利用效率. 所设计的端到端目标检测加速系统被部署在UltraScale+ XCZU9EG FPGA上,达到了96.6 GOPS的吞吐量与17.3 FPS的检测帧率,功耗为4.12 W,并具有0.32 GOPS/DSP与2.68 GOPS/kLUT的硬件资源利用效率. 在保持高效准确目标检测能力的同时,硬件资源利用效率优于其他已有的YOLOv3-Tiny目标检测硬件加速器.      

基于多层定位的多目标跟踪算法

在遮挡频繁发生的环境中,多目标跟踪是一个难题.为解决此难题,提出了一种基于多层定位的多目标跟踪算法.该算法利用码本模型检测前景.首先计算垂直方向上的灭点,进而获得基于多层的单应性矩阵,完成多目标在多层上的定位.然后利用图割算法进行跟踪.该算法不需要相机的完全标定,提高了计算效率.实验结果表明,本算法实时性好,对多目标之间的遮挡具有很强的鲁棒性.     

基于生成对抗网络的多目标行人跟踪算法

多目标跟踪领域中,在背景复杂、目标遮挡、目标尺度和姿态变换等情况下,容易出现目标丢失、身份交换和跳变等问题.针对这些问题,提出了一种基于检测的多目标跟踪算法,使用改进的YOLO人体人脸关联算法,对当前帧待检目标进行分类和位置检测,使用生成对抗网络构建特征提取模型,学习目标的主要特征以及细微特征,再运用生成对抗网络生成多目标的运动轨迹,最终融和目标的运动信息和外观信息,得到跟踪目标的最优匹配.在MOT16数据集下的实验结果表明,提出的多目标跟踪算法具有较高的精确度和鲁棒性,对比目前身份交换和跳变最少的算法,跳变的次数少了65%,准确度提高了0.25%.     

一种基于特征代价函数的多目标跟踪算法

提出一种基于特征代价函数的多目标跟踪算法。根据目标在相邻帧间运动具有连续性以及包围窗口、灰度变化不大的特点，改进了一种代价函数。在跟踪的匹配过程中，启动卡尔曼滤波和预测目标匹配搜索区域，同时使用目标链记录目标最新的运动状态和特征值，从而保证运动跟踪的连续性和计数的有效性。     

融合视觉与雷达数据的改进粒子滤波车辆目标跟踪

针对视觉跟踪中由于尺寸变化累积误差导致目标丢失的问题,提出一种融合视觉与毫米波雷达数据的改进粒子滤波车辆跟踪算法。首先,引入遗传算法改善标准粒子滤波中的粒子退化与粒子衰退问题,根据退化程度计算动态自适应的遗传交叉概率,并利用高斯分布替代平均分布计算种群适应度。然后,将图像HSV直方图特征与改进粒子滤波算法结合,实现车辆多目标跟踪。最后,通过雷达目标投影点与视觉跟踪框的位置关系实现关联匹配,利用深度信息修正跟踪框的位置与尺寸。实验结果表明,相对于标准粒子滤波,改进的粒子滤波算法可以使平均跟踪准确率与精度分别提高22.1%与21.1%。相对于仅采用视觉跟踪,融合雷达数据的跟踪算法能够使车辆目标跟踪精度再次提高9.2%。     

基于CRF模型和标签代价的群组多目标跟踪算法

目标身份切换现象在目前的视频多目标跟踪算法中普遍存在,特别是在遮挡严重的场景中.针对这一问题,提出一种结合了CRF(condition random field)模型和标签代价函数的多目标跟踪算法.该算法将多目标跟踪问题转化为求解统一能量函数的最小解问题;同时,将目标的群组状态融合到跟踪器中,减少了目标发生身份切换的概率,提高了算法的鲁棒性.在多个公共数据集中对该算法进行仿真,实验结果显示,在多个性能指标特别是目标发生身份切换次数指标中,该算法优于目前主流的跟踪算法.     

一种改进Camshift算法及其ARM实现

基于视频序列的运动目标跟踪在安防、军事等领域用途广泛。针对传统Camshift算法易受颜色相近物体的干扰,丢失目标的情况,提出了一种改进的Camshift算法。该算法检测SIFT特征点并进行FREAK特征匹配,通过判断每一帧跟踪结果的跟踪精度修正跟踪矩形框,从而改善跟踪精度。为便于工程应用,在Linux系统上进行了算法移植,实现了基于ARM的运动目标跟踪系统。实验结果证实改进算法对部分遮挡、颜色相近干扰等情况具有稳定性,能够实现对运动目标的准确跟踪。     

基于人工神经网络动态标定算法的低成本视线追踪系统

针对视线追踪系统成本高、标定算法复杂的问题,研究了一种低成本视线追踪系统.系统采用低成本网络摄像头,采集到的图像首先采用Haar-like特征与肤色结合算法来进行人脸检测,并利用主动表现模型算法和光流法定位并跟踪人脸特征点;然后利用梯度向量法进行瞳孔中心检测;为了提高系统精度和鲁棒性,提出了一种人工神经网络的动态标定算法.实验表明,视线追踪系统不仅具有很好的鲁棒性,而且具有较高的精度,在头部静止的情况下平均误差为1.34°,在头部运动的情况下平均误差为3.26°.      

N阶线性跟踪-微分器及其在电力系统相角预测中的应用

证明了一种N阶线性跟踪一微分器的收敛性。由于该线性跟踪一微分器的结构参数和跟踪性能对噪声和对象有一定的敏感度和依赖性，采用自适应遗传算法对三阶线性跟踪一微分器的结构参数进行了优化，以期获得较好的参数匹配，提高跟踪预测的精度和速度。将优化后的三阶线性跟踪一微分器用于电力系统参考相角预测研究中，仿真结果证明，优化后的三阶线性跟踪一微分器具有较好的跟踪性能和预测精度，满足电力系统相角预测的要求。     

基于阴影特征和Adaboost的前向车辆检测系统

为了解决汽车安全辅助驾驶系统中的前向车辆检测问题,提出了一种基于单目视觉的在线前向车辆检测系统。通过检测车底阴影特征来生成车辆假设,分别提出了自适应路面阈值方法和阴影区域融合方法以解决路面区域灰度变化和阴影边缘变形问题;使用基于梯度特征的adaboost方法来验证车辆假设;最后使用Kalman滤波对检测到的目标进行跟踪以改善系统性能。使用道路实拍的图像序列对系统进行了测试。结果表明,该系统能够在实时条件下有效检测前方车辆。