用于目标跟踪的特征融合孪生网络算法研究

针对目标跟踪过程存在的动态不确定性的问题,传统跟踪方法容易产生目标漂移甚至跟踪失败,而基于深度学习的跟踪算法随着网络结构的加深容易导致深层特征过于稀疏抽象,不利于克服上述问题.为此,本文提出SiamMask三分支网络融合注意力机制的孪生网络目标跟踪新方法,旨在加强网络对特征选取的学习能力,加强目标有效特征的抽取,并减少冗余信息对网络负担的影响.特征提取主干网络选用改进的Resnet-50,通过融合深层和浅层特征,实现跟踪目标特征的有效表达.利用4个数据集(COCO、ImageNet-DET 2015、ImageNet-VID 2015、YouTube-VOS)对提出的特征融合孪生网络框架进行训练,并使用VOT数据集进行在线测试.实验表明：与文中其他跟踪方法相比,该算法在面对动态目标尺度变化、环境光照、运动模糊等场景表现更优异.     

基于多分支注意力孪生网络的目标跟踪算法

目标跟踪在计算机视觉任务中有重要的意义。近年来随着深度学习的发展,基于孪生网络的目标跟踪算法因其优异的性能而被广泛应用。然而,现有基于孪生网络的跟踪算法在目标发生较大形变、低分辨率、复杂背景等情况下的跟踪性能通常会显著下降。为此,文中提出了一种基于多分支注意力孪生网络的目标跟踪算法。该算法首先构建了超分辨率模块和数据增强模块,分别对目标模板进行超分辨率和数据增强,提升目标模板的特征表征能力;然后利用3个主干网络分别提取原始目标模板、超分辨率目标模板和数据增强目标模板的特征,并进行特征融合,同时在主干网络中应用了通道注意力模块和空间注意力模块,以提升特征提取能力;最后,将融合后的特征图与待搜索区域的特征图输入区域生成网络模块,得到目标跟踪信息。实验结果表明,该算法在OTB100数据集上的精确率为0.919、成功率为0.707,在VOT2018数据集上的准确率为0.642、鲁棒性为0.149,在实际场景中的运行速度每秒至少20次,说明该算法具有优异的跟踪性能,并且在各种复杂场景下都具有良好的鲁棒性。     

孪生网络融合卡尔曼滤波的目标跟踪研究

目标跟踪是机器视觉领域的经典问题,在军事目标跟踪和视频监控等领域都有着重要应用。孪生网络是当前相关问题研究的主流框架。本文在SiamRPN孪生网络基础上进行了改进,引入残差网络以减轻特征学习中过拟合问题,同时在网络中注入空洞空间卷积模块,并增加全局语境信息的获取能力以扩大感受野;其后融入卡尔曼滤波以改善目标受到各种干扰时追踪位置失真问题;最后通过实验设计,从定性和定量两个角度显示,面对运动模糊、光照变化、遮挡等复杂情况下所跟踪目标出现漂移或者丢失等问题,本文所设计方法都具有较好的跟踪效果。     

基于孪生网络的目标跟踪算法研究进展

目标跟踪是计算机视觉领域中最为核心的基础研究问题之一,其能够协同高层视频应用分析和研究,具有重要的理论价值、广泛的实用价值和多学科交叉性,成为学术界、工业界以及国家战略的关注焦点。由于跟踪场景复杂度高、干扰强,目标表观变化多样性以及多模态信息融合等因素,使得跟踪器需要均衡鲁棒性、准确性以及实时性等性能衡量指标。目前,已有很多工作从不同视角解决目标跟踪领域中的挑战,但是在多维度性能指标的衡量下,仍然不能很好地克服复杂场景下的跟踪问题。本文通过基于孪生网络的目标跟踪算法,回顾领域发展现状,探讨存在的挑战,展望未来值得关注的研究方向,为该领域未来的研究工作提供借鉴和参考。     

基于无锚的轻量化孪生网络目标跟踪算法

针对运算资源受限条件下难以实现高精度、高帧率跟踪的问题,提出一种基于无锚的轻量化孪生网络目标跟踪算法.首先使用修改的轻量级网络MobileNetV3作为主干网络提取特征,在保持深度特征表达能力的同时减小网络的参数量和计算量;然后对传统互相关操作,提出图级联优化的深度互相关模块,通过丰富特征响应图突出目标特征重要信息;最后在无锚分类回归预测网络中,采用特征共享方式减少参数量和计算量以提升跟踪速度.在两个主流数据集OTB2015和VOT2018上进行对比实验,实验结果表明,该算法相比于SiamFC跟踪器有较大的精度优势,并且在复杂跟踪场景下更具鲁棒性,同时跟踪帧率可达175帧/s.     

基于孪生网络的目标跟踪研究综述

近年来,基于孪生网络的目标跟踪算法由于在跟踪精度和跟踪效率之间能够实现良好的平衡而备受关注。通过对基于孪生网络的目标跟踪算法的文献进行归纳,对现有孪生网络目标跟踪算法进行了全面总结,对孪生网络的2个分支结构进行了讨论。首先,介绍了基于孪生网络目标跟踪的基本架构,重点分析了孪生网络中主干网络的优化,以及主干网络的目标特征提取问题。其次,对目标跟踪过程中的分类和回归2个任务展开讨论,将其分为有锚框和无锚框2大类来进行分析研究,通过实验对比,分析了算法的优缺点及其目标跟踪性能。最后,提出未来的研究重点:1)探索背景信息训练,实现场景中背景信息传播,充分利用背景信息实现目标定位。2)目标跟踪过程中,目标特征信息的更加丰富化和目标跟踪框的自适应变化。3)从帧与帧之间全局信息传播,到目标局部信息传播的研究,为准确定位跟踪目标提供支撑。     

基于模板更新的深层孪生网络跟踪算法

针对跟踪过程中因尺度变化、遮挡及运动模糊等造成的目标定位不准确问题,在SiamFC(fully-convolutional siamese network)的跟踪框架基础上提出了一种具有高置信度模板更新机制的深层孪生网络目标跟踪算法.首先,主干网络采用ResNet-50残差网络进行特征提取,并融合多层特征图进行目标预测;其次,为避免模板频繁更新带来的模板漂移问题,构建了高置信度的模板更新模块.在OTB100数据集上的实验结果表明,相比基准算法,文中算法的跟踪成功率和精确度分别提高了3.4%和2.6%;在多种挑战因素下的对比实验表明,文中算法可以较好地抵抗目标遮挡、尺度变化、运动模糊等多种复杂因素带来的影响,有很好的鲁棒性.     

基于并行空频注意力引导的任务感知目标跟踪算法

现有孪生网络目标跟踪器已表现出不错的性能,但对于复杂场景中存在的相似目标误检以及包围框偏移等问题,表现却仍不尽如人意。针对此问题,文中提出了一种新的两阶段孪生目标跟踪算法,该算法由目标提议阶段与任务感知验证阶段组成。第一阶段结合并行空频注意力模块,充分挖掘目标图像的表观特征,增强目标的抗相似物体干扰能力,提高鲁棒性。第二阶段针对检测任务中分类回归任务的差异,对目标分类和位置回归进行任务感知验证,分别获得适用于分类和回归的精准候选框,得到候选目标的识别得分及位置精调。此外,针对训练与测试任务中分类回归计算冲突问题,以及分类回归任务对于正负样本计算存在数量、对象偏差问题,采用GFocal Loss对损失函数进行优化以解决以上问题。实验证明,文中算法在有效性、可靠性以及预期平均重叠率上获得了较大的性能提升,并满足实时跟踪要求。     

孪生压缩激励全卷积网络的目标跟踪方法

为提升目标跟踪的准确性并保证其实时性,提出一种基于改进孪生全卷积网络的新方法——孪生压缩激励全卷积网络(siamese squeeze and excitation fully convolutional networks,Siam-SEFC).Siam-SEFC通过添加具有少量参数的压缩激励网络结构融合空间通道信息,...     

显著性能量目标跟踪轨迹修正算法

针对SiamMask在目标跟踪过程中,图像序列中出现运动模糊时跟踪机制无法捕获特征点而导致的跟踪漂移问题,提出一种显著性能量目标跟踪轨迹修正算法。该算法通过显著性能量特征判定是否发生跟踪漂移,利用轨迹预测算法修正发生漂移时的跟踪结果,解决运动模糊条件下跟踪漂移问题,进一步提高SiamMask算法跟踪精度。分别在OTB50和VOT2018数据集进行仿真测试,仿真结果表明该算法较SiamMask算法跟踪精度提高0.2%,有效修正跟踪漂移时的目标位置,适用于智能监控和自主驾驶系统等。     

无线传感器网络中的目标跟踪算法

在综合分析大量文献和最新研究结果的基础上,探讨无线传感器网络目标定位和跟踪算法的性能评价标准和分类方法,着重研究近年来该领域具有代表性的算法和特点,给出了比较结果及相应分析,并指出进一步的研究方向。     

一种基于孪生网络的图片匹配算法

随着卷积神经网络（Convolutional Neural Networks,CNN）的不断改进,基于CNN的图片匹配成为图像处理的关键,然而,许多基于CNN的图像相似度检测算法对图像特征的表达能力较差,且曼哈顿距离或欧式距离的计算方式导致在计算损失函数时模型不一定能很好地收敛.针对此问题,提出一种基于孪生网络和注意力机制的方法（CSNET）来提升图像匹配的性能,主要步骤如下：使用将激活函数改进为Mish函数的VGG16网络作为主干网络提取图像的特征,在模型的卷积层加入注意力机制模块（Convolutional Block Attention Module,CBAM）,这提高了模型的特征提取能力和鲁棒性,保证训练可以收敛.对模型输入图片对的特征向量的欧氏距离,再利用网络全连接层输出的相似度分数来度量被检图片是否相似.将提出的CSNET与其他图片匹配方法在Omniglot和SigComp2011等数据集上进行比较,实验结果表明,CSNET能有效提高图像相似度匹配的准确性.     

基于多特征融合的目标跟踪算法

针对单一特征的目标跟踪算法鲁棒性较差的情况,利用目标的多种观测信息通过D-S证据理论进行融合跟踪.在粒子滤波的总体框架下,嵌入Mean-Shift算法产生更加逼近真实后验分布的粒子,同时采用颜色和运动边缘特征作为观测模型,有效地避免了单一颜色特征在光照突变、姿态变化以及背景相似情况下的跟踪稳定性较差的问题.实验表明,该...     

基于通道注意力机制的高光谱目标跟踪方法

传统目标跟踪算法根据彩色图像中目标的颜色、纹理等视觉信息进行目标跟踪.当目标发生形变或被遮挡时,彩色图像中目标的视觉信息容易发生改变,导致传统目标跟踪器失效.高光谱图像(HSI)中包含连续的波段光谱信息,在上述场景下具有更强的稳定性,有助于提高目标跟踪算法的鲁棒性.提出一种基于通道注意力机制的目标跟踪算法(CAM).该方法将HSI不同通道的全局光谱信息和图像通道间的相关信息融合表征为权重向量;然后,通过加权重新校准HSI中的光谱响应值,增强图像中目标波段光谱信息的有效性,抑制冗杂的背景光谱信息的干扰,使得HSI中目标和背景之间的可分离性增强;最后将加权后的图像输入到跟踪网络中得到预测结果.在高光谱视频数据集上的实验结果表明,该算法具有良好的跟踪性能,优于多数现有的目标跟踪算法.     

基于特征融合的均值偏移目标跟踪算法

均值偏移目标跟踪方法采用颜色直方图对所选择的目标区域进行建模,由于颜色直方图是一种对目标特征比较弱的描述,当有遮挡等干扰因素时,算法效果欠佳,为了有效解决均值偏移目标跟踪算法不足而导致目标定位不准的问题,提出了将颜色特征中融入像素点空间位置特征的算法来实现目标跟踪.实验表明该算法能较好地适应复杂背景视频序列,改进了传统均值偏移算法的不足,提高了算法的鲁棒性和准确性.     

一种基于无线传感器网络的分布式目标跟踪算法

将无线传感器网络与接收信号强度指示测距技术相结合,研究了移动目标的分布式跟踪算法。根据传感器节点与移动目标的相对位置,将节点动态组织成簇,簇头节点作为簇的数据处理中心,利用扩展卡尔曼滤波形成对移动目标位置的本地估计。随着目标的移动,本地估计在簇头节点间传递。仿真结果表明,基于无线传感器网络的分布式目标跟踪算法在精度、收敛性和实时性等方面达到很好的跟踪效果。     

生成式与判别式视觉目标跟踪算法综述

视觉目标跟踪是对目标位置、速度、运动轨迹等信息检测与预测技术。该技术融合了计算机视觉、图像处理、深度学习等众多领域技术。本文将对目标跟踪算法发展情况以及研究现状进行梳理。首先介绍目前常用的基准数据集;其次指出生成式算法与判别式算法差异;再对传统的生成式算法进行简单的分析总结;随后围绕算法框架分别介绍相关滤波框架、深度学习框架、孪生网络框架、Transformer框架的判别式算法并分析不同算法的优缺点;最后分析目前动态目标跟踪存在的问题并展望。     

基于特征融合的改进粒子滤波目标跟踪算法

针对复杂背景下单一的颜色特征不能准确跟踪目标的问题,提出了一种改进的目标跟踪算法。该算法利用跟踪目标的颜色特征和运动边缘特征来表示目标。在粒子滤波的框架下融合特征信息从而进行目标跟踪,能够有效地避免单一颜色特征在跟踪过程中受到相似背景、遮挡等问题的干扰。通过与基于单一颜色特征跟踪实验误差数据的分析,实验结果表明该算法在复杂背景以及目标遮挡等情况下能达到较好的目标跟踪效果,实现目标的准确跟踪。     

无线传感器网络中基于粒子滤波的目标跟踪算法研究

近几十年来,随着传感器、无线通信、信息处理、计算机等相关技术的不断发展和创新,基于无线传感器网络的应用越来越广泛,对无线传感器网络中的目标跟踪算法进行研究也具有极大的现实意义。在研究滤波算法的基础上,针对粒子滤波算法中的粒子退化问题,考虑无迹粒子滤波中的重要性函数充分利用了当前观测值但是运行时间长的问题,提出一种在有效粒子数满足一定条件下进行无迹变换的方法,将先验分布和通过无迹卡尔曼方法得到的重要性函数相结合作为新的提议分布以减缓粒子的退化。对于粒子滤波中的样本贫化问题,提出一种改进的分类重采样方法,当粒子的多样性不足时,在大权值粒子上加一个以噪声方差控制的扰动并给予小权值粒子一定的被选概率,以此增加粒子的多样性,并以C++为仿真工具对所提方法进行了试验。结果表明,改进的粒子滤波算法在估计精度上优于标准粒子滤波和无迹粒子滤波,而且运行时间比无迹粒子滤波减小一半多。     

无线传感器网络中基于网格的目标跟踪算法

提出了一种适用于无线传感器网络中基于网格的目标跟踪算法,以解决在目标跟踪过程中信任度(belief)更新和传感器节点信息贡献量估计问题.该算法对信任度进行非参数化表示,用基于网格的算法对序列贝叶斯滤波过程进行实现.并且利用目标位置预测和基于网格的算法在不预先获知传感器节点测量数据的情况下,对节点的信息贡献量进行估算.在资源受限的无线传感器网络中,该算法在降低计算复杂度、提高算法适用范围方面都有显著改进.最后在仿真环境中验证了基于网格的目标跟踪算法的有效性.