用于目标跟踪的特征融合孪生网络算法研究

针对目标跟踪过程存在的动态不确定性的问题,传统跟踪方法容易产生目标漂移甚至跟踪失败,而基于深度学习的跟踪算法随着网络结构的加深容易导致深层特征过于稀疏抽象,不利于克服上述问题.为此,本文提出SiamMask三分支网络融合注意力机制的孪生网络目标跟踪新方法,旨在加强网络对特征选取的学习能力,加强目标有效特征的抽取,并减少冗余信息对网络负担的影响.特征提取主干网络选用改进的Resnet-50,通过融合深层和浅层特征,实现跟踪目标特征的有效表达.利用4个数据集(COCO、ImageNet-DET 2015、ImageNet-VID 2015、YouTube-VOS)对提出的特征融合孪生网络框架进行训练,并使用VOT数据集进行在线测试.实验表明：与文中其他跟踪方法相比,该算法在面对动态目标尺度变化、环境光照、运动模糊等场景表现更优异.     

一种时空特征融合的鲁棒视觉跟踪算法

针对视觉跟踪在复杂背景下因外观特征表征不足等原因造成的目标丢失问题,结合深度光流网络估计的运动特征,文中提出了一种基于时序信息和空间信息自适应融合的视觉跟踪算法。该算法在相关滤波跟踪框架基础上,引入递归全对场变换（RAFT）深度网络估计光流以获取目标的时序信息,提取目标的CN特征和HOG特征获取空间信息,然后融合目标时序信息和空间信息,以增强对目标时空特征的表征能力;其次,建立了一种跟踪结果质量判别机制,实时调整时序信息在融合过程中的权重, 有效提升了算法在复杂动态环境下的泛化能力。为评估算法的有效性,在OTB100和VOT2019两个数据集上进行了测试,实验结果表明,与主流视觉跟踪算法相比,所提算法的跟踪性能获得了显著提升,尤其在运动模糊、快速运动等属性的视频中,具有明显优势。     

引入全局上下文模块和高效注意力机制的车辆跟踪算法

孪生全卷积神经网络目标跟踪算法(SiamFC)近些年成为车辆跟踪领域的研究热点。但该算法缺乏对目标车辆的深层特征提取和整体感知,在背景复杂、低分辨率、光照变化的情况下容易跟丢。该文提出使用深度残差网络ResNet50作为主干网络,根据跟踪模型特性,从剪裁特征图、调整网络总步长和嵌入高效通道注意力模块三方面对其进行优化,高效提取特征的同时增强模型的差异化认知,并在分支网络引入全局上下文模块(Non-local Network, NLNet),增强跟踪模型对目标车辆的整体感知。经实验证明,提出的算法在低分辨率、光照变化和复杂背景的情况下跟踪速度和鲁棒性显著提升。在VOT2018和OTB2015数据集中测试均能得到较好的跟踪结果, 与经典跟踪模型SiamFC相比,在OTB2015数据集中测试的跟踪精度提高了5.5%,跟踪成功率提高了2.7%, 跟踪速度提高了14%可达98FPS。     

显著性能量目标跟踪轨迹修正算法

针对SiamMask在目标跟踪过程中,图像序列中出现运动模糊时跟踪机制无法捕获特征点而导致的跟踪漂移问题,提出一种显著性能量目标跟踪轨迹修正算法。该算法通过显著性能量特征判定是否发生跟踪漂移,利用轨迹预测算法修正发生漂移时的跟踪结果,解决运动模糊条件下跟踪漂移问题,进一步提高SiamMask算法跟踪精度。分别在OTB50和VOT2018数据集进行仿真测试,仿真结果表明该算法较SiamMask算法跟踪精度提高0.2%,有效修正跟踪漂移时的目标位置,适用于智能监控和自主驾驶系统等。     

孪生压缩激励全卷积网络的目标跟踪方法

为提升目标跟踪的准确性并保证其实时性, 提出一种基于改进孪生全卷积网络的新方法——孪生压缩激励全卷积网络(siamese squeeze and excitation fully convolutional networks, Siam-SEFC). Siam-SEFC通过添加具有少量参数的压缩激励网络结构融合空间通道信息, 为跟踪对象添加空间信息, 并通过调整训练数据尺度进行尺度不定的数据增强, 提取多尺度特征, 有效提升目标跟踪的准确性. 为提升多尺度训练速度, 网络采用单一尺度预训练的权重进行初始化. 与MDNet,SENet,DAT三种算法相比, Siam-SEFC在保证目标跟踪准确性的同时具有实时性； 而与Siamese-FC相比, Siam-SEFC跟踪准确性提升了2.2%, 参数量仅增加1.01%, 且未损失实时性, 验证了改进方案的有效性.     

基于模板更新的深层孪生网络跟踪算法

针对跟踪过程中因尺度变化、遮挡及运动模糊等造成的目标定位不准确问题,在SiamFC(fully-convolutional siamese network)的跟踪框架基础上提出了一种具有高置信度模板更新机制的深层孪生网络目标跟踪算法.首先,主干网络采用ResNet-50残差网络进行特征提取,并融合多层特征图进行目标预测;其次,为避免模板频繁更新带来的模板漂移问题,构建了高置信度的模板更新模块.在OTB100数据集上的实验结果表明,相比基准算法,文中算法的跟踪成功率和精确度分别提高了3.4%和2.6%;在多种挑战因素下的对比实验表明,文中算法可以较好地抵抗目标遮挡、尺度变化、运动模糊等多种复杂因素带来的影响,有很好的鲁棒性.     

基于改进孪生网络结构的相似法律案例检索研究

针对现有的基于孪生网络结构的文档相似度计算方法大多将整个文档看成模型的输入序列, 易导致数据稀疏的问题, 提出利用层级注意力机制来改进孪生网络结构中的文档表示。针对基于层级注意力机制的孪生网络计算模型在输入时有可能忽略文档中重要句子的问题, 进一步提出一种引入文档内容压缩的两步骤文档相似度计算方法。利用开发的法律案例文档相似度标注数据集进行实验, 结果表明所提方法明显优于基于长短期记忆模型的孪生网络计算模型。     

三联神经网络与区域自适应策略融合的目标跟踪方法

为解决目标跟踪过程中快速运动模糊、背景相似干扰、目标状态变化等问题，基于孪生网络跟踪算法，提出三联区域候选神经网络（TripleRPN）算法与跟踪区域自适应策略（TAA）相融合的目标跟踪方法（TAA+TripleRPN）.三联区域候选神经网络根据当前跟踪结果实时更新网络匹配模板，提高了跟踪器对目标状态变化的敏感性.通过区域自适应策略，根据区域候选回归网络分类分支的得分在网络的两组输出间择优选择，提高算法长时跟踪的鲁棒性.针对背景相似干扰和目标状态变化的问题时，TAA+TripleRPN跟踪器能达到更好的跟踪性能.在OTB2015数据集上，算法的AUC达到66.31%，CLE达到88.28%.在实际场景中实现验证与应用，跟踪效果良好.      

一种面向移动端应用的实时目标检测算法

针对目标检测算法部署在移动端存在内存消耗大、精度低等问题,在NanoDet模型的基础上提出一种引入改进注意力机制的轻量级目标检测网络。首先,设计通道双池化及空间双向拆分的注意力模块,在尽可能不增加计算消耗的同时加强网络对感兴趣区域的关注能力;其次,引入空洞卷积及Mish函数增加网络的感受野及特征判别能力,并缩减冗余的降采样单元结构以加快网络的实时性;最后,在MS COCO2017数据集及安卓设备上的实验验证可知,本文算法在少量模型参数下提高了检测准确率,并保证30帧/秒的移动端检测速度,效果优于YOLO系列等轻量级网络。实验结果表明,本文算法参数量较YOLO系列模型参数量更低,更适合移动端和嵌入式设备的实时目标检测场景。     

基于轻量卷积神经网络的目标跟踪改进算法

针对现有目标跟踪算法在跟踪过程中遇到目标形变、遮挡等干扰属性导致不能对目标进行有效跟踪的问题，提出一种基于轻量卷积神经网络（lightweight convolutional neural network,LWCN）的目标跟踪改进算法。首先利用改进的卷积神经网络对模板图片和跟踪图片进行特征提取，并将不同层次的特征图充分利用，解决了随着网络加深而导致部分特征丢失问题；其次融合CN特征和HOG特征作为相关滤波器中目标特征表达，增强在不同干扰属性下的目标描述能力；再次通过最大响应值对当前目标位置和目标尺度进行判断，并决定是否更新滤波器模板；最后将LWCN算法与其他算法在OTB50、OTB100、UAV123等数据集上进行性能对比实验。实验结果表明，LWCN算法具有较好的稳定性和实时性，并在遇到形变、遮挡、光线和背景变化时，跟踪结果优于大部分算法。     

基于深度聚合高分辨率网络的多目标跟踪

为了提高多目标跟踪性能，在单个网络中结合目标检测和重识别任务的特点，提出了一种基于深度聚合高分辨率网络的多目标跟踪算法.跟踪器通过DLA网络提取抽象的语义特征图，并将其输入到改进的轻量型HRNet网络中，以高分辨率聚合目标的多尺度特征，同时引入重识别分支提高匹配精度.经由传统的相似度计算、运动预测和数据关联阶段，完成跟踪流程.通过消融实验研究了不同融合层组合和特征维度对跟踪性能的影响，并在基准数据集上与当前跟踪器的各项性能指标进行比较.结果表明，所提算法以简洁的主干网络输出高分辨率的深层特征，兼顾了跟踪精度和执行效率.跟踪器的精度和识别率较高，且具备实时跟踪性能.     

基于孪生网络的目标跟踪研究综述

近年来,基于孪生网络的目标跟踪算法由于在跟踪精度和跟踪效率之间能够实现良好的平衡而备受关注。通过对基于孪生网络的目标跟踪算法的文献进行归纳,对现有孪生网络目标跟踪算法进行了全面总结,对孪生网络的2个分支结构进行了讨论。首先,介绍了基于孪生网络目标跟踪的基本架构,重点分析了孪生网络中主干网络的优化,以及主干网络的目标特征提取问题。其次,对目标跟踪过程中的分类和回归2个任务展开讨论,将其分为有锚框和无锚框2大类来进行分析研究,通过实验对比,分析了算法的优缺点及其目标跟踪性能。最后,提出未来的研究重点:1)探索背景信息训练,实现场景中背景信息传播,充分利用背景信息实现目标定位。2)目标跟踪过程中,目标特征信息的更加丰富化和目标跟踪框的自适应变化。3)从帧与帧之间全局信息传播,到目标局部信息传播的研究,为准确定位跟踪目标提供支撑。     

改进的SSD-ResNet算法

单次多边界框检测器(single shot multibox detector, SSD)算法因其性能优良已被应用于许多场景中，但该算法对小目标物体的检测精度偏低，主要原因是高层的语义信息没有被充分利用。为解决该问题，文章将其基础网络替换为残差网络(residual network, ResNet),同时融合深浅层的特征信息来增强浅层特征图的语义信息，此外还引入注意力模块，保留更多的目标特征信息，抑制无关信息，进一步提升对小目标物体的检测效果。在PASCAL VOC2007数据集上进行实验测试，平均精度均值为80.2%,优于其他SSD改进算法。由于增加了特征融合和注意力模块，所提算法检测速度有所下降，但相比于SSD改进算法，检测速度仍有明显的优势。     

基于MM YOLOv4的无人机目标检测算法

针对当前无人机目标图像检测方法精度较低和检测速度过慢的问题,提出一种结合轻量级网络和改进多尺度结构的目标检测算法。首先采用MobileNetV3轻量级网络替换YOLOv4的主干网络,减少模型复杂度,提升检测速度;其次,引入改进多尺度结构的PANet网络,增强高维图像特征和低维定位特征的流动叠加,提升对小目标的分类和定位精度;最后,利用K means方法对目标锚框进行参数优化,提升检测效率。同时结合公开数据集和自主拍摄方式构建一个新的无人机目标图像数据集Drone dataset,并基于数据增强的方法开展算法性能实验。实验结果表明,该算法的mAP达到了91.58%,FPS达到了55帧/s,参数量为44.39 M仅是YOLOv4算法的1/6,优于主流的SSD、YOLO系列算法和Faster R CNN算法,实现了对多尺度无人机目标的快速检测。     

分布式多目标自动跟踪和特征管理算法

一种可扩展的分布式多目标跟踪和特征管理的算法(DMTIM),适用于对多目标进行跟踪的传感器网络。DMTIM由数据关联、多目标跟踪、特征管理,以及信息融合所组成。数据关联和未知数量多目标的跟踪通过马尔科夫蒙特卡罗数据关联实现。通过信息融合来获取所有相邻传感器的本地一致性,实现特征管理。试验证明,DMTIM算法能够通过传感器网络实现对多目标有效的跟踪和特征管理。     

融合深度特征和FHOG特征的尺度自适应相关滤波跟踪算法

为了解决核相关滤波跟踪算法在复杂场景下跟踪效果差的问题,提出了一种融合深度特征和尺度自适应的相关滤波目标跟踪算法。首先,通过深度残差网络（ResNet）提取图像中被跟踪区域的深度特征,再提取目标区域方向梯度直方图（FHOG）特征,通过核相关滤波器学习,分别得到多个响应图,并对响应图进行加权融合,得到跟踪目标位置。其次,通过方向梯度直方图（FHOG）特征,训练一个PCA降维的尺度滤波器,实现对目标尺度的估计,使算法对目标尺度发生变化有很好的自适应能力。最后,根据响应图的峰值波动情况改进模型更新策略,引入重新检测机制,降低模型发生漂移概率,提高算法抗遮挡能力,在标准数据集OTB100中与其他7种目标跟踪算法进行比较。结果表明,相比原始KCF算法,改进后的KCF算法精准度提升了29.4%,成功率提升了25.9%。所提算法实现了对跟踪目标位置的精准估计,提高了尺度自适应能力和算法速度,增强了算法抗遮挡能力。[JP]     

基于并行空频注意力引导的任务感知目标跟踪算法

现有孪生网络目标跟踪器已表现出不错的性能,但对于复杂场景中存在的相似目标误检以及包围框偏移等问题,表现却仍不尽如人意.针对此问题,文中提出了一种新的两阶段孪生目标跟踪算法,该算法由目标提议阶段与任务感知验证阶段组成.第一阶段结合并行空频注意力模块,充分挖掘目标图像的表观特征,增强目标的抗相似物体干扰能力,提高鲁棒性.第...     

基于双通道模型的航空发动机剩余寿命预测

针对现阶段航空发动机单一剩余使用寿命预测模型数据挖掘深度不足导致预测精度低的问题，提出一种双通道模型的预测方法。首先，构建双通道网络结构：通道一使用时间卷积网络，通过残差结构和空洞卷积使得网络具有更大的感受野和计算速度；通道二使用卷积长短时间记忆网络，提取多维时空特征，捕捉数据长期依赖关系。其次，利用多头注意力机制为双通道网络特征重新赋予权重。最后，将双通道网络进行特征融合输出，实现对航空发动机剩余寿命预测。使用涡扇发动机退化数据集进行实验验证，并与其它文献中提到的卷积双向长短时间记忆网络模型、多特征注意力模型、多头注意力模型、卷积门控单元循环神经网络模型进行对比。结果表明，所提模型在3种评价指标上均取得更好的表现，为航空发动机剩余寿命预测提供了一种新思路。     

基于多尺度特征选择与融合的目标检测方法

针对多尺度目标检测中特征图特征混淆和特征丰富程度不足的问题,提出一种基于多尺度特征选择与融合的目标检测算法。设计了一个特征选择模块来分离出不相关的特征,并结合特征金字塔网络形成特征选择网络结构,降低特征图中不同尺度目标的局部特征对当前尺度特征的干扰;提出一种浅层特征融合方法,将浅层特征逐级融合到较深层级特征中,解决特征图的特征不够丰富问题。结合特征选择架构和浅层特征融合架构,在PASCAL-VOC2007数据集上进行测试,结果mAP达到了80.1%。相较于基础的单阶段目标检测(single shot detection,SSD),所提算法的网络性能可提高2.9%,且在一些小目标和遮挡目标的检测效果上有明显的提升。通过对比和消融实验,证明了所提方法的有效性。     

基于多尺度模态融合的RGB-T目标跟踪网络

可见光-热红外(RGB-T)目标跟踪因受光照条件限制较小受到关注。针对不同尺度特征的分辨率与语义信息存在差异、可见光与热红外两种模态信息不一致的特点,以及现有网络在多模态融合策略上的不足,提出一种RGB-T目标跟踪网络。网络采用孪生结构,首先将主干特征提取网络输出的模板图像特征与搜索图像特征从单尺度拓展到多尺度,并对可见光与热红外模态在不同尺度上分别进行模态融合,然后将得到的融合特征通过注意力机制增强特征表示,最后通过区域建议网络得到预测结果。在GTOT与RGBT-234两个公开RGB-T数据集上的实验结果表明,该网络跟踪精度和成功率较高,可以应对复杂的跟踪场景,相比于其他网络具有更高的跟踪性能。