用于目标跟踪的特征融合孪生网络算法研究

针对目标跟踪过程存在的动态不确定性的问题,传统跟踪方法容易产生目标漂移甚至跟踪失败,而基于深度学习的跟踪算法随着网络结构的加深容易导致深层特征过于稀疏抽象,不利于克服上述问题.为此,本文提出SiamMask三分支网络融合注意力机制的孪生网络目标跟踪新方法,旨在加强网络对特征选取的学习能力,加强目标有效特征的抽取,并减少冗余信息对网络负担的影响.特征提取主干网络选用改进的Resnet-50,通过融合深层和浅层特征,实现跟踪目标特征的有效表达.利用4个数据集(COCO、ImageNet-DET 2015、ImageNet-VID 2015、YouTube-VOS)对提出的特征融合孪生网络框架进行训练,并使用VOT数据集进行在线测试.实验表明：与文中其他跟踪方法相比,该算法在面对动态目标尺度变化、环境光照、运动模糊等场景表现更优异.     

孪生网络融合卡尔曼滤波的目标跟踪研究

目标跟踪是机器视觉领域的经典问题,在军事目标跟踪和视频监控等领域都有着重要应用。孪生网络是当前相关问题研究的主流框架。本文在SiamRPN孪生网络基础上进行了改进,引入残差网络以减轻特征学习中过拟合问题,同时在网络中注入空洞空间卷积模块,并增加全局语境信息的获取能力以扩大感受野;其后融入卡尔曼滤波以改善目标受到各种干扰时追踪位置失真问题;最后通过实验设计,从定性和定量两个角度显示,面对运动模糊、光照变化、遮挡等复杂情况下所跟踪目标出现漂移或者丢失等问题,本文所设计方法都具有较好的跟踪效果。     

基于孪生网络的目标跟踪算法研究进展

目标跟踪是计算机视觉领域中最为核心的基础研究问题之一,其能够协同高层视频应用分析和研究,具有重要的理论价值、广泛的实用价值和多学科交叉性,成为学术界、工业界以及国家战略的关注焦点。由于跟踪场景复杂度高、干扰强,目标表观变化多样性以及多模态信息融合等因素,使得跟踪器需要均衡鲁棒性、准确性以及实时性等性能衡量指标。目前,已有很多工作从不同视角解决目标跟踪领域中的挑战,但是在多维度性能指标的衡量下,仍然不能很好地克服复杂场景下的跟踪问题。本文通过基于孪生网络的目标跟踪算法,回顾领域发展现状,探讨存在的挑战,展望未来值得关注的研究方向,为该领域未来的研究工作提供借鉴和参考。     

基于模板更新的深层孪生网络跟踪算法

针对跟踪过程中因尺度变化、遮挡及运动模糊等造成的目标定位不准确问题,在SiamFC(fully-convolutional siamese network)的跟踪框架基础上提出了一种具有高置信度模板更新机制的深层孪生网络目标跟踪算法.首先,主干网络采用ResNet-50残差网络进行特征提取,并融合多层特征图进行目标预测;其次,为避免模板频繁更新带来的模板漂移问题,构建了高置信度的模板更新模块.在OTB100数据集上的实验结果表明,相比基准算法,文中算法的跟踪成功率和精确度分别提高了3.4%和2.6%;在多种挑战因素下的对比实验表明,文中算法可以较好地抵抗目标遮挡、尺度变化、运动模糊等多种复杂因素带来的影响,有很好的鲁棒性.     

基于二阶池化特征融合的孪生网络目标跟踪算法

为提升基于孪生网络目标跟踪算法的特征表达能力,获得更好的跟踪性能,提出了一种轻量级的基于二阶池化特征融合的孪生网络目标跟踪算法。首先,使用孪生网络结构获取目标的深度特征;然后,在孪生网络结构的末端并行添加二阶池化网络和轻量级通道注意力,以获取目标的二阶池化特征和通道注意力特征;最后,将目标的深度特征、二阶池化特征和通道注意力特征进行融合,使用融合后的特征进行互相关操作,得到地响应图能很好地区分目标和背景,提高跟踪模型的判别能力,改善目标定位的精度,从而提升跟踪性能。所提算法使用Got 10k数据集进行端到端的训练,并在数据集OTB100和VOT2018上进行验证。实验结果表明,所提算法与基准算法相比,跟踪性能取得了显著提升：在OTB100数据集上,精确度和成功率分别提高了7.5%和5.2%;在VOT2018数据集上,预期平均重叠率(EAO)提高了4.3%。     

基于多分支注意力孪生网络的目标跟踪算法

目标跟踪在计算机视觉任务中有重要的意义。近年来随着深度学习的发展,基于孪生网络的目标跟踪算法因其优异的性能而被广泛应用。然而,现有基于孪生网络的跟踪算法在目标发生较大形变、低分辨率、复杂背景等情况下的跟踪性能通常会显著下降。为此,文中提出了一种基于多分支注意力孪生网络的目标跟踪算法。该算法首先构建了超分辨率模块和数据增强模块,分别对目标模板进行超分辨率和数据增强,提升目标模板的特征表征能力;然后利用3个主干网络分别提取原始目标模板、超分辨率目标模板和数据增强目标模板的特征,并进行特征融合,同时在主干网络中应用了通道注意力模块和空间注意力模块,以提升特征提取能力;最后,将融合后的特征图与待搜索区域的特征图输入区域生成网络模块,得到目标跟踪信息。实验结果表明,该算法在OTB100数据集上的精确率为0.919、成功率为0.707,在VOT2018数据集上的准确率为0.642、鲁棒性为0.149,在实际场景中的运行速度每秒至少20次,说明该算法具有优异的跟踪性能,并且在各种复杂场景下都具有良好的鲁棒性。     

基于无锚的轻量化孪生网络目标跟踪算法

针对运算资源受限条件下难以实现高精度、高帧率跟踪的问题,提出一种基于无锚的轻量化孪生网络目标跟踪算法.首先使用修改的轻量级网络MobileNetV3作为主干网络提取特征,在保持深度特征表达能力的同时减小网络的参数量和计算量;然后对传统互相关操作,提出图级联优化的深度互相关模块,通过丰富特征响应图突出目标特征重要信息;最后在无锚分类回归预测网络中,采用特征共享方式减少参数量和计算量以提升跟踪速度.在两个主流数据集OTB2015和VOT2018上进行对比实验,实验结果表明,该算法相比于SiamFC跟踪器有较大的精度优势,并且在复杂跟踪场景下更具鲁棒性,同时跟踪帧率可达175帧/s.     

生成式与判别式视觉目标跟踪算法综述

视觉目标跟踪是对目标位置、速度、运动轨迹等信息检测与预测技术。该技术融合了计算机视觉、图像处理、深度学习等众多领域技术。本文将对目标跟踪算法发展情况以及研究现状进行梳理。首先介绍目前常用的基准数据集;其次指出生成式算法与判别式算法差异;再对传统的生成式算法进行简单的分析总结;随后围绕算法框架分别介绍相关滤波框架、深度学习框架、孪生网络框架、Transformer框架的判别式算法并分析不同算法的优缺点;最后分析目前动态目标跟踪存在的问题并展望。     

孪生压缩激励全卷积网络的目标跟踪方法

为提升目标跟踪的准确性并保证其实时性,提出一种基于改进孪生全卷积网络的新方法——孪生压缩激励全卷积网络(siamese squeeze and excitation fully convolutional networks,Siam-SEFC).Siam-SEFC通过添加具有少量参数的压缩激励网络结构融合空间通道信息,...     

基于孪生神经网络的小样本目标检测综述

目标检测是计算机视觉的基础任务之一,其主要任务是对图像中的目标进行分类和定位。小样本目标检测的目的就是利用极少数的训练样本实现对目标的检测,从而减少繁杂的标注工作,并实现在只有少量样本场景下的应用。现有的小样本目标检测方法主要包括基于孪生神经网络的方法和基于微调的方法,这些方法通过利用现有的包含大量样本的基类数据集和包含少量样本的小样本数据集的训练,使模型实现对小样本类别的分类和定位。重点调研了基于孪生神经网络的双分支小样本目标检测方法,简要介绍了基于微调的小样本目标检测方案,分析了这些方案的优缺点,指出现有的小样本目标检测方案虽不成熟,模型精度有待提升,性能评估方案也有待完善,但却有着十分广阔的应用前景,未来若能通过深入研究解决小样本目标检测的现有问题,其精度必将赶超传统目标检测。     

基于双重相似度孪生网络的小样本实例分割

针对孪生网络在小样本数据集上的应用和优化问题,提出一种基于双重相似度计算和孪生网络的小样本实例分割模型。首先对传统孪生网络进行改进,将孪生网络与残差网络相结合,构建作为本模型骨干网络的孪生残差网络;然后在相似度计算阶段构建了具有两个子网络的双重相似度计算网络,分别用于计算场景图像与参考图像的空域相似度和频域相似度,并进行相似度特征融合;最后通过实例分割网络获得分割结果。此外,还引入Focal Loss损失函数来解决模型训练过程中正、负样本以及难、易样本的不均衡问题。在COCO数据集上的实验结果表明,本文方法的小样本实例分割性能要优于对比算法。     

基于目标模板库的多任务目标持久跟踪

针对长时间跟踪造成的信息丢失问题,提出了一种借鉴人类视觉记忆机制构建目标模板库的算法,该方法能在跟踪中记忆有用目标信息,实现持久稳定的跟踪.首先采用多任务跟踪法把视频序列分成多个子任务进行多线程分块局部跟踪,然后采用模板匹配和特征融合下的粒子滤波先后进行粗略跟踪和精细跟踪;最后把跟踪结果纳入目标模板库中更新跟踪系统.实验表明,此算法具有较好的鲁棒性和稳定性.     

改进的核相关自适应目标跟踪

针对目标跟踪中出现的快速运动、尺度变化、遮挡等问题,提出基于遮挡检测的核相关自适应目标跟踪。该方法首先,利用核函数对正则化最小二乘分类器求解获得核相关滤波器,其次,利用核相关滤波器计算特征响应图,同时学习一维尺度滤波器对尺度进行估计,最后,通过响应图的最大值和振荡程度来判断目标是否被遮挡,在未受到遮挡的情况下,更新学习目标的外观模型和尺度模型,实现自适应目标跟踪。在公开的标准数据集上的实验结果表明,相比原始核相关滤波算法,平均中心位置误差降低15%,平均重叠率提高10%,且在目标尺度发生变化、遮挡、光照变化、快速运动等复杂场景下有较强的鲁棒性、适应性。     

基于多特征融合卷积神经网络的人脸表情识别

针对卷积神经网络特征提取不够充分且识别率低等问题,提出了一种多特征融合卷积神经网络的人脸表情识别方法。首先,为了增加网络的宽度和深度,在网络中引入Inception结构来提取特征的多样性;然后,将提取到的高层次特征与低层次特征进行融合,利用池化层的特征,将融合后的特征送入全连接层,对其特征进行融合处理来增加网络的非线性表达,使网络学习到的特征更加丰富;最后,输出层经过Softmax分类器对表情进行分类,在公开数据集FER2013和CK+上进行实验,并且对实验结果进行分析。实验结果表明:改进后的网络结构在FER2013和CK+数据集的面部表情上,识别率分别提高了0.06%和2.25%。所提方法在人脸表情识别中对卷积神经网络设置和参数配置方面具有参考价值。     

小波神经网络在人脸识别中的应用

人脸识别是一个涉及生理学、心理学、图像处理、计算机视觉、模式识别和数学等多个学科的前沿课题。小波神经网络是在小波分析研究获得突破的基础上提出的一种前馈性网络,避免了BP网络等结构设计上的盲目性,网络训练过程从根本上避免了局部最优等非线性优化问题,有较强的函数学习能力和推广能力。基于小波神经网络,文中提出了一种新的人脸识别算法。该算法利用小波多分辨特性和神经网络的鲁棒性和记忆性,同时结合了加速网络收敛速度的小波神经网络步长调整算法。实验证明该算法有高的检测率和有效性。     

基于压缩感知的实时在线目标追踪

在正负样本区域随机抽取了不同尺度下图像的局部二值模式(LBP)特征,将高维的特征信息投射到低秩的压缩域,并据此建立了表观模型.使用一个随机稀疏测量矩阵来压缩前景和背景目标.将追踪问题转化成为了一个使用朴素贝叶斯分类器的二元分类问题.所提方法可以较快速、实时地在线追踪目标,同时解决了目标尺度变化、遮挡问题.     

基于粒子滤波的变电站内动态目标跟踪技术

为实时智能监控变电站安全生产区域内的移动目标,克服现有视频系统人工切换图像和肉眼判断所造成的漏检和滞后问题,对变电站内运动目标的自动检测与识别跟踪技术进行了研究;基于背景差分法实现了人物动态目标检测,提出了基于颜色直方图的粒子滤波人物动态目标跟踪方法;通过提取目标颜色特征,建立目标状态模型和系统模型,进而准确定位目标;研发了变电站安全事件视频自动识别跟踪系统.系统应用结果表明:算法检测与跟踪的时间性能良好,能够快速识别目标,并准确跟踪目标运动轨迹,有效提升了全天候智能监控站内的安全生产能力.     

基于Online AdaBoost的偏振图像目标跟踪

根据偏振图像的特点,文章提出一种基于在线AdaBoost的目标跟踪方法.该方法以最小二乘回归作为弱分类器,以强度、偏振度和边缘方向特征组成的向量为其输入;通过AdaBoost算法将多个弱分类器集成为强分类器,并在跟踪过程中利用AdaBoost算法对强分类器进行在线更新,以适应目标与背景的变化;利用强分类器生成当前置信图...     

基于特征融合的均值偏移目标跟踪算法

均值偏移目标跟踪方法采用颜色直方图对所选择的目标区域进行建模,由于颜色直方图是一种对目标特征比较弱的描述,当有遮挡等干扰因素时,算法效果欠佳,为了有效解决均值偏移目标跟踪算法不足而导致目标定位不准的问题,提出了将颜色特征中融入像素点空间位置特征的算法来实现目标跟踪.实验表明该算法能较好地适应复杂背景视频序列,改进了传统均值偏移算法的不足,提高了算法的鲁棒性和准确性.     

基于尺度自适应和跟踪框自转的视频目标跟踪

在高空运动变焦摄像机视频监控目标的自动识别跟踪中,跟踪目标背景、跟踪目标尺寸和跟踪目标相对背景运动的方位角都在实时变化,为解决常规Mean Shift目标跟踪算法在面临上述快速变化时容易出现的目标跟踪丢失问题,在Mean Shift目标跟踪算法的基础上,考虑跟踪目标的变尺度、长宽比和方位角等因素,提出了改进的基于尺度自适应和自转跟踪框策略的视频目标跟踪算法,实际场景下的实验结果表明:该算法具有较好的准确性和实时性,满足视频目标实时跟踪的应用需求。