| 基于多尺度模态融合的RGB-T目标跟踪网络 |
| |
| 引用本文： | 程竹轩,范慧杰,唐延东,王强.基于多尺度模态融合的RGB-T目标跟踪网络[J].山东科技大学学报(自然科学版),2024(1):89-99. |
| |
| 作者姓名： | 程竹轩 范慧杰 唐延东 王强 |
| |
| 作者单位： | 1. 沈阳化工大学信息工程学院;2. 中国科学院沈阳自动化研究所机器人学国家重点实验室;3. 中国科学院机器人与智能制造创新研究院;4. 沈阳大学辽宁省装备制造综合自动化重点实验室 |
| |
| 基金项目： | 国家自然科学基金项目(62273339)； |
| |
| 摘 要： | 可见光-热红外(RGB-T)目标跟踪因受光照条件限制较小受到关注。针对不同尺度特征的分辨率与语义信息存在差异、可见光与热红外两种模态信息不一致的特点，以及现有网络在多模态融合策略上的不足，提出一种RGB-T目标跟踪网络。网络采用孪生结构，首先将主干特征提取网络输出的模板图像特征与搜索图像特征从单尺度拓展到多尺度，并对可见光与热红外模态在不同尺度上分别进行模态融合，然后将得到的融合特征通过注意力机制增强特征表示，最后通过区域建议网络得到预测结果。在GTOT与RGBT-234两个公开RGB-T数据集上的实验结果表明，该网络跟踪精度和成功率较高，可以应对复杂的跟踪场景，相比于其他网络具有更高的跟踪性能。
|
| 关 键 词： | 目标跟踪 可见光与热红外 多尺度特征 模态融合 深度学习 |
|
|
