基于图卷积的跨模态行人重识别方法

近年来,红外-可见光的行人重识别在视频监控、网络刑侦等领域应用广泛,这项任务的目的是实现RGB摄像机和红外摄像机下出现的同一行人的匹配。由于行人图像在RGB模态和红外模态下存在较大差异,因而使得该项任务具有一定的挑战性。文中提出一种基于图卷积的跨模态行人重识别方法,同时提出一种新颖的异心三元组损失函数,用于更好表征行人特征。该方法首先对水平切割方法进行改进,在此基数上以局部特征和全局特征为节点构建图卷积神经网络,并利用构建的图卷积神经网络学习图像结构化特征;然后,引入了一种全新的异心三元组损失函数,并结合Softmax损失函数进一步提高模型性能。两个公开数据集上进行的对比实验、消融实验以及可视化实验结果验证了文中所提方法的卓越性能。     

基于特征学习的双路径红外-可见光行人重识别算法

由于拍摄视角、行人姿态的变化以及不同的相机光谱造成的额外跨模态差异,RGB图像和红外图像之间存在着明显的差异,提取有效的模态共享特征是红外-可见光行人重识别中的难点。本研究提出一种双路径学习算法来识别特征,利用改进的BNNeck模块来提取RGB和红外图像的特征信息,改善算法的识别性能。该算法首先将注意力机制引入双路径特征学习网络,获取RGB图像在空间维度和通道维度上的特征信息,实现红外特征信息匹配;然后,将BNNeck模块引入至跨模态行人重识别算法,减少模态特征信息差异,加快算法收敛速度;最后,在异质中心损失函数和交叉熵损失函数的基础上,引入跨模态下行人身份损失函数,提高行人识别的准确性。SYSU-MM01和RegDB数据集的实验结果表明,相对于目前大多数已有算法,所提算法具有更好的泛化能力和鲁棒性,Rank-1/mAP分别达到59.39%/85.44%和57.81%/73.19%,比最新算法分别提高2.43%/2.86%和2.44%/1.19%。