基于图卷积的跨模态行人重识别方法

近年来,红外-可见光的行人重识别在视频监控、网络刑侦等领域应用广泛,这项任务的目的是实现RGB摄像机和红外摄像机下出现的同一行人的匹配。由于行人图像在RGB模态和红外模态下存在较大差异,因而使得该项任务具有一定的挑战性。文中提出一种基于图卷积的跨模态行人重识别方法,同时提出一种新颖的异心三元组损失函数,用于更好表征行人特征。该方法首先对水平切割方法进行改进,在此基数上以局部特征和全局特征为节点构建图卷积神经网络,并利用构建的图卷积神经网络学习图像结构化特征;然后,引入了一种全新的异心三元组损失函数,并结合Softmax损失函数进一步提高模型性能。两个公开数据集上进行的对比实验、消融实验以及可视化实验结果验证了文中所提方法的卓越性能。     

基于异质信息对齐和重排序的跨模态行人重识别方法

可见光图像和红外图像成像原理不同,面向可见光和红外光的跨模态行人重识别面临较大的跨模态差异,行人异质信息对齐和挖掘异常困难。为此,提出基于异质信息对齐和重排序的跨模态行人重识别方法。在异质信息对齐方面,提出一种新的异质局部信息对齐算法,通过求取行人异质局部信息距离矩阵的最短路径,实现同一行人异质局部信息的动态匹配,解决行人异质信息对齐问题;在重排序方面,提出拓展k近邻重排序算法,通过动态地拓展查询图像k近邻异质信息,实现同一行人异质信息的融合,解决行人异质信息挖掘困难问题。实验结果表明,在SYSU数据集全场景查询模式上,所提方法与AGW模型结合k近邻重排序算法相比,在评价指标mAP和Rank-1上分别提升了10.12%和8.6%。     

基于双重模态距离约束的红外-可见光行人重识别

近年来,红外-可见光的行人重识别在视频监控、网络刑侦等领域应用广泛,这项任务的目的是匹配RGB摄像机和红外摄像机拍摄的同一行人。由于行人图像在RGB模态和红外模态下存在较大的差异,使得该任务具有一定的挑战性。文中提出一种混合交叉的双路径特征学习网络,同时提出一种新颖的整体约束和部分三元组-中心损失函数,用于更好表征行人的局部特征。该网络模型首先提取不同模态下的行人特征,然后将提取的特征水平切割为p个部件后映射到公共空间,最后通过模态特定身份损失、交叉熵损失以及提出的损失函数共同协作,提升整体性能。提出的损失函数首先利用整体约束,用于缩小不同模态的差异;然后,通过融合三元组损失和中心损失,用以扩大同一模态内不同类别间的差异,从而实现同一类别样本更接近其中心,同时远离其它类别中心。实验表明,该方法在SYSU-MM01和RegDB两个公共数据集上的性能优于其他方法。     

融合多尺度注意力和双向LSTM的行人重识别

将深度学习应用于行人重识别领域,嵌入多尺度注意力融合模块至神经网络中进行多尺度特征提取和表示,可有效提升注意力机制对深度学习网络的识别性能。提出了一种基于SE block的多尺度通道注意力融合模块,并结合ResNet50卷积神经网络提取特征;然后通过双向LSTM网络进一步提取特征序列上下文信息,在提高模型对图像重要特征的提取能力的同时,降低对图像冗余特征的关注度;最后使用级联难采样三元组损失函数和交叉熵损失函数共同训练网络模型,使样本能够在高维特征空间中实现聚类,进一步提升模型识别准确性。所提出算法在Market1501数据集和CUHK03数据集分别进行实验,并在同等条件下和其他注意力模块算法进行比较。为进一步验证各模块作用,对算法进行消融实验,以验证各模块的有效性,实验结果表明,所提出方法可有效应用于行人重识别     

基于注意力双分支网络的跨模态足迹检索

为了提高跨模态足迹检索精度,提出一种基于注意力双分支深度卷积神经网络的检索方法.该方法以赤足足迹的光学和压力2个模态图像为研究对象,采集并构建了一个包含138人5520幅足迹图像的跨模态检索数据集;在网络的特征提取模块采用ResNet50作为基础网络搭建双分支结构,并引入空间注意力机制,以提取各模态具有辨别性的特征;在网络的特征嵌入模块,通过部分参数共享学习跨模态共享空间;在双约束损失模块采用交叉熵损失(ID loss)和异质中心损失(HC loss)以增大跨模态足迹特征的类间差异,减小类内差异.实验结果表明:互检索模式下的平均精度均值(mAP)均值和Rank1均值分别为70.83％和87.50％,优于其他一些跨模态检索方法.采用注意力双分支网络模型能够有效进行跨模态足迹检索,可以为现场足迹对比鉴定等应用提供理论基础.     

基于关系挖掘的跨模态行人重识别

基于文本的行人重识别模型通常依赖于全局特征对齐和局部特征对齐,但模态间和模态内的相关信息常被忽略。提出了一种基于关系挖掘的跨模态行人重识别方法,该方法包括双流主干网络、负相似度挖掘模块、关系编码器。首先,通过双流主干网络实现了全局和局部特征对齐;其次,通过负相似度挖掘模块提升了图像-文本对特征辨别的细粒度;最后,通过关系编码器模块分别学习图像和文本中隐含的关系信息,实现关系级别的特征对齐。在CUHK-PEDES数据集和ICFG-PEDES数据集上的实验结果证明,文中方法能够达到较高的识别精度。     

多分支融合变分细化蒸馏的跨模态行人重识别

目的 针对目前跨模态行人重识别研究中对行人细腻区域关注不足以及网络易受噪声影响的问题,提出一 种多分支融合变分细化蒸馏学习方法。 方法 首先,网络通过多分支聚合不同粒度的全局特征,督促深层网络学习 两种模态的全局信息和细节信息,丰富行人的特征描述符;然后,结合变分细化蒸馏策略,对特征信息进行再压缩, 保留与任务相关的深层信息,同时丢弃无用的干扰物;最后,将网络捕获的不同特征用多种损失函数联合监督,以 提高网络对行人表征的敏感度。 结果 所提方法在 SYSU-MM01 数据集的全搜索模式下,R-1 和 66. 93%和 mAP 分别达到 65. 25%;在 RegDB 数据集的可见光到红外设置下,R-1 和 mAP 分别达到 78. 26%、77. 83%。 结论 通过 消融实验、对比实验和可视化实验,充分验证了所提方法的有效性。     

融合空间相关性和局部特征转换器的遮挡行人重识别

遮挡的行人重识别是计算机视觉中的一个挑战性领域,它面临着特征表示效率低下和识别准确率低等问题。卷积神经网络方法更注重局部特征的提取,因此难以提取被遮挡行人的特征,效果也不尽如人意。最近,视觉转换器被引入到重识别领域,并通过构建图像块序列之间的全局特征联系取得了最先进的结果。然而,视觉转换器在提取局部特征方面的性能不如卷积神经网络。因此,设计了一个基于空间相关性和局部特征序列的行人重识别网络。所提出的网络利用3个模块来提高视觉转换器的效率：（1）图像块全维度增强模块。设计了一个与图像块序列大小相同的可学习张量,该张量是全维的,并可完全嵌入到图像块序列中,用以丰富训练样本的多样性;（2）图像块序列融合重构模块。提取已经获得的图像块序列中不太重要的部分,并将它们与原始的图像块序列融合以重构原始图像块序列;（3）空间切割模块。从空间方向上对图像块序列进行切片和分组,并引入身份损失,可以有效提高图像块序列的短程相关性。对遮挡和整体重识别数据集的实验结果表明,所提网络的性能优于其他先进方法。     

基于冗余特征正则化的车辆重识别算法

基于深度学习的车辆重识别算法使用空间关系不明确的滤波器提取特征,这些互不独立的滤波器会导致特征提取互相依赖且冗余,阻碍模型寻找数据的潜在规律．为此,提出一种显式的基于冗余特征正则化的车辆重识别算法Res-GC(ResNet grouping convolution)．利用残差分组卷积网络阻止特征相互适应,以获取带有正则特性的车辆特征．引入BNNeck(batch normalization neck)方法解决交叉熵损失函数和三元组损失函数适用的车辆特征空间不一致的问题,提升正则特征使用效率．在车辆重识别的公共数据集VeRi-776和VehicleID上,Res-GC算法的实验结果均优于现有模型,验证了算法的有效性．     

基于语义感知的行人重识别技术研究

针对由于行人拍摄相机参数、拍摄环境以及角度等的差异,使行人重识别算法的准确率较低的问题,提出了一种基于行人语义感知信息以及深度学习的行人重新识别算法。首先,超分辨率重构行人视图,提升行人视图细节特征,提取行人的整体特征值,并用其识别体型差异较大的行人。其次,感知行人图像的语义信息,根据上述结果提取行人语义信息的特征值,用于识别体型相同或相似的行人。然后将行人视频中的人体宏观特征值以及语义感知的信息特征值融合为综合的特征值。使用生成的特征值计算与不同个体视频特征值的间距,识别海量人物图像。最后,在不同的数据集中验证了算法的性能。实验结果表明,该基于语言感知行人重识别算法的mAP和rand-1值最高。     

一种多目标跨摄像头跟踪技术研究与实现

将行人检测算法和行人重识别算法相结合,提出一种多目标跨摄像头跟踪算法,该算法由行人检测、行人重识别和行人数据关联三大模块组成.首先利用基于YOLOv3的行人检测改进算法检测视频中出现的行人,并保存视频号、帧号和行人的全身位置信息;其次,利用基于生成对抗网络和重排序的行人重识别改进算法,为已检测的行人图片赋予一个标签;最...     

考虑难例挖掘和整体特征分布的损失函数设计

为了提高深度度量学习模型训练中的图像检索性能,在度量学习模型SoftTriple的基础上,对损失函数和网络结构进行改进.网络结构改进是在SoftTriple网络结构的基础上引入BNNeck模块;在损失函数设计中,首先添加难例挖掘函数对损失函数进行改进,然后通过使用高阶矩来表征整体特征分布的思路提出了新的损失函数.实验表...     

基于域分离和对抗学习的跨域行人重识别

针对跨域行人重识别应用中源域与目标域差异较大、现有模型无法在剥离域信息的同时有效获取关键身份信息的问题,提出一种基于对抗学习分离图像域信息与身份信息的方法 .该方法由域分离和对抗学习两个阶段构成:域分离阶段分离图像行人特征和域特征;对抗学习阶段通过特征提取器与相机分类器的对抗学习,提升模型对域信息与身份信息的区分能力.在Market-1501,DukeMTMC-reID和MSMT17数据集上开展跨域行人重识别验证实验,实验结果表明,所提方法在跨域行人重识别任务上取得了显著的性能提升.     

基于自监督学习的文本行人检索

基于文本的行人检索任务旨在以文本为查询在大规模数据库中检索出目标行人的图像，在处理社会公共安全问题中具有较高的实用价值．不同于常规的跨模态检索任务，该任务中所有的类别都是行人，不同行人之间的外观差异较小，难以辨别；此外由于拍摄条件的限制图像质量通常较差，因此如何有效地提取更鲁棒、更具有判别性的视觉特征是该任务的一项重要挑战．为了应对这一挑战，设计了一种基于自监督学习的文本行人检索算法，以多任务学习的形式将自监督学习与基于文本的行人检索任务相结合，对两种任务同时进行训练，共享模型参数．其中，自监督任务作为辅助任务，旨在为行人检索任务学习到更鲁棒、更具有判别性的视觉特征．具体来说，首先提取视觉和文本特征，并以图像修复作为自监督任务，旨在学习更丰富的语义信息，且对遮挡数据具有更好的鲁棒性；基于行人图像的特殊性，进一步设计了一种镜像翻转预测任务，通过训练网络预测图像是否经过了镜像翻转学习具有判别性的细节信息，以帮助行人检索任务更好地区分难分样本．在公开数据集上进行的大量实验证明了该算法的先进性和有效性，将行人检索的Top-1准确率提升了2.77%，并且实验结果显示两种自监督任务存在一定的互补性...     

基于特征融合的行人重识别算法

为解决实际行人重识别系统中识别率低、识别速度慢的问题,从创新和工程应用出发,提出了一种行人重识别算法。对行人图片进行预处理,采用色调、饱和度、亮度(hue,saturation,value,HSV)空间非线性量化的方法构建颜色命名空间,对人体分区域预识别来提高检测效率;对备选目标的整幅图像提取HSV和方向梯度直方图(histogram of oriented gradient,HOG)作为整体特征并在滑动窗口内提取颜色命名(color naming,CN)特征和2个尺度的尺度不变特征(scale invariant local pattern,SILTP),采用本文融合算法得到新的特征;在3个数据集上进行行人重识别,融合的特征在2种度量学习算法的Rank1平均提高了2.4%和3.3%。实验结果表明该算法能够提高重识别精度。     

基于多任务学习的行人重识别特征表示方法

作为一种跨摄像头的检索任务,行人重识别会受到不同相机视角造成的图像样式变化的影响。近年来,许多算法通过神经网络直接从原始输入图片中学习相应特征,虽然这些特征能够很好地描述全局行人,但忽略了许多局部细节信息,在复杂的场景下容易出现误识别。针对此问题,研究了一种基于多任务学习的新的特征表示方法,采用成对输入的孪生网络结构,将局部最大出现特征(local maximal occurrence,LOMO)和深层特征一起送入网络并映射到单一的特征空间中进行训练,形成一种新的网络模型TDFN(traditional and deep features fusion network)。利用神经网络自我学习特性,联合多个任务的损失函数更新网络,使得深层特征学习到更多与手工局部特征互补的细节信息。实验表明,新特征的平均精度mAP和Rank-1精度都优于直接从孪生网络提取的全局描述子。     

改进的集合经验模态分解在人体行为识别中的应用

针对在基于惯性传感器人体行为识别的研究中,集合经验模态分解(ensemble empirical mode decomposition,EEMD)无法自适应地筛选出对不同分类行为更有用的固有模态函数的问题,特别是对步行、上楼、下楼3种易混淆行为的识别,提出一种改进的自适应集合经验模态分解特征提取方法,通过对不同分类行为筛选不同固有模态函数并提取窗口均值差异等新颖特征,有望在不同的分辨率下得到更准确、更有效的原信号特征信息。为了验证该方法的有效性,实验分别用典型时域频域特征与该方法提取的特征集训练K近邻(K-nearest neighbor,KNN)与支持向量机(support vector machine,SVM)分类器,并采用留一法(leave-one-out,LOO)交叉验证算法进行测试。结果表明,当分别采用KNN和SVM进行分类时,相比于原方法,改进的方法对步行、上楼和下楼3种行为的平均识别准确率分别提高了29.22%(KNN)和15.79%(SVM),对分类的7种不同行为的总平均识别准确率分别提高了95.11%(KNN)与93.14%(SVM)。     

基于步态序列的跨视角步态识别

为了提高跨视角步态识别的准确率,充分提取步态中的时间信息,提出了一种基于步态序列的跨视角步态识别模型,该模型利用编码器,并引入三元组损失函数,以此提取步态序列的特征,通过使用生成器与判别器,以及连续帧判别损失对编码器进行修正,确保提取具有时间信息的有效步态特征.针对CA-SIA-B数据集和OU-MVLP数据集,对提出的...     

基于多度量融合的无监督领域自适应行人重识别算法

行人重识别任务旨在跨相机下检索出特定的行人图像.虽然行人重识别任务得到了快速发展,在检索精度上得到很大的提升,但是依然面临着行人重识别模型在新的数据集上泛化能力有限,以及在无监督领域自适应任务中无法避免的伪标签噪声的问题.针对目前无监督领域自适应任务中由于聚类算法的局限性而导致伪标签出现噪声的问题,提出一种基于多度量融合的无监督领域自适应行人重识别算法.具体而言,多度量融合算法是在目标域上使用DBSCAN(density-based spatial clustering of applications with noise)聚类算法对特征空间的行人特征进行聚类时,通过多个特征相似度度量函数线性加权的方式,计算行人之间的特征相似度,从而在目标域上生成更为准确的伪标签,之后利用该伪标签微调模型.通过在Market1501→DukeMTMC-reID和DukeMTMC-reID→Market1501上大量的实验,证明多度量融合算法有效提升了行人重识别模型在无监督领域自适应任务上的检索精度.     

面向交通场景的轻量级行人检测算法

针对交通场景下行人检测模型网络复杂、参数量大以及难以在低性能设备上部署的问题,基于YOLOv5s网络模型提出了一种改进的轻量级行人检测算法。首先,使用Ghost模块重构YOLOv5s网络进行特征提取,降低模型的参数量和计算量,提高推理速度。其次,引入坐标注意力机制提高模型对目标特征的提取能力,提升其对小目标行人的检测效果。最后,采用SIoU损失函数加快模型的收敛速度,提高模型的识别准确率。实验结果表明,改进后的算法能保证较高的检测精度,与原始YOLOv5s算法相比参数量减少47.1%,计算量减少48.7%,提高了交通场景下行人检测的速度且易于部署。