基于域分离和对抗学习的跨域行人重识别

针对跨域行人重识别应用中源域与目标域差异较大、现有模型无法在剥离域信息的同时有效获取关键身份信息的问题,提出一种基于对抗学习分离图像域信息与身份信息的方法 .该方法由域分离和对抗学习两个阶段构成:域分离阶段分离图像行人特征和域特征;对抗学习阶段通过特征提取器与相机分类器的对抗学习,提升模型对域信息与身份信息的区分能力.在Market-1501,DukeMTMC-reID和MSMT17数据集上开展跨域行人重识别验证实验,实验结果表明,所提方法在跨域行人重识别任务上取得了显著的性能提升.     

基于多度量融合的无监督领域自适应行人重识别算法

行人重识别任务旨在跨相机下检索出特定的行人图像.虽然行人重识别任务得到了快速发展,在检索精度上得到很大的提升,但是依然面临着行人重识别模型在新的数据集上泛化能力有限,以及在无监督领域自适应任务中无法避免的伪标签噪声的问题.针对目前无监督领域自适应任务中由于聚类算法的局限性而导致伪标签出现噪声的问题,提出一种基于多度量融合的无监督领域自适应行人重识别算法.具体而言,多度量融合算法是在目标域上使用DBSCAN(density-based spatial clustering of applications with noise)聚类算法对特征空间的行人特征进行聚类时,通过多个特征相似度度量函数线性加权的方式,计算行人之间的特征相似度,从而在目标域上生成更为准确的伪标签,之后利用该伪标签微调模型.通过在Market1501→DukeMTMC-reID和DukeMTMC-reID→Market1501上大量的实验,证明多度量融合算法有效提升了行人重识别模型在无监督领域自适应任务上的检索精度.     

基于异质信息对齐和重排序的跨模态行人重识别方法

可见光图像和红外图像成像原理不同,面向可见光和红外光的跨模态行人重识别面临较大的跨模态差异,行人异质信息对齐和挖掘异常困难。为此,提出基于异质信息对齐和重排序的跨模态行人重识别方法。在异质信息对齐方面,提出一种新的异质局部信息对齐算法,通过求取行人异质局部信息距离矩阵的最短路径,实现同一行人异质局部信息的动态匹配,解决行人异质信息对齐问题;在重排序方面,提出拓展k近邻重排序算法,通过动态地拓展查询图像k近邻异质信息,实现同一行人异质信息的融合,解决行人异质信息挖掘困难问题。实验结果表明,在SYSU数据集全场景查询模式上,所提方法与AGW模型结合k近邻重排序算法相比,在评价指标mAP和Rank-1上分别提升了10.12%和8.6%。     

基于字典学习和Fisher判别稀疏表示的行人重识别方法

针对目前的字典学习方法对不同摄像机视角行人特征的联系考虑不足的问题,提出了一种新的基于字典学习和Fisher判别稀疏表示的行人重识别方法.该方法考虑不同场景中同一行人的特征应该具有相似的稀疏表示,提出行人重识别离散度函数的概念,加入约束稀疏表示的正则化项,最大化不同行人稀疏表示的类间离散度,同时最小化同一行人稀疏表示的类内离散度,通过学习到的字典得到具较强区分识别能力的稀疏表示.在公开数据集VIPeR、PRID 450s和CAVIAR4REID上的实验表明,文中方法的识别率高于目前基于字典学习的行人重识别方法.     

基于注意力机制与空间金字塔池化的行人属性识别

针对目前的行人属性识别方法存在鲁棒性差、特征表达能力不足和行人的细粒度特征识别精度不高的缺点,提出一种基于注意力机制与空间金字塔池化的行人属性识别方法,通过注意力机制强化不同维度的特征,提升行人整体特征表达;通过空间金字塔池化操作,实现任意大小图像的输入,更好地保留图像的特征信息。结果表明,与现有的其他方法相比,所提出的行人属性识别方法可以精确地识别行人多种属性,具有较高的行人细粒度特征识别精度。     

基于低秩交叉重构的领域自适应算法

为了解决现有领域在自适应方法中忽略了整个数据域内部结构的信息和源域与目标域之间的差异问题,提出了一种新的基于低秩交叉重构的领域自适应方法.通过对源域和目标域的交叉重构来构造新的源域与目标域,使得同类数据相互交织,缩短了同类数据之间的距离; 通过对重构矩阵施加低秩约束,将2个域的同类数据对齐,以此来充分挖掘源域和目标域同类数据之间的内在结构信息,并利用该结构信息来学习分类器,从而取得更好的跨域识别效果.在5个公开数据集上的实验结果表明:该方法具有较高的跨域识别准确率.     

基于两层迁移卷积神经网络的抽象图像情感识别

为弥合抽象图像底层视觉特征与高层情感语义间的鸿沟,同时缓解抽象图像情感识别所固有的小样本缺陷,将两层迁移学习策略引入传统的卷积神经网络,提出一种基于两层迁移卷积神经网络的抽象图像情感识别模型.该模型利用深度特征的层次性,首先通过大规模通用图像数据集来学习提取普适的底层图像特征;然后利用抽象图像风格分类数据集来学习提取抽象图像的专有高层语义特征;最后采用抽象图像情感识别数据集来微调整个网络.MART数据集上的实验结果表明,与传统的抽象图像情感识别方法相比,所提出的模型能够有效地提高识别精度.     

结合注意机制和局部擦除的行人重识别方法

针对行人重识别中行人姿态变化和遮挡问题,提出了一种结合注意机制和局部擦除的行人重识别方法.首先,构建由ResNet50为全局分支和注意擦除为局部分支组成的双分支网络.全局分支用来提取全局特征表示,在训练过程中可以监督注意擦除分支的训练.注意擦除局部分支由注意模块和擦除模块组成,该分支将输入特征映射的同一区域随机地分批擦...     

基于关系挖掘的跨模态行人重识别

基于文本的行人重识别模型通常依赖于全局特征对齐和局部特征对齐,但模态间和模态内的相关信息常被忽略。提出了一种基于关系挖掘的跨模态行人重识别方法,该方法包括双流主干网络、负相似度挖掘模块、关系编码器。首先,通过双流主干网络实现了全局和局部特征对齐;其次,通过负相似度挖掘模块提升了图像-文本对特征辨别的细粒度;最后,通过关系编码器模块分别学习图像和文本中隐含的关系信息,实现关系级别的特征对齐。在CUHK-PEDES数据集和ICFG-PEDES数据集上的实验结果证明,文中方法能够达到较高的识别精度。     

视频行人重识别研究进展

视频行人重识别是指在不同摄像头拍摄的视频中检索特定行人的技术.与图像行人重识别相比,视频行人重识别赋含信息更多,包含了帧与帧之间的时间信息、运动信息等,这有利于提高行人检索的准确率,因此视频行人重识别引起了国内外学者的广泛关注.本文探讨了视频行人重识别的处理过程,详细介绍了其中特征提取和距离度量的方法,并对各种特征提取方法的特点及应用进行了总结,给出了一些视频行人重识别实验数据集和评价标准,提出了视频行人重识别研究领域面临的挑战及相应的解决方案,最后对视频行人重识别技术未来的研究问题做了展望.     

Self-supervised human semantic parsing for video-based person re-identification

Video-based person re-identification is an important research topic in computer vision that entails associating a pedestrian’s identity with non-overlapping cameras. It suffers from severe temporal appearance misalignment and visual ambiguity problems. We propose a novel self-supervised human semantic parsing approach (SS-HSP) for video-based person re-identification in this work. It employs self-supervised learning to adaptively segment the human body at pixel-level by estimating motion information of each body part between consecutive frames and explores complementary temporal relations for pursuing reinforced appearance and motion representations. Specifically, a semantic segmentation network within SS-HSP is designed, which exploits self-supervised learning by constructing a pretext task of predicting future frames. The network learns precise human semantic parsing together with the motion field of each body part between consecutive frames, which permits the reconstruction of future frames with the aid of several customized loss functions. Local aligned features of body parts are obtained according to the estimated human parsing. Moreover, an aggregation network is proposed to explore the correlation information across video frames for refining the appearance and motion representations. Extensive experiments on two video datasets have demonstrated the effectiveness of the proposed approach.     

基于学习体型表征的行人再识别

行人再识别是计算机视觉领域的一项重要任务,但大多数现有模型很大程度上依赖于颜色外观。针对目前很少研究解决目标人物衣服不一致的行人再识别问题,提出一种新的表征学习模型。该模型通过对抗性学习和特征分离来产生不受服装颜色或图案影响的体型特征表示。同时,由于缺乏包含同一个人服装变化的行人再识别数据集,创建了一个合成数据集来模拟服装变化。4个数据集(两个基准行人再识别数据集,一个跨模态行人再识别数据集,合成数据集)的定量和定性结果证实了该方法对几种最先进的方法的鲁棒性和优越性。     

基于多任务学习的行人重识别特征表示方法

作为一种跨摄像头的检索任务,行人重识别会受到不同相机视角造成的图像样式变化的影响。近年来,许多算法通过神经网络直接从原始输入图片中学习相应特征,虽然这些特征能够很好地描述全局行人,但忽略了许多局部细节信息,在复杂的场景下容易出现误识别。针对此问题,研究了一种基于多任务学习的新的特征表示方法,采用成对输入的孪生网络结构,将局部最大出现特征(local maximal occurrence,LOMO)和深层特征一起送入网络并映射到单一的特征空间中进行训练,形成一种新的网络模型TDFN(traditional and deep features fusion network)。利用神经网络自我学习特性,联合多个任务的损失函数更新网络,使得深层特征学习到更多与手工局部特征互补的细节信息。实验表明,新特征的平均精度mAP和Rank-1精度都优于直接从孪生网络提取的全局描述子。     

基于自适应池化的行人检测方法

基于卷积神经网络的行人检测器普遍采用图像识别网络,通常会引起多池化层导致小目标行人特征信息丢失、单一池化方法导致行人局部重要特征信息削弱甚至丢失等,针对以上问题,基于最大值池化和平均值池化方法,提出了一种自适应池化方法,结合通用目标检测器Faster R-CNN,形成了有效的行人检测器,达到增强行人局部重要特征信息、保留小目标行人有效特征信息的目的。对多个公开的行人数据集进行大量实验,结果表明,与传统的卷积神经网络行人检测器相比,所提方法将行人检测漏检率降低了2%～3%,验证了方法的有效性。新方法改进了卷积神经网络结构,在无人驾驶领域具有一定的参考价值。     

一种端到端的个体出行轨迹重识别的深度学习方法

对于行人的再识别研究大多采用图像处理和计算机视觉领域的相关方法,在社会治安领域和商业领域内受到了越来越多的关注.从信息检索的角度出发,提出了一种端到端的深度学习框架,对匿名化的基于位置的服务(LBS)数据进行用户再识别.首先,该框架采用嵌入网络对输入的位置序列及其对应的时间序列进行编码;然后采用递归循环网络对用户每天的...     

基于注意力机制与多尺度特征融合的行人重识别方法

针对行人重识别中因遮挡、姿态变化使模型特征无法充分表达行人信息的问题,提出了基于注意力机制与多尺度特征融合的行人重识别方法.首先使用改进的骨干网络R-ResNet50提取图像特征;其次,抽取网络不同尺度的特征层嵌入注意力机制DANet,使模型更关注于重点信息;最后,对提取出的关键特征进行多尺度特征融合,实现特征间的优势...     

Pedestrian attribute classification with multi-scale and multi-label convolutional neural networks

Pedestrian attribute classification from a pedestrian image captured in surveillance scenarios is challenging due to diverse clothing appearances,varied poses and different camera views. A multiscale and multi-label convolutional neural network( MSMLCNN) is proposed to predict multiple pedestrian attributes simultaneously. The pedestrian attribute classification problem is firstly transformed into a multi-label problem including multiple binary attributes needed to be classified. Then,the multi-label problem is solved by fully connecting all binary attributes to multi-scale features with logistic regression functions. Moreover,the multi-scale features are obtained by concatenating those featured maps produced from multiple pooling layers of the MSMLCNN at different scales. Extensive experiment results show that the proposed MSMLCNN outperforms state-of-the-art pedestrian attribute classification methods with a large margin.     

基于域间相似度序数的迁移学习源领域的选择

现有迁移学习研究大多数都建立在源领域和目标领域的相似度较高的全局约束下,对如何选择合适的源领域缺乏研究。为了确定如何自适应地从候选源领域集合中选择合适源领域,提升迁移效率,避免"负迁移"现象,基于最大均值差异(maximum mean discrepancy,MMD)提出一种叫作域间相似度序数(MMD-SR)的度量方法,用于度量候选源领域与目标领域间的相似度。同时,基于MMD-SR,提出一种迁移学习源域自适应选择策略(MMD-SR source domain selection strategy,MMD-SR_SDSS)。在人工数据集和真实数据集中的实验结果表明了度量方法MMD-SR和源领域选择策略MMD-SR_SDSS的有效性和可行性。