低秩先验引导的无监督域自适应行人重识别

无监督域自适应行人重识别在智能监控中发挥着重要作用,并引起了研究者的广泛关注.尽管目前的研究已经取得了较大进步,但不同数据集之间的域偏移问题给行人重识别带来极大挑战.研究发现,在连续时间里,同一摄像机视角下的行人图像具有相同的风格,如果将这种风格信息从行人图像中分离出去,将有效缓解由图像风格差异引起的域偏移问题.为此,提出一种低秩先验引导的域不变信息分离的字典学习方案.根据风格信息的低秩先验性,将行人图像特征中的风格信息和行人身份信息分离开来,根据同一身份行人属性的域不变性建立视觉特征与属性之间的联系,缓解域偏移所带来的影响,通过自训练策略来调整学习参数.实验表明,方法的性能在很多数据集上超过了传统的无监督域自适应行人重识别方法以及部分基于深度学习的无监督域自适应行人重识别方法.     

基于多度量融合的无监督领域自适应行人重识别算法

行人重识别任务旨在跨相机下检索出特定的行人图像.虽然行人重识别任务得到了快速发展,在检索精度上得到很大的提升,但是依然面临着行人重识别模型在新的数据集上泛化能力有限,以及在无监督领域自适应任务中无法避免的伪标签噪声的问题.针对目前无监督领域自适应任务中由于聚类算法的局限性而导致伪标签出现噪声的问题,提出一种基于多度量融合的无监督领域自适应行人重识别算法.具体而言,多度量融合算法是在目标域上使用DBSCAN(density-based spatial clustering of applications with noise)聚类算法对特征空间的行人特征进行聚类时,通过多个特征相似度度量函数线性加权的方式,计算行人之间的特征相似度,从而在目标域上生成更为准确的伪标签,之后利用该伪标签微调模型.通过在Market1501→DukeMTMC-reID和DukeMTMC-reID→Market1501上大量的实验,证明多度量融合算法有效提升了行人重识别模型在无监督领域自适应任务上的检索精度.     

基于异质信息对齐和重排序的跨模态行人重识别方法

可见光图像和红外图像成像原理不同,面向可见光和红外光的跨模态行人重识别面临较大的跨模态差异,行人异质信息对齐和挖掘异常困难。为此,提出基于异质信息对齐和重排序的跨模态行人重识别方法。在异质信息对齐方面,提出一种新的异质局部信息对齐算法,通过求取行人异质局部信息距离矩阵的最短路径,实现同一行人异质局部信息的动态匹配,解决行人异质信息对齐问题;在重排序方面,提出拓展k近邻重排序算法,通过动态地拓展查询图像k近邻异质信息,实现同一行人异质信息的融合,解决行人异质信息挖掘困难问题。实验结果表明,在SYSU数据集全场景查询模式上,所提方法与AGW模型结合k近邻重排序算法相比,在评价指标mAP和Rank-1上分别提升了10.12%和8.6%。     

基于关系挖掘的跨模态行人重识别

基于文本的行人重识别模型通常依赖于全局特征对齐和局部特征对齐,但模态间和模态内的相关信息常被忽略。提出了一种基于关系挖掘的跨模态行人重识别方法,该方法包括双流主干网络、负相似度挖掘模块、关系编码器。首先,通过双流主干网络实现了全局和局部特征对齐;其次,通过负相似度挖掘模块提升了图像-文本对特征辨别的细粒度;最后,通过关系编码器模块分别学习图像和文本中隐含的关系信息,实现关系级别的特征对齐。在CUHK-PEDES数据集和ICFG-PEDES数据集上的实验结果证明,文中方法能够达到较高的识别精度。     

基于特征学习的双路径红外-可见光行人重识别算法

由于拍摄视角、行人姿态的变化以及不同的相机光谱造成的额外跨模态差异,RGB图像和红外图像之间存在着明显的差异,提取有效的模态共享特征是红外-可见光行人重识别中的难点。本研究提出一种双路径学习算法来识别特征,利用改进的BNNeck模块来提取RGB和红外图像的特征信息,改善算法的识别性能。该算法首先将注意力机制引入双路径特征学习网络,获取RGB图像在空间维度和通道维度上的特征信息,实现红外特征信息匹配;然后,将BNNeck模块引入至跨模态行人重识别算法,减少模态特征信息差异,加快算法收敛速度;最后,在异质中心损失函数和交叉熵损失函数的基础上,引入跨模态下行人身份损失函数,提高行人识别的准确性。SYSU-MM01和RegDB数据集的实验结果表明,相对于目前大多数已有算法,所提算法具有更好的泛化能力和鲁棒性,Rank-1/mAP分别达到59.39%/85.44%和57.81%/73.19%,比最新算法分别提高2.43%/2.86%和2.44%/1.19%。     

基于图卷积神经网络的跨域行人再识别

针对由源域训练的行人再识别模型通常在目标域的泛化能力不强的问题,提出基于图卷积神经网络的跨域行人再识别方法,将源域数据学习到的整合邻居样本信息的能力迁移至目标域数据.首先,为经过特征提取后的源域数据建立亲属子图,并将源域数据特征和亲属子图作为所设计的图卷积神经网络模块的输入,以基于源域的监督信息训练图卷积神经网络模块;然后,对经过特征提取后的目标域数据建立亲属子图,将训练过的图卷积神经网络模块应用于目标域数据,为目标域数据赋伪标签;最后,联合源域数据和目标域数据训练得到一个泛化能力强的行人再识别模型.分别在两个大规模公开数据集Market-1501和DukeMTMC-reID上对所提出方法进行实验验证,结果表明所提出的方法与所选择的基准模型相比使得Market-1501的rank-1准确率和平均准确率均值(mAP)分别提高了7.4%和9.2%,而DukeMTMC-reID的rank-1准确率和m AP分别提高了14.2%和14.9%.     

基于姿态估计和Transformer模型的遮挡行人重识别

行人重识别是利用人工智能解决边防检查、人员追踪等公共安全应用问题的技术,具有从跨设备采集的图像中识别某一特定行人的能力。但是在人员追踪等问题中,往往会出现行人刻意遮挡、复杂场景环境遮挡等因素,大大提高了行人重识别的难度。针对行人重识别遮挡问题,基于ResNet50网络,结合姿态估计（Pose estimation）和转换器（Transformer）模型,提出了一种改进的行人重识别网络PT-Net,以提高遮挡条件下的行人重识别能力。该方法首先利用现有的姿态估计方法对输入图像进行关键点检测,并将关键点信息与行人特征图像结合起来生成一个基于姿态的行人特征表示;然后利用Transformer模型对基于姿态的行人特征表示编码,用来实现特征对齐和特征融合。论文基于国际公开的数据集Occluded-Duke开展实验验证,结果表明,PT-Net方法相对于基线模型,其均值精度mAP和相似度排序Rank-1指标分别提高了1.3和1.5个百分点,验证了该方法的有效性和优越性。     

融合多尺度注意力和双向LSTM的行人重识别

将深度学习应用于行人重识别领域,嵌入多尺度注意力融合模块至神经网络中进行多尺度特征提取和表示,可有效提升注意力机制对深度学习网络的识别性能。提出了一种基于SE block的多尺度通道注意力融合模块,并结合ResNet50卷积神经网络提取特征;然后通过双向LSTM网络进一步提取特征序列上下文信息,在提高模型对图像重要特征的提取能力的同时,降低对图像冗余特征的关注度;最后使用级联难采样三元组损失函数和交叉熵损失函数共同训练网络模型,使样本能够在高维特征空间中实现聚类,进一步提升模型识别准确性。所提出算法在Market1501数据集和CUHK03数据集分别进行实验,并在同等条件下和其他注意力模块算法进行比较。为进一步验证各模块作用,对算法进行消融实验,以验证各模块的有效性,实验结果表明,所提出方法可有效应用于行人重识别     

基于语义感知的行人重识别技术研究

针对由于行人拍摄相机参数、拍摄环境以及角度等的差异,使行人重识别算法的准确率较低的问题,提出了一种基于行人语义感知信息以及深度学习的行人重新识别算法。首先,超分辨率重构行人视图,提升行人视图细节特征,提取行人的整体特征值,并用其识别体型差异较大的行人。其次,感知行人图像的语义信息,根据上述结果提取行人语义信息的特征值,用于识别体型相同或相似的行人。然后将行人视频中的人体宏观特征值以及语义感知的信息特征值融合为综合的特征值。使用生成的特征值计算与不同个体视频特征值的间距,识别海量人物图像。最后,在不同的数据集中验证了算法的性能。实验结果表明,该基于语言感知行人重识别算法的mAP和rand-1值最高。     

交叉注意互学习的跨领域重识别实验设计

针对视频智能监控中跨领域行人重识别的研究热点,将交叉注意互学习的无监督跨领域行人重识别设计为研究性实验现场硬件教学项目,观察重要区域特征关注度和网络伪标签互监督两方面对模型跨领域能力的影响。设计多尺度交叉组合注意力机制,分析其在通道和空间上对重要区域特征关注度的增强,以及对区分度不高特征关注度的减少。在此基础上设计多尺度交叉组合注意力互学习实验网络,采用硬标签互学习的方式更新训练过程,消除错误伪标签对模型性能的影响。教学实践表明,该实验项目有助于提升学生动手能力和独立思考问题的能力,为科研成果转化为教学实验提供了借鉴。     

基于图卷积的跨模态行人重识别方法

近年来,红外-可见光的行人重识别在视频监控、网络刑侦等领域应用广泛,这项任务的目的是实现RGB摄像机和红外摄像机下出现的同一行人的匹配。由于行人图像在RGB模态和红外模态下存在较大差异,因而使得该项任务具有一定的挑战性。文中提出一种基于图卷积的跨模态行人重识别方法,同时提出一种新颖的异心三元组损失函数,用于更好表征行人特征。该方法首先对水平切割方法进行改进,在此基数上以局部特征和全局特征为节点构建图卷积神经网络,并利用构建的图卷积神经网络学习图像结构化特征;然后,引入了一种全新的异心三元组损失函数,并结合Softmax损失函数进一步提高模型性能。两个公开数据集上进行的对比实验、消融实验以及可视化实验结果验证了文中所提方法的卓越性能。     

基于域适应对抗网络的眼底图像联合分割方法

由于数据集之间存在域偏移问题,基于深度学习的语义分割网络在不同数据集之间进行视盘视杯分割性能存在很大差异,这使得不同的医学站点之间进行精确的图像分析和诊断具有一定的挑战性。针对这一问题,提出了一种U-Net结合域对抗网络(domain adversarial via U-Net network, DAUNet)的无监督域适应视盘视杯联合分割方法,并在视盘视杯分割领域取得了不错的性能。首先,利用对抗思想结合目标数据先验特征信息生成与目标数据集相似的数据,预先调整网络参数;其次,通过对抗学习源域和目标域的域变特征,从而降低域偏移的影响,提高分割性能。在REFUGE、Drishti-GS和RIM-ONE-r3共3个数据集之间进行跨数据集的域适应实验和消融实验。实验结果表明,DAUNet网络在以REFUGE作为源域,RIM-ONE-r3作为目标域上视杯的Dice系数,视盘的Dice系数和CDR的绝对错误率分别为0.648 6、0.789 8、0.072 5,优于CADA的分割结果。在消融实验中,视盘分割和视杯分割在有对抗下分别优于无对抗8.00%、4.59%。提出的U型域对抗网络综合了U-Ne...     

双重对抗无监督域自适应绝缘子检测算法

绝缘子检测在输电线路智能巡检中具有重要的应用价值.基于深度学习的绝缘子检测是一类常用的方法.然而,在某些情况下仅能获取某一类型绝缘子数据,用其训练得到的模型直接应用到跨域绝缘子检测,性能会急剧下降.为此,提出一种双重对抗的无监督域自适应绝缘子检测算法.具体地,为缓解绝缘子图像背景复杂对检测性能带来的影响,设计了一种混淆判别机制.在该机制中,输入两种不同类型的绝缘子图像到两个不同的判别器中进行分类,再通过对抗训练将两种绝缘子进行交叉分类以学习到域不变特征.此外,通过最大最小化目标域的两个分类结果分别优化判别器和特征提取器,减轻不同类型绝缘子外观差异较大的问题.大量的实验证明了提出方法的有效性.     

视频行人重识别研究进展

视频行人重识别是指在不同摄像头拍摄的视频中检索特定行人的技术.与图像行人重识别相比,视频行人重识别赋含信息更多,包含了帧与帧之间的时间信息、运动信息等,这有利于提高行人检索的准确率,因此视频行人重识别引起了国内外学者的广泛关注.本文探讨了视频行人重识别的处理过程,详细介绍了其中特征提取和距离度量的方法,并对各种特征提取方法的特点及应用进行了总结,给出了一些视频行人重识别实验数据集和评价标准,提出了视频行人重识别研究领域面临的挑战及相应的解决方案,最后对视频行人重识别技术未来的研究问题做了展望.     

基于互信息解耦表示的跨域压力足迹图像检索

足迹作为人体生物特征之一，在生物识别领域具有重要意义，而同一对象的不同鞋型压力足迹图像在足迹轮廓特征上具有显著性差异，导致其类内差异大。针对压力足迹图像的跨域检索，文中提出了一种基于互信息解耦表示的跨域压力足迹图像检索方法。首先，构建了一个包含200人足迹图像的多域压力足迹数据集，从定性和定量两个角度分析跨域压力足迹图像的特点；其次，采用两个独立的编码器实现图像解耦模块，该模块将压力足迹图像解耦为域特定表示和域共享表示，通过域分类法保证域特定表示包含更多域相关的信息；然后，通过最小化互信息损失扩大域特定表示和域共享表示之间的距离，同时，为避免解耦过程中信息的丢失，基于域特定表示和域共享表示重构原始压力足迹图像；最后，通过特征提取模块进一步提取域共享表示的深层卷积特征，经过度量模块计算不同特征间的关联度，从而实现跨域压力足迹图像检索。对比及消融实验结果表明，该方法的解耦模块具有一定的有效性，在多域压力足迹数据集上的性能表现良好，首位查询结果的检索准确率达到79.83%，平均准确率达到65.48%。     

基于双塔隐语义与自注意力的跨域推荐模型

为缓解跨域推荐数据稀疏与冷启动问题,该文提出一种融和双塔隐语义与自注意力机制的跨域推荐模型(DLLFM-DA/Self atten CDR model, DLDASA),能够有效提升目标域推荐准确率.首先利用提出的双塔隐语义模型(DLLFM),借助源域和目标域用户的类别偏好和项目类别,生成高质量隐语义;其次,在隐语义特征迁移过程中引入域适应(domain adaptation),有效对齐源域与目标域的特征分布,最小化源域与目标域间数据分布差异,提供更高质量的隐语义特征迁移;然后利用多头自注意力机制捕捉两个域之间的差异性与相关性,对差异信息进行筛选与融合,缓解负迁移问题,以提升跨域推荐质量;最后,在Movielens-Netflix和一品威客(YPWK)-猪八戒网(ZBJW)真实数据集上,将DLDASA与基线单域和跨域推荐模型进行对比实验,结果表明,均方根误差(RMSE)和平均绝对误差(MAE)均有明显改善.该研究验证了DLDASA模型能够更充分地提取用户特征,有效缓解目标域信息不足的问题.     

一种多目标跨摄像头跟踪技术研究与实现

将行人检测算法和行人重识别算法相结合,提出一种多目标跨摄像头跟踪算法,该算法由行人检测、行人重识别和行人数据关联三大模块组成.首先利用基于YOLOv3的行人检测改进算法检测视频中出现的行人,并保存视频号、帧号和行人的全身位置信息;其次,利用基于生成对抗网络和重排序的行人重识别改进算法,为已检测的行人图片赋予一个标签;最...     

基于深度学习的行人重识别研究综述

由于视角、背景、光照条件和相互遮挡等因素的变化,行人重识别是一个具有挑战性的问题.近年来,许多研究者将深度学习的方法引入到行人重识别研究中,并获得了较好的重识别结果.本文介绍了基于深度学习的行人重识别的主要研究方法(局部特征学习、距离度量学习、基于视频序列学习和生成对抗网络),并介绍目前常用的用于深度学习的行人重识别数据集(Duke MTMC-reID、CUHK03和Market1501)及其存在的问题,同时,对行人重识别提出了自己的理解和观点.最后指出了未来可能的研究方向.     

基于小波域稀疏表示和自适应混合样本回归的图像超分辨率重建算法

针对局部特征不能较好地在空域表示的缺点,对训练集进行直接的小波变换,在训练阶段采用K-SVD字典学习算法对提取的小波域高低分辨率特征分别训练四个子带高低分辨率字典对,并把所得子带字典用于小波域高分辨率图像重建.为了进一步提升重建图像的质量,提出一个自适应混合样本脊回归模型(AMSRR)用于调制重建图像的高频成分.实验结果表明,本文提出的算法在视觉效果以及量化指标(PSNR,SSIM)上优于对比的空域方法.     

基于邻域自适应注意力的跨域融合语音增强

基于深度学习的语音增强方法可分为时域方法和频域方法两类，这两类方法各有优点.为了综合利用时、频两域方法的优点，提出了基于邻域自适应注意力的跨域融合语音增强模型.该模型能够同时对输入的波形和频谱进行增强，并对时域和频域的增强结果进行跨域融合得到最终增强结果.为了利用时域增强结果与频域增强结果的信息互补特性，提出使用信息交流模块来实现两域增强结果的互补提升.为了提高时域增强模型与频域增强模型的特征提取能力，充分利用时域和频域的信号特点，进一步提出了邻域自适应注意力模块.该模块依据输入信息自适应选择汇聚具有不同邻域窗口的局部自注意力模块，进而高效利用不同尺度下的平稳特征.实验结果表明，所提邻域自适应注意力模块和时频域的信息交流与融合模块，可有效利用波形与频谱的互补特性，进一步提升增强效果.