基于异质信息对齐和重排序的跨模态行人重识别方法

可见光图像和红外图像成像原理不同,面向可见光和红外光的跨模态行人重识别面临较大的跨模态差异,行人异质信息对齐和挖掘异常困难。为此,提出基于异质信息对齐和重排序的跨模态行人重识别方法。在异质信息对齐方面,提出一种新的异质局部信息对齐算法,通过求取行人异质局部信息距离矩阵的最短路径,实现同一行人异质局部信息的动态匹配,解决行人异质信息对齐问题;在重排序方面,提出拓展k近邻重排序算法,通过动态地拓展查询图像k近邻异质信息,实现同一行人异质信息的融合,解决行人异质信息挖掘困难问题。实验结果表明,在SYSU数据集全场景查询模式上,所提方法与AGW模型结合k近邻重排序算法相比,在评价指标mAP和Rank-1上分别提升了10.12%和8.6%。     

基于多粒度生成对齐网络的行人重识别

针对行人重识别(re-ID)中背景簇、遮挡、视点变化和姿态变化等因素的负面影响,提出了一种新的算法,称为多粒度融合生成对齐网络(MLFGAN).首先,提出身份(Identity,ID)不变的姿态标准化生成对抗网络(IIPN)来生成8种标准姿态的行人图像;然后,通过全局对齐网络实现图像对齐,利用局部对齐网络进行精细化行人...     

面向行人重识别分集特征挖掘的多分支深度神经网络构造进展

随着深度学习的兴起,近年来行人重识别性能提高的关键是如何构建具有分集特征挖掘的深度神经网络以获得行人图像的紧凑表达,而多分支深度神经网络是实现分集特征挖掘的主要途径.文中分析了近年来用于行人重识别多分支深度神经网络的几种主流构建方法,包括局部分割分集、注意力分集、特征遮挡分集、异构支路分集等,并在3个行人重识别数据集M...     

结合注意机制和局部擦除的行人重识别方法

针对行人重识别中行人姿态变化和遮挡问题,提出了一种结合注意机制和局部擦除的行人重识别方法.首先,构建由ResNet50为全局分支和注意擦除为局部分支组成的双分支网络.全局分支用来提取全局特征表示,在训练过程中可以监督注意擦除分支的训练.注意擦除局部分支由注意模块和擦除模块组成,该分支将输入特征映射的同一区域随机地分批擦...     

基于多任务学习的行人重识别特征表示方法

作为一种跨摄像头的检索任务,行人重识别会受到不同相机视角造成的图像样式变化的影响。近年来,许多算法通过神经网络直接从原始输入图片中学习相应特征,虽然这些特征能够很好地描述全局行人,但忽略了许多局部细节信息,在复杂的场景下容易出现误识别。针对此问题,研究了一种基于多任务学习的新的特征表示方法,采用成对输入的孪生网络结构,将局部最大出现特征(local maximal occurrence,LOMO)和深层特征一起送入网络并映射到单一的特征空间中进行训练,形成一种新的网络模型TDFN(traditional and deep features fusion network)。利用神经网络自我学习特性,联合多个任务的损失函数更新网络,使得深层特征学习到更多与手工局部特征互补的细节信息。实验表明,新特征的平均精度mAP和Rank-1精度都优于直接从孪生网络提取的全局描述子。     

基于属性擦除与多分支网络的行人重识别

行人重识别易受到物体不同程度遮挡的影响.针对物体遮挡以及网络特征提取能力不强的问题,提出一种基于属性擦除与多分支网络的行人重识别的方法.该方法利用行人的包属性标签随机擦除进行数据增广.网络结构由ResNet-50基础网络与全局、局部卷积两个分支结构组成.全局卷积分支提供全局特征,局部卷积分支提供丰富的细粒度信息,通过两个分支的特征级联提升网络的特征提取能力.在Market-1501、DuckMTMC-reID数据集上,证明论文方法具有较好的效果.     

多层次细粒度特征三分支网络行人重识别方法

针对行人重识别中信息丢失导致判别性信息缺失的问题,提出了一种多层次细粒度特征三分支网络行人重识别方法。首先,在ResNet50网络上构建中层全局特征分支、多层次全局特征分支和局部特征分支,全局分支提供更加全面的特征表示,局部特征分支提供细粒度的特征表示;其次,在三分支网络上改进了损失函数,使用权重向量和特征向量归一化以消除向量模的影响,通过构建难样本三元组损失以解决类间相似、类内差异分类问题;最后,在Market-1501和DukeMTMC-reid两个数据集上进行实验,rank-1达到了94.0%和87.4%,mAP达到了85.7%和75.5%.和现有的八种方法进行对比实验,结果表明本文方法在行人重识别中具有更好的准确率和精度。     

应用空间约束和二次相似度学习算法的行人再识别

针对空间分布的全局外观潜在变化的行人再识别问题,提出一种基于空间约束和二次相似度学习算法.通过二次相似度函数(QSF)估计每个子区域的相似度,从而形成多项式特征图,并将所有特征图融合到统一的框架中.该框架利用局部相似度和全局相似度的互补优势,结合多个视觉线索进一步提高算法的鲁棒性.实验对比3个公共数据集,结果表明:基于空间约束和二次相似度学习算法具有显著的识别性能.     

基于图卷积的跨模态行人重识别方法

近年来,红外-可见光的行人重识别在视频监控、网络刑侦等领域应用广泛,这项任务的目的是实现RGB摄像机和红外摄像机下出现的同一行人的匹配。由于行人图像在RGB模态和红外模态下存在较大差异,因而使得该项任务具有一定的挑战性。文中提出一种基于图卷积的跨模态行人重识别方法,同时提出一种新颖的异心三元组损失函数,用于更好表征行人特征。该方法首先对水平切割方法进行改进,在此基数上以局部特征和全局特征为节点构建图卷积神经网络,并利用构建的图卷积神经网络学习图像结构化特征;然后,引入了一种全新的异心三元组损失函数,并结合Softmax损失函数进一步提高模型性能。两个公开数据集上进行的对比实验、消融实验以及可视化实验结果验证了文中所提方法的卓越性能。     

基于多层次深度学习网络的行人重识别

提出了多层级特征融合模型,该模型利用深度学习网络提取行人图像的全局特征和局部特征,并将全局和局部特征联合起来,以生成更具辨识度的描述符.在模型中,基于部分的多层级网络用于提取不同网络深度的局部特征,从而将网络底层到高层中提取的局部特征组合起来.全局—局部网络分支则提取网络深层的局部特征和全局特征,用于识别行人.该模型在三个数据集上进行了实验并得到了更好的结果.     

特征增强U形网络的图像语义分割

复杂场景语义分割任务是对场景图像逐像素进行分类并标记.图像中目标种类多,尺度多样的特点给分割任务增加了难度,提出了特征增强U形卷积神经网络(feature enhanced U shape networks,FEUNet)是一种改进的编码器加解码器的结构,编码阶段引入局部特征增强模块(local feature enhanced,LFE)提取局部感知特征来改善非显著目标的分割效果;考虑到神经网络深层和浅层之间特征表达的差异,在解码阶段利用全局池化方法(global pooling)设计全局特征增强模块(global feature enhanced,GFE),实现选择性地从深层特征图提取上下文信息作为对浅层特征图的指导,改善深层和浅层特征图的融合,保证同类像素预测的一致性.采用CamVid和Cityscapes数据集进行试验,模型mIOU测评值分别达到64.5％和73.2％,对比其他主流语义分割算法,该方法在分割性能和模型体积上具有一定竞争力.     

基于姿态估计和Transformer模型的遮挡行人重识别

行人重识别是利用人工智能解决边防检查、人员追踪等公共安全应用问题的技术,具有从跨设备采集的图像中识别某一特定行人的能力。但是在人员追踪等问题中,往往会出现行人刻意遮挡、复杂场景环境遮挡等因素,大大提高了行人重识别的难度。针对行人重识别遮挡问题,基于ResNet50网络,结合姿态估计（Pose estimation）和转换器（Transformer）模型,提出了一种改进的行人重识别网络PT-Net,以提高遮挡条件下的行人重识别能力。该方法首先利用现有的姿态估计方法对输入图像进行关键点检测,并将关键点信息与行人特征图像结合起来生成一个基于姿态的行人特征表示;然后利用Transformer模型对基于姿态的行人特征表示编码,用来实现特征对齐和特征融合。论文基于国际公开的数据集Occluded-Duke开展实验验证,结果表明,PT-Net方法相对于基线模型,其均值精度mAP和相似度排序Rank-1指标分别提高了1.3和1.5个百分点,验证了该方法的有效性和优越性。     

基于注意力机制与多尺度特征融合的行人重识别方法

针对行人重识别中因遮挡、姿态变化使模型特征无法充分表达行人信息的问题,提出了基于注意力机制与多尺度特征融合的行人重识别方法.首先使用改进的骨干网络R-ResNet50提取图像特征;其次,抽取网络不同尺度的特征层嵌入注意力机制DANet,使模型更关注于重点信息;最后,对提取出的关键特征进行多尺度特征融合,实现特征间的优势...     

改进YOLOv4的复杂交通场景目标检测方法

针对复杂交通场景下密集小目标居多、目标尺寸差异大、目标间遮挡严重的问题,提出了一种基于YOLOv4框架的复杂交通场景下的目标检测算法。首先,构造多尺度特征融合提取模块作为主干网络特征提取模块,充分提取不同尺度目标特征信息,同时引入轻量化Ghost模块对主干网络特征进行维度调整;其次,将卷积模块与自注意力机制融合,构造倒残差自注意力模块应用到主干网络深层,深层网络在充分提取局部特征信息基础上获得了全局感知;然后,构造轻量级混合注意力模块,抑制背景噪声,增强密集小目标检测能力;最后,在Udacity数据集上进行实验,检测精度达到了84.41%,相比较YOLOv4, mAP(mean average precision)提高了3.07%,对1 920×1 200分辨率图像的检测FPS(frames per second)可达到49,提高了22.5%,精度提升的前提下实现了较好的实时性,更适用于复杂交通场景下的目标检测任务。     

可堆叠重校准特征金字塔目标检测方法

无人机、车载识别等边缘设备应用日益增长,对模型参数量、检测速度以及精度提出了进一步的要求。为了提高目标检测在这些领域的项目落地能力,提出一种可堆叠重校准特征金字塔模块以及改进的SR-YOLOv3目标检测网络,使用对边缘设备友好的主干网络作为特征提取网络,通过堆叠轻量的金字塔模块,在减少参数数量的同时,提高检测精度及速度。在公开的目标检测数据集PascalVOC上进行性能评估,实验结果显示,该改进算法的参数量有明显下降,且计算速度得到提升。     

基于全局注意力的多级特征融合目标检测算法

针对小目标物体检测精度差的问题,同时不以牺牲速度为代价,本文提出了一种基于全局注意力的多级特征融合目标检测算法。算法首先由卷积神经网络生成多尺度的特征图,然后采用多级特征融合的方法,将浅层和深层特征图的语义信息相结合,提高特征图的表达能力,接着引入全局注意力模块,对特征图上下文信息进行建模,并捕获通道之间的依赖关系来选择性地增强重要的通道特征。此外,在多任务损失函数的基础上增加一项额外的惩罚项来平衡正负样本。最后经过分类回归、迭代训练和过滤重复边框得到最终检测模型。对所提算法在PASCAL VOC数据集上进行了训练和测试,结果表明该算法能有效地提升小目标物体检测效果,并较好地平衡了检测精度与速度之间的关系。     

融合多种深度学习模型的岩石铸体薄片孔隙自动分割方法

铸体薄片图像孔隙形态复杂多样,常规分割方法存在主观因素影响、效率低等问题,而深度学习方法效果取决于数据量、标注、训练周期等因素。针对这些问题,采用真实的增强型超分辨生成对抗网络（Real-ESRGAN）方法提高铸体薄片图像分辨率,应用图像旋转、比例变换等数据增强算法增加样本的多样性,利用阈值法结合颜色空间转换自动标注铸体薄片中大部分孔隙;在Unet网络编码器部分加入残差网络加深编码器网络深度（R-T-Unet）,增强孔隙特征分割能力;引入ImageNet数据集上的ResNet50和ResNet101模型,将其结构作为编码器主干特征分割网络,其模型权重作为预训练权重,提高训练速度。实验结果表明,改进的R-T-Unet 模型优于Unet模型,本方法更适合用于岩石铸体薄片孔隙分割。     

基于改进单步多框目标检测的道路小目标检测算法

针对SSD目标检测算法运用于自动驾驶领域时,在检测道路上小目标容易发生漏检错检的情况,本文提出一种改进的SSD目标检测算法。本算法首先在SSD模型的主干网络中嵌入感受野增强模块,扩大特征层的感受野,以获取更多小目标的特征信息;然后在主干网络后加入4次U型特征提取结构,构建4个不同层级的特征金字塔,最后合并成一个多层级特征金字塔用于检测。结果表明,该改进SSD模型在KITTI数据集上的检测精度较原始SSD模型提升了6%,检测速度达到了每秒27.9帧。在兼顾检测效率的同时,有效提高了对道路上小目标的检测精度,更适用于自动驾驶领域。     

融合几何特征与全局关系的室内点云语义分割

为充分提取3D点云的深层特征以提高复杂室内点云场景的语义分割精度，提出一种结合局部特征和全局特征的室内点云语义分割网络GSFNet.在局部特征部分，加入几何特征信息，并设计几何与语义特征信息编码模块，以更好地捕获室内点云局部信息.对全局特征部分，在编码解码器结构中间层加入全局关系依赖模块，构建不同邻域对象之间的关系提取有效分割信息.使用斯坦福大规模室内数据集(S3DIS)进行实验验证，在测试数据集上测试的总体精度(OA)和平均交并比(mIoU)分别为87.2%和61.1%,实验结果表明，GSFNet对复杂室内环境有较好的语义分割效果.