基于学习体型表征的行人再识别

行人再识别是计算机视觉领域的一项重要任务,但大多数现有模型很大程度上依赖于颜色外观。针对目前很少研究解决目标人物衣服不一致的行人再识别问题,提出一种新的表征学习模型。该模型通过对抗性学习和特征分离来产生不受服装颜色或图案影响的体型特征表示。同时,由于缺乏包含同一个人服装变化的行人再识别数据集,创建了一个合成数据集来模拟服装变化。4个数据集(两个基准行人再识别数据集,一个跨模态行人再识别数据集,合成数据集)的定量和定性结果证实了该方法对几种最先进的方法的鲁棒性和优越性。     

基于深度学习的行人重识别研究综述

由于视角、背景、光照条件和相互遮挡等因素的变化,行人重识别是一个具有挑战性的问题.近年来,许多研究者将深度学习的方法引入到行人重识别研究中,并获得了较好的重识别结果.本文介绍了基于深度学习的行人重识别的主要研究方法(局部特征学习、距离度量学习、基于视频序列学习和生成对抗网络),并介绍目前常用的用于深度学习的行人重识别数据集(Duke MTMC-reID、CUHK03和Market1501)及其存在的问题,同时,对行人重识别提出了自己的理解和观点.最后指出了未来可能的研究方向.     

视频监控场景下行人衣着颜色识别

近年来,由于视频监控在各地安防的广泛应用,行人的精细化识别显得尤为重要,其中行人的衣着颜色是最显著的外观特征,其识别的正确性直接影响视频检索中对特定行人的检索.论文提出了一个简单实用的行人衣着识别系统,可以有效地识别行人衣着颜色.首先,结合HOG(histogram of oriented gradient)算法和Grabcut算法自动地对监控图像中的行人进行精确分割;然后,在利用外观划分模型精确地分割出行人的上身和下身后对上下身分别分割成若干个小块;最后,使用KNN(k-nearest neighbor)分类方法判断每个块的颜色,通过所有块的颜色标签投票决定衣着颜色.最终,使用收集的监控视频图像数据集验证此方法的有效性和实用性.     

一种基于双流网络的行为识别方法

针对视频行为识别任务,提出一种基于双流网络的行为识别方法.首先,该网络采用稀疏采样的策略,避免相邻帧的冗余信息对识别效果产生影响;其次,利用卷积神经网络预测光流图,提高光流图的获取效率,并降低计算量;最后,使用残差网络提取完成的视频信息,同时简化神经网络的训练过程.为验证双流行为识别网络的有效性,在两个经典数据集上进行对比实验,实验结果表明,该双流行为识别网络识别效果较好,可应用于智能视频监控、人机交互、公共安全等领域.     

基于统一划分的特征自适应行人再识别方法

为解决行人再识别(Re-ID)任务中,目标特征统一划分方法导致的部位信息关联性减少和识别率降低的问题,提出了基于密集连接卷积网络(DenseNet)的深度学习方法框架及基于统一划分方法的特征自适应Re-ID方法。在统一划分方法的基础上,为了保留部位特征的相关性,利用马氏距离公式计算相邻特征距离,自适应地选取信息相关性高的部位特征做融合,再对融合后的特征做行人分类。该文算法分别在Market1501数据集、CUHK03数据集以及DukeMTMC-ReID数据集上进行实验。平均精度均值(mAP)分别达到82.8%、70.3%、60.1%。该文方法与基于部位的卷积基准(PCB)以及部位对齐的行人再识别(AlignedReID++)相比,mAP均有提高。     

视频行人重识别研究进展

视频行人重识别是指在不同摄像头拍摄的视频中检索特定行人的技术.与图像行人重识别相比,视频行人重识别赋含信息更多,包含了帧与帧之间的时间信息、运动信息等,这有利于提高行人检索的准确率,因此视频行人重识别引起了国内外学者的广泛关注.本文探讨了视频行人重识别的处理过程,详细介绍了其中特征提取和距离度量的方法,并对各种特征提取方法的特点及应用进行了总结,给出了一些视频行人重识别实验数据集和评价标准,提出了视频行人重识别研究领域面临的挑战及相应的解决方案,最后对视频行人重识别技术未来的研究问题做了展望.     

基于光流重构和深度姿态特征的行人跌倒检测方法

随着我国老龄化人群数量的增长,老年人实时行为轨迹的跟踪检测成为当前智慧社区研究的热点。本文针对现有行人跌倒检测算法在面临电动车流和行人影子的干扰而导致识别准确率不高的问题,提出了一种基于优化yolov5的路边行人跌倒检测方法。首先基于视频抽帧的方式将原始数据输入到yolov5网络进行监控行人视频数据的预处理,实现行人背景重构;然后提取光流和anchor框作为其运动特征;最后对此特征进行判定,进行信息融合的跌倒检测网络进行跌倒特征识别,并在不同帧序列和不同背景下进行对比试验。本文所提出的方法在行人跌倒数据集Multiple cameras fall和Le2i上进行了实验,结果表明本文的算法在基于电动车流和行人影子干扰场景下较传统方法在准确率和召回率上分别提升了9%和10%。     

行人再识别技术研究综述

行人再识别是当前计算机视觉的研究难点和热点问题。根据行人再识别技术最新研究动态,对其研究现状进行了系统梳理,重点分析了特征学习和分类器算法两个最为核心的问题。首先将行人再识别的研究方法进行分类,其次整理了相关的研究资源,然后将特征学习分类为局部特征、块特征和全局特征,分类器算法分类为基于图像的建模方法、基于视频的建模方法、End-to-End的研究方法和深度学习模型,最后总结了行人再识别技术存在的主要问题,并对行人再识别检测技术的研究趋势进行展望。     

基于人体属性分析的考场行为识别

在实际监控的边缘设备中利用TSN或者3DCNN网络很难实现实时的、相对准确的监控任务。提出一种结合了人体检测和人体属性分析的考场行为识别算法。相对于以提取时空特征作视频分类算法为主流思想的行为识别,利用视频帧以人体检测和人体属性分析结合的行为识别方法更加快速准确。方法借助了多标签学习、注意力机制和特征金字塔等策略来改进任务,同时利用迁移学习对本地采集的数据集进行再训练,实验结果表明达到了主流数据集的良好性能,并在考场环境具有高效性与实用性。     

基于图卷积的跨模态行人重识别方法

近年来,红外-可见光的行人重识别在视频监控、网络刑侦等领域应用广泛,这项任务的目的是实现RGB摄像机和红外摄像机下出现的同一行人的匹配。由于行人图像在RGB模态和红外模态下存在较大差异,因而使得该项任务具有一定的挑战性。文中提出一种基于图卷积的跨模态行人重识别方法,同时提出一种新颖的异心三元组损失函数,用于更好表征行人特征。该方法首先对水平切割方法进行改进,在此基数上以局部特征和全局特征为节点构建图卷积神经网络,并利用构建的图卷积神经网络学习图像结构化特征;然后,引入了一种全新的异心三元组损失函数,并结合Softmax损失函数进一步提高模型性能。两个公开数据集上进行的对比实验、消融实验以及可视化实验结果验证了文中所提方法的卓越性能。     

一种多目标跨摄像头跟踪技术研究与实现

将行人检测算法和行人重识别算法相结合,提出一种多目标跨摄像头跟踪算法,该算法由行人检测、行人重识别和行人数据关联三大模块组成.首先利用基于YOLOv3的行人检测改进算法检测视频中出现的行人,并保存视频号、帧号和行人的全身位置信息;其次,利用基于生成对抗网络和重排序的行人重识别改进算法,为已检测的行人图片赋予一个标签;最...     

人机协作的行人重识别

物联网技术的迅猛发展使得各种智能传感设备被大量部署,其中监控设备的覆盖范围逐年扩大.如何有效对兴趣目标或犯罪嫌疑人的重识别是非常重要的一个研究方向.由于目前的行人重识别技术,大多是对视频中的行人进行手工提取,制作成对的数据.而在真实环境中,手工裁剪数据对是不大现实的.本文提出了人机协作的行人重识别算法,首先对视频中的行人进行检测提取,然后和目标行人进行比对,在识别的过程中融入人的认知判别,对没有识别到的目标行人进行标注.和一些先进的行人重识别方法做了对比,本文的方法提高了识别的准确度和可靠性.     

非可控环境行人再识别综述

最近几年,随着深度学习理论和行人再识别方法的发展和成熟,行人再识别技术取得了很大的突破,在理想条件下取得了很高的识别精度。但是,当前行人再识别算法在非可控环境的识别精度还比较低,距离实际可用还有很长的距离。非可控环境行人再识别面临许多挑战,包括训练样本不足、光照剧烈变化、行人遮挡和开集测试等,严重降低了行人再识别算法的性能。文章对非可控行人再识别技术,尤其是对小样本、可见光-红外、遮挡和开集行人再识别技术的近期进展、使用的数据库进行阐述,并分析了相关技术存在的问题和未来的发展趋势。     

基于知识学习的行人轨迹预测方法综述

随着深度学习的快速发展，行人轨迹预测任务已经成为计算机视觉领域的研究热点之一，在自动驾驶、视频监控、人机交互等领域基于深度学习的行人轨迹预测方法得到了广泛应用。首先，介绍过去几年该领域的概况(特别关注基于知识学习的方法),将这些算法分成基于统计学模型的轨迹预测方法和基于知识学习的轨迹预测方法两大类，并分析每类方法的主要算法；然后，讨论行人轨迹预测任务中使用的数据集和常见的评估指标，对比基于知识学习分类的各个方法在主流数据集下的预测性能。最后，对行人轨迹预测的发展进行展望。     

多分支融合变分细化蒸馏的跨模态行人重识别

目的 针对目前跨模态行人重识别研究中对行人细腻区域关注不足以及网络易受噪声影响的问题,提出一 种多分支融合变分细化蒸馏学习方法。 方法 首先,网络通过多分支聚合不同粒度的全局特征,督促深层网络学习 两种模态的全局信息和细节信息,丰富行人的特征描述符;然后,结合变分细化蒸馏策略,对特征信息进行再压缩, 保留与任务相关的深层信息,同时丢弃无用的干扰物;最后,将网络捕获的不同特征用多种损失函数联合监督,以 提高网络对行人表征的敏感度。 结果 所提方法在 SYSU-MM01 数据集的全搜索模式下,R-1 和 66. 93%和 mAP 分别达到 65. 25%;在 RegDB 数据集的可见光到红外设置下,R-1 和 mAP 分别达到 78. 26%、77. 83%。 结论 通过 消融实验、对比实验和可视化实验,充分验证了所提方法的有效性。     

低秩先验引导的无监督域自适应行人重识别

无监督域自适应行人重识别在智能监控中发挥着重要作用,并引起了研究者的广泛关注.尽管目前的研究已经取得了较大进步,但不同数据集之间的域偏移问题给行人重识别带来极大挑战.研究发现,在连续时间里,同一摄像机视角下的行人图像具有相同的风格,如果将这种风格信息从行人图像中分离出去,将有效缓解由图像风格差异引起的域偏移问题.为此,提出一种低秩先验引导的域不变信息分离的字典学习方案.根据风格信息的低秩先验性,将行人图像特征中的风格信息和行人身份信息分离开来,根据同一身份行人属性的域不变性建立视觉特征与属性之间的联系,缓解域偏移所带来的影响,通过自训练策略来调整学习参数.实验表明,方法的性能在很多数据集上超过了传统的无监督域自适应行人重识别方法以及部分基于深度学习的无监督域自适应行人重识别方法.     

交叉注意互学习的跨领域重识别实验设计

针对视频智能监控中跨领域行人重识别的研究热点,将交叉注意互学习的无监督跨领域行人重识别设计为研究性实验现场硬件教学项目,观察重要区域特征关注度和网络伪标签互监督两方面对模型跨领域能力的影响。设计多尺度交叉组合注意力机制,分析其在通道和空间上对重要区域特征关注度的增强,以及对区分度不高特征关注度的减少。在此基础上设计多尺度交叉组合注意力互学习实验网络,采用硬标签互学习的方式更新训练过程,消除错误伪标签对模型性能的影响。教学实践表明,该实验项目有助于提升学生动手能力和独立思考问题的能力,为科研成果转化为教学实验提供了借鉴。     

基于经典卷积神经网络的智能煤矸识别

为了准确快速地识别原煤中的煤和矸石,基于机器视觉的方式,采取经典卷积神经网络模型对煤和矸石图像进行识别分类;利用在以实验室环境下采集的小批量煤和矸石图像数据,运用数据增强技术扩充数据集,在深度学习框架中搭建各种经典卷积神经网络模型,对采集的数据集进行训练、验证和测试,获得各经典网络的训练准确率和损失函数曲线,并结合训练...     

基于语义感知的行人重识别技术研究

针对由于行人拍摄相机参数、拍摄环境以及角度等的差异,使行人重识别算法的准确率较低的问题,提出了一种基于行人语义感知信息以及深度学习的行人重新识别算法。首先,超分辨率重构行人视图,提升行人视图细节特征,提取行人的整体特征值,并用其识别体型差异较大的行人。其次,感知行人图像的语义信息,根据上述结果提取行人语义信息的特征值,用于识别体型相同或相似的行人。然后将行人视频中的人体宏观特征值以及语义感知的信息特征值融合为综合的特征值。使用生成的特征值计算与不同个体视频特征值的间距,识别海量人物图像。最后,在不同的数据集中验证了算法的性能。实验结果表明,该基于语言感知行人重识别算法的mAP和rand-1值最高。     

基于机器学习的Cortex-M监控视频车型识别

为了解决高速公路环境下监控视频图像车型识别需要将海量视频数据上传计算机服务器中心,对所有的视频流图像进行结构化处理和车型识别,造成服务器中心数据压力大、计算任务重,对服务器性能要求高的问题。对此,提出一种基于机器学习的Cortex-M监控视频车型识别的方法。首先,将训练机训练好的六种车型的权值矩阵文件移植到前端Cortex-M核系列开发板上,采用开发板内嵌的CMSIS-NN网络函数库搭建与训练机相同的网络模型结构;同时采用开发板内嵌的CMSIS-DSP库加快图像处理速度,并对选择处理监控视频图像实现车型识别;实验结果表明,该方法平均识别率达到94.6%以上,与采用计算机进行识别相同,可见该方法能够缓解大量视频上传给服务器中心造成的压力,为高速公路环境下监控视频图像车型识别研究提供了一种可选择的方案。