融合多尺度注意力和双向LSTM的行人重识别

将深度学习应用于行人重识别领域,嵌入多尺度注意力融合模块至神经网络中进行多尺度特征提取和表示,可有效提升注意力机制对深度学习网络的识别性能。提出了一种基于SE block的多尺度通道注意力融合模块,并结合ResNet50卷积神经网络提取特征;然后通过双向LSTM网络进一步提取特征序列上下文信息,在提高模型对图像重要特征的提取能力的同时,降低对图像冗余特征的关注度;最后使用级联难采样三元组损失函数和交叉熵损失函数共同训练网络模型,使样本能够在高维特征空间中实现聚类,进一步提升模型识别准确性。所提出算法在Market1501数据集和CUHK03数据集分别进行实验,并在同等条件下和其他注意力模块算法进行比较。为进一步验证各模块作用,对算法进行消融实验,以验证各模块的有效性,实验结果表明,所提出方法可有效应用于行人重识别     

结合语义分割和特征融合的行人检测方法

针对传统行人检测方法在复杂场景下存在遮挡行人和小尺寸行人检测效果差的问题,提出一种结合语义分割和特征融合的行人检测方法.该方法的网络结构以区域全卷积神经网络为基础框架,根据行人检测任务进行改进.使用深度残差网络提取出多尺度的特征映射图;通过全卷积语义分割网络,得到对应的语义分割图;利用特征融合模块构造出融合特征图;将融...     

基于注意力机制与多尺度特征融合的行人重识别方法

针对行人重识别中因遮挡、姿态变化使模型特征无法充分表达行人信息的问题,提出了基于注意力机制与多尺度特征融合的行人重识别方法.首先使用改进的骨干网络R-ResNet50提取图像特征;其次,抽取网络不同尺度的特征层嵌入注意力机制DANet,使模型更关注于重点信息;最后,对提取出的关键特征进行多尺度特征融合,实现特征间的优势...     

结合注意机制和局部擦除的行人重识别方法

针对行人重识别中行人姿态变化和遮挡问题,提出了一种结合注意机制和局部擦除的行人重识别方法.首先,构建由ResNet50为全局分支和注意擦除为局部分支组成的双分支网络.全局分支用来提取全局特征表示,在训练过程中可以监督注意擦除分支的训练.注意擦除局部分支由注意模块和擦除模块组成,该分支将输入特征映射的同一区域随机地分批擦...     

多尺度特征融合网络的磁共振快速重建方法

为了提高磁共振的数据采集效率,提出了一种多尺度特征融合网络。该网络模型由二扩张卷积和三扩张卷积特征融合块组成,采用扩张卷积以较少的参数扩大网络的感受野。在特征融合块中将几个扩张卷积残差模块组合在一起,并通过跳跃连接直接传输每个局部残差分支模块上的特征。使用特征融合块融合局部残差特征来产生更丰富的特征表示,同时引入局部残差学习来提取更多的图片细节。通过多组不同加速倍率下的重建实验并与其他文献中提到的方法相比较,实验结果表明,该网络重建出的磁共振图像具有更高的峰值信噪比和结构相似性。     

基于姿态估计和Transformer模型的遮挡行人重识别

行人重识别是利用人工智能解决边防检查、人员追踪等公共安全应用问题的技术,具有从跨设备采集的图像中识别某一特定行人的能力。但是在人员追踪等问题中,往往会出现行人刻意遮挡、复杂场景环境遮挡等因素,大大提高了行人重识别的难度。针对行人重识别遮挡问题,基于ResNet50网络,结合姿态估计（Pose estimation）和转换器（Transformer）模型,提出了一种改进的行人重识别网络PT-Net,以提高遮挡条件下的行人重识别能力。该方法首先利用现有的姿态估计方法对输入图像进行关键点检测,并将关键点信息与行人特征图像结合起来生成一个基于姿态的行人特征表示;然后利用Transformer模型对基于姿态的行人特征表示编码,用来实现特征对齐和特征融合。论文基于国际公开的数据集Occluded-Duke开展实验验证,结果表明,PT-Net方法相对于基线模型,其均值精度mAP和相似度排序Rank-1指标分别提高了1.3和1.5个百分点,验证了该方法的有效性和优越性。     

面向行人重识别分集特征挖掘的多分支深度神经网络构造进展

随着深度学习的兴起,近年来行人重识别性能提高的关键是如何构建具有分集特征挖掘的深度神经网络以获得行人图像的紧凑表达,而多分支深度神经网络是实现分集特征挖掘的主要途径.文中分析了近年来用于行人重识别多分支深度神经网络的几种主流构建方法,包括局部分割分集、注意力分集、特征遮挡分集、异构支路分集等,并在3个行人重识别数据集M...     

基于Transformer改进的两分支行人重识别算法

针对基于卷积神经网络的行人重识别算法全局信息建模不足的问题，分析了卷积操作的局限性，提出一种基于Transformer改进的全局-局部两分支行人重识别算法.首先利用相对位置编码改进多头自注意力机制，并将其嵌入到Resnet50骨干网络中.之后在全局分支中对图像进行空间几何划分并利用Transformer的全局感受野增强抽象特征的提取能力；在局部分支中对Layer＿3输出进行降维监督，利用多尺度池化获得更丰富的局部特征.实验结果表明，该算法在公开数据集Market-1501和DukeMTMC-reID上的mAP/Rank-1分别达到了93.45%/95.61%和88.79%/90.35%,相对于单纯基于卷积神经网络的算法，本文算法达到更高的精度.     

基于属性擦除与多分支网络的行人重识别

行人重识别易受到物体不同程度遮挡的影响.针对物体遮挡以及网络特征提取能力不强的问题,提出一种基于属性擦除与多分支网络的行人重识别的方法.该方法利用行人的包属性标签随机擦除进行数据增广.网络结构由ResNet-50基础网络与全局、局部卷积两个分支结构组成.全局卷积分支提供全局特征,局部卷积分支提供丰富的细粒度信息,通过两个分支的特征级联提升网络的特征提取能力.在Market-1501、DuckMTMC-reID数据集上,证明论文方法具有较好的效果.     

基于改进的注意力机制与纹理结构分层的生成对抗网络图像修复方法

构建一个以U-Net为基础的模型,通过引入注意力机制与纹理结构分层相融合的图像修复方法,在生成对抗网络模型基础上,引入通道注意力并结合多尺度卷积模块,将图像下采样提取特征分为纹理特征与结构特征,采用改进的Res2Net残差块并重构损失函数.实验结果表明,修复后图像的纹理和结构更统一,修复图像与原始图像在高级语义上更加接近.     

融合特征筛选策略的双塔网络鞋印检索算法

鞋印图像识别是计算机视觉在公安一线工作中的一项重要应用。当前公安侦查工作中鞋印图像无法进行精准识别的问题制约了工作效率与质量的提高,归纳起来主要是囿于鞋印现场提取的复杂情况、鞋印花纹图样的复杂特征以及鞋印图像的残缺不全。针对残缺鞋印,为了进一步提高残缺鞋印检索结果,设计了一种融合特征筛选的双塔网络鞋印检索算法。一方面,在网络中引入分区策略,将鞋印图像分为足掌区和足跟区用两个特征网络分别提取图像特征进行融合;另一方面,选择融合ResNet网络和Transformer网络的新型卷积神经网络convNeXt网络作为骨干网络,加入注意力机制模块,提取最后一层卷积特征后用不同的特征筛选方法去除鞋印图像中的无关特征,最后拼接展开成为特征描述符进行相似度计算。在训练阶段,优化学习策略,将其作为完整的图像分类网络进行训练。实验结果表明,本文选取的网络模型优于其他卷积神经网络,在CSS-200和FID-300两个鞋印数据集上取得了较高的准确率。     

基于双通道CNN的单幅图像超分辨率重建

卷积神经网络在单幅图像超分辨率重建方面取得了很大的进展,目前的很多方法都选择使用浅层或者深层的卷积神经网络实现图像超分辨率重建。浅层网络结构简单,但容易丢失图像的高频信息,而深层网络可以学习图像的高频纹理特征。本文提出了双通道卷积神经网络。浅层网络负责重建图像的整体轮廓,保留图像的原始信息;深层网络学习图像的高频纹理特征。在深层网络中,使用密集连接的卷积网络,能更有效地恢复图像的高频信息。同时,在两个网络的末端,通过添加额外的卷积层表示融合层,将网络进行融合,重建超分辨率图片。实验结果表明,在大多数情况下,本文模型的重构效果在主观和客观评估中均优于当前代表性的超分辨率重构方法。     

基于多任务学习的行人重识别特征表示方法

作为一种跨摄像头的检索任务,行人重识别会受到不同相机视角造成的图像样式变化的影响。近年来,许多算法通过神经网络直接从原始输入图片中学习相应特征,虽然这些特征能够很好地描述全局行人,但忽略了许多局部细节信息,在复杂的场景下容易出现误识别。针对此问题,研究了一种基于多任务学习的新的特征表示方法,采用成对输入的孪生网络结构,将局部最大出现特征(local maximal occurrence,LOMO)和深层特征一起送入网络并映射到单一的特征空间中进行训练,形成一种新的网络模型TDFN(traditional and deep features fusion network)。利用神经网络自我学习特性,联合多个任务的损失函数更新网络,使得深层特征学习到更多与手工局部特征互补的细节信息。实验表明,新特征的平均精度mAP和Rank-1精度都优于直接从孪生网络提取的全局描述子。     

基于多粒度生成对齐网络的行人重识别

针对行人重识别(re-ID)中背景簇、遮挡、视点变化和姿态变化等因素的负面影响,提出了一种新的算法,称为多粒度融合生成对齐网络(MLFGAN)．首先,提出身份(Identity, ID)不变的姿态标准化生成对抗网络(IIPN)来生成8种标准姿态的行人图像;然后,通过全局对齐网络实现图像对齐,利用局部对齐网络进行精细化行人匹配,用多粒度特征融合来整合不同粒度的信息,防止小尺度鉴别性信息丢失．MLFGAN能够有效地提取有区分性和鲁棒性的行人嵌入表示,其有效性在Market1501和DukeMTMC-reID等广泛使用的数据集上得到了清楚的验证．     

基于递归卷积神经网络的行人检测方法

为了提高视频中行人检测的准确度,提出了一种基于递归卷积神经网络的行人检测方法.该方法利用递归卷积神经网络融合视频中连续图像的上下文信息,以实现准确的行人检测.首先,利用卷积神经网络提取连续图像的多个特征图组;然后,根据先后次序,将多个特征图输入到递归卷积神经网络中,形成一张关于行人位置的掩码图;最后,通过在掩码图上预测...     

基于稠密连接和非局部运算的烟雾识别方法

烟雾图像检测已经成为早期火灾预警的主要技术手段之一,为了提升烟雾识别准确率和运算效率,提出基于稠密连接和非局部运算的深度卷积神经网络用于烟雾识别。首先,设计深度网络中卷积层间的稠密连接机制,构建稠密基本块,增强信息流通和特征重利用,同时也减少模型参数量。然后,为了进一步考虑烟雾图像的全局信息,将非局部运算与稠密基本块中的卷积运算相结合,构建稠密和非局部基本卷积块。最后,利用已经构建的若干个稠密和非局部基本卷积块搭建用于烟雾识别的深度卷积神经网络。在已经公开的烟雾图像数据库上进行性能评估,实验结果表明,提出的基于稠密连接和非局部运算的烟雾识别方法以不到1M的模型参数量取得了更令人满意的性能。     

基于光流场的时间分段网络行为识别

针对在双流时间分段网络上进行行为识别在预处理阶段耗时长、精细度有待提高这一问题,在现有的时间分段网络的基础上,将深度学习求解光流场的算法引入到行为识别这一应用中.用原始RGB帧图像作为空间卷积网络的输入提取外观信息,深度学习算法从相邻帧提取的光流场特征图像作为时间卷积网络的输入提取运动信息,两者互为补充,最后将空间卷积网络和时间卷积网络的输出加权融合得到最终识别结果.实验结果表明:用深度学习求解光流场的算法可有效提高识别算法的运算速度,同时也取得了较好的识别效果.     

基于局部监督深度混合模型的变电站巡检机器人道路场景识别

近年来,在各种图像分类和处理中,卷积神经网络(convolutional neural networks, CNN)取得了明显的优势。通过CNN中的全连通顶层和中间层等,可有效获取具有全局语义信息的深度特征以及包含局部语义信息的卷积特征,以此来提升图像识别的效果。为了进一步改进变电站巡检机器人对自身所处环境的理解能力,特别是在依赖于道路场景中整体和细节图像相结合来进行特征识别的条件下,文章提出了一种基于局部监督深度混合模型的识别网络对变电站巡检机器人道路场景进行识别,以实现对卷积特征的有效应用。首先该识别网络可以有效地避免卷积特征捕获到的局部对象在高度压缩的全连接层表示中被明显消除的问题;其次在局部卷积监督层的辅助下,通过直接将标签信息传播到卷积层,实现对图像的局部结构进行增强以补充场景图像中无序的中层语义信息;同时添加空间卷积操作来处理由于遮挡所造成的信息丢失。实验结果表明,局部监督深度混合模型网络在明显提高推理速度的同时,能够保持较高的识别精度,并在实际变电站场景的识别中表现出优秀的性能。     

基于注意力机制的图像分类降维方法

卷积算子是卷积神经网络的核心构造块,它根据一定的感受视野,融合卷积神经网络各层与不同通道之间的信息,提取出原始图像特征.然而图像中的相邻像素往往具有相似的值,导致卷积层的输出包含大量冗余信息.为了减少冗余信息,加快模型推理速度,神经网络中会加入池化层进行信息降维.对比传统降维方法,池化本身具有平移和旋转不变性,对图像特...     

基于DenseNet的人脸图像情绪识别研究

针对人脸情绪识别类内差异大,类间差异小的特点,结合学生人脸图像的线上课堂情绪识别的场景,提出多尺度空洞卷积模块提取不同空间尺度特征的稠密深度神经网络模型,实现自然场景下学生人脸图像识别.该模型主要由多尺度空洞卷积和DenseNet神经网络两个子网络组成,其中多尺度空洞卷积由不同空洞率的四分支网络提取不同尺度特征,空洞卷积减小特征图尺寸,减少DenseNet内存资源占用;最后在DenseNet网络中结合Adam优化器和中心损失函数.使用稠密网络的旁路连接,加强情绪特征传递和复用.研究结果表明：基于稠密深度神经网络的情绪识别网络模型能够有效提高情绪分类的准确率,模型对预处理后的FER2013+数据集识别准确率达到93.99%,可为线上教学反馈提供技术支持.