结合注意机制和局部擦除的行人重识别方法

针对行人重识别中行人姿态变化和遮挡问题,提出了一种结合注意机制和局部擦除的行人重识别方法.首先,构建由ResNet50为全局分支和注意擦除为局部分支组成的双分支网络.全局分支用来提取全局特征表示,在训练过程中可以监督注意擦除分支的训练.注意擦除局部分支由注意模块和擦除模块组成,该分支将输入特征映射的同一区域随机地分批擦...     

基于编码解码器与深度主题特征抽取的多标签文本分类

本文提出了一种基于编码解码器与深度主题特征的模型,实现了多标签文本分类.针对传统多标签文本分类方法的特征语义缺失的问题,采用一种长短时记忆(long short-term memory,LSTM)网络提取文本的局部特征与主题模型(latent dirichlet allocation,LDA)提取文本的全局特征的深度主题特征提取模型(deep topic feature extraction model,DTFEM),得到具有文本深层语义特征的语义编码向量,并将该编码向量作为解码器网络的输入.解码器网络将多标签文本分类的任务看作序列生成的过程,解决了多标签文本分类的标签相关性的问题,并加入attention机制,计算注意力分布概率,突出关键输入对输出的作用,改进了由于输入过长导致的语义缺失问题,最终实现多标签文本分类.实验结果表明,该模型能够获得比传统的多标签文本分类系统更优的结果.另外,实验证明使用深度主题特征的方法可以提高多标签文本分类的性能.     

基于Transformer改进的两分支行人重识别算法

针对基于卷积神经网络的行人重识别算法全局信息建模不足的问题，分析了卷积操作的局限性，提出一种基于Transformer改进的全局-局部两分支行人重识别算法.首先利用相对位置编码改进多头自注意力机制，并将其嵌入到Resnet50骨干网络中.之后在全局分支中对图像进行空间几何划分并利用Transformer的全局感受野增强抽象特征的提取能力；在局部分支中对Layer＿3输出进行降维监督，利用多尺度池化获得更丰富的局部特征.实验结果表明，该算法在公开数据集Market-1501和DukeMTMC-reID上的mAP/Rank-1分别达到了93.45%/95.61%和88.79%/90.35%,相对于单纯基于卷积神经网络的算法，本文算法达到更高的精度.     

基于多任务学习的行人重识别特征表示方法

作为一种跨摄像头的检索任务,行人重识别会受到不同相机视角造成的图像样式变化的影响。近年来,许多算法通过神经网络直接从原始输入图片中学习相应特征,虽然这些特征能够很好地描述全局行人,但忽略了许多局部细节信息,在复杂的场景下容易出现误识别。针对此问题,研究了一种基于多任务学习的新的特征表示方法,采用成对输入的孪生网络结构,将局部最大出现特征(local maximal occurrence,LOMO)和深层特征一起送入网络并映射到单一的特征空间中进行训练,形成一种新的网络模型TDFN(traditional and deep features fusion network)。利用神经网络自我学习特性,联合多个任务的损失函数更新网络,使得深层特征学习到更多与手工局部特征互补的细节信息。实验表明,新特征的平均精度mAP和Rank-1精度都优于直接从孪生网络提取的全局描述子。     

基于属性擦除与多分支网络的行人重识别

行人重识别易受到物体不同程度遮挡的影响.针对物体遮挡以及网络特征提取能力不强的问题,提出一种基于属性擦除与多分支网络的行人重识别的方法.该方法利用行人的包属性标签随机擦除进行数据增广.网络结构由ResNet-50基础网络与全局、局部卷积两个分支结构组成.全局卷积分支提供全局特征,局部卷积分支提供丰富的细粒度信息,通过两个分支的特征级联提升网络的特征提取能力.在Market-1501、DuckMTMC-reID数据集上,证明论文方法具有较好的效果.     

结合纹理特征和深度学习的行人检测算法

针对行人检测算法中存在特征鲁棒性差及分类器拟合非线性数据能力弱等问题,提出一种基于纹理特征和深度学习分类算法的行人检测方法.提出一种改进的GSRLBP纹理特征提取算法,提取行人图像的局部纹理特征,通过获取像素点的梯度信息结合GSRLBP算法消除微小扰动对行人特征提取的影响,进一步增强特征提取的鲁棒性.搭建基于深信度网络的深度学习行人样本分类器,利用多层受限波兹曼机搭建分类器输入端和中间层,将行人纹理特征信息逐层转化和传递,实现特征数据的自学习,利用BP神经网络搭建分类器的输出端,实现分类器结构的自优化.研究结果表明,该算法可行、有效,且性能优于经典浅层机器学习行人检测算法.     

基于Transformer增强卷积的膝关节磁共振影像年龄预测

年龄预测是临床医学中的一个重要课题和非常活跃的研究领域.最近，由于传统影像学检查中电离辐射的缺点，越来越多的研究使用磁共振影像进行年龄预测.本文基于膝关节MRI数据集，提出了一种新的端到端网络，结合卷积神经网络和Masked-Transformer网络互补地来提取局部特征和全局依赖，并使用一个特征聚合模块来聚合不同局部膝关节MRI切片的特征.通过整合卷积神经网络的特征图和视觉Transformer分支的特征编码，特征提取模块可以互补地提取局部和全局信息，更好地提取与年龄相关的特征.同时，该网络使用由图注意力网络组成的特征聚合模块，用于在特征级别集成不同MRI切片的局部特征，实现多切片局部特征之间的交互.大量实验表明，该方法可以在膝关节MRI年龄估计任务中达到最先进的性能.具体而言，本文方法在MRI数据集上进行了测试，该测试集包括44个年龄在12.0～25.9岁之间的膝关节MRI样本，其中五折交叉验证的最佳结果是年龄平均绝对误差为1.57±1.34岁.     

融合多尺度注意力和双向LSTM的行人重识别

将深度学习应用于行人重识别领域,嵌入多尺度注意力融合模块至神经网络中进行多尺度特征提取和表示,可有效提升注意力机制对深度学习网络的识别性能。提出了一种基于SE block的多尺度通道注意力融合模块,并结合ResNet50卷积神经网络提取特征;然后通过双向LSTM网络进一步提取特征序列上下文信息,在提高模型对图像重要特征的提取能力的同时,降低对图像冗余特征的关注度;最后使用级联难采样三元组损失函数和交叉熵损失函数共同训练网络模型,使样本能够在高维特征空间中实现聚类,进一步提升模型识别准确性。所提出算法在Market1501数据集和CUHK03数据集分别进行实验,并在同等条件下和其他注意力模块算法进行比较。为进一步验证各模块作用,对算法进行消融实验,以验证各模块的有效性,实验结果表明,所提出方法可有效应用于行人重识别     

利用全局约束霍夫模型的目标跟踪算法

针对目标跟踪中局部特征模型容易受到形变和误匹配等影响造成漂移的问题,提出了一种利用全局特征对霍夫局部模型进行约束的目标跟踪算法。该算法通过检测和提取目标的局部特征,构建了一个基于局部特征投票的概率模型。该模型以局部特征为基本元素,利用广义霍夫变换对局部特征的稳定性进行加权,通过对局部特征的增减维护实现模型的在线更新;将稳定的局部特征作为前景,计算目标全局颜色特征的概率分布,实现简单的柔性目标分割,用于调整局部特征模型并对跟踪进行优化,从而减少形变等问题产生的跟踪误差;局部特征和全局特征相互约束补充,共同完成在线自适应更新。实验结果表明,该算法有效提高了局部特征模型的准确率和稳定性,对部分遮挡和复杂形变的情况表现良好。     

面向行人重识别分集特征挖掘的多分支深度神经网络构造进展

随着深度学习的兴起,近年来行人重识别性能提高的关键是如何构建具有分集特征挖掘的深度神经网络以获得行人图像的紧凑表达,而多分支深度神经网络是实现分集特征挖掘的主要途径.文中分析了近年来用于行人重识别多分支深度神经网络的几种主流构建方法,包括局部分割分集、注意力分集、特征遮挡分集、异构支路分集等,并在3个行人重识别数据集M...     

基于模拟退火遗传算法的GMDH网络模型

针对传统GMDH网络建模用最小二乘法辨识参数时容易陷入局部极小导致模型预测效果不理想的问题,提出将模拟退火算法与遗传算法结合起来,并引入到GMDH网络,用模拟退火遗传算法来辨识其部分描述式系数.描述了模拟退火遗传算法,构建了基于该算法的GMDH网络模型,并将该模型应用于泥石流预测的仿真研究,预测平均相对误差达到3.54%.结果表明,该算法既保证了全局寻优又防止了过早收敛,进一步提高了GMDH网络模型的全局与局部寻优能力.     

非局部多尺度融合的单帧图像超分辨率重建

现有的深度超分辨率重建模型,用堆叠多个相同模块的方式获取具有更高精度的重建结果,但未能充分考虑各层特征间的上下文关联信息.提出一种基于非局部多尺度融合的图像超分辨率重建模型.该模型采用3种模块:非局部模块、多尺度融合模块和宽激活残差模块.其中,非局部模块用于获取图像的全局特征,关注目标的核心区域;多尺度融合模块用于融合...     

基于全局和局部卷积特征融合的车辆目标检测

复杂环境下现有的车辆检测算法容易受尺度变化、遮挡以及复杂背景等因素影响,检测效果不理想,提出了一种融合全局和局部深度卷积特征的车辆检测算法。基于卷积神经网络构建车辆检测网络模型,通过建立多尺度感兴趣区域池化层(ROIPooling)获得图像整体结构和上下文信息,提取出目标的全局特征,并利用位置敏感感兴趣区域池化层(PSROIPooling)提取出目标局部特征,在全连接层处对全局和局部特征进行加权融合,最后通过多任务学习联合预测出车辆位置和类别。实验结果表明全局和局部特征具有较好的互补性,与多种主流检测算法相比,本算法具有更强的鲁棒性和准确性。     

全局视野多层次特征增强的人脸伪造检测方法

针对现有的深度伪造检测方法的偏重于局部伪造纹理信息以及对于未知伪造类型人脸泛化性检测精度低的问题，提出了一种基于全局视野的多层次检测网络，利用多头注意力机制聚合空域中Query的像素级别强度以及梯度信息生成Key和Value,使得网络在空域中构建长距离依赖关系便于获取全局伪造信息，并结合多层次特征增强策略对检测网络不同层次之间的提取伪造特征进行增强，用于提升网络的空间感知局部伪造信息能力。实验结果表明在数据集内和跨伪造类型数据集上均有较高的ACC和AUC测试得分，消融研究验证了模型各个子模块的有效性。     

基于深度学习的行人重识别研究综述

由于视角、背景、光照条件和相互遮挡等因素的变化,行人重识别是一个具有挑战性的问题.近年来,许多研究者将深度学习的方法引入到行人重识别研究中,并获得了较好的重识别结果.本文介绍了基于深度学习的行人重识别的主要研究方法(局部特征学习、距离度量学习、基于视频序列学习和生成对抗网络),并介绍目前常用的用于深度学习的行人重识别数据集(Duke MTMC-reID、CUHK03和Market1501)及其存在的问题,同时,对行人重识别提出了自己的理解和观点.最后指出了未来可能的研究方向.     

集成局部和全局关键特征的文本情感分类方法

融合卷积神经网络(convolutional neural network,CNN)和双向长短期记忆网络(Bi-directional long short-term memory,BiLSTM)的情感分析模型(CNN_BiLSTM)是一个流行的模型,其学习文本的局部特征和全局特征实现情感分类,但是忽略了特征对分类结果的重要程度,且没充分利用词语间的特征,导致分类准确率不高.提出一种集成基于多卷积核的卷积神经网络和注意力双向长短期记忆网络特征的文本情感分类方法(MCNN_Att-BiLSTM),其集成局部和全局的重要特征作为文本语义特征,该特征进而用于训练文本情感分类器XGBoost(eXtreme gradient Boosting).该方法基于注意力机制的BiLSTM提取对分类影响大的全局关键特征,基于多卷积核的CNN获得更全面的词语间特征,为集成分类器准备了有效分类的特征.实验结果表明,该模型具有更好的情感分类准确率,与CNN_BiLSTM模型相比,在IMDB数据集上准确率提升了1.75%,在txt-sentoken数据集上准确率提升了1.67%,在谭松波-酒店评论数据集上准确率提升了3.81%.     

基于多分支CNN和多尺度特征融合的非受控人脸年龄估计

现有的人脸年龄估计不能很好地兼顾全局-局部细节的特征表达,因而非受控人脸年龄估计的精度存在一定的提升空间。为解决此问题,提出了一种基于多分支卷积神经网络(convolutional neural networks,CNN)和多尺度特征融合的非受控人脸年龄估计方法。该方法根据人脸关键点对人脸图片剪裁得到包含人脸的全局图像和分别包含眼睛、鼻子、嘴巴的局部图像;使用多分支CNN网络提取对应的深层全局特征和局部特征,使用多尺度特征融合网络探索局部特征间的相关性信息从而进行局部特征选择;将融合的局部特征与全局特征拼接得到兼顾全局-局部细节的年龄特征;使用softmax损失函数优化模型进行人脸年龄估计。根据MORPH Album2、FG-NET、LAP2016人脸年龄数据集上的实验结果表明,提出的方法是有效的。     

基于局部特征和全局特征融合的微博情感分析

目前的神经网络一般只将词粒度层面的词向量作为输入,忽略了语义层面的全局语义特征.针对此问题,提出了一种基于局部特征和全局特征融合的情感分类方法,以解决评论特征稀疏和主题聚焦性差的问题.对于局部特征,选择基于情感词典和BiLSTM神经网络模型提取基于词向量的文本特征.对于文本集的全局主题特征,采用神经主题模型提取文本主题特征,并将其作为全局特征来表示短文本信息.最终将基于局部加权词向量的文本特征和基于神经主题模型的文本主题特征进行拼接,并通过Softmax层输出,完成文本情感分类.结果表明：融合全局主题语义和局部加权词向量可以更加丰富神经网络的特征,从而有效地提高情感分类的准确率.     

面向印花图案检索的特征融合方法研究

伴随着纺织品CAD技术的发展,印花图案数量快速增长.快速准确地在企业图库中查找到相似印花图案,对于帮助纺织企业极大程度降低成本,提升生产效率,具有重要意义.本文针对印花图案检索问题,以ResNet为主干网络构建了一个基于特征融合的印花图案检索模型PGLN(Pattern Global and Local feature Network).在该模型中,将全局特征和局部特征进行融合,全局特征使用深度网络的池化特征图,高效地整合输入图像的显著特征;局部特征分支借由注意力机制,使用交互特征层来检测图像的显著性区域.为了验证PGLN模型的有效性,本文在自主构建的印花图案数据集(Pattern)上对PGLN模型的检索效果进行了测试.实验表明,与局部特征提取算法、全局特征提取算法以及融合特征算法相比,PGLN模型在Pattern数据集检索任务上均取得了最优的表现.     

UConvTrans:全局和局部信息交互的双分支心脏图像分割

心脏核磁共振成像(MRI)具有噪声多、背景和目标区域相似度高、右心室形状不固定、呈月牙形或扁圆形等特点，虽然基于卷积神经网络的U型结构在医学图像分割中表现出色，但由于卷积本身的局部运算特性，提取全局信息特征能力有限，所以很难提升在心脏MRI上的分割精度.针对上述问题，提出一种全局和局部信息交互的双分支网络模型(UConvTrans).首先，利用卷积分支和Transformer分支提取局部特征和建模全局上下文信息，能够保留细节信息并抑制心脏MRI中噪声和背景区域的干扰.其次，设计了融合卷积网络和Transformer结构的模块，该模块将二者提取的特征交互融合，增强了模型表达能力，改善了右心室的分割精度，而且避免了Transformer结构在大规模数据集上预训练，可以灵活调节网络结构.此外，UConvTrans能有效地平衡精度和效率，在MICCAI 2017 ACDC数据集上进行验证，该模型在模型参数量、计算量仅为U-Net的10%、8%的情况下，平均Dice系数比U-Net提高了1.13%.最终，在其官方测试集上实现了右心室92.42%、心肌91.64%、左心室95.06%的Dice系数...