基于Transformer改进的两分支行人重识别算法

针对基于卷积神经网络的行人重识别算法全局信息建模不足的问题，分析了卷积操作的局限性，提出一种基于Transformer改进的全局-局部两分支行人重识别算法.首先利用相对位置编码改进多头自注意力机制，并将其嵌入到Resnet50骨干网络中.之后在全局分支中对图像进行空间几何划分并利用Transformer的全局感受野增强抽象特征的提取能力；在局部分支中对Layer＿3输出进行降维监督，利用多尺度池化获得更丰富的局部特征.实验结果表明，该算法在公开数据集Market-1501和DukeMTMC-reID上的mAP/Rank-1分别达到了93.45%/95.61%和88.79%/90.35%,相对于单纯基于卷积神经网络的算法，本文算法达到更高的精度.     

一种新型粗-精表达策略行人检测方法

为了遏制行人检测过程中产生的过多的误检窗口,该文在局部无关通道特征(LDCF)方法基础上提出了一种基于粗-精表达策略的新型行人检测方法。首先运用LDCF方法对行人进行粗略检测,产生一系列高召回率的候选窗口;然后通过改进颜色自相似特征和引入简化的卷积网络结构,进一步提取这些窗口的鲁棒融合特征;最后应用级联分类器对候选窗口进行精细分类判断。在行人检测数据集INRIA和Caltech上的实验结果表明,与传统的行人检测方法LDCF相比,该文方法的平均对数漏检率分别降低2.81%和3.85%,充分验证了该文策略的有效性和特征的鲁棒性。     

基于多源信息融合和ADCNN的离心鼓风机故障诊断

针对离心鼓风机故障识别过程中单一传感器信号故障信息有限,传统的卷积神经网络(CNN)在处理多源高维数据时特征提取能力不足的问题,提出一种基于多源信息融合和自适应深度卷积神经网络(ADCNN)的离心鼓风机故障诊断方法。首先,基于相关性方差贡献率法实现离心鼓风机多源同类信息的数据层融合,建立多源信息融合框架;然后,利用ADCNN自适应地提取各异类信息的特征并完成特征融合,建立融合多源信息的ADCNN故障诊断模型;最后,将此方法应用于离心鼓风机转子故障诊断上,并与传统的融合模式以及CNN、反向传播神经网络(BPNN)、支持向量机(SVM)方法进行对比,试验结果表明:提出的方法在诊断精度与鲁棒性上均优于其他方法。     

用于稳态视觉诱发电位目标识别的多尺度特征融合卷积神经网络方法

针对传统稳态视觉诱发电位(SSVEP)脑电信号目标识别方法分类精度低、提取特征不充分、方法复杂且耗时等问题,提出一种基于多尺度特征融合卷积神经网络的SSVEP信号分类识别方法(SSVEP-MF)。利用小波变换将多通道SSVEP信号整合转化为二维图像作为输入样本集;建立多尺度特征融合卷积神经网络模型(MFCNN),该模型利用三层二维卷积核实现图像样本不同尺度特征的充分提取,构建多尺度特征融合单元对不同层级特征进行融合,并通过全连接等操作完成模型的训练;将样本集输入到MFCNN模型中实现脑电信号特征自适应提取及端到端分类。所提SSVEP-MF方法能够充分提取信号各层级特征,实现短时间视觉刺激下SSVEP信号的有效识别,并具有较高的目标识别效率。实验结果表明,在1 s刺激时长时,相比传统功率谱密度分析方法、典型相关分析方法以及普通卷积结构方法,所提方法的识别准确率分别提升了18.57%、20.08%及7.03%,有效提高了基于稳态视觉诱发电位范式下脑机接口的信号识别性能。     

基于自适应池化的行人检测方法

基于卷积神经网络的行人检测器普遍采用图像识别网络,通常会引起多池化层导致小目标行人特征信息丢失、单一池化方法导致行人局部重要特征信息削弱甚至丢失等,针对以上问题,基于最大值池化和平均值池化方法,提出了一种自适应池化方法,结合通用目标检测器Faster R-CNN,形成了有效的行人检测器,达到增强行人局部重要特征信息、保留小目标行人有效特征信息的目的。对多个公开的行人数据集进行大量实验,结果表明,与传统的卷积神经网络行人检测器相比,所提方法将行人检测漏检率降低了2%～3%,验证了方法的有效性。新方法改进了卷积神经网络结构,在无人驾驶领域具有一定的参考价值。     

基于YOLOv5的遥感图像目标检测

目标检测是遥感图像处理领域的一项重要技术,遥感图像目标种类繁多且存在目标物体难以被检测.提出把YOLOv5算法应用到遥感图像目标检测的方法,首先选择YOLOv5x来构建网络模型,再通过Mosaic数据增强对样本集进行预处理和自适应锚框筛选方法确定锚框大小,然后切片卷积操作得到原始特征图,将原始特征图送入主干网络进行特征融合得到最优权重,最后采用GIOU Loss做边界框的损失函数和非极大值抑制目标框的筛选,对遥感图像进行目标检测.在公开的10类地理空间物体(NWPU-VHR 10)数据集进行了检测实验,以评估所提出模型的目标检测性能.对比实验表明,本文的模型mAP达到了0.9239,与使用相同数据集的模型中的最佳结果进行比较,mAP提升了1.78％,该方法可以提高遥感图像目标检测精度.     

基于学习体型表征的行人再识别

行人再识别是计算机视觉领域的一项重要任务,但大多数现有模型很大程度上依赖于颜色外观。针对目前很少研究解决目标人物衣服不一致的行人再识别问题,提出一种新的表征学习模型。该模型通过对抗性学习和特征分离来产生不受服装颜色或图案影响的体型特征表示。同时,由于缺乏包含同一个人服装变化的行人再识别数据集,创建了一个合成数据集来模拟服装变化。4个数据集(两个基准行人再识别数据集,一个跨模态行人再识别数据集,合成数据集)的定量和定性结果证实了该方法对几种最先进的方法的鲁棒性和优越性。     

HourglassNet:一种用于遥感目标检测的改进FCOS算法

针对遥感图像中背景复杂、目标分布密集、目标尺度形态多样等问题,该文在单阶段全卷积(FCOS)目标检测模型的基础上,基于沙漏特征金字塔并且与多尺度上下文场景结合,提出了沙漏网(HourglassNet)。针对卷积神经网络(CNN)中不同深度语义信息和空间信息不均衡的问题,提出了一种沙漏特征金字塔,通过将多尺度特征缩放至中间尺度进行融合和优化以获得全局特征。基于注意力机制将全局特征向不同尺度特征传递,在抑制无关特征的同时增强了有效特征,实现了对多尺度特征的补偿。为了将高层特征的语义信息更加充分地融入不同尺寸的特征图内,设计了多尺度上下文融合模块。利用适当的感受野提取高层特征的上下文信息,提升了特征的鲁棒性和辨识性。分别在DOTA v1.5和NWPU VHR-10公开遥感图像数据集上进行了性能对比与消融实验。结果表明,该文算法的均值平均精度(mAP)相比于FCOS在DOTA v1.5和NWPU VHR-10数据集上分别提升了4.3%和3.4%,且检测性能优于YOLOv3等其它对比方法。     

基于多度量融合的无监督领域自适应行人重识别算法

行人重识别任务旨在跨相机下检索出特定的行人图像.虽然行人重识别任务得到了快速发展,在检索精度上得到很大的提升,但是依然面临着行人重识别模型在新的数据集上泛化能力有限,以及在无监督领域自适应任务中无法避免的伪标签噪声的问题.针对目前无监督领域自适应任务中由于聚类算法的局限性而导致伪标签出现噪声的问题,提出一种基于多度量融合的无监督领域自适应行人重识别算法.具体而言,多度量融合算法是在目标域上使用DBSCAN(density-based spatial clustering of applications with noise)聚类算法对特征空间的行人特征进行聚类时,通过多个特征相似度度量函数线性加权的方式,计算行人之间的特征相似度,从而在目标域上生成更为准确的伪标签,之后利用该伪标签微调模型.通过在Market1501→DukeMTMC-reID和DukeMTMC-reID→Market1501上大量的实验,证明多度量融合算法有效提升了行人重识别模型在无监督领域自适应任务上的检索精度.     

基于双通道特征自适应融合的红外行为识别方法

针对现有行为识别算法在红外视频中表现不佳的问题,提出一种基于双通道特征自适应融合的红外行为识别算法.在该方法中,2个通道提取的特征分别是改进的密集轨迹特征和光流卷积神经网络特征.改进的密集轨迹特征是在原始密集轨迹特征中加入灰度值权重,强调红外视频的成像特征;光流卷积神经网络特征是在原始视频对应的光流图序列中提取的,该特征具有较强的全局描述能力.通过自适应融合模型将2个通道特征的概率输出进行自适应融合,得到最终识别结果.实验结果表明,在现有红外行为识别数据集上,该算法有效地提高了识别准确率.     

多分支融合变分细化蒸馏的跨模态行人重识别

目的 针对目前跨模态行人重识别研究中对行人细腻区域关注不足以及网络易受噪声影响的问题,提出一 种多分支融合变分细化蒸馏学习方法。 方法 首先,网络通过多分支聚合不同粒度的全局特征,督促深层网络学习 两种模态的全局信息和细节信息,丰富行人的特征描述符;然后,结合变分细化蒸馏策略,对特征信息进行再压缩, 保留与任务相关的深层信息,同时丢弃无用的干扰物;最后,将网络捕获的不同特征用多种损失函数联合监督,以 提高网络对行人表征的敏感度。 结果 所提方法在 SYSU-MM01 数据集的全搜索模式下,R-1 和 66. 93%和 mAP 分别达到 65. 25%;在 RegDB 数据集的可见光到红外设置下,R-1 和 mAP 分别达到 78. 26%、77. 83%。 结论 通过 消融实验、对比实验和可视化实验,充分验证了所提方法的有效性。     

基于姿态估计和Transformer模型的遮挡行人重识别

行人重识别是利用人工智能解决边防检查、人员追踪等公共安全应用问题的技术,具有从跨设备采集的图像中识别某一特定行人的能力。但是在人员追踪等问题中,往往会出现行人刻意遮挡、复杂场景环境遮挡等因素,大大提高了行人重识别的难度。针对行人重识别遮挡问题,基于ResNet50网络,结合姿态估计（Pose estimation）和转换器（Transformer）模型,提出了一种改进的行人重识别网络PT-Net,以提高遮挡条件下的行人重识别能力。该方法首先利用现有的姿态估计方法对输入图像进行关键点检测,并将关键点信息与行人特征图像结合起来生成一个基于姿态的行人特征表示;然后利用Transformer模型对基于姿态的行人特征表示编码,用来实现特征对齐和特征融合。论文基于国际公开的数据集Occluded-Duke开展实验验证,结果表明,PT-Net方法相对于基线模型,其均值精度mAP和相似度排序Rank-1指标分别提高了1.3和1.5个百分点,验证了该方法的有效性和优越性。     

基于边缘分割的车载单目远红外行人检测方法

基于机器学习的车载单目远红外行人检测方法存在实时性较差和检测精度较低的问题.为此,文中提出了基于边缘分割的头部-方向梯度直方图-支持向量机(Head-HOGSVM)行人检测方法,引入加权Sobel算子强化行人的垂直边缘以分割行人候选区域;根据不同距离行人的外观模式选择行人检测方法:使用头部特征检测中、近距离行人以改善系统的实时性,使用头部识别级联基于方向梯度直方图特征的支持向量机(HOG-SVM)分类器检测成像模糊的远距离行人.在多个郊区场景视频数据集上的实验结果表明,与基于双阈值分割的HOG-SVM分类方法相比,文中方法的检测精度和检测速度分别提高了约33%和200%.     

基于图卷积神经网络的跨域行人再识别

针对由源域训练的行人再识别模型通常在目标域的泛化能力不强的问题,提出基于图卷积神经网络的跨域行人再识别方法,将源域数据学习到的整合邻居样本信息的能力迁移至目标域数据.首先,为经过特征提取后的源域数据建立亲属子图,并将源域数据特征和亲属子图作为所设计的图卷积神经网络模块的输入,以基于源域的监督信息训练图卷积神经网络模块;然后,对经过特征提取后的目标域数据建立亲属子图,将训练过的图卷积神经网络模块应用于目标域数据,为目标域数据赋伪标签;最后,联合源域数据和目标域数据训练得到一个泛化能力强的行人再识别模型.分别在两个大规模公开数据集Market-1501和DukeMTMC-reID上对所提出方法进行实验验证,结果表明所提出的方法与所选择的基准模型相比使得Market-1501的rank-1准确率和平均准确率均值(mAP)分别提高了7.4%和9.2%,而DukeMTMC-reID的rank-1准确率和m AP分别提高了14.2%和14.9%.     

基于多尺度跃层卷积神经网络的精细车型识别

为解决精细车型识别中特征不具有代表性,且识别准确率低的问题,提出了基于多尺度跃层卷积神经网络(CNN)的车型识别方法。通过多个不同尺度的跃层卷积神经网络,提取适用于精细车型识别的低层局部特征和高层全局特征,并分别训练Softmax分类器。利用自适应方式融合方法,将多个单一尺度跃层卷积神经网络的识别结果进行融合,调整不同网络对识别结果的贡献。实验中车型识别准确率达到97.59%。实验结果表明多尺度跃层卷积神经网络适用于精细的车型识别,并能提高识别的准确率。     

基于异质信息对齐和重排序的跨模态行人重识别方法

可见光图像和红外图像成像原理不同,面向可见光和红外光的跨模态行人重识别面临较大的跨模态差异,行人异质信息对齐和挖掘异常困难。为此,提出基于异质信息对齐和重排序的跨模态行人重识别方法。在异质信息对齐方面,提出一种新的异质局部信息对齐算法,通过求取行人异质局部信息距离矩阵的最短路径,实现同一行人异质局部信息的动态匹配,解决行人异质信息对齐问题;在重排序方面,提出拓展k近邻重排序算法,通过动态地拓展查询图像k近邻异质信息,实现同一行人异质信息的融合,解决行人异质信息挖掘困难问题。实验结果表明,在SYSU数据集全场景查询模式上,所提方法与AGW模型结合k近邻重排序算法相比,在评价指标mAP和Rank-1上分别提升了10.12%和8.6%。     

基于时空特征自适应融合网络的加密流量分类方法

加密流量数据包之间具有明显的时序特征,现有方法很难提取出流量数据中隐含的时序特征,未能将时序特征与空间特征有效地融合,公开数据集大都存在类间样本不平衡的问题,给加密流量的准确分类带来巨大挑战.针对上述问题,提出了一种包含时空特征提取模块和难样本学习模块的卷积神经网络模型.时空特征提取模块先利用不同维度的卷积核来同步学习流量数据包序列中的时序和空间特征,再利用自适应加权融合策略将提取到的时空特征进行有效融合;难样本学习模块使用焦点函数让模型在训练过程中更偏向对困难样本的学习,进一步均衡不同类别的分类效果.实验结果表明：上述方法在ISCX VPN-nonVPN2016数据集和USTC-TFC2016数据集上的分类准确率分别达到了99.38%和99.46%,对不同类别流量分类结果的F1评价指标分别为99.04%和99.31%,与当前同类方法相比具有更优秀的识别性能.     

基于注意力机制的PointPillars+三维目标检测

针对自动驾驶场景下的周边车辆及行人等目标的识别和定位问题,提出了一种基于注意力机制的PointPillars+三维目标检测算法.算法将完整空间按等尺寸柱均匀划分,从所有柱中提取内部点云的特征进而生成伪图;引入2种注意力机制,实现对伪图中特征信息的放大和抑制;使用卷积神经网络对注意力模块输出结果进一步处理,并使用SSD(single shot multibox detector)算法进行三维目标检测.结果表明:基于并行注意力机制的PointPillars+检测算法取得了良好的检测效果,相对于PointPillars算法,鸟瞰图下,平均均值精度(mAP)的中等难度均值(mAP_m)从66.19增加到69.95,汽车的mAP从86.10增加到87.73;三维模式下,mAP_m从59.20增加到62.55,汽车的mAP从74.99增加到76.25.     

基于SAT-GCN的花样滑冰选手动作检测算法研究

针对花样滑冰运动人体运动轨迹复杂、动作类型多样、普通人肉眼难以区分且常规的行为识别方法识别准确率低的问题，提出了一种基于时空图卷积网络与多通道注意力机制融合方法 (SAT-GCN)的花样滑冰动作识别算法。该算法首先将视频提取成连续的单独帧，使用OpenPose算法提取人体骨骼关键点数据，降低背景噪声干扰；然后使用时空图卷积算法对骨骼关键点数据进行动作分类。算法对时空图卷积算法进行改进，加入了多通道时空注意力机制融合模块，使得模型更加关注重要的关键点、时间帧片段、特征；使用时序卷积网络(TCN)提取人体骨架关键点在时间序列上的特征；使用SoftMax对提取后的特征进行动作分类。在花样滑冰数据集FSD-10和公开的人类行为数据集Kinetics-Skeleton上进行训练和测试，与改进前的时空图卷积网络(ST-GCN)进行对比，本文所提算法的预测准确率在2个数据集上均有所提升，验证了多通道注意力机制融合方法在花样滑冰选手动作检测任务中的有效性。     

面向自动驾驶的多模态信息融合动态目标识别

研究提出一种面向自动驾驶的多模态信息融合的目标识别方法,旨在解决自动驾驶环境下车辆和行人检测问题。该方法首先对ResNet50网络进行改进,引入基于空间注意力机制和混合空洞卷积,通过选择核卷积替换部分卷积层,使网络能够根据特征尺寸动态调整感受野的大小;然后,卷积层中使用锯齿状混合空洞卷积,捕获多尺度上下文信息,提高网络特征提取能力。改用GIoU损失函数替代YOLOv3中的定位损失函数,GIoU损失函数在实际应用中具有较好操作性;最后,提出了基于数据融合的人车目标分类识别算法,有效提高目标检测的准确率。实验结果表明,该方法与OFTNet、VoxelNet和FasterRCNN网络相比,在mAP指标白天提升幅度最高可达0.05,晚上可达0.09,收敛效果好。