基于互信息解耦表示的跨域压力足迹图像检索

足迹作为人体生物特征之一，在生物识别领域具有重要意义，而同一对象的不同鞋型压力足迹图像在足迹轮廓特征上具有显著性差异，导致其类内差异大。针对压力足迹图像的跨域检索，文中提出了一种基于互信息解耦表示的跨域压力足迹图像检索方法。首先，构建了一个包含200人足迹图像的多域压力足迹数据集，从定性和定量两个角度分析跨域压力足迹图像的特点；其次，采用两个独立的编码器实现图像解耦模块，该模块将压力足迹图像解耦为域特定表示和域共享表示，通过域分类法保证域特定表示包含更多域相关的信息；然后，通过最小化互信息损失扩大域特定表示和域共享表示之间的距离，同时，为避免解耦过程中信息的丢失，基于域特定表示和域共享表示重构原始压力足迹图像；最后，通过特征提取模块进一步提取域共享表示的深层卷积特征，经过度量模块计算不同特征间的关联度，从而实现跨域压力足迹图像检索。对比及消融实验结果表明，该方法的解耦模块具有一定的有效性，在多域压力足迹数据集上的性能表现良好，首位查询结果的检索准确率达到79.83%，平均准确率达到65.48%。     

公共空间共享参数的跨模态检索研究

针对跨模态检索中不同模态数据的数据结构和特性存在较大差异的问题,提出了基于公共空间方法的共享参数跨模态检索(SPCMR)方法：首先,利用卷积神经网络提取图像和文本的高级语义特征;然后,接入全连接层将其映射到公共空间并共享2个特征子网的部分隐层权重;最后,连接线性分类器并与标签信息进行判别训练。在公开数据集上采用平均精度(mAP)作为评价指标进行实验。结果表明：SPCMR方法能充分利用跨模态间的语义信息,有效提升图文检索的精度。     

基于特征学习的双路径红外-可见光行人重识别算法

由于拍摄视角、行人姿态的变化以及不同的相机光谱造成的额外跨模态差异,RGB图像和红外图像之间存在着明显的差异,提取有效的模态共享特征是红外-可见光行人重识别中的难点。本研究提出一种双路径学习算法来识别特征,利用改进的BNNeck模块来提取RGB和红外图像的特征信息,改善算法的识别性能。该算法首先将注意力机制引入双路径特征学习网络,获取RGB图像在空间维度和通道维度上的特征信息,实现红外特征信息匹配;然后,将BNNeck模块引入至跨模态行人重识别算法,减少模态特征信息差异,加快算法收敛速度;最后,在异质中心损失函数和交叉熵损失函数的基础上,引入跨模态下行人身份损失函数,提高行人识别的准确性。SYSU-MM01和RegDB数据集的实验结果表明,相对于目前大多数已有算法,所提算法具有更好的泛化能力和鲁棒性,Rank-1/mAP分别达到59.39%/85.44%和57.81%/73.19%,比最新算法分别提高2.43%/2.86%和2.44%/1.19%。     

注意力机制引导的多模态心脏图像分割

为有效挖掘模态间共享与模态特有的信息,本文提出一种注意力机制引导的半孪生网络,用于分割多模态(MRI与CT)心脏图像.具体地,首先运用循环一致的生成对抗网络(CycleGAN)进行双向的图像生成(即从MRI到CT以及从CT到MRI),这样可以解决模态间心脏图像不配对的问题;其次,设计一个新的半孪生网络,将原始的CT(或MR)图像及其生成的MR(或CT)图像进行配对并同时输入,先通过两个编码器(encoders)分别学习模态特有的特征,再经过一个跨模态的注意力模块将不同模态的特征进行融合,最后输入一个公共的解码器(decoder)来得到模态共享的特征,用于心脏图像分割.上述学习过程是端到端的方式进行训练.本文将所提方法在真实的CT与MR不配对的心脏图像数据集上进行实验评估,表明所提方法的分割精度超出基准方法.     

面向乳腺超声的跨模态注意力网络

B型超声和超声造影是乳腺诊断中最常见的多模态数据,克服现有研究中广泛存在的肿瘤区域标注难、模态间关系剥离难、模态融合特征冗余的问题,能有效提升联合模态乳腺肿瘤诊断的准确率。该文提出了一个面向乳腺超声的跨模态注意力网络。该网络以双分支为基础结构。堆叠双模态数据分支能隐式地建立模态间的关系,同时提取单双模态数据特征。超声造影分支在缺乏手工标注的情况下,利用跨模态注意力模块,关注时空上的造影特征。最后利用压缩通道融合子网将两个分支融合,最大程度利用特征并降低模态融合特征冗余。在乳腺超声数据集BUS＿Dataset上的实验表明,该网络优于现有乳腺肿瘤诊断方法。通过多项指标分析,该方法对乳腺肿瘤诊断具有较强的指导意义。     

基于双分支交互的实时语义分割算法

针对双分支实时语义分割算法存在双分支交互差、多尺度上下文信息提取不完善等问题,提出了基于双分支交互的实时语义分割网络(dual-branch interactive multi-scale fusion network for real-time semantic segmentation,DIMFNet)。算法以引导聚合双边语义分割网络(bilateral network with guided aggregation for real-time semantic segmentation, BiseNetV2)的双分支结构为基准进行改进,空间分支提取空间细节特征,上下文分支提取深层上下文特征。结合注意力思想提出注意力引导高级语义融合模块(attention guide high-level semantics fusion module,AGHSM)实现双分支的交互融合,以获得更好的空间特征表示;对金字塔池化模块进行改进,提出采用多层聚合金字塔池化模块(multi-layer aggregation pyramid pooling module,MAPPM）提取多尺度上下文特征,以...     

基于注意力机制的双分支肺炎图像分类网络

目前许多肺炎图像分类网络大多采用单分支网络对输入图像进行特征提取,这在一定程度上忽略了图像不同维度的特征信息。为了优化这种问题,提出一种融入注意力机制的双分支肺炎图像分类网络,利用VGG16网络和加入可分离卷积以及融入卷积注意力模块(convolution block attention module, CBAM)的CNN卷积神经网络进行双分支特征提取,能够关注到肺炎图像不同层次的特征信息,将2种网络分支的特征进行不同维度的融合,最后输入全连接层进行分类判决。结果表明,该网络在正常肺部、病毒性肺炎、新型冠状病毒肺炎(COVID-19)X-ray图像组成的测试集上取得了95%的平均准确率。经过消融试验证明,该网络加入的可分离卷积模块、注意力模块和特征融合对减少网络参数、提高网络分类的准确率起到明显作用。与其他网络的性能对比也表明该网络在肺炎图像分类上表现出较高的准确率和较强的鲁棒性。     

基于空间聚合加权卷积神经网络的力触觉足迹识别

为了提高力触觉足迹识别的准确率,提出一种基于空间聚合加权注意力机制的足迹识别算法.首先,采用压力足迹采集器采集并构建一个包含100人2 000幅力触觉足迹图像的数据集;然后,采用VGG19卷积神经网络预训练模型提取特征,为获取特征图中足迹压力分布感兴趣区域,设计一种空间聚合加权模块(SAWM),该模块专注高响应区域从而提取足迹中显著区域局部特征,并与输入特征图加权融合,保留显著性特征,抑制不重要特征;最后输出的特征经过平均池化在全连接层实现力触觉足迹的识别.试验结果表明,所提算法准确率达到了91.20%,优于其他注意力机制算法以及传统的足迹识别算法.采用空间聚合加权注意力机制网络模型能够有效进行足迹识别,为身份识别提供技术支撑.     

基于特征增强的对抗哈希跨模态检索

在跨模态检索任务中,哈希方法由于其检索效率高效、储存成本低廉而被广泛应用。但是,这些方法很少关注如何去弥补主体网络将高维特征转换为哈希码的过程中所丢失的特征信息。为解决这些问题,本文提出了一种特征增强对抗跨模态哈希(Feature Boosting Adversarial Hashing for Cross-Modal, FBAH)方法。FBAH方法将子空间学习与对抗学习相结合,来减少不同模态数据的差异性。另外,构造一种类残差模块,它可以将筛选出具有区别性的特征绕过主体网络直接输入到哈希空间进行特征增强。这样,生成的哈希码能够具有更多的原始特征信息。最后,通过带有分支网络的线性分类器在标签空间进行两种方式的预测,并最小化与真实标签的差距来保证语义的不变性。本文选择两个跨模态检索任务中常用的大型数据集进行大量实验,结果表明FBAH方法的性能优于目前7种较为先进的跨模态哈希方法。     

基于深度中心匹配哈希网络的足迹压力图像检索

以赤足足迹压力图像为研究对象,采集了40人的5 230幅赤足足迹压力图像,在具有较低存储消耗的哈希算法基础上,结合深度学习方法设计了一种深度中心匹配哈希(DCMH)网络实现足迹的检索．该网络首先根据足迹压力图像的特点构建深度特征融合模块,提取反映足迹形态结构的全局特征和压力分布的局部特征,并将两种特征进行融合;然后在哈希编码模块通过全连接层将融合后的特征映射为1 024维特征向量,并通过哈希层生成哈希码;在网络优化过程中通过构建深度中心匹配损失函数从而减小哈希码与对应哈希中心之间的距离．深度中心匹配损失函数通过伯努利分布生成哈希中心,设计对数中心损失函数减小同类足迹压力图像数据哈希码与哈希中心的距离,并设计相似性损失函数作为正则化项约束每个批次数据间的相似性关系．通过在40人的赤足足迹压力图像数据上进行图像检索实验,本文算法检索结果的mAP可以达到0.99,优于传统的哈希算法及常用的深度哈希算法,为足迹的进一步的现场应用提供技术支撑．