基于注意力双分支网络的跨模态足迹检索

为了提高跨模态足迹检索精度,提出一种基于注意力双分支深度卷积神经网络的检索方法.该方法以赤足足迹的光学和压力2个模态图像为研究对象,采集并构建了一个包含138人5520幅足迹图像的跨模态检索数据集;在网络的特征提取模块采用ResNet50作为基础网络搭建双分支结构,并引入空间注意力机制,以提取各模态具有辨别性的特征;在网络的特征嵌入模块,通过部分参数共享学习跨模态共享空间;在双约束损失模块采用交叉熵损失(ID loss)和异质中心损失(HC loss)以增大跨模态足迹特征的类间差异,减小类内差异.实验结果表明:互检索模式下的平均精度均值(mAP)均值和Rank1均值分别为70.83％和87.50％,优于其他一些跨模态检索方法.采用注意力双分支网络模型能够有效进行跨模态足迹检索,可以为现场足迹对比鉴定等应用提供理论基础.     

基于深度中心匹配哈希网络的足迹压力图像检索

以赤足足迹压力图像为研究对象,采集了40人的5 230幅赤足足迹压力图像,在具有较低存储消耗的哈希算法基础上,结合深度学习方法设计了一种深度中心匹配哈希(DCMH)网络实现足迹的检索．该网络首先根据足迹压力图像的特点构建深度特征融合模块,提取反映足迹形态结构的全局特征和压力分布的局部特征,并将两种特征进行融合;然后在哈希编码模块通过全连接层将融合后的特征映射为1 024维特征向量,并通过哈希层生成哈希码;在网络优化过程中通过构建深度中心匹配损失函数从而减小哈希码与对应哈希中心之间的距离．深度中心匹配损失函数通过伯努利分布生成哈希中心,设计对数中心损失函数减小同类足迹压力图像数据哈希码与哈希中心的距离,并设计相似性损失函数作为正则化项约束每个批次数据间的相似性关系．通过在40人的赤足足迹压力图像数据上进行图像检索实验,本文算法检索结果的mAP可以达到0.99,优于传统的哈希算法及常用的深度哈希算法,为足迹的进一步的现场应用提供技术支撑．     

一种基于深度学习的异质域检索方法

现有的大多数检索方法主要基于同质域进行开展，而论文主要讨论在异质域的不同类间的不一致相似性问题，即在一个域内的很相似的一对类在另一个域内有可能是相异的.为了解决上述问题，提出了两两正交的softmax,使softmax层的决策轴具有一致的相似性.通过跨域来共享相同的特征空间结构，这样一来可通过简单的线性变换来将特征空间转化为其他空间.在3个异质域数据集上的测试结果证明了论文方法的有效性.     

基于互信息的鲁棒跨域推荐系统

由于大量新用户和新产品的出现，跨域推荐系统已经成为解决推荐系统冷启动问题的关键。然而，现有的跨域推荐系统都假设其训练数据中不存在任何的错误标注，但是在现实情况下，该假设很难得到满足，这就导致了跨域推荐系统在相当多的真实推荐场景下的表现很难令人满意。为了减少现实情况下错误标注对跨域推荐系统的影响，提高真实推荐场景下跨域推荐系统推荐结果的准确性，本文提出了一种基于互信息的鲁棒跨域推荐系统，该推荐系统由域分离网络和互信息鲁棒风险两个模块构成。域分离网络模块很好地解决了源域与目标域差异的问题；在互信息鲁棒风险模块中，提出了一个基于互信息的风险函数来过滤掉数据中的错误标注，使用该风险函数所训练出的跨域推荐系统可以很好地处理训练数据中存在的错误信息，使跨域推荐系统能更好地应用在各种真实的推荐场景下。本文采用对比试验的方法，在真实的数据集上将所提出的方法与几种现有的推荐方法进行了比较，试验表明，现有的推荐方法在现实情况下很难不受到错误标注的影响，而本文提出的方法很好地应对了错误标注的影响，具有更优越的性能。     

基于评分与文本融合的多注意力跨域推荐算法

为解决在目标领域推荐过程中用户与物品交互数据的稀疏性问题,提出一种新的跨域推荐模型。将辅助领域中的知识迁移到目标域中,基于前馈神经网络分别获得评分信息与评论文本信息的域独有特征;通过采用基于神经网络的特征提取器与基于向量嵌入的域鉴别器融合后的对抗模型,获得评分信息与评论文本信息的域共享特征;再基于多层注意力机制将域独有特征与域共享特征进行融合,从而获得用户对物品的兴趣度。研究结果表明：对于两种经典的推荐评价性能指标,所提出的模型在Amazon数据集上可以获得更好的推荐性能。     

基于自监督学习的文本行人检索

基于文本的行人检索任务旨在以文本为查询在大规模数据库中检索出目标行人的图像，在处理社会公共安全问题中具有较高的实用价值．不同于常规的跨模态检索任务，该任务中所有的类别都是行人，不同行人之间的外观差异较小，难以辨别；此外由于拍摄条件的限制图像质量通常较差，因此如何有效地提取更鲁棒、更具有判别性的视觉特征是该任务的一项重要挑战．为了应对这一挑战，设计了一种基于自监督学习的文本行人检索算法，以多任务学习的形式将自监督学习与基于文本的行人检索任务相结合，对两种任务同时进行训练，共享模型参数．其中，自监督任务作为辅助任务，旨在为行人检索任务学习到更鲁棒、更具有判别性的视觉特征．具体来说，首先提取视觉和文本特征，并以图像修复作为自监督任务，旨在学习更丰富的语义信息，且对遮挡数据具有更好的鲁棒性；基于行人图像的特殊性，进一步设计了一种镜像翻转预测任务，通过训练网络预测图像是否经过了镜像翻转学习具有判别性的细节信息，以帮助行人检索任务更好地区分难分样本．在公开数据集上进行的大量实验证明了该算法的先进性和有效性，将行人检索的Top-1准确率提升了2.77%，并且实验结果显示两种自监督任务存在一定的互补性...     

基于低秩交叉重构的领域自适应算法

为了解决现有领域在自适应方法中忽略了整个数据域内部结构的信息和源域与目标域之间的差异问题,提出了一种新的基于低秩交叉重构的领域自适应方法.通过对源域和目标域的交叉重构来构造新的源域与目标域,使得同类数据相互交织,缩短了同类数据之间的距离; 通过对重构矩阵施加低秩约束,将2个域的同类数据对齐,以此来充分挖掘源域和目标域同类数据之间的内在结构信息,并利用该结构信息来学习分类器,从而取得更好的跨域识别效果.在5个公开数据集上的实验结果表明:该方法具有较高的跨域识别准确率.     

跨模态域自适应SAR图像舰船检测与识别

针对合成孔径雷达(SAR)数据成像质量差和标注不足的问题,提出一种跨模态域自适应端到端的SAR图像舰船目标检测与识别方法．首先,针对SAR舰船检测中目标特征辨识度低和背景信息复杂度高的问题,设计了融合多尺度特征和局部上下文信息及背景抑制来改进兴趣区域变换网络(RoITransformer)的特征表达能力;然后,针对SAR数据属性标签标注困难及样本缺乏的问题,设计了域适应模块在全局和实例级别实现对齐特征,将属性知识从光学数据跨模态迁移到SAR数据上．自建了近岸区域高分辨率SAR舰船数据集(HRSSRD),结果表明：所提方法在HRSSRD上实现了88.5%的检测精度,在舰船检测和军民识别任务上具有良好的性能．     

基于ResNet-50的级联注意力遥感图像分类

知识蒸馏能提高神经网络的泛化能力，可解决遥感图像场景分类时标注数据不足的问题。遥感图像存在的类间高相似性会导致中间知识特征丢失，针对该问题，本文提出一种基于自蒸馏级联注意力机制的特征提取方法(SDCASA)。首先构造权值共享的教师、学生网络；然后使用级联注意力模块精细化深层教师网络所提取到的特征，同时保留被浅层神经网络过滤的中间边缘信息；再利用精细化之后的特征指导学生网络学习；最后在下游训练一个线性分类器完成特征分类。在3个公开数据集AID、MLRSNet、EuroSAT上使用20%和50%的样本训练，分类准确率分别达到85.17%、90.10%、 91.13%和85.50%、92.13%、91.17%。此方法能有效提高遥感图像场景分类准确率，性能优于主流自监督图像分类方法 SimSiam、SwAV、MoCov2、Deepcluster,具有良好的应用价值。     

公共空间共享参数的跨模态检索研究

针对跨模态检索中不同模态数据的数据结构和特性存在较大差异的问题,提出了基于公共空间方法的共享参数跨模态检索(SPCMR)方法：首先,利用卷积神经网络提取图像和文本的高级语义特征;然后,接入全连接层将其映射到公共空间并共享2个特征子网的部分隐层权重;最后,连接线性分类器并与标签信息进行判别训练。在公开数据集上采用平均精度(mAP)作为评价指标进行实验。结果表明：SPCMR方法能充分利用跨模态间的语义信息,有效提升图文检索的精度。     

结合表示学习和迁移学习的跨领域情感分类

针对现有跨领域情感分类方法中文本表示特征忽略了重要单词与句子的情感信息, 且在迁移过程中存在负面迁移的问题, 提出一种将文本表示学习与迁移学习算法相结合的跨领域情感分类方法。首先, 利用低维稠密的词向量对文本进行初始化, 通过分层注意力网络, 对文本中重要单词与句子的情感信息进行建模, 从而学习源领域与目标领域的文档级分布式表示。随后, 采用类噪声估计方法, 对源领域中的迁移数据进行检测, 剔除负面迁移样例, 挑选高质量样例来扩充目标领域的训练集。最后, 训练支持向量机对目标领域文本进行情感分类。在大规模公开数据集上进行的两个实验结果表明, 与基准方法相比, 所提方法的均方根误差分别降低1.5%和1.0%, 说明该方法可以有效地提高跨领域情感分类性能。     

精细拓扑结构表示与深度特征融合在多目标图像检索中的应用

空间信息表示是增强图像特征表达性能的重要手段,通过空间关系建模与深度学习方法融合可有效提升深度特征的语义特性,从而提升图像检索性能.首先,针对复杂图像的空间关系表示提出了一种新的精细拓扑结构表示模型,该模型不仅具有完备的拓扑描述性能,还提供了两种拓扑不变量的推理算法,使得拓扑不变量可以由表示模型直接推导而不需要繁复的几何计算;其次,基于精细拓扑结构表示模型,提出了有效的拓扑结构相似性度量方法,为空间关系特征表达奠定了基础;最后,进一步结合卷积神经网络,提出融合复杂空间关系特征与深度特征的多目标图像检索方法.实验结果表明,所提出的拓扑结构表示模型在空间查询中具有良好的性能;所提出的图像检索框架取得优于现有方法的精度,并能够有效地结合手工特征与深度特征各自的优势,为提升深度学习方法的可解释性创造了有利条件.     

RGB and LBP-texture deep nonlinearly fusion features for fabric retrieval

Fabric retrieval is very challenging since problems like viewpoint variations, illumination changes, blots, and poor image qualities are usually encountered in fabric images. In this work, a novel deep feature nonlinear fusion network(DFNFN) is proposed to nonlinearly fuse features learned from RGB and texture images for improving fabric retrieval. Texture images are obtained by using local binary pattern texture(LBP-Texture) features to describe RGB fabric images. The DFNFN firstly applies two feature learning branches to deal with RGB images and the corresponding LBP-Texture images simultaneously. Each branch contains the same convolutional neural network(CNN) architecture but independently learning parameters. Then, a nonlinear fusion module(NFM) is designed to concatenate the features produced by the two branches and nonlinearly fuse the concatenated features via a convolutional layer followed with a rectified linear unit(ReLU). The NFM is flexible since it can be embedded in different depths of the DFNFN to find the best fusion position. Consequently, DFNFN can optimally fuse features learned from RGB and LBP-Texture images to boost the retrieval accuracy. Extensive experiments on the Fabric 1.0 dataset show that the proposed method is superior to many state-of-the-art methods.     

高光谱图像半监督局部稀疏嵌入降维算法

针对目前高光谱图像半监督降维算法中基于流形学习的开放性选择近邻参数问题,以及利用传统算法不能有效地获取标签数据的局部信息,提出了一种无需考虑近邻参数的半监督局部稀疏嵌入（SELSE）算法.该算法基于稀疏表示理论,通过求解范数优化问题构建稀疏系数图,并且利用有限的标签数据最大化类间信息,提取高光谱图像的特征.在AVIRIS高光谱遥感图像的Indian Pine数据集上进行仿真实验,结果表明所提出算法在分类精度和计算效率上都有所提高.     

基于属性表征和信息测度的图像检索

提出了一种基于属性表征和信息测度的图像检索方法，给出了图像的内容属性的表征方法和利用改进的信息测度公式计算图像相似性的方法．最后给出了利用这种方法对WWW图像检索的初步实验结果。实验表明，这种方法对改善检索结果的相关性具有很好的效果。     

改进YOLOv4的复杂交通场景目标检测方法

针对复杂交通场景下密集小目标居多、目标尺寸差异大、目标间遮挡严重的问题,提出了一种基于YOLOv4框架的复杂交通场景下的目标检测算法。首先,构造多尺度特征融合提取模块作为主干网络特征提取模块,充分提取不同尺度目标特征信息,同时引入轻量化Ghost模块对主干网络特征进行维度调整;其次,将卷积模块与自注意力机制融合,构造倒残差自注意力模块应用到主干网络深层,深层网络在充分提取局部特征信息基础上获得了全局感知;然后,构造轻量级混合注意力模块,抑制背景噪声,增强密集小目标检测能力;最后,在Udacity数据集上进行实验,检测精度达到了84.41%,相比较YOLOv4, mAP(mean average precision)提高了3.07%,对1 920×1 200分辨率图像的检测FPS(frames per second)可达到49,提高了22.5%,精度提升的前提下实现了较好的实时性,更适用于复杂交通场景下的目标检测任务。     

基于环形分割的医学图像检索

针对医学图像全局特征检索不能很好地体现局部特征,而基于分割后各区域特征的检索又过分依赖于复杂的图像分割算法,提出了环形划分图像的分割方法.在基于环形分割的条件下,分别提取医学图像的颜色和纹理等内容特征,并在此基础上,实现医学图像检索.试验表明,基于环形分割的医学图像检索能够较好地体现图像所记录的颜色空间信息,而且具有旋转偏移不变性的特点,大大提高了医学图像检索的正确率与查全率.     

基于欧拉向量的彩色图像检索方法

为了有效地管理图像数据库,并对其进行查询检索所需的图像特征,提出了一种基于欧拉向量的色彩图像检索方法.该方法将图像位平面的灰度码表示和增量位平面表示相结合用于图像检索.结合方式有两种:一种方式是获得联合欧拉向量作为图像的特征,并对联合欧拉向量进行高斯归一化,然后采用距离公式对图像进行相似度计算,并对彩色图像进行检索;另一种方式是利用图像重要位平面所获得的灰度码位平面和增量位平面,分别获得各自的欧拉向量,采用距离公式加权的方法进行图像相似度计算.实验结果表明该方法有效改善了检索效果.     

基于特征的图象查询和检索系统

介绍了一个基于特征的图象查询和检索系统．该系统由查询模块、特征提取和描述模块、匹配模块、图象显示模块和图象库管理模块组成．系统既支持基于颜色、纹理、形状的单一特征查询,也支持结合不同特征的更符合视觉要求的综合特征查询．该系统已结合实际图象库进行了查询和检索实验,中给出一些实际检索结果。