图约束的半监督对抗跨模态检索方法研究

跨模态检索是指给定一种模态的查询词,返回与之语义相关的其他模态关联词的一种检索方法。现有工作主要集中监督式跨模态检索方法研究,而实际应用中样本标签少,样本标签获取成本高。为此,提出一种图约束的半监督对抗跨模态检索方法(SS-ACMR)。该方法通过对无标签样本建立图作为约束条件来学习公共子空间表示。具体而言,在对抗学习框架下:1)对无标签样本,根据样本之间欧式距离构建图,希望相似样本的公共子空间表示是相似的; 2)对有标签样本使用传统的对抗跨模态检索方法进行学习; 3)无标签样本和有标签样本在对抗学习框架下共同学习公共子空间的表示。Wikipedia数据集和NUSWIDE-10k数据集上的实验结果表明:本文的方法得到了和现有监督跨模态检索方法相当的检索结果,远好于现有半监督跨模态检索方法。     

基于跨模态语义增强的图像检索方法

网络图像的文本和图像之间有较强的相关性,传统基于内容的图像检索方法往往忽视文本和图像的相关性,而跨模态检索中,文本和图像的底层特征独立获得,并未有效利用两模态之间的语义关联性,基于此,本文提出了一种跨模态语义增强的图像检索方法(CSR),协同约束文本底层特征的线性判别分析项及两模态的典型相关分析项,使得文本语义增强的同时其强语义性通过协同约束迁移到图像特征中,最后通过多类逻辑回归获得文本和图像语义特征,用文本语义特征正则化图像语义特征,进一步提高图像特征的语义判别性。在Wikipedia和Pascal Sentence数据集上进行实验,显示本文方法能有效提高图像检索的平均查准率。     

基于批损失的跨模态检索

针对跨模态检索中成对或三元组样本的方法构造了高度冗余且信息量少的样本对问题,提出了基于批损失的跨模态检索方法(BLCMR):首先,引入批损失,考虑了嵌入样本的相似性,有效地保持了跨模态样本的不变性;然后,引入迭代方法来修正预测的类别标签,有效地区分了样本的语义类别信息. 在3个公开的数据集(Wikipedia、Pascal Sentence和NUS-WIDE-10k)上的实验结果表明:BLCMR方法能够拉近跨模态样本间的距离,有效地提升最终的跨模态检索精度.     

公共空间共享参数的跨模态检索研究

针对跨模态检索中不同模态数据的数据结构和特性存在较大差异的问题,提出了基于公共空间方法的共享参数跨模态检索(SPCMR)方法：首先,利用卷积神经网络提取图像和文本的高级语义特征;然后,接入全连接层将其映射到公共空间并共享2个特征子网的部分隐层权重;最后,连接线性分类器并与标签信息进行判别训练。在公开数据集上采用平均精度(mAP)作为评价指标进行实验。结果表明：SPCMR方法能充分利用跨模态间的语义信息,有效提升图文检索的精度。     

基于多视角对称非负矩阵分解的跨模态信息检索方法

针对跨模态信息检索的策略和核心问题,从提升检索性能的角度,分析了多视角对称非负矩阵分解方法用于跨模态检索的优势,提出了一种新的基于对称非负矩阵分解的跨模态检索框架。首先在Wikipedia、Pascal公开数据集上习得一致的子空间表示;然后基于该子空间,设计了一种实时样本在子空间中的投影方法。与典型相关分析、语义匹配和偏最小二乘回归相比,在MAP和PR曲线这2个指标上,本文所提出的方法具有最优的性能表现,表明了该方法应用于跨模态信息检索任务中的潜力。     

跨模态检索研究综述

跨模态检索是对一种模态的查询词,返回与之相关的其他不同模态检索结果的新型检索方法,是跨媒体检索的新兴技术。通过分析跨模态检索的实际需求,给出了跨模态检索问题的定义,综述了目前主流跨模态检索方法的核心思想,列举了常用数据集与评价方法,最后分析了跨模态检索存在的问题以及未来研究趋势。     

基于注意力双分支网络的跨模态足迹检索

为了提高跨模态足迹检索精度,提出一种基于注意力双分支深度卷积神经网络的检索方法.该方法以赤足足迹的光学和压力2个模态图像为研究对象,采集并构建了一个包含138人5520幅足迹图像的跨模态检索数据集;在网络的特征提取模块采用ResNet50作为基础网络搭建双分支结构,并引入空间注意力机制,以提取各模态具有辨别性的特征;在网络的特征嵌入模块,通过部分参数共享学习跨模态共享空间;在双约束损失模块采用交叉熵损失(ID loss)和异质中心损失(HC loss)以增大跨模态足迹特征的类间差异,减小类内差异.实验结果表明:互检索模式下的平均精度均值(mAP)均值和Rank1均值分别为70.83％和87.50％,优于其他一些跨模态检索方法.采用注意力双分支网络模型能够有效进行跨模态足迹检索,可以为现场足迹对比鉴定等应用提供理论基础.     

基于结构保持对抗网络的跨模态实体分辨

跨模态实体分辨旨在从不同模态的数据中找到对同一实体的不同客观描述.常用的跨模态实体分辨方法通过将不同模态数据映射到同一空间中进行相似性度量,大多通过使用类别信息建立映射前后的语义联系,却忽略了对跨模态成对样本信息的有效利用.在真实数据源中,给大量的数据进行标注耗时费力,难以获得足够的标签数据来完成监督学习.对此,提出一种基于结构保持的对抗网络跨模态实体分辨方法(Structure Maintenance based Adversarial Network,SMAN),在对抗网络模型下构建模态间的K近邻结构损失,利用模态间成对信息在映射前后的结构保持学习更一致的表示,引入联合注意力机制实现模态间成对样本信息的对齐.实验结果表明,在不同数据集上,SMAN和其他无监督方法和一些典型的有监督方法相比有更好的性能.     

基于纹理特征的图像检索研究与实现

该文讨论了图像纹理特征的提取与表达,在理论探讨的基础上做相应改进,使检索结果的准确度得到提高,并开发出一个试验系统验证该方法的有效性.试验证明基本达到了预期效果.     

基于多尺度密集特征融合的生成式对抗除雾网络

在真实雾天场景下,针对除雾网络无法去除远处雾气、天空区域容易出现噪声的问题,提出了一种基于多尺度密集特征融合的生成式对抗除雾网络,并采用制作的合成雾天数据集进行对抗训练.首先,对除雾网络进行设计,构建了网络模型;其次,从合成晴朗天气图像中利用深度标签生成逼真的雾天数据集,以适用于真实雾天除雾领域;最后,在真实雾天数据集上测试,选取近几年具有代表性的6种基于深度学习的除雾网络进行主观视觉效果,并借助除雾领域常用的无参考图像质量评价指标进行客观分析.研究结果表明:提出的除雾网络在真实场景下的除雾效果较其他网络有显著提升,主观视觉效果明显优于对比的除雾网络,在无参评价指标上综合表现优于其他除雾网络.     

深度学习与一致性表示空间学习的跨媒体检索

提出一种基于深度学习与一致性表示空间学习的方法,针对图像与文本2种模态,分别采用卷积神经网络模型和潜在狄利克雷分布算法学习图像的深度特征和文档的主题概率分布;通过一个概率模型将两个高度异构的向量空间非线性映射到一个一致性表示空间;采用中心相关性算法计算不同模态信息在此空间的距离.在Wikipedia Dataset上的实验结果表明:在单模态输入检索中,文中方法的平均准确率为38.43%,相比于其他方法有明显提高.     

基于小波纹理特征的医学图像检索

为了缩小图像高层语义与底层特征之间的鸿沟,提出了一种基于共生矩阵的图像纹理特征提取的新方法.该方法结合了图像的频域统计特征和空间分布特性,首先通过小波变换提取图像的局部频域信息,然后结合图像的整体结构特征,构建用于提取图像纹理特征的小波灰度共生矩阵.通过对比实验表明,与分别使用其他灰度共生矩阵和小波特征相比,基于小波灰度共生矩阵的纹理特征提取方法在医学图像检索中取得了更好的效果.     

基于张量子空间的三维模型特征提取及检索方法

为提高三维模型的检索效率, 针对三维模型特征提取方法进行了研究, 在多线性主成分分析(MPCA:Multi-Linear Principal Component Analysis)的基础上, 提出了一种加权多线性主成分分析(WMPCA: Weighted Multi-Linear Principal Component Analysis)方法, 并将其应用于三维模型特征提取中。 该方法首先将三维模型转化为多角度的二维投影图像, 然后从多方向上通过张量进行特征提取, 最后将提取到的特征应用到三维模型检索中。 对 Princeton Shape Benchmark 的实验表明, 该特征提取方法比经典的形状分布方法平均检索效率提高7%, 比传统的 MPCA 特征提取方法的平均检索效率提高 3%。     

一种新的多特征融合图像检索方法

为解决图像检索中单一特征检索性能不佳、多特征融合耗时的问题,提出了一种新的融合颜色特征和形状特征的图像检索方法。检索过程分为两个阶段:首先对图像进行圆环分块,提取图像整体和各圆环子块颜色特征向量,以特征向量间距离大小为准则对图像库分类;然后在类内提取图像的ART形状描述符作为形状特征进行相似性度量以实现检索。形状特征提取只在某一类内进行,减小了运算量,同时弥补了颜色特征对图像空间信息丢失的不足,提高了检索准确率。仿真实验取得了较好的检索效果。     

基于姿势特征编码的运动数据分层检索

运动数据检索是为在已有的运动数据库中检索符合要求的数据进行重用和编辑, 基于姿势特征编码的分 层检索方式能提高检索速度和检索质量。 通过对运动骨骼分段, 提取能反应几何运动关系的骨骼分段夹角作 为特征向量, 对姿势特征进行编码, 建立基于运动特征的数据库索引, 并在检索过程中分别从运动特征、 数据索引和运动数值进行相似度比较。 实验结果表明, 在具有走、 跑、 舞等姿态的运动数据库中, 该方法相对 于其他方法具有较高的检索速度, 并得到满意的检索结果, 实现了运动逻辑相似性的有效检索。     

基于颜色空间特征的图像检索

针对基于内容的图像检索技术大多采用颜色特征的情况,提出一种通过提取颜色特征、灰度特征,获取图像物体的形状和空间特征,综合检索图像的方法.实验结果表明,这种方法具有一定的鲁棒性,检索结果不受图像大小、旋转和轻微的光照变化的影响,相对于传统的颜色直方图法,这种方法能明显改善检索效果.     

基于投影特征的商标图像检索方法

针对二值商标图像,提出了一种基于极坐标系投影特征的检索方法.利用商标图像在极坐标系的水平投影特征及垂直投影特征来描述商标图像的形状特征,利用投影特征向量的欧拉距离来度量图像的相似性程度.实验结果证明采用此方法具有良好的平移、旋转及尺度不变性,具有很好的检索精度.