基于批损失的跨模态检索

针对跨模态检索中成对或三元组样本的方法构造了高度冗余且信息量少的样本对问题,提出了基于批损失的跨模态检索方法(BLCMR):首先,引入批损失,考虑了嵌入样本的相似性,有效地保持了跨模态样本的不变性;然后,引入迭代方法来修正预测的类别标签,有效地区分了样本的语义类别信息. 在3个公开的数据集(Wikipedia、Pascal Sentence和NUS-WIDE-10k)上的实验结果表明:BLCMR方法能够拉近跨模态样本间的距离,有效地提升最终的跨模态检索精度.     

公共空间共享参数的跨模态检索研究

针对跨模态检索中不同模态数据的数据结构和特性存在较大差异的问题,提出了基于公共空间方法的共享参数跨模态检索(SPCMR)方法：首先,利用卷积神经网络提取图像和文本的高级语义特征;然后,接入全连接层将其映射到公共空间并共享2个特征子网的部分隐层权重;最后,连接线性分类器并与标签信息进行判别训练。在公开数据集上采用平均精度(mAP)作为评价指标进行实验。结果表明：SPCMR方法能充分利用跨模态间的语义信息,有效提升图文检索的精度。     

基于跨模态语义增强的图像检索方法

网络图像的文本和图像之间有较强的相关性,传统基于内容的图像检索方法往往忽视文本和图像的相关性,而跨模态检索中,文本和图像的底层特征独立获得,并未有效利用两模态之间的语义关联性,基于此,本文提出了一种跨模态语义增强的图像检索方法(CSR),协同约束文本底层特征的线性判别分析项及两模态的典型相关分析项,使得文本语义增强的同时其强语义性通过协同约束迁移到图像特征中,最后通过多类逻辑回归获得文本和图像语义特征,用文本语义特征正则化图像语义特征,进一步提高图像特征的语义判别性。在Wikipedia和Pascal Sentence数据集上进行实验,显示本文方法能有效提高图像检索的平均查准率。     

基于表示学习的跨模态检索方法研究进展

多模态数据的急剧增长带来了跨模态检索的应用需求,促进了对跨模态检索方法的研究。本文追溯该领域最新进展,跟踪并深入研究国内外基于表示学习的跨模态检索方法,对跨模态检索问题进行定义并梳理该领域常用技术方法、主流模型、常用数据集、评价方法和面临的主要挑战。主要从统计相关分析、图正则化和度量学习3方面介绍基于表示学习跨模态检索方法,并分析其优缺点。为了分析上述方法的优劣性,实验分别在4个数据集上复现14种方法进行对比评价。实验结果表明：基于统计相关分析方法训练效率较高且易于实施;基于图正则化方法通过挖掘模态内和模态间的相似性,实现语义关联;基于度量学习方法是在公共子空间中尽可能保留数据语义相似/不相似的信息。本文介绍基于表示学习的跨模态检索方法的研究现状,为跨模态检索方法研究提供参考。     

基于表示学习的跨模态检索方法研究进展

多模态数据的急剧增长带来了跨模态检索的应用需求,促进了对跨模态检索方法的研究。本文追溯该领域最新进展,跟踪并深入研究国内外基于表示学习的跨模态检索方法,对跨模态检索问题进行定义并梳理该领域常用技术方法、主流模型、常用数据集、评价方法和面临的主要挑战。主要从统计相关分析、图正则化和度量学习3方面介绍基于表示学习跨模态检索方法,并分析其优缺点。为了分析上述方法的优劣性,实验分别在4个数据集上复现14种方法进行对比评价。实验结果表明：基于统计相关分析方法训练效率较高且易于实施;基于图正则化方法通过挖掘模态内和模态间的相似性,实现语义关联;基于度量学习方法是在公共子空间中尽可能保留数据语义相似/不相似的信息。本文介绍基于表示学习的跨模态检索方法的研究现状,为跨模态检索方法研究提供参考。     

基于深度监督学习的零样本跨模态检索方法

针对当前零样本跨模态检索的研究中未兼顾类别匹配和对应匹配的问题,提出一种基于深度监督学习的零样本跨模态检索方法。对3种类型的图文数据对进行了区分,分别是来自同一类别并且匹配的数据对,来自同一类别但不匹配的数据对,以及来自不同类别的数据对;在保持图文类别匹配关系的条件下,为了进一步实现两者的对应匹配,构造了两种基于掩码的匹配约束条件,一种是隐藏同一类别但不匹配的另一模态数据,约束不同类别的图文数据之间的匹配关系,另一种是隐藏其他类别的另一模态数据,约束同一类别内的图文数据之间的对应匹配关系;通过对齐视觉空间和语义空间中对应特征的分布结构,再次约束图文间的类别匹配和对应匹配关系;为了增强文本语义的表征能力,以注意力池化从词序列特征中获得语义显著的句子深度表征。实验结果表明,在CUB数据集上,所提方法对图像检索文本和文本检索图像的效果相较基线模型分别提升了5.9%和2.2%;在FLO数据集上的检索效果分别比现阶段表现最佳的方法高4.2%和1.7%。     

基于注意力双分支网络的跨模态足迹检索

为了提高跨模态足迹检索精度,提出一种基于注意力双分支深度卷积神经网络的检索方法.该方法以赤足足迹的光学和压力2个模态图像为研究对象,采集并构建了一个包含138人5520幅足迹图像的跨模态检索数据集;在网络的特征提取模块采用ResNet50作为基础网络搭建双分支结构,并引入空间注意力机制,以提取各模态具有辨别性的特征;在网络的特征嵌入模块,通过部分参数共享学习跨模态共享空间;在双约束损失模块采用交叉熵损失(ID loss)和异质中心损失(HC loss)以增大跨模态足迹特征的类间差异,减小类内差异.实验结果表明:互检索模式下的平均精度均值(mAP)均值和Rank1均值分别为70.83％和87.50％,优于其他一些跨模态检索方法.采用注意力双分支网络模型能够有效进行跨模态足迹检索,可以为现场足迹对比鉴定等应用提供理论基础.     

图约束的半监督对抗跨模态检索方法研究

跨模态检索是指给定一种模态的查询词,返回与之语义相关的其他模态关联词的一种检索方法。现有工作主要集中监督式跨模态检索方法研究,而实际应用中样本标签少,样本标签获取成本高。为此,提出一种图约束的半监督对抗跨模态检索方法(SS-ACMR)。该方法通过对无标签样本建立图作为约束条件来学习公共子空间表示。具体而言,在对抗学习框架下:1)对无标签样本,根据样本之间欧式距离构建图,希望相似样本的公共子空间表示是相似的; 2)对有标签样本使用传统的对抗跨模态检索方法进行学习; 3)无标签样本和有标签样本在对抗学习框架下共同学习公共子空间的表示。Wikipedia数据集和NUSWIDE-10k数据集上的实验结果表明:本文的方法得到了和现有监督跨模态检索方法相当的检索结果,远好于现有半监督跨模态检索方法。     

基于特征增强的对抗哈希跨模态检索

在跨模态检索任务中,哈希方法由于其检索效率高效、储存成本低廉而被广泛应用。但是,这些方法很少关注如何去弥补主体网络将高维特征转换为哈希码的过程中所丢失的特征信息。为解决这些问题,本文提出了一种特征增强对抗跨模态哈希(Feature Boosting Adversarial Hashing for Cross-Modal, FBAH)方法。FBAH方法将子空间学习与对抗学习相结合,来减少不同模态数据的差异性。另外,构造一种类残差模块,它可以将筛选出具有区别性的特征绕过主体网络直接输入到哈希空间进行特征增强。这样,生成的哈希码能够具有更多的原始特征信息。最后,通过带有分支网络的线性分类器在标签空间进行两种方式的预测,并最小化与真实标签的差距来保证语义的不变性。本文选择两个跨模态检索任务中常用的大型数据集进行大量实验,结果表明FBAH方法的性能优于目前7种较为先进的跨模态哈希方法。     

数学公式识别与检索研究综述

数学公式的识别与检索对于信息快速共享和防止学术不端都有非常重要的现实意义,已成为信息化教育和数字图书馆的研究热点.分析了数学公式识别与检索的研究现状,详细介绍了几种主要的数学公式识别技术和检索技术,比较了它们的优缺点,并给出了数学公式识别和检索未来的研究方向.     

基于内容的图像检索技术综述

随着信息技术的迅速发展,基于内容的图像检索技术已成为目前检索技术中的研究热点.本文主要对图像检索的进行了概述,并对主要的检索方法进行了讨论,指出了现有图像检索技术的优缺点,同时指出了基于图像检索技术的发展趋势和研究方向.     

基于纹理的图像检索算法研究

多媒体技术是信息时代高度发展的重要体现,在多媒体技术中对海量信息的高效管理就成为一个重要的研究领域,海量图像数据库的检索是近期多媒体技术研究的一个热点问题,基于内容图像检索(CBIR)研究是图像检索一个重要的研究方向,CBIR中传统的基于最佳尺寸的纹理粗糙度算法纹理粗糙度算法结果比较符合人眼的视觉感受,但也存在着不足之处,文中从选取领域尺寸和计算领域均值差值这2个方面对此算法进行改进,采用线性量化方法来选取领域尺寸,计算领域均值差值时在像素局部梯度方向上进行,从而提高纹理粗糙度算法对纹理冒失的分辨能力,并且保证纹理粗糙度算法具有良好的旋转不变性,通过实验结果分析,改进的算法在分辨能力和旋转度不变性上明显优于原算法.     

非结构化数据库在视频检索中的应用研究

视频数据检索是多媒体技术与数据库技术相结合的产物。本文通过介绍非结构化数据库和视频检索技术发展研究和应用现状,提出将非结构化数据库用于视频内容检索,可通过利用XML构建基于非结构化数据库的数据仓库模型,构建非结构化数据库的视频数据检索系统来搭建平台。非结构性数据库作为新兴研究范式将视频检索等相关领域大有作为。     

关于流动推销员运筹学问题的研究

本文综述了对 TSP 近30年来的研究成果.在深入分析各种确定型算法、启发式算法和混合算法的基础上,指出未来的研究重点在于开发更有效的启发式算法和混合算法、研究 TSP 的“可解决型”情况以及研究算法的最坏情形分析、概率分析和统计分析.     

科研项目立项前的文献检索利用

0引言 目前,科技文献浩如烟海,仅全世界每年出版的图书就多达80万种;科技期刊8万多种,发表的论文在600万篇以上;公开的专利说明书多达100万件;国际会议文献1万多篇;美、英、德、日等国产生的科技报告20万件左右.中国在线数据库总量达到169 867个.因此科研人员必须具备一定的文献检索能力,才能保证检索出的文献全面、准确、实用.     

集群环境下个性化检索系统的研究与实现

在综合分析海量数据库检索系统应用及存储环境的基础上,提出了一个集群环境下的个性化检索系统模型,采用Oracle RAC技术实现数据库数据的并行处理,通过兴趣获取模块获得用户兴趣,实时动态追踪兴趣动向,实现个性化检索．在此基础上完成了某市基于超大型数据库的专利信息检索系统平台的设计与实现．     

Mobile Agent在信息检索中的应用研究

为了实现对分布、异构数据库方便、灵活、快捷的访问，研究了利用Mobile Agent技术对分布、异构信息进行检索的原型系统的系统架构和各主要部分的功能．讨论了为提高系统性能而采用的若干关键技术：返回结果的策略、访问的自适应和有效的代码迁移机制．该原型系统既可用于虚拟企业寻找合作伙伴时的信息查询，又可用于电子商务中商品信息的搜索．指出下一步将对该平台进行扩展，实现对非结构化信息的检索．