基于特征增强的对抗哈希跨模态检索

在跨模态检索任务中,哈希方法由于其检索效率高效、储存成本低廉而被广泛应用。但是,这些方法很少关注如何去弥补主体网络将高维特征转换为哈希码的过程中所丢失的特征信息。为解决这些问题,本文提出了一种特征增强对抗跨模态哈希(Feature Boosting Adversarial Hashing for Cross-Modal, FBAH)方法。FBAH方法将子空间学习与对抗学习相结合,来减少不同模态数据的差异性。另外,构造一种类残差模块,它可以将筛选出具有区别性的特征绕过主体网络直接输入到哈希空间进行特征增强。这样,生成的哈希码能够具有更多的原始特征信息。最后,通过带有分支网络的线性分类器在标签空间进行两种方式的预测,并最小化与真实标签的差距来保证语义的不变性。本文选择两个跨模态检索任务中常用的大型数据集进行大量实验,结果表明FBAH方法的性能优于目前7种较为先进的跨模态哈希方法。     

图约束的半监督对抗跨模态检索方法研究

跨模态检索是指给定一种模态的查询词,返回与之语义相关的其他模态关联词的一种检索方法。现有工作主要集中监督式跨模态检索方法研究,而实际应用中样本标签少,样本标签获取成本高。为此,提出一种图约束的半监督对抗跨模态检索方法(SS-ACMR)。该方法通过对无标签样本建立图作为约束条件来学习公共子空间表示。具体而言,在对抗学习框架下:1)对无标签样本,根据样本之间欧式距离构建图,希望相似样本的公共子空间表示是相似的; 2)对有标签样本使用传统的对抗跨模态检索方法进行学习; 3)无标签样本和有标签样本在对抗学习框架下共同学习公共子空间的表示。Wikipedia数据集和NUSWIDE-10k数据集上的实验结果表明:本文的方法得到了和现有监督跨模态检索方法相当的检索结果,远好于现有半监督跨模态检索方法。     

公共空间共享参数的跨模态检索研究

针对跨模态检索中不同模态数据的数据结构和特性存在较大差异的问题，提出了基于公共空间方法的共享参数跨模态检索(SPCMR)方法：首先，利用卷积神经网络提取图像和文本的高级语义特征；然后，接入全连接层将其映射到公共空间并共享2个特征子网的部分隐层权重；最后，连接线性分类器并与标签信息进行判别训练。在公开数据集上采用平均精度(mAP)作为评价指标进行实验。结果表明：SPCMR方法能充分利用跨模态间的语义信息，有效提升图文检索的精度。     

基于批损失的跨模态检索

针对跨模态检索中成对或三元组样本的方法构造了高度冗余且信息量少的样本对问题,提出了基于批损失的跨模态检索方法(BLCMR):首先,引入批损失,考虑了嵌入样本的相似性,有效地保持了跨模态样本的不变性;然后,引入迭代方法来修正预测的类别标签,有效地区分了样本的语义类别信息. 在3个公开的数据集(Wikipedia、Pascal Sentence和NUS-WIDE-10k)上的实验结果表明:BLCMR方法能够拉近跨模态样本间的距离,有效地提升最终的跨模态检索精度.     

基于多模态共享网络的自监督语音-人脸跨模态关联学习方法

现有的语音-人脸跨模态关联学习方法在语义关联和监督信息方面仍然面临挑战,尚未充分考虑语音与人脸之间的语义信息交互。为解决这些问题,提出一种基于多模态共享网络的自监督关联学习方法。首先,将语音和人脸模态的特征映射到单位球面,构建一个公共的特征空间;接着,通过多模态共享网络的残差块来挖掘复杂的非线性数据关系,并利用其中权重共享的全连接层来增强语音与人脸特征向量之间的关联性;最后,使用K均值聚类算法生成的伪标签作为监督信号来指导度量学习,从而完成4种跨模态关联学习任务。实验结果表明,本文提出的方法在语音-人脸跨模态验证、匹配和检索任务上均取得了良好的效果,多项评价指标相较于现有基线方法提升1%～4%的准确率。     

基于表示学习的跨模态检索方法研究进展

多模态数据的急剧增长带来了跨模态检索的应用需求,促进了对跨模态检索方法的研究。本文追溯该领域最新进展,跟踪并深入研究国内外基于表示学习的跨模态检索方法,对跨模态检索问题进行定义并梳理该领域常用技术方法、主流模型、常用数据集、评价方法和面临的主要挑战。主要从统计相关分析、图正则化和度量学习3方面介绍基于表示学习跨模态检索方法,并分析其优缺点。为了分析上述方法的优劣性,实验分别在4个数据集上复现14种方法进行对比评价。实验结果表明：基于统计相关分析方法训练效率较高且易于实施;基于图正则化方法通过挖掘模态内和模态间的相似性,实现语义关联;基于度量学习方法是在公共子空间中尽可能保留数据语义相似/不相似的信息。本文介绍基于表示学习的跨模态检索方法的研究现状,为跨模态检索方法研究提供参考。     

基于表示学习的跨模态检索方法研究进展

多模态数据的急剧增长带来了跨模态检索的应用需求,促进了对跨模态检索方法的研究。本文追溯该领域最新进展,跟踪并深入研究国内外基于表示学习的跨模态检索方法,对跨模态检索问题进行定义并梳理该领域常用技术方法、主流模型、常用数据集、评价方法和面临的主要挑战。主要从统计相关分析、图正则化和度量学习3方面介绍基于表示学习跨模态检索方法,并分析其优缺点。为了分析上述方法的优劣性,实验分别在4个数据集上复现14种方法进行对比评价。实验结果表明：基于统计相关分析方法训练效率较高且易于实施;基于图正则化方法通过挖掘模态内和模态间的相似性,实现语义关联;基于度量学习方法是在公共子空间中尽可能保留数据语义相似/不相似的信息。本文介绍基于表示学习的跨模态检索方法的研究现状,为跨模态检索方法研究提供参考。     

基于结构保持对抗网络的跨模态实体分辨

跨模态实体分辨旨在从不同模态的数据中找到对同一实体的不同客观描述.常用的跨模态实体分辨方法通过将不同模态数据映射到同一空间中进行相似性度量,大多通过使用类别信息建立映射前后的语义联系,却忽略了对跨模态成对样本信息的有效利用.在真实数据源中,给大量的数据进行标注耗时费力,难以获得足够的标签数据来完成监督学习.对此,提出一种基于结构保持的对抗网络跨模态实体分辨方法(Structure Maintenance based Adversarial Network,SMAN),在对抗网络模型下构建模态间的K近邻结构损失,利用模态间成对信息在映射前后的结构保持学习更一致的表示,引入联合注意力机制实现模态间成对样本信息的对齐.实验结果表明,在不同数据集上,SMAN和其他无监督方法和一些典型的有监督方法相比有更好的性能.     

基于仿射不变离散哈希的遥感图像快速目标检测新方法

提出一种基于仿射不变离散哈希的遥感图像快速目标检测新方法.首先使用一种"选择性搜索"的方法生成目标候选框;其次,提出一种基于仿射不变离散哈希(Affine-Invariant Discrete Hashing,AIDH)的目标检测方法,该方法采用具有低存储、高效率优势的监督离散哈希框架,结合仿射不变优化因子,构造仿射不变离散哈希,通过将具有相同语义信息的仿射变换样本约束到相似的二值码空间,实现检测精度的提高;最后采用判别分类器结合非极大值抑制的方法,进一步过滤掉误检目标框,完成目标的精确定位.实验证明,在NWPU VHR-10数据集下,该方法相比于经典目标检测方法和新的哈希方法,在具备高效性的同时,在精度上也得到了保证.     

基于多视角对称非负矩阵分解的跨模态信息检索方法

针对跨模态信息检索的策略和核心问题,从提升检索性能的角度,分析了多视角对称非负矩阵分解方法用于跨模态检索的优势,提出了一种新的基于对称非负矩阵分解的跨模态检索框架。首先在Wikipedia、Pascal公开数据集上习得一致的子空间表示;然后基于该子空间,设计了一种实时样本在子空间中的投影方法。与典型相关分析、语义匹配和偏最小二乘回归相比,在MAP和PR曲线这2个指标上,本文所提出的方法具有最优的性能表现,表明了该方法应用于跨模态信息检索任务中的潜力。     

超定低秩数据阵信号子空间的快速获取

针对超定低秩数据阵,利用超定低秩数据阵左右奇异矢量之间的关系与反幂法以及L－D－LT分解,研究信号处理中如何快速获取信号子空间,给出了一种获取信号子空间的快速算法,它比直接采用划值分解的运算量明显减少,并具有很高的精度,适合于相关的信号处理。     

基于多方向互交叉模式算子与极坐标变换的鲁棒图像哈希算法

为了提高哈希序列对几何攻击的鲁棒性与正确识别率,设计了基于多方向互交叉模式算子与极坐标变换的鲁棒哈希算法。引入插值运算与Gaussian滤波器,完成图像的尺寸规范化与去噪处理,使其对于任意的可疑目标均可输出一个固定长度的哈希序列。基于极坐标变换(log-polar transform,LPT),对滤波规范图像实施处理,输出抗旋转攻击的二次图像。随后,利用多方向互交叉模式算子,从8个方向将二次图像变换为两个编码映射。将两个编码映射分割为非重叠子块,通过提取这些子块的直方图,将其视为纹理特征,作为第一个哈希序列。利用强度概率密度梯度代替强度梯度,对SURF (speeded up robust features)方法予以改进,充分提取图像中的稳定角点,形成角点图像;将角点图像分割为一系列的非重叠子块,通过计算每个子块所含的角点数量,将含有结构信息最丰富的子块予以标记,输出其在图像中对应的位置信息;并借助离散小波变换(discrete wave transform,DWT)来分解这些标记子块,获取每个子块对应的低频系数。联合位置信息与低频系数,形成结构特征,作为第二个哈希序列。设计加密机制,分别对两个哈希序列完成扩散,从而形成最终的哈希序列。通过计算源图像与可疑图像之间的l_2范数距离,将其与用户识别阈值的大小对比,对目标的真实性完成判别。试验数据显示:较已有的哈希生成机制而言,所提方法拥有更高的鲁棒性,对各类几何攻击均有更高的识别准确率。     

基于子空间方法的超超临界机组过热蒸汽系统模型辨识

针对超超临界机组过热蒸汽系统模型辨识,采用基于数据驱动的闭环子空间辨识方法直接得到系统的阶跃响应系数,结合传统的SISO(Single Input Single Output)辨识方法,并利用最小二乘算法回归出系统的低阶传递函数模型.通过对某电厂超超临界机组过热蒸汽系统进行闭环辨识,结果表明,该策略很好地融合了子空间方法的简便性以及传统SISO辨识方法的最优性,并成功用于超超临界机组过热蒸汽系统模型辨识.     

融合标签相似度的 k 近邻 Slope One 算法

Slope One 协同过滤算法被广泛应用于个性化推荐系统中。标签是一种描述项目特性的重要形式,针对Slope One 算法推荐精度不足的问题,将标签信息融合到 Slope One 算法当中。同时参考 k 近邻算法思想,选取阈值过滤后的 k 近邻项目参与平均评分偏差计算,提高计算效率的同时增加预测精度。使用评分相似度和标签相似度作为权重修正线性回归模型。通过线性加权融合预测结果,进一步提升推荐质量。将算法应用于 MovieLens 数据集,与传统加权 Slope One 算法相比,平均绝对偏差下降4．8％,召回率和准确率分别提高32．1％和26．3％。     

基于类标签的离散监督哈希算法

基于哈希算法的相似性检索以其高效性和实用性受到学术界的广泛关注。为了提升哈希学习算法的准确性和扩展性,提出了一种基于类标签的离散监督学习算法。首先,假设每个类标签都存在一个潜在的哈希码,并深入探索了类标签的关联性与其哈希码之间的关系,用以求解每个类的哈希码;然后,度量数据点的哈希码与类哈希码间的内积关系构建度量模型,同时采用非线性核函数建立量化模型;最后,在求解哈希码的过程中,采用了离散求解法以提升准确性。NUS-WIDE和CIFAR-10数据集的实验结果均表明,基于类标签的离散监督哈希算法是有效的。