基于注意力双分支网络的跨模态足迹检索

为了提高跨模态足迹检索精度,提出一种基于注意力双分支深度卷积神经网络的检索方法.该方法以赤足足迹的光学和压力2个模态图像为研究对象,采集并构建了一个包含138人5520幅足迹图像的跨模态检索数据集;在网络的特征提取模块采用ResNet50作为基础网络搭建双分支结构,并引入空间注意力机制,以提取各模态具有辨别性的特征;在网络的特征嵌入模块,通过部分参数共享学习跨模态共享空间;在双约束损失模块采用交叉熵损失(ID loss)和异质中心损失(HC loss)以增大跨模态足迹特征的类间差异,减小类内差异.实验结果表明:互检索模式下的平均精度均值(mAP)均值和Rank1均值分别为70.83％和87.50％,优于其他一些跨模态检索方法.采用注意力双分支网络模型能够有效进行跨模态足迹检索,可以为现场足迹对比鉴定等应用提供理论基础.     

图约束的半监督对抗跨模态检索方法研究

跨模态检索是指给定一种模态的查询词,返回与之语义相关的其他模态关联词的一种检索方法。现有工作主要集中监督式跨模态检索方法研究,而实际应用中样本标签少,样本标签获取成本高。为此,提出一种图约束的半监督对抗跨模态检索方法(SS-ACMR)。该方法通过对无标签样本建立图作为约束条件来学习公共子空间表示。具体而言,在对抗学习框架下:1)对无标签样本,根据样本之间欧式距离构建图,希望相似样本的公共子空间表示是相似的; 2)对有标签样本使用传统的对抗跨模态检索方法进行学习; 3)无标签样本和有标签样本在对抗学习框架下共同学习公共子空间的表示。Wikipedia数据集和NUSWIDE-10k数据集上的实验结果表明:本文的方法得到了和现有监督跨模态检索方法相当的检索结果,远好于现有半监督跨模态检索方法。     

基于结构保持对抗网络的跨模态实体分辨

跨模态实体分辨旨在从不同模态的数据中找到对同一实体的不同客观描述.常用的跨模态实体分辨方法通过将不同模态数据映射到同一空间中进行相似性度量,大多通过使用类别信息建立映射前后的语义联系,却忽略了对跨模态成对样本信息的有效利用.在真实数据源中,给大量的数据进行标注耗时费力,难以获得足够的标签数据来完成监督学习.对此,提出一种基于结构保持的对抗网络跨模态实体分辨方法(Structure Maintenance based Adversarial Network,SMAN),在对抗网络模型下构建模态间的K近邻结构损失,利用模态间成对信息在映射前后的结构保持学习更一致的表示,引入联合注意力机制实现模态间成对样本信息的对齐.实验结果表明,在不同数据集上,SMAN和其他无监督方法和一些典型的有监督方法相比有更好的性能.     

跨模态检索研究综述

跨模态检索是对一种模态的查询词,返回与之相关的其他不同模态检索结果的新型检索方法,是跨媒体检索的新兴技术。通过分析跨模态检索的实际需求,给出了跨模态检索问题的定义,综述了目前主流跨模态检索方法的核心思想,列举了常用数据集与评价方法,最后分析了跨模态检索存在的问题以及未来研究趋势。     

基于多视角对称非负矩阵分解的跨模态信息检索方法

针对跨模态信息检索的策略和核心问题,从提升检索性能的角度,分析了多视角对称非负矩阵分解方法用于跨模态检索的优势,提出了一种新的基于对称非负矩阵分解的跨模态检索框架。首先在Wikipedia、Pascal公开数据集上习得一致的子空间表示;然后基于该子空间,设计了一种实时样本在子空间中的投影方法。与典型相关分析、语义匹配和偏最小二乘回归相比,在MAP和PR曲线这2个指标上,本文所提出的方法具有最优的性能表现,表明了该方法应用于跨模态信息检索任务中的潜力。     

基于表示学习的跨模态检索方法研究进展

多模态数据的急剧增长带来了跨模态检索的应用需求,促进了对跨模态检索方法的研究。本文追溯该领域最新进展,跟踪并深入研究国内外基于表示学习的跨模态检索方法,对跨模态检索问题进行定义并梳理该领域常用技术方法、主流模型、常用数据集、评价方法和面临的主要挑战。主要从统计相关分析、图正则化和度量学习3方面介绍基于表示学习跨模态检索方法,并分析其优缺点。为了分析上述方法的优劣性,实验分别在4个数据集上复现14种方法进行对比评价。实验结果表明：基于统计相关分析方法训练效率较高且易于实施;基于图正则化方法通过挖掘模态内和模态间的相似性,实现语义关联;基于度量学习方法是在公共子空间中尽可能保留数据语义相似/不相似的信息。本文介绍基于表示学习的跨模态检索方法的研究现状,为跨模态检索方法研究提供参考。     

基于表示学习的跨模态检索方法研究进展

多模态数据的急剧增长带来了跨模态检索的应用需求,促进了对跨模态检索方法的研究。本文追溯该领域最新进展,跟踪并深入研究国内外基于表示学习的跨模态检索方法,对跨模态检索问题进行定义并梳理该领域常用技术方法、主流模型、常用数据集、评价方法和面临的主要挑战。主要从统计相关分析、图正则化和度量学习3方面介绍基于表示学习跨模态检索方法,并分析其优缺点。为了分析上述方法的优劣性,实验分别在4个数据集上复现14种方法进行对比评价。实验结果表明：基于统计相关分析方法训练效率较高且易于实施;基于图正则化方法通过挖掘模态内和模态间的相似性,实现语义关联;基于度量学习方法是在公共子空间中尽可能保留数据语义相似/不相似的信息。本文介绍基于表示学习的跨模态检索方法的研究现状,为跨模态检索方法研究提供参考。     

公共空间共享参数的跨模态检索研究

针对跨模态检索中不同模态数据的数据结构和特性存在较大差异的问题，提出了基于公共空间方法的共享参数跨模态检索(SPCMR)方法：首先，利用卷积神经网络提取图像和文本的高级语义特征；然后，接入全连接层将其映射到公共空间并共享2个特征子网的部分隐层权重；最后，连接线性分类器并与标签信息进行判别训练。在公开数据集上采用平均精度(mAP)作为评价指标进行实验。结果表明：SPCMR方法能充分利用跨模态间的语义信息，有效提升图文检索的精度。     

基于改进损失函数的实体类别平衡优化算法

针对自然语言处理(Natural Language Processing, NLP)任务中,命名实体识别(Named Entity Recognition, NER)存在实体类别样本不平衡的问题,提出一种基于改进损失函数的实体类别平衡优化算法。新算法是对神经网络模型中的损失函数进行优化处理,通过分析命名实体识别数据特点,在平衡正负样本的基础上引入平滑系数和权重系数,保证模型在梯度传递的过程更关注于实体类别较少和带有嵌套的难识别样本,同时减少对样本数较多的、易识别样本的关注。利用公共数据集ACE05、MSRA进行实验对比,结果表明改进的损失函数在数据集ACE05和MSRA上,F1值分别提高1.53%和0.91%。上述结果表明改进的损失函数能够较好地缓解实体中正负难易样本的不平衡。     

单层网壳结构非线性稳定的随机缺陷模态法研究

采用随机缺陷模态法对凯威特–联方型单层网壳进行非线性稳定分析,研究了随机缺陷空间样本数量、矢跨比等因素对网壳结构稳定极限荷载的影响,并将随机缺陷模态法计算结果与一致缺陷模态法计算结果进行了对比.结果表明:采用概率统计方法对该网壳进行稳定分析时,随机缺陷样本数量应不小于90;对于矢跨比较大的单层网壳结构,采用一致缺陷模态法计算稳定临界荷载的概率可靠度较低,需要采用随机缺陷模态法加以验证;当网壳结构的矢跨比小于1/6时,两种初始缺陷分布方法计算出的稳定承载力较为接近.     

基于特征增强的对抗哈希跨模态检索

在跨模态检索任务中，哈希方法由于其检索效率高效、储存成本低廉而被广泛应用。但是，这些方法很少关注如何去弥补主体网络将高维特征转换为哈希码的过程中所丢失的特征信息。为解决这些问题，本文提出了一种特征增强对抗跨模态哈希（Feature Boosting Adversarial Hashing for Cross-Modal，FBAH）方法。FBAH方法将子空间学习与对抗学习相结合，来减少不同模态数据的差异性。另外，构造一种类残差模块，它可以将筛选出具有区别性的特征绕过主体网络直接输入到哈希空间进行特征增强。这样，生成的哈希码能够具有更多的原始特征信息。最后，通过带有分支网络的线性分类器在标签空间进行两种方式的预测，并最小化与真实标签的差距来保证语义的不变性。本文选择两个跨模态检索任务中常用的大型数据集进行大量实验，结果表明FBAH方法的性能优于目前7种较为先进的跨模态哈希方法。     

一种标签嵌入子空间的跨模态离散哈希学习

针对有监督的跨模态哈希检索存在计算成本高及准确度不高的问题,提出了一种标签嵌入子空间的跨模态离散哈希学习方法,将数据信息和标签信息同时嵌入到公共子空间中,通过以带标签信息的语义特征逼近公共子空间、并生成低松弛的离散哈希码,降低了计算成本,快速生成了具有丰富语义的公共子空间.经3个标准数据集对比实验,结果表明其准确率均优于被比较的方法.     

CSMCCVA：Framework of cross-modal semantic mapping based on cognitive computing of visual and auditory sensations

Cross-modal semantic mapping and cross-media retrieval are key problems of the multimedia search engine.This study analyzes the hierarchy, the functionality, and the structure in the visual and auditory sensations of cognitive system, and establishes a brain-like cross-modal semantic map-ping framework based on cognitive computing of visual and auditory sensations.The mechanism of visual-auditory multisensory integration, selective attention in thalamo-cortical, emotional control in limbic system and the memory-enhancing in hippocampal were considered in the framework.Then, the algorithms of cross-modal semantic mapping were given.Experimental results show that the framework can be effectively applied to the cross-modal semantic mapping, and also provides an im-portant significance for brain-like computing of non-von Neumann structure.     

基于多模态融合技术的用户画像方法

针对当前用户画像工作中各模态信息不能被充分利用的问题, 提出一种跨模态学习思想, 设计一种基于多模态融合的用户画像模型。首先利用 Stacking集成方法, 融合多种跨模态学习联合表示网络, 对相应的模型组合进行学习, 然后引入注意力机制, 使得模型能够学习不同模态的表示对预测结果的贡献差异性。改进后的模型具有精心设计的网络结构和目标函数, 能够生成一个由特征级融合和决策级融合组成的联合特征表示, 从而可以合并不同模态的相关特征。在真实数据集上的实验结果表明, 所提模型优于当前最好的基线方法。     

一种用于图像检索的幂归一化深度卷积特征加权聚合方法

针对图像检索中基于部位的加权聚合(PWA)方法存在的视觉突发问题,提出一种幂归一化的深度卷积特征加权聚合方法。首先简化了原PWA方法中用于确定空间权重的归一化和幂变换操作,直接将所选择的有区分性的通道特征图作为空间权重矩阵,然后引入新的幂变换函数并选取合适的参数对加权聚合后的通道响应进行归一化处理,最后通过PCA降维和白化处理形成图像的全局特征表示形式。在4个标准数据库上的图像检索实验结果表明,该方法能有效调节PWA聚合特征响应的突发度并提高图像检索的准确率。     

基于多模态共享网络的自监督语音-人脸跨模态关联学习方法

现有的语音-人脸跨模态关联学习方法在语义关联和监督信息方面仍然面临挑战,尚未充分考虑语音与人脸之间的语义信息交互。为解决这些问题,提出一种基于多模态共享网络的自监督关联学习方法。首先,将语音和人脸模态的特征映射到单位球面,构建一个公共的特征空间;接着,通过多模态共享网络的残差块来挖掘复杂的非线性数据关系,并利用其中权重共享的全连接层来增强语音与人脸特征向量之间的关联性;最后,使用K均值聚类算法生成的伪标签作为监督信号来指导度量学习,从而完成4种跨模态关联学习任务。实验结果表明,本文提出的方法在语音-人脸跨模态验证、匹配和检索任务上均取得了良好的效果,多项评价指标相较于现有基线方法提升1%～4%的准确率。     

一种基于Rough Set的汉语检索算法

传统的语料检索的不足主要为：（1）无法模糊匹配检索;（2）存在跨行词问题,无法保证查全率;（3）难以对检索结果缩检和扩检．为了克服这些不足,该文提出了基于RoughSet批处理汉语语料的词句．根据RoughSet和汉语语料的特征,给出了模糊检索算法（AMTRT）．通过与单汉字索引检索算法比较验证了AMTRT的有效性．AMTRT在实现各种模糊匹配,节省空间开销且不降低精确匹配查准率基础上,将词句的查全率提高近50％．     

基于多分支树结构的电力缴费终端数据完整性验证方案

针对电力缴费终端存在管理人员操作不当和黑客攻击等行为导致数据损坏和丢失等问题,设计了一种基于多分支哈希树结构的数据完整性防护验证方法。该方法利用基于双线性映射的签名机制和多分支树结构的特性,通过使用随机掩码技术对分块的数据进行随机化处理,以确保数据的隐私性,采用多分支树形结构实现对数据块的快速认证和快速签名,并利用哈希树节点的哈希值验证数据块的完整性,引入验证服务器对数据分块进行批量验证和证据计算,并通过设置备份服务器完成对存储数据的备份处理。实验结果表明,该方案可以有效提高对存储数据完整性的批量检测效率,并降低终端和主服务器的计算开销,同时具有较小的计算开销和较高的安全性。