基于Tag-rank和CCA的在线商品跨媒体检索研究

在线商品跨媒体检索是电子商务领域的研究热点,增强特征判别性以改善检索性能是其核心问题。引入Tag-rank模型计算单词的绝对排序和相对排序权重,以准确刻画单词在文本中出现位置的统计特性,抑制噪声干扰并提升关键词权重,从而增强文本特征判别性,最终改善跨媒体检索性能。实验表明：在文本检索图像中,相对排序类模型和绝对排序类模型检索性能平均提升6.58%和4.99%。在图像检索文本中,若合理选取图像特征检索性能也有提升。所设计的后融合策略能进一步改善检索性能。     

基于词序列拼积木模型的图像句子标注研究

用句子标注图像,建立图像与文本间的跨媒体关联,以提升信息检索准确率,改善用户检索交互体验.利用KDES模型抽取图像特征,在多核学习模型中融合出MK-KDES特征,准确刻画图像视觉特性;设计自然语言生成模型:词序列拼积木,评估单词与图像内容的相关性,优选单词,并根据单词间的语义相关性与句法模式约束,将单词组合成N元词序列;把N元词序列输入模板生成句子.结果表明:MK-KDES-1特征聚焦于图像的纹理及形状视觉特性,它是改善句子BLEU-1评分的关键;而单词间的语义相关性与句法模式约束是提升句子BLEU-2评分的重要前提.      

基于跨模态语义增强的图像检索方法

网络图像的文本和图像之间有较强的相关性,传统基于内容的图像检索方法往往忽视文本和图像的相关性,而跨模态检索中,文本和图像的底层特征独立获得,并未有效利用两模态之间的语义关联性,基于此,本文提出了一种跨模态语义增强的图像检索方法(CSR),协同约束文本底层特征的线性判别分析项及两模态的典型相关分析项,使得文本语义增强的同时其强语义性通过协同约束迁移到图像特征中,最后通过多类逻辑回归获得文本和图像语义特征,用文本语义特征正则化图像语义特征,进一步提高图像特征的语义判别性。在Wikipedia和Pascal Sentence数据集上进行实验,显示本文方法能有效提高图像检索的平均查准率。     

基于深度典型相关性分析的跨媒体语义检索

基于典型相关性分析的跨媒体检索是一种将不同媒体特征通过相关性分析映射到同构的最大相关子空间,并在子空间中完成跨媒体数据间的相似性比较和检索的方法.典型相关性分析(canonical correlation analysis,CCA)是一种线性模型,并不能很好地挖掘跨媒体数据中的复杂相关关系.为此针对深度典型相关性分析(deep CCA,DCCA)的结构进行改进,使用隐含狄利克雷分布(latent Dirichlet allocation,LDA)发现文本语义信息并学习语义映射,提出了跨媒体深度相关性学习模型(cross-media correlation learning with deep canonical correlation analysis,CMC-DCCA)以及跨媒体语义相关性检索方法(cross-media semantic correlation retrieval,CMSCR).在维基百科文本图像数据集上的实验证明,CMC-DCCA模型能够较好地挖掘跨媒体数据中的复杂相关关系,CMSCR在跨媒体检索中具有较好的性能.     

基于单词领域特征敏感的多领域神经机器翻译

鉴于现有基于单词的领域特征学习方法在领域识别上的精度较低,为提高领域判别和提供准确的翻译,提出一种单词级别的领域特征敏感学习机制,包括两方面:1)编码器端的上下文特征编码,为了扩展单词级别的领域特征学习范围,引入卷积神经网络,并行提取不同大小窗口的词串作为单词的上下文特征;2)强化的领域特征学习,设计基于多层感知机的领域判别器模块,增强从单词上下文特征中获取更准确领域比例的学习能力,提升单词的领域判别准确率。在多领域UM-Corpus英–汉和OPUS英–法翻译任务中的实验结果显示,所提方法平均BLEU值分别超过强基线模型0.82和1.06,单词的领域判别准确率比基线模型分别提升10.07%和18.06%。对实验结果的进一步分析表明,所提翻译模型性能的提升得益于所提出的单词领域特征敏感的学习机制。     

基于自监督学习的文本行人检索

基于文本的行人检索任务旨在以文本为查询在大规模数据库中检索出目标行人的图像，在处理社会公共安全问题中具有较高的实用价值．不同于常规的跨模态检索任务，该任务中所有的类别都是行人，不同行人之间的外观差异较小，难以辨别；此外由于拍摄条件的限制图像质量通常较差，因此如何有效地提取更鲁棒、更具有判别性的视觉特征是该任务的一项重要挑战．为了应对这一挑战，设计了一种基于自监督学习的文本行人检索算法，以多任务学习的形式将自监督学习与基于文本的行人检索任务相结合，对两种任务同时进行训练，共享模型参数．其中，自监督任务作为辅助任务，旨在为行人检索任务学习到更鲁棒、更具有判别性的视觉特征．具体来说，首先提取视觉和文本特征，并以图像修复作为自监督任务，旨在学习更丰富的语义信息，且对遮挡数据具有更好的鲁棒性；基于行人图像的特殊性，进一步设计了一种镜像翻转预测任务，通过训练网络预测图像是否经过了镜像翻转学习具有判别性的细节信息，以帮助行人检索任务更好地区分难分样本．在公开数据集上进行的大量实验证明了该算法的先进性和有效性，将行人检索的Top-1准确率提升了2.77%，并且实验结果显示两种自监督任务存在一定的互补性...     

双路特征提取与度量的少样本细粒度图像分类方法

少样本学习旨在利用少量数据训练深度学习模型,并将其快速泛化到新任务中．在这一领域,少样本细粒度图像分类是最具有挑战性的任务之一,原因在于细粒度图像具有类内方差大、类间方差小的特点．为了解决这一问题,本文提出了一种基于距离与方向双重度量的神经网络,分别利用欧氏距离衡量特征间的绝对距离差异和余弦相似度衡量特征间的相对方向差异,以提升度量信息多样性和样本特征的判别性．同时,为了与当前先进的少样本细粒度图像分类方法对比,将特征提取器在不增加深度的前提下设置为双路形式,以适应不同度量方法对嵌入特征信息的需要．此外,设计了彼此分离的通道和空间注意力机制,分别通过自适应通道注意力和空间信息交叉注意力对不同阶段的提取特征进行增强,从而挖掘重要分类信息．最后,通过双相似度模块分别计算两种差异信息的度量结果,并选取一定权重融合得到最终的相似度分数,实现绝对差异与相对差异在度量空间中的协调补充．在4个主流细粒度图像分类数据集上进行实验对比与分析,最终结果表明了所提方法在相同设置下最多实现了7.0%左右的分类准确率提升．     

一种判别极端学习的相关反馈图像检索方法

针对基于支持向量机(SVM)的相关反馈图像检索方法计算复杂度高、缺乏判别能力以及图像特征提取不充分的问题,提出一种基于判别极端学习的相关反馈图像检索(DELM)方法。在图像特征提取阶段,通过连接图像的颜色、纹理及边缘直方图实现图像的特征提取,解决了以往多数检索方法仅使用单一图像特征造成的图像描述不充分的问题;在检索的反馈阶段,将最大边际准则(MMC)引入到极端学习机中,通过分析极端学习机隐层空间的类内离散度和类间离散度得到包含判别信息的分类模型,并给出降维和不降维两种形式,以提高相关反馈图像检索系统的检索能力。DELM方法能有效应用于基于内容的图像检索中,并显著提高图像检索的性能。实验结果表明,DELM方法和采用SVM、ELM和最小类别方差ELM的方法相比,在Corel-1K数据集下检索平均准确率分别提高了11.06%、5.28%和6.40%。     

基于特征有序对量化表示的文本分类方法

文本分类技术应尽可能包含语言中各种各样的约束信息,但目前常用的文本表示方法却忽视组成文本的语言特征顺序。该文采用基于聚类的方法实现语言特征有序对的快速量化表示,并由此导出新的基于特征有序对的文本表示方法以揭示文本中所呈现出的语言特征顺序信息。运用向量空间质心法,分别依据词对和词类对表示文本并在3个数据集上进行实验。结果表明性能优于基于单纯词或单纯词类的文本表示方法,宏平均F1值绝对提高分别为3%~4%和5%~7%(相对改善分别是4%~5%和8%~10%)。由此说明特征顺序信息对提升文本分类性能具有重要作用。     

深度卷积神经网络的判别性人脸识别算法

针对Softmax(柔性最大值)损失对特征只有可分性的不足,提出一种基于深度卷积神经网络的判别性人脸识别算法.该算法首先根据Softmax损失特征分布,在特征和权重向量间施加一个类内余弦相似性损失,使类内更加紧凑,类间尽可能分离;然后在Softmax损失基础上通过归一化特征来更好地模拟低质量人脸图像,并通过归一化权重来减轻类别不平衡,使与测试时的余弦相似性度量一致;最后联合归一化的Softmax损失和类内余弦相似性损失在预训练模型上进行微调.该算法在人脸识别基准测试集LFW(户外人脸标记)和YTF(You Tube人脸数据库)上分别取得了98.72%和93.38%的识别率,实验结果表明:在大规模人脸身份识别中,该算法提高了特征的判别性,增强了模型的泛化能力,能有效提高人脸识别率.     

基于四元组完备损失的智能图像检索方法

在图像检索领域,将三元组排序损失应用于深度神经网络权重的更新,可以使生成的图像表示保存更多的语义特征,但是三元组排序损失没有全面的考虑不同类别图像之间的关联。为此提出了一种四元组完备损失,此损失函数将图像类间相似性小于类内相似性的特点融入到损失函数的构建中。与三元组排序损失函数相比,此函数可以更全面地体现查询图像与同类和不同图像之间的相似性关系。进一步,本文还提出了一种有效的基于四元组的深度网络结构,可用于图像的哈希检索。实验结果表明,提出的方法能够在CIFAR-10、SVHN和NUS-WIDE图像库中取得良好的检索性能。     

公共空间共享参数的跨模态检索研究

针对跨模态检索中不同模态数据的数据结构和特性存在较大差异的问题,提出了基于公共空间方法的共享参数跨模态检索(SPCMR)方法：首先,利用卷积神经网络提取图像和文本的高级语义特征;然后,接入全连接层将其映射到公共空间并共享2个特征子网的部分隐层权重;最后,连接线性分类器并与标签信息进行判别训练。在公开数据集上采用平均精度(mAP)作为评价指标进行实验。结果表明：SPCMR方法能充分利用跨模态间的语义信息,有效提升图文检索的精度。     

基于有序视觉词袋模型的图像相似性衡量

针对当前广泛应用的BOVW模型存在精度不足问题,提出一种基于有序视觉词袋模型的相似性衡量方法.首先,对经过K-mean聚类得到的高维视觉单词,采用LLE(locally linear embedding)流形学习算法降至一维,对一维数据进行排序,并以此顺序对高维单词排序获得有序词袋库;其次,对样本图像的所有局部特征,以该特征在词袋中对应的有序单词索引号构建图像局部特征谱;最后,对训练样本和测试样本的局部特征谱作差求得残差,并以残差的1-范数衡量图像的相似性.KITTI数据集相似性衡量实验表明,有序BOVW模型相似性识别率明显高于无序BOVW模型.     

改进型查询自适应特征融合图像检索方法

为改进图像检索性能,提出一种改进型查询自适应特征融合图像检索方法.通过定义最佳和最差特征检索分数曲线,比较归一化后的特征检索分数曲线与2条标准分数曲线的相似程度,并计算权重,再利用该权重对各特征进行融合,同时采用改进的图像-类相似度准则和引入新的卷积神经网络特征进行图像检索.该方法在Ukbench和Holidays检索数据集和VIPeR行人再识别数据集上进行了算法验证和测试,结果表明,新算法提高了检索性能,能得到更好的图像检索结果.     

基于邻域相似度的行人重识别重排序算法

在行人重识别模型中引入邻域数据关系,提出了一种基于图像邻域相似度的重排序方法。首先扩充图像的邻域数据,然后计算图像对不同邻域数据的相似度权重,利用该权重得到代表邻域相似度的分布距离,再用分布距离与原始距离计算得出最终距离作为重排序评判标准。使用CCL,Transreid, Torchreid等行人重识别模型在Market-1501,DukeMTMC-reID数据集上进行实验,结果表明本文方法对基准模型的精度提升均超过该领域的主流算法,证实了本文方法的有效性和泛化性。该重排序方法不需要任何人工交互和额外数据,适用于大规模数据集,可以有效应用于图像检索、目标跟踪等需要考虑相似度关系的任务中。     

基于小波压缩和用户反馈的图像检索系统

为提高图像检索系统的准确率和有效率，本文提出一种基于小波压缩和用户反馈的图像检索方案。本系统直接对小波压缩图像进行分析，提取压缩域低频图像的颜色、纹理、形状特征，然后通过判别函数判别图像的相似性。利用检索结果的聚类性，以聚类用户反馈来提高检索系统的准确率和有效率。实验结果表明，利用颜色和纹理特征检索的效果较好，而利用形状特征检索的结果一般。     

基于文本概念化的观点检索方法

观点检索是自然语言处理领域中的一个热点研究课题。现有的观点检索模型在检索过程中往往无法根据上下文将词汇进行知识、概念层面的抽象,这种稀疏空间下的检索方式影响了观点检索模型的性能。文章提出一种基于文本概念化的观点检索方法,通过知识图谱计算概念空间下不同文本之间的相似度以改善特征空间的稀疏问题。这一方法首先利用知识图谱分别将用户查询和文本概念化到概念空间,同时在概念空间计算查询与文本的主题相似度,接着基于词典计算文档的观点得分,最后将相关度得分与文本的观点得分二次组合成相关观点得分并用于观点检索。实验表明,在两个数据集上,本文方法相比基准工作在MAP评价指标上分别提升了4.2%和12.6%。     

基于BERT与多通道卷积神经网络的细粒度情感分类

为了分析突发事件期间网络舆论的情感倾向,以更有效地调节人们的情绪,维护社会稳定。本文提出了一种融合BERT模型和多通道卷积神经网络的深度学习方法用于细粒度情感分类,以获取更加丰富的文本语义特征信息。通过BERT 对输入的文本进行编码,以增强文本的语义特征表示,再通过具有多个不同大小的卷积核的并行卷积层来学习文本特征,捕获文本的深层次特征,提升模型在文本分类的性能。对比实验表明,该模型在准确性、召回率和F1值方面均优于传统的情感分类模型,并能显著改善细粒度情感分类的性能。除此之外,本文还探究了表情符号对细粒度情感分类模型的影响,实验结果表明表情符号转换成文字后可以增强文本的情感特征提取能力,提升模型分类性能。     

基于正交投影的BiLSTM-CNN情感特征抽取方法

基于正交投影的BiLSTM-CNN的情感特征抽取方法旨在从文本中获取带权重的中性词向量,得到具有更高区分度的情感特征,为文本情感分类提供有力的技术支持.传统的深度学习模型会忽略关键局部上下文信息中的特殊意义词,导致获取的情感特征不够丰富.针对这一问题,本文提出一种基于正交投影的BiLSTM-CNN情感特征抽取方法.首先,将中性词向量投影到情感极性词的正交空间中,得到加权中性词向量,同时通过CNN深度学习模型抽取文本关键语义;然后,利用BiLSTM-Attention模型和带权重的中性词向量,从提取出的关键语义中学习可增强句子情感的语义特征,使文本在情感分类时更具判别性.实验结果表明本文所提出的情感特征抽取方法可以获取更完整的情感特征,从而显著提高文本情感分类的准确率.     

基于相对编辑相似度的近似重复视频检索和定位

为有效对近似重复视频进行检索和定位,提出了一种基于相对编辑相似度的检索和定位算法.算法包括基于局部特征的视频编码和基于相对编辑相似度的在线检索和定位两部分.基于局部特征的视频编码首先提取数据库视频的关键帧,然后在关键帧中提取Root-SIFT特征描述符并应用层次K-Means聚类算法构建词典,之后将关键帧量化至词袋模型的单词并编码.基于相对编辑相似度的在线检索和定位首先对查询视频进行编码,然后应用相对编辑相似度算法,筛选近似重复视频并对近似重复片段进行定位.实验结果表明,LD算法比Yeh等提出的算法在平均F₁评价准则上效果要高8.55%,并且NDCR降低为原来的29%,效果提升明显.