基于非欧空间差异性度量的图像标注

社会媒体网站上图像数量的飞速发展,极大地激发了人们研究基于标注的图像语义检索的热情.然而,由于图像低层特征和高层语义间鸿沟的存在,导致许多基于标注的图像语义检索技术不能达到令人满意的效果.为此,文中提出一种新颖的图像标注方法——基于最大后验概率的高阶统计标注法.该方法首先使用高阶统计法计算图像的三阶差异性特征,以达到更好描述图像间相关性的目的;然后,使用基于高斯混合模型和差异性增量扩散的最大后验概率算法,来估计每个标签与图像内容的相关值;最后,通过Flick图像数据库上的实验,来验证文中所提算法的有效性.     

一种改进图像标注的新方法

社会媒体共享网站允许用户上传图片的同时,也鼓励用户对上传图片内容加以标注.不过要对网站中所有图片进行内容标注,将是一项非常费时的任务;而如对同一类型图片统一进行标注则会大大降低内容标注的准确性.因此,文中提出了一个内容标注的新方法.首先,采用仿射传播聚类算法,从同一类型图片中获取一组具有代表性的图像;然后,利用图像内容的视觉信息和语义信息,对能够表示代表性图像内容标签的相关值进行估计,并依据随机游走算法改进标签的相关值;最后,通过半监督学习方法自动为同一类型的其它图片分配标签.基于Flickr图片集的实验结果表明所提方案的有效性.     

融合空间相关性和局部特征转换器的遮挡行人重识别

遮挡的行人重识别是计算机视觉中的一个挑战性领域,它面临着特征表示效率低下和识别准确率低等问题。卷积神经网络方法更注重局部特征的提取,因此难以提取被遮挡行人的特征,效果也不尽如人意。最近,视觉转换器被引入到重识别领域,并通过构建图像块序列之间的全局特征联系取得了最先进的结果。然而,视觉转换器在提取局部特征方面的性能不如卷积神经网络。因此,设计了一个基于空间相关性和局部特征序列的行人重识别网络。所提出的网络利用3个模块来提高视觉转换器的效率：（1）图像块全维度增强模块。设计了一个与图像块序列大小相同的可学习张量,该张量是全维的,并可完全嵌入到图像块序列中,用以丰富训练样本的多样性;（2）图像块序列融合重构模块。提取已经获得的图像块序列中不太重要的部分,并将它们与原始的图像块序列融合以重构原始图像块序列;（3）空间切割模块。从空间方向上对图像块序列进行切片和分组,并引入身份损失,可以有效提高图像块序列的短程相关性。对遮挡和整体重识别数据集的实验结果表明,所提网络的性能优于其他先进方法。     

基于深度学习的图像标注

随着个人计算机和互联网上数字图像数量的快速增长,用户越来越多借助于"语义概念"来检索感兴趣图像。然而由于图像底层特征刻画和高层语义概念描述间存在很大的差异,使得现有图像标注算法性能不甚理想。因此,文中提出基于多模态深度学习的图像标注框架,旨在应用卷积神经网络技术优化深层神经网络的参数,提高标注精度。具体地,文中提出的多模态深度学习标注框架利用两阶段学习,优化神经网络参数:(1)利用深度神经网络,优化各单模态参数;(2)利用相关性,实现多模态的最优组合。公共数据集的实验表明,该方案可以有效地提高图像标注的性能。     

基于对抗学习的开集域自适应分类

通过域自适应方法,利用标记的源域样本实现未标记目标域样本的识别,目前逐渐成为机器视觉领域一个新的研究热点.与传统的闭集域自适应问题不同,开集域自适应中的目标域包含源域中未出现的类别,因此该问题的研究更为贴近实际场景,但同时也增加了识别难度.文中提出了一种基于反向传播开集域自适应的方法,该方法利用对抗思想实现了域不变特征...     

基于图卷积的跨模态行人重识别方法

近年来,红外-可见光的行人重识别在视频监控、网络刑侦等领域应用广泛,这项任务的目的是实现RGB摄像机和红外摄像机下出现的同一行人的匹配。由于行人图像在RGB模态和红外模态下存在较大差异,因而使得该项任务具有一定的挑战性。文中提出一种基于图卷积的跨模态行人重识别方法,同时提出一种新颖的异心三元组损失函数,用于更好表征行人特征。该方法首先对水平切割方法进行改进,在此基数上以局部特征和全局特征为节点构建图卷积神经网络,并利用构建的图卷积神经网络学习图像结构化特征;然后,引入了一种全新的异心三元组损失函数,并结合Softmax损失函数进一步提高模型性能。两个公开数据集上进行的对比实验、消融实验以及可视化实验结果验证了文中所提方法的卓越性能。     

基于特征学习的双路径红外-可见光行人重识别算法

由于拍摄视角、行人姿态的变化以及不同的相机光谱造成的额外跨模态差异,RGB图像和红外图像之间存在着明显的差异,提取有效的模态共享特征是红外-可见光行人重识别中的难点。本研究提出一种双路径学习算法来识别特征,利用改进的BNNeck模块来提取RGB和红外图像的特征信息,改善算法的识别性能。该算法首先将注意力机制引入双路径特征学习网络,获取RGB图像在空间维度和通道维度上的特征信息,实现红外特征信息匹配;然后,将BNNeck模块引入至跨模态行人重识别算法,减少模态特征信息差异,加快算法收敛速度;最后,在异质中心损失函数和交叉熵损失函数的基础上,引入跨模态下行人身份损失函数,提高行人识别的准确性。SYSU-MM01和RegDB数据集的实验结果表明,相对于目前大多数已有算法,所提算法具有更好的泛化能力和鲁棒性,Rank-1/mAP分别达到59.39%/85.44%和57.81%/73.19%,比最新算法分别提高2.43%/2.86%和2.44%/1.19%。     

基于半监督学习模型的自动图片标注研究

基于关键字的自动图片标注方法,可以更为有效地实现海量图片的管理和检索.然而由于"语义鸿沟"问题,传统的自动图片标注效果往往并不理想.因此,对不精确的标注结果进行优化就显得尤为重要.文中提出一种新颖的图片标注方法.首先,利用基于相关性模型的递进算法得到图片的初始标注结果.然后,利用一种半监督的学习模型,也即随机游动与重新启动算法对得到的初始标注结果进行优化,并选择一定数量的顶端标注作为图片最终的标注.通过在通用Corel图片数据库的实验表明,文中提出的方案可以有效地提高图片自动标注的性能.     

基于双重模态距离约束的红外-可见光行人重识别

近年来,红外-可见光的行人重识别在视频监控、网络刑侦等领域应用广泛,这项任务的目的是匹配RGB摄像机和红外摄像机拍摄的同一行人。由于行人图像在RGB模态和红外模态下存在较大的差异,使得该任务具有一定的挑战性。文中提出一种混合交叉的双路径特征学习网络,同时提出一种新颖的整体约束和部分三元组-中心损失函数,用于更好表征行人的局部特征。该网络模型首先提取不同模态下的行人特征,然后将提取的特征水平切割为p个部件后映射到公共空间,最后通过模态特定身份损失、交叉熵损失以及提出的损失函数共同协作,提升整体性能。提出的损失函数首先利用整体约束,用于缩小不同模态的差异;然后,通过融合三元组损失和中心损失,用以扩大同一模态内不同类别间的差异,从而实现同一类别样本更接近其中心,同时远离其它类别中心。实验表明,该方法在SYSU-MM01和RegDB两个公共数据集上的性能优于其他方法。