精细拓扑结构表示与深度特征融合在多目标图像检索中的应用

空间信息表示是增强图像特征表达性能的重要手段,通过空间关系建模与深度学习方法融合可有效提升深度特征的语义特性,从而提升图像检索性能.首先,针对复杂图像的空间关系表示提出了一种新的精细拓扑结构表示模型,该模型不仅具有完备的拓扑描述性能,还提供了两种拓扑不变量的推理算法,使得拓扑不变量可以由表示模型直接推导而不需要繁复的几何计算;其次,基于精细拓扑结构表示模型,提出了有效的拓扑结构相似性度量方法,为空间关系特征表达奠定了基础;最后,进一步结合卷积神经网络,提出融合复杂空间关系特征与深度特征的多目标图像检索方法.实验结果表明,所提出的拓扑结构表示模型在空间查询中具有良好的性能;所提出的图像检索框架取得优于现有方法的精度,并能够有效地结合手工特征与深度特征各自的优势,为提升深度学习方法的可解释性创造了有利条件.     

基于多尺度深度卷积特征的图像检索

为了检索图像中不同位置和不同大小的感兴趣目标,提出一种基于多尺度深度卷积特征的图像检索方法.首先利用卷积神经网络构造一个深度学习框架,利用随机梯度下降和后向传播算法训练深度学习模型;其次利用训练得到的模型提取图像在不同尺度下的卷积特征,对不同尺度下的卷积特征进行PCA降维,研究降维后的检索性能;最后为了提高深度特征对图像的刻画能力,对不同尺度下降维后的卷积特征进行特征融合.大量的实验表明本文所提算法对图像检索是有效的.     

基于深度哈希学习的商标图像检索研究

大规模图像检索具有广泛的应用前景,其核心在于图像特征提取和高效相似性计算.深度学习技术在图像特征提取具有较强的特征表示能力,同时哈希技术在高维数据近似计算方面具有较好的性能.目前,基于哈希学习的技术在大规模图像检索及相似性查询方面获得了广泛的研究和应用.本文结合卷积神经网络和哈希技术实现商标图像检索,通过深度学习技术提取商标图像特征,使用位哈希对数据对象编码,在海明空间折中查询的质量和效率.基于卷积神经网络模型,提出了深度哈希算法,并研究了损失函数和该数据集上的优化器选择,通过获取符合哈希编码规范的位编码实现对在二元空间对商标图像数据快速检索,该方法分为离线深度哈希学习和在线查询两个阶段.在真实商标数据集上进行实验,实验结果表明,本文方法能够在商标数据集上获得较高质量的位编码,并具有较高的检索精确度和在线查询效率.     

基于多核学习的GIST全局和SIFT局部特征融合遥感图像检索方法

针对遥感图像快速准确的检索问题,利用多核学习(Multiple Kernel Learning,MKL)算法融合全局GIST(Generalized Search Tree)特征和局部SIFT(Scale-invariant feature transform)特征开展遥感影像的检索方法研究。首先提取图像的全局GIST特征,然后通过SIFT特征的改进方法提取局部SIFT特征,利用特征融合的方法得到单一的特征向量,再通过多核学习的算法得到最优解,返回最终的检索结果。在遥感图像数据集上的检索实验表明,对比单一特征的图像检索算法,该方法能够提高检索准确率。     

基于深度学习与狮群SVM算法的遥感场景分类

针对高分辨遥感图像样本量小,以及传统优化支持向量机(SVM)算法易陷入局部最优解、寻优速度慢等问题,提出一种基于深度迁移学习与狮群优化SVM(LSO-SVM)算法对遥感图像场景进行分类.首先,通过自适应对比度增强图像后利用颜色聚合向量提取图像颜色特征;其次,利用3种预训练网络分别提取图像的迁移学习深度特征;最后,将手工提取的图像特征与用3种预训练网络获取的特征使用系列特征融合方法进行融合,并将其输入LSO-SVM进行图像场景分类.结果表明,该算法解决了小样本情况下深度学习较难训练及传统优化SVM算法易陷入局部最优解、寻优速度慢的问题.在80%的训练条件下,数据集UCM Land-Use和RSSCN7的分类精度分别达到99.52%和98.57%.     

基于双层视觉及多尺度注意力融合的图像去雾

针对现有去雾算法缺乏对雾霾图像不同区域噪音浓度的关注以及远近景特征的区分问题,本文提出了一种新的生成对抗网络模型.模型中通过两个UNet3+网络实现全尺度的跳跃连接和深度监督,使用多尺度融合的方法结合不同尺度特征图中的高低级语义;而深度监督的加入可以更好地学习图像中的远近层次表示.同时在生成器结构中加入融合改进自注意力机制的多尺度金字塔特征融合模块,以便更好地保留特征图的多尺度结构信息,并且提高了对不同雾霾浓度区域的关注度.实验结果显示,在NTIRE 2020、NTIRE 2021、O-Haze数据集和Dense-Haze数据集上, 本文所提出的算法网络相比BPPNET等其他先进算法可以得到更好的视觉效果,在Dense-Haze数据集上,峰值信噪比和结构相似性指数分别达到24.82和0.769.     

融合多尺度注意力和双向LSTM的行人重识别

将深度学习应用于行人重识别领域,嵌入多尺度注意力融合模块至神经网络中进行多尺度特征提取和表示,可有效提升注意力机制对深度学习网络的识别性能。提出了一种基于SE block的多尺度通道注意力融合模块,并结合ResNet50卷积神经网络提取特征;然后通过双向LSTM网络进一步提取特征序列上下文信息,在提高模型对图像重要特征的提取能力的同时,降低对图像冗余特征的关注度;最后使用级联难采样三元组损失函数和交叉熵损失函数共同训练网络模型,使样本能够在高维特征空间中实现聚类,进一步提升模型识别准确性。所提出算法在Market1501数据集和CUHK03数据集分别进行实验,并在同等条件下和其他注意力模块算法进行比较。为进一步验证各模块作用,对算法进行消融实验,以验证各模块的有效性,实验结果表明,所提出方法可有效应用于行人重识别     

基于改进RFBNet算法的遥感图像目标检测

针对遥感图像中的小目标存在信息少、易受背景干扰、特征表达较弱等缺陷, 导致目前通用目标检测算法在对这类小目标进行检测时效果不理想的问题, 为提高对遥感图像中小目标的检测能力, 提出一种基于RFBNet的改进算法. 该算法以RFBNet为框架, 首先利用自校正卷积取代特征提取网络中的常规卷积, 以扩展感受野丰富输出, 进而强化对弱特征的提取能力; 然后设计多尺度特征融合模块, 丰富浅层特征图的抽象信息; 最后设计稠密预测模块, 提前在较浅层整合上下文信息, 使最后阶段的每层输出都含有丰富且联系紧密的多尺度特征信息. 将该算法在数据集UCAS_AOD和NWPU VHR-10上进行实验, 平均检测精度分别达83.4%和94.8%. 实验结果表明, 该算法有效提高了遥感图像中目标检测的精度, 且针对遥感图像中的小尺度目标检测问题改善明显.     

多尺度生成对抗网络的图像超分辨率算法

基于神经网络的图像超分辨率方法往往存在重建图像纹理结构模糊、缺失高频信息的问题。为了解决该问题,在SRGAN的基础上提出一种多尺度并联学习的生成对抗网络结构,其中生成模型由两个不同尺度的残差网络块组成,首先对提取的低分辨率图像通过两个子网络的多尺度特征学习,然后使用融合网络进行残差融合,融合不同尺度高频信息,最终生成高分辨图像。在Set5、Set14、BSD100基准数据集以及SpaceNet卫星图像数据集上的实验结果证明了该算法在恢复低分辨率图像的细节纹理信息具有良好效果。     

基于多通道自注意力网络的遥感图像场景分类

高分辨率遥感图像场景分类广泛应用于土地监测、环境保护及城市规划等诸多领域.现有场景分类方法不能很好地结合局部纹理信息和全局语义信息,同时各通道特征之间的关系没有得到有效挖掘.因此,本文提出了一种基于多通道自注意力网络的遥感图像场景分类模型.通过卷积网络提取遥感图像的多尺度特征;随后采用特征融合单元建立多尺度特征间的局部-全局关系,基于多头自注意力机制的Inter-Channel Transformer在通道维度对融合后的特征建模,并推导特征在通道间的关系,进一步扩大全局感受野,以捕捉其语义结构信息,有效提高了网络的分类精度.在数据集AISC和SIRI-WHU上,本文所提算法的整体分类准确率(OA)分别为95.70%和94.00%,超过了当前最新的研究算法,证明了所提模型在高分辨率遥感图像场景分类任务中的有效性.     

基于MRF与纹理特征的图像深度信息估计

提出了一种基于马尔科夫随机场(MRF)模型与多尺度纹理特征的单幅图像深度信息估计方法,该方法采用了Laws滤波器分别对图像的边缘、梯度、点进行滤波,捕捉二维场景图像中不同尺度的纹理能量以获得深度信息的特征.并根据纹理特征在不同尺度范围的不同值,计算出纹理线索与场景深度间的概率关系,在此基础上,构建MRF概率模型.MRF模型通过分析邻域系统和设计迭代准则很好地描述了纹理特征与场景深度之间的关系,最后通过迭代算法获得二维场景图像的深度信息.实验结果表明,该方法对场景深度信息的提取具有较好的效果,对于二维场景图像的场景结构、空间布局的约束较少,算法鲁棒性好.     

基于显著图的遥感图像多分辨区域生长分割算法

针对传统区域生长算法对噪声敏感和初始种子过度依赖的问题,本文提出一种基于显著图的遥感图像多分辨区域生长分割方法.该方法利用亮度、颜色、方向三个特征金字塔生成显著图,通过视觉选择注意模型自动选择注意区域作为种子区域.从能分辨种子区域的最大尺度开始区域生长,直到0尺度,从而分割出对遥感图像中感兴趣的区域.实验结果表明该方法能有效地从遥感图像中分割出视觉注意的区域,且有较快的速度.     

一种基于多尺度融合卷积神经网络的人群计数方法

人群间的相互遮挡和多变的空间尺度是基于单幅图像人群计数算法面临的主要挑战.近年来,基于深度学习的人群计数算法在该问题上取得了显著的成效,然而越来越深的网络结构给模型的训练和应用带来了困难.为了解决上述问题,提出了一种基于多尺度融合卷积神经网络(multi-scale fusion convolution neural ...     

联合加权聚合深度卷积特征的图像检索方法

针对图像特征提取不充分影响图像检索平均精确率的问题,提出了一种基于联合加权聚合深度卷积特征的图像检索方法。该方法将图像输入到预先训练好的卷积神经网络中,提取最后一个卷积层输出作为图像的深度卷积特征;通过计算空间权重矩阵突出图像的显著性区域并抑制背景噪声区域,然后根据通道方差最大原则选取相应的特征图计算出空间权重矩阵,将原始深度卷积特征加权聚合为列向量;通过区分性地对待不同通道的特征图,计算出通道权重向量与上述列向量点乘得到最终的全局特征向量。公开数据集上的实验结果表明,本文方法能够有效地增强图像特征的表达能力,在图像检索的平均精确率上优于其他同类方法,可以有效地应用到图像检索相关领域。     

基于卷积神经网络的多光谱与全色遥感图像融合算法

地理信息数据具有不同分辨率、不同精度、不同覆盖范围等多尺度特征,在应用中往往需要同时具备高光谱分辨率和高空间分辨率两种信息的图像.为提高多光谱图像和全色图像融合的准确性,提出了基于卷积神经网络的多光谱与全色遥感图像融合算法.首先,对训练集内图像进行预处理,构建适用于本算法的图像数据集;然后,拓展卷积神经网络卷积层,提高...     

基于边缘切线流场的多尺度结构张量图像检索算法

为减小基于草图的检索技术中弱边缘的影响并提高特征的平移不变性,提出了一种基于边缘切线流场的多尺度结构张量检索算法.该算法采用边缘切线流场取代梯度场,在显著强边缘上计算结构张量以抑制弱边缘的影响,并在多尺度分区架构下进行结构张量特征的提取以增强特征的平移不变性.实验结果表明,与传统的结构张量方法相比,该算法有效地抑制了弱边缘的影响,避免了使用图像梯度方向描述图像显著边缘方向的不稳定性,增强了特征的平移不变性,提高了检索性能.     

基于非下采样contourlet变换的纹理图像检索算法

提出一种应用非下采样contourlet变换(nonsubsampled contourlet transform,NSCT)进行图像检索的算法,以获取一种兼顾纹理图像概貌和细节信息的特征,从而提高图像检索的性能.该算法利用NSCT对图像进行多尺度、多方向分解,获得子带系数矩阵;对低频子带系数提取能量和方差作为全局纹理特征,并对高频子带系数分别提取尺度间和尺度内纹理信息;通过非高斯双变量模型拟合子带系数,利用信息熵描述尺度间特征;尺度内特征通过对同一层子带图像按主方向排序,获得直方图图像,计算其加权信息熵作为特征向量.对Brodatz标准纹理库的检索实验结果表明,与同类算法相比,该文方法具有更高的检索性能.     

基于多示例学习的遥感图像检索

将基于多示例学习的相关反馈技术应用到遥感图像检索中.为了避免局部最小值和减少冗余计算量,对传统的多示例学习算法--多样密度算法进行了改进.改进的算法利用用户标注的样本学习得到的查询概念,指导下一轮检索.为了提高查准率,综合学习得到的查询概念,提出了查询概念集来取代查询概念.实验结果表明,该算法比传统方法具有更好的检索性能.     

基于多尺度特征融合的小样本遥感图像分割

针对绘制遥感图像标签成本高、在实际场景中训练样本有限情况下遥感图像检测精度低的问题,提出了一种结合多尺度特征融合与注意力机制的深度金字塔注意力网络(DPA-Net)并集成迁移学习方法进行小样本遥感图像中建筑物与道路的提取．因为有限训练样本包含的信息有限,所以首先在DeeplabV3+网络架构基础上,增加两路低层特征的来源以充分利用低级特征的空间信息,并且利用注意力机制获取丰富的上下信息并增强模型对目标通道的学习能力,降低对其他目标和噪音的响应能力,改善模型在小样本上检测效果差的问题．最后利用公开遥感图像数据集和小样本数据集进行联合训练的迁移学习方法降低训练样本过少对网络学习性能的影响．实验结果表明：本文方法的精度提高了3.69%,可节省1/2的标注成本．     

深度学习与一致性表示空间学习的跨媒体检索

提出一种基于深度学习与一致性表示空间学习的方法,针对图像与文本2种模态,分别采用卷积神经网络模型和潜在狄利克雷分布算法学习图像的深度特征和文档的主题概率分布;通过一个概率模型将两个高度异构的向量空间非线性映射到一个一致性表示空间;采用中心相关性算法计算不同模态信息在此空间的距离.在Wikipedia Dataset上的实验结果表明:在单模态输入检索中,文中方法的平均准确率为38.43%,相比于其他方法有明显提高.