基于深度学习和复杂空间关系特征的多尺度遥感图像检索

深度学习技术逐渐成为解决图像检索和图像分类问题的主流技术,然而现有算法不能有效地处理遥感图像中的复杂空间关系以及多尺度特征问题.为有效解决遥感图像检索问题,提出了一种综合考虑空间关系与尺度特征的新方法.首先,用深度学习方法检测过的遥感图像抽象为点集;其次,构造Delaunay三角网以描述全局空间关系特征;最后,在空间特征相同的部分中使用模糊性状模型匹配局部空间特征.该模型有效地规避了因尺度不同而产生的视觉差异.在UC Merced Land-Use和RS19等公开数据集上进行实验,结果表明,该算法在多尺度遥感图像检索精度方面的表现优于其他相关方法.     

卷积特征图融合与显著性检测的图像检索

针对基于深度学习的图像检索提取特征往往包含了复杂的背景噪声,导致图像检索的精确率并不高的问题,提出一种特征图融合与显著性检测的方法.首先,训练用于分类的深度卷积神经网络模型.然后,并将图像卷积之后的特征图谱进行融合,得到图像的显著性区域.最后,通过计算图像显著性特征的余弦距离来进行检索.实验结果证明:相比目前主流的方法,文中方法能够有效提高检测精度,且鲁棒性较高.     

基于深度典型相关性分析的跨媒体语义检索

基于典型相关性分析的跨媒体检索是一种将不同媒体特征通过相关性分析映射到同构的最大相关子空间,并在子空间中完成跨媒体数据间的相似性比较和检索的方法.典型相关性分析(canonical correlation analysis,CCA)是一种线性模型,并不能很好地挖掘跨媒体数据中的复杂相关关系.为此针对深度典型相关性分析(deep CCA,DCCA)的结构进行改进,使用隐含狄利克雷分布(latent Dirichlet allocation,LDA)发现文本语义信息并学习语义映射,提出了跨媒体深度相关性学习模型(cross-media correlation learning with deep canonical correlation analysis,CMC-DCCA)以及跨媒体语义相关性检索方法(cross-media semantic correlation retrieval,CMSCR).在维基百科文本图像数据集上的实验证明,CMC-DCCA模型能够较好地挖掘跨媒体数据中的复杂相关关系,CMSCR在跨媒体检索中具有较好的性能.     

基于多尺度深度卷积特征的图像检索

为了检索图像中不同位置和不同大小的感兴趣目标,提出一种基于多尺度深度卷积特征的图像检索方法.首先利用卷积神经网络构造一个深度学习框架,利用随机梯度下降和后向传播算法训练深度学习模型;其次利用训练得到的模型提取图像在不同尺度下的卷积特征,对不同尺度下的卷积特征进行PCA降维,研究降维后的检索性能;最后为了提高深度特征对图像的刻画能力,对不同尺度下降维后的卷积特征进行特征融合.大量的实验表明本文所提算法对图像检索是有效的.     

基于深度哈希学习的商标图像检索研究

大规模图像检索具有广泛的应用前景,其核心在于图像特征提取和高效相似性计算.深度学习技术在图像特征提取具有较强的特征表示能力,同时哈希技术在高维数据近似计算方面具有较好的性能.目前,基于哈希学习的技术在大规模图像检索及相似性查询方面获得了广泛的研究和应用.本文结合卷积神经网络和哈希技术实现商标图像检索,通过深度学习技术提取商标图像特征,使用位哈希对数据对象编码,在海明空间折中查询的质量和效率.基于卷积神经网络模型,提出了深度哈希算法,并研究了损失函数和该数据集上的优化器选择,通过获取符合哈希编码规范的位编码实现对在二元空间对商标图像数据快速检索,该方法分为离线深度哈希学习和在线查询两个阶段.在真实商标数据集上进行实验,实验结果表明,本文方法能够在商标数据集上获得较高质量的位编码,并具有较高的检索精确度和在线查询效率.     

深度学习与一致性表示空间学习的跨媒体检索

提出一种基于深度学习与一致性表示空间学习的方法,针对图像与文本2种模态,分别采用卷积神经网络模型和潜在狄利克雷分布算法学习图像的深度特征和文档的主题概率分布;通过一个概率模型将两个高度异构的向量空间非线性映射到一个一致性表示空间;采用中心相关性算法计算不同模态信息在此空间的距离.在Wikipedia Dataset上的实验结果表明:在单模态输入检索中,文中方法的平均准确率为38.43%,相比于其他方法有明显提高.     

融合空间及通道注意网络的古籍汉字图像检索

古籍汉字图像检索是古籍汉字研究的有效工具.然而,古籍汉字字形复杂、书写风格多变的特点导致传统文字图像检索技术在应用于古籍汉字图像时效果欠佳.针对现有方法在古籍汉字图像特征提取时存在的字形结构细节信息和低层视觉特征提取问题,设计了一种融合空间注意力和通道注意力网络高低层特征的古籍汉字图像检索模型.首先,融合空间注意力的低维特征和通道注意力的高维特征,捕捉古籍汉字空间结构间的依赖关系,提取更丰富的古籍汉字语义特征信息;其次,构建inception残差结构模块,丰富古籍汉字图像特征的感受野,使网络模型更易优化,保留足够的古籍汉字细节信息;最后,运用加权交叉熵损失函数,解决数据集中存在的正负样本不平衡问题,增强检索模型的鲁棒性.在上下、左右、包围和独体结构古籍汉字图像数据集上检索实验的MAP(mean average precision)值分别为77.89%、79.89%、78.21%、80.75%,表明了方法的有效性.     

基于深度学习的大规模人脸图像检索

针对传统人工设计特征鲁棒性差、检索计算复杂等缺点,提出以深度特征表示人脸图像并采取由粗到细的人脸图像检索方法。首先,使用拥有近四百万张人脸图片的数据库训练卷积神经网络得到人脸特征提取模型;然后进行人脸特征提取、存储和聚类分析;最后,采用由粗到细地检索方式进行人脸检索。在LFW数据库上进行验证,基于深度学习的人脸特征的人脸检索准确率为99.1%,人脸检索时间约0.5s.实验结果表明,基于深度学习的人脸特征鲁棒性强、检索计算复杂度低。由粗到细的检索方法效率高,结果准确率高。     

一种基于多特征融合的图像检索方法

基于单特征的图像检索系统一般性能较低.提出了一种基于多特征融合的图像检索方法.通过对HSV颜色空间的非等间隔量化,提取一维颜色特征向量及其累加直方图.基于灰度共生矩阵(GLCM)进行纹理特征的提取.将两类特征结合,设计了一种基于多特征融合的图像检索方法.利用相似性度量方法分别对颜色特征和纹理特征以及融合后的特征进行了图像检索实验.结果表明,基于颜色和纹理特征相融合的多特征融合方法具有更好的图像检索性能.     

融合运动和空间关系特性的显著性区域检测

为了解决传统视觉显著性模型在复杂现实场景中容易失效的问题,提出了一种融合运动和空间关系特性的显著性检测方法.在颜色对比度的基础上,引入图像中目标的空间深度关系和运动特征.首先建立深度显著性模型,并使之与颜色显著性融合获得空域显著图;然后通过分析运动矢量得到运动特征显著性,并采用加性融合和乘性融合联合的方式计算出最终的显著图.实验分析建立在多个立体图像数据库之上,量化评价和视觉观测均表明:本方法可以有效地提取显著性区域,检测效果优于传统方法.     

一种用于图像检索的幂归一化深度卷积特征加权聚合方法

针对图像检索中基于部位的加权聚合(PWA)方法存在的视觉突发问题,提出一种幂归一化的深度卷积特征加权聚合方法。首先简化了原PWA方法中用于确定空间权重的归一化和幂变换操作,直接将所选择的有区分性的通道特征图作为空间权重矩阵,然后引入新的幂变换函数并选取合适的参数对加权聚合后的通道响应进行归一化处理,最后通过PCA降维和白化处理形成图像的全局特征表示形式。在4个标准数据库上的图像检索实验结果表明,该方法能有效调节PWA聚合特征响应的突发度并提高图像检索的准确率。     

基于空间数据结构的图像检索

提出了用图像联合特征取代单一的图像特征表示内容的模型，通过把图像的相似性定义在欧氏空间，引入了空间数据索引结构，针对图像联合特征的高维性，提出用X树空间结构来索引图像联合特征从而实现对图像内容进行检索的方法，通过实验比较，证明该方法的检索不仅视觉效果良好，而且检索效率也明显提高。     

基于语音与人脸参数化表示的跨模态稠密深度

为了提高跨模态人脸表示与合成的性能,针对语音与人脸图像2种模态数据,提出一种基于人脸参数化表示与稠密深度网络相结合的面部生成方法。针对输入语音模态,通过对信号进行频谱变换,将一维时域信号转换到二维频率域,可提取频域上稳健的特征描述;针对输出图像模态,利用主动外观模型对不同面部区域独立建模以降低区域间的相关性,并提取紧凑的人脸参数化特征;为了获得有效的跨模态学习性能,提出采用稠密连接的深度卷积神经网络学习语音、图像2种模态的回归预测,并通过预测的人脸参数进行面部重构,所采用的深度网络模型可以加强特征传播与特征复用,有利于增强面部细节的合成。在2组音视频数据集上验证了提出方法的有效性。     

综合利用边缘和颜色特征的图像检索

分别介绍了图像边缘和颜色特征的提取方法,及基于内容的图像检索系统的实现。试验结果表明,在图像检索时合理利用图像的边缘和颜色特征,可有效地提高系统的检索性能。     

Web3D Learning Framework for 3D Shape Retrieval Based on Hybrid Convolutional Neural Networks

With the rapid development of Web3 D technologies, sketch-based model retrieval has become an increasingly important challenge, while the application of Virtual Reality and 3 D technologies has made shape retrieval of furniture over a web browser feasible. In this paper, we propose a learning framework for shape retrieval based on two Siamese VGG-16 Convolutional Neural Networks(CNNs), and a CNN-based hybrid learning algorithm to select the best view for a shape. In this algorithm, the AlexNet and VGG-16 CNN architectures are used to perform classification tasks and to extract features, respectively. In addition, a feature fusion method is used to measure the similarity relation of the output features from the two Siamese networks. The proposed framework can provide new alternatives for furniture retrieval in the Web3 D environment. The primary innovation is in the employment of deep learning methods to solve the challenge of obtaining the best view of 3 D furniture,and to address cross-domain feature learning problems. We conduct an experiment to verify the feasibility of the framework and the results show our approach to be superior in comparison to many mainstream state-of-the-art approaches.     

结合改进韦伯算子和加权稀疏表示的指静脉识别

为了在拓扑结构简单的指静脉图像上提取更完整的纹理信息并提高识别效率,提出一种从粗到细的指静脉识别算法.在粗识别阶段,利用测试样本与每类中的一个样本之间的相似性,排除冗余训练类;在精识别阶段,引入Gabor进行图像表示,更清楚地描述图像纹理的局部空间尺度特征和方向特征;将韦伯局部圆梯度模式(We-ber local circle gradient pattern,WLCGP)与多方向对称局部图结构(multidirectional symmetrica local graph structure,MSLGS)结合对原始的韦伯算子进行改进,从而对空间结构信息获得更精确的图像描述;通过WLCGP-MLGS提取直方图特征向量,并通过加权稀疏表示分类.在天津市智能信号与图像处理重点实验室数据库和FV-USM(finger vein USM)数据库上进行实验,该算法的正确识别率分别为99.3546％和97.3842％.结果表明,与其他传统及最新算法相比,具有良好的识别性能和应用前景.     

基于兴趣点特征的图像检索方法

针对全局图像特征无法刻画图像类别信息的缺陷, 提出一种基于兴趣点特征的图像特征检索方法. 首先对图像进行仿射 尺度不变特征转换, 并利用亮度的概率密度梯度提取兴趣点; 然后将兴趣点映射回原始图像, 采用颜色直方图作为图像特征; 最后采用相似性度量模型, 实现图像检索. 选择Corel图像库中的图像对算法性能进行实验分析. 实验结果表明, 该方法可有效提高图像的检索准确率和检索效率, 快速找到用户需要的图像.     

产品族设计中的零件相似性评价方法

在产品族设计过程中,为促进产品平台的组建,提出一种零件相似性评价方法.该方法以形状特征的分类、拓扑关系和特征参数为基础,建立了统一的产品族零件表达模型,讨论了形状特征拓扑关系、几何形状及位置相似度的计算方法,确定了评价零件相似性的流程.应用实例验证了该方法是有效的.     

基于半圆形局部二值模式结构相关性描述子的图像检索

针对传统的结构基元方法缺少对不同量化颜色层中的中心像素点与其潜在邻居的相似性信息描述问题,提出了一种半圆形局部二值模式结构相关性描述子,并将其应用在图像检索中.首先,定义了一种新的半圆形局部二值模式结构基元;其次,检测不同量化颜色层中的结构基元;最后,提取新结构基元的空间分布和对比度特征.相比传统的结构基元方法,提出的描述子检测的结构基元更加丰富,包含更多可能的结构区分性.在不同图像库上的实验结果表明了所提方法的有效性.