基于卷积神经网络的图像搜索技术研究

图像搜索时需要尽可能地保留图像语义相似性,传统的哈希图像检索方法大多是基于人工视觉特征的,它的性能已经满足不了现在图像搜索的要求.为了解决这个问题,我们将哈希编码和卷积神经网络结合起来,旨在研究出一个更好的检索方法.本文使用卷积神经网络中的AlexNet模型和哈希编码结合,改进了传统的图像搜索算法,缩短了神经网络的训练时间,提高了哈希算法的效果.我们选用CIFAR-10数据集来进行相关实验.实验结果表明,该方法相比于传统的图像检索方法具有多方面的优越性.     

深度优先局部聚合哈希

已有的深度监督哈希方法不能有效地利用提取到的卷积特征,同时,也忽视了数据对之间相似性信息分布对于哈希网络的作用,最终导致学到的哈希编码之间的区分性不足.为了解决该问题,提出了一种新颖的深度监督哈希方法,称之为深度优先局部聚合哈希(Deep Priority Local Aggregated Hashing,DPLAH).DPLAH将局部聚合描述子向量嵌入到哈希网络中,提高网络对同类数据的表达能力,并且通过在数据对之间施加不同权重,从而减少相似性信息分布倾斜对哈希网络的影响.利用Pytorch深度框架进行DPLAH实验,使用NetVLAD层对Resnet18网络模型输出的卷积特征进行聚合,将聚合得到的特征进行哈希编码学习.在CI-FAR-10和NUS-WIDE数据集上的图像检索实验表明,与使用手工特征和卷积神经网络特征的非深度哈希学习算法的最好结果相比,DPLAH的平均准确率均值要高出11％,同时,DPLAH的平均准确率均值比非对称深度监督哈希方法高出2％.     

基于Swin Transformer的深度有监督哈希图像检索方法

在深度有监督哈希图像检索的特征提取过程中,一直由卷积神经网络架构主导,但是随着Transformer在视觉领域中的应用,Transformer替代卷积神经网络架构成为可能.为了解决现存基于Transformer的哈希方法中不能生成层次表示和计算复杂度高等问题,提出了一种基于Swin Transformer的深度有监督哈希图像检索方法.该方法以Swin Transformer网络模型为基础,在网络最后添加一个哈希层,为图像进行哈希编码.该模型中引入了局部思想和层级结构,能够有效解决上述问题.与现有的13种先进方法相比,所提方法的哈希检索性能得到大幅提升.在两个常用检索数据集CIFAR-10和NUS-WIDE上进行实验,实验结果表明：在CIFAR-10数据集上所提方法mAP最高达到98.4%,与TransHash方法相比平均提高7.1%,与VTS16-CSQ方法相比平均提高0.57%;在NUS-WIDE数据集上所提方法mAP最高达到93.6%,与TransHash方法相比平均提高18.61%,与VTS16-CSQ方法相比检索精度平均提高8.6%.     

基于深度卷积神经网络和局部敏感哈希的图像检索

网络图像资源增长迅速,如何实现快速有效的大规模图像检索,成为当前研究的热点之一。深度神经网络对图片特征有很强的表达能力,利用典型深度卷积神经网络VGG16在预训练完成的模型上使用网络全连接层的输出提取待检索图像数据集的特征以建立索引,并采用局部敏感哈希算法提升检索速度,以端到端的形式,完成基于内容的图片检索任务。这种图像检索模型提供了一种在计算资源有限情况下实现大规模图像检索的有效方法。     

基于神经网络的古钱币图像检索研究

古钱币是我国重要的文化遗产,具有较高的文化和艺术价值,为了加强对古钱币的保护,需要对其进行识别和检索。针对古钱币图像的检索问题,该文提出了一种基于卷积神经网络和二进制编码的方法,该方法的基本思想是在卷积神经网络架构中增加编码层,同时学习古钱币图像的特征表示和编码。使用卷积神经网络提取古钱币图像的特征,随后对提取的特征进行激活和阈值化处理,离散化为二进制编码,随后待检索的古钱币图像输入该框架得到二进制编码,从而可以在海明空间中完成古钱币图像的有效检索。在数据集上的实验结果表明,利用该文方法的检索性能优于传统检索方法。     

基于改进谱哈希的大规模图像检索

为了提高图像检索精度,文章在谱哈希的基础上引入最小量化误差的思想,提出了一种基于改进谱哈希的大规模图像检索算法,该算法避免了谱哈希中要求的数据服从均匀分布的假设,并且能够保持数据在原始空间的相似性;引入Boosting算法来确定阈值,使得该算法具有更强的适应性和更广泛的应用;在公开的图像数据集上做了实验,实验结果表明该方法优于谱哈希、局部敏感哈希和迭代量化等哈希算法。     

基于深度中心匹配哈希网络的足迹压力图像检索

以赤足足迹压力图像为研究对象,采集了40人的5 230幅赤足足迹压力图像,在具有较低存储消耗的哈希算法基础上,结合深度学习方法设计了一种深度中心匹配哈希(DCMH)网络实现足迹的检索．该网络首先根据足迹压力图像的特点构建深度特征融合模块,提取反映足迹形态结构的全局特征和压力分布的局部特征,并将两种特征进行融合;然后在哈希编码模块通过全连接层将融合后的特征映射为1 024维特征向量,并通过哈希层生成哈希码;在网络优化过程中通过构建深度中心匹配损失函数从而减小哈希码与对应哈希中心之间的距离．深度中心匹配损失函数通过伯努利分布生成哈希中心,设计对数中心损失函数减小同类足迹压力图像数据哈希码与哈希中心的距离,并设计相似性损失函数作为正则化项约束每个批次数据间的相似性关系．通过在40人的赤足足迹压力图像数据上进行图像检索实验,本文算法检索结果的mAP可以达到0.99,优于传统的哈希算法及常用的深度哈希算法,为足迹的进一步的现场应用提供技术支撑．     

面向大规模图像检索的深度多尺度注意力哈希网络

针对现有哈希方法所存在的特征提取能力有限、量化约束机制低效等问题,提出一个深度多尺度注意力哈希网络进行大规模图像检索。整个网络由主分支和对象分支两个子网络组成。其中,在主分支网络中加入多尺度注意力定位和显著性区域提取两个模块,以有效定位和提取图像中的显著性区域,并将执行结果送入对象分支网络学习更为丰富的细节特征;同时,将两个子网络学习到的多粒度特征进行融合并执行二进制哈希编码;此外,引入三元组量化约束以减少量化误差,同时保持成对样本的相似度关系。为验证方法的有效性,文中在两个基准数据集上进行了广泛实验。实验结果表明,所提方法优于大部分现有的哈希检索方法。     

基于卷积神经网络的图书页面检索方法

针对现有图书页面检索方法检索精度低的问题,利用任务无关数据集训练卷积神经网络,提出了一种基于卷积神经网络的图书页面检索方法.首先将待检图书页面图像进行图像分割和畸变校正,降低背景的干扰和几何畸变的影响;然后将校正后的图像输入卷积神经网络提取图像特征;最后使用夹角余弦距离来度量待检图像和候选图像的相似度.实验结果表明:本方法在测试数据集上的Top-5命中率为97.31%,而直接使用任务无关数据集训练的卷积神经网络的Top-5命中率仅为58.47%.本方法避免了耗费大量的时间和精力去收集大规模图书页面图像数据库,而且利用卷积神经网络强大的图像特征描述能力,取得了优异的图书页面检索精度.     

联合加权聚合深度卷积特征的图像检索方法

针对图像特征提取不充分影响图像检索平均精确率的问题,提出了一种基于联合加权聚合深度卷积特征的图像检索方法。该方法将图像输入到预先训练好的卷积神经网络中,提取最后一个卷积层输出作为图像的深度卷积特征;通过计算空间权重矩阵突出图像的显著性区域并抑制背景噪声区域,然后根据通道方差最大原则选取相应的特征图计算出空间权重矩阵,将原始深度卷积特征加权聚合为列向量;通过区分性地对待不同通道的特征图,计算出通道权重向量与上述列向量点乘得到最终的全局特征向量。公开数据集上的实验结果表明,本文方法能够有效地增强图像特征的表达能力,在图像检索的平均精确率上优于其他同类方法,可以有效地应用到图像检索相关领域。     

基于深度学习和光场成像的火焰三维温度场重建算法

提出一种基于深度学习和光场成像的火焰三维温度场快速重建算法.该算法利用卷积神经网络对火焰光场图像进行深层特征提取,建立了光场图像与三维温度场之间的映射关系,从而实现火焰三维温度场的快速重建;利用视在光线法构建了火焰光场图像和三维温度场数据集,对卷积神经网络进行训练,利用测试集对训练结果进行了验证和评价,并将卷积神经网络算法与传统非负最小二乘(NNLS)算法的重建结果进行了对比.结果 表明,基于深度学习和光场成像的火焰三维温度场重建算法可准确重建火焰温度场,同时具有较高的计算效率(火焰的网格划分为10×8×15,NNLS算法的重建时间为4759 s,深度学习算法的重建时间为830 μs),平均相对误差为0.14％,且对于图像噪声具有良好的鲁棒性.     

一种改进的深度神经网络的花卉图像分类

花卉图像类内差异性大和类间相似性高使得花卉图像分类较难.传统花卉分类方法和普通卷积神经网络很难完整地表达花卉图像的特征,故而分类效果不理想.为提高花卉分类准确率,提出改进的InceptionV3网络用于花卉图片的分类.采用迁移学习的方法,将在大规模数据集上训练的InceptionV3网络用于花卉图像数据集的分类,对其中的激活函数进行改进.在通用Oxford flower-102数据集上的实验表明:该模型在花类图像分类任务中比传统方法和普通卷积神经网络分类准确率高,且比未改进的卷积神经网络准确率高,迁移过程准确率达到81.32%,微调过程准确率达到92.85%.     

基于深度卷积神经网络的图像哈希认证方法

提出了一种基于深度卷积神经网络的图像哈希认证方法.首先构建深度卷积神经网络AlexNet模型,训练该网络得到预定的网络性能;然后由训练好的卷积神经网络提取图像的特征,最后生成图像哈希序列用于图像内容的篡改认证.实验结果表明,相比同类方法,文中提出的图像哈希认证方法具有较高的区分性,同时对随机攻击、JPEG压缩、加性高斯噪声等具有可接受的鲁棒性. ROC曲线表明,文中提出的方法实现了区分性与鲁棒性的均衡.     

基于卷积神经网络的入侵检测算法

作为深度学习的一种有效算法,深度卷积网络已成功应用在处理图像、视频和音频等领域.通过建立一卷积神经网络模型并应用于网络入侵检测,选取的卷积核与数据进行卷积操作提取特征的局部相关性从而提高特征提取的准确度.采集到的网络数据通过多层"卷积层-下采样层"的处理对网络中正常行为和异常行为的特征进行深度刻画,最后通过多层感知机进行正确分类.KDD 99数据集上的实验表明,文中提出的卷积神经网络模型与经典BP神经网络、SVM算法等相比,有效提高了入侵检测识别的分类准确性.      

精细拓扑结构表示与深度特征融合在多目标图像检索中的应用

空间信息表示是增强图像特征表达性能的重要手段,通过空间关系建模与深度学习方法融合可有效提升深度特征的语义特性,从而提升图像检索性能.首先,针对复杂图像的空间关系表示提出了一种新的精细拓扑结构表示模型,该模型不仅具有完备的拓扑描述性能,还提供了两种拓扑不变量的推理算法,使得拓扑不变量可以由表示模型直接推导而不需要繁复的几何计算;其次,基于精细拓扑结构表示模型,提出了有效的拓扑结构相似性度量方法,为空间关系特征表达奠定了基础;最后,进一步结合卷积神经网络,提出融合复杂空间关系特征与深度特征的多目标图像检索方法.实验结果表明,所提出的拓扑结构表示模型在空间查询中具有良好的性能;所提出的图像检索框架取得优于现有方法的精度,并能够有效地结合手工特征与深度特征各自的优势,为提升深度学习方法的可解释性创造了有利条件.     

基于自编码器的深度对抗哈希方法在覆冰电网图像检索中的应用

为了提高覆冰电网图像的检索性能,提出一种基于自编码器的深度对抗哈希方法。首先,通过在现有的生成器和鉴别器之上添加新的编码鉴别器以鼓励生成的图像样本更好地表示真实数据分布。其次,构建哈希编码网络以学习生成紧凑的二进制哈希码。我们在WGAN-GP损失的基础上引入了新的基于长尾柯西分布的交叉熵损失和量化损失函数以优化汉明空间检索性能。实验结果表明,该深度对抗哈希方法能够通过编码鉴别器和柯西损失函数解决模式崩溃和图像模糊的问题,图像检索性能相比于其他方法有明显提高。     

基于稀疏重构编码的图像检索算法

针对现有方法在哈希函数构造过程中没有考虑数据的稀疏结构,提出了一种基于稀疏重构的哈希函数学习方法。利用相似点的l_(21)范数对重构系数进行了稀疏约束,以增强局部保持映射过程中的判别性,并构建拉普拉斯矩阵进行局部邻域关系的约束,在调和协方差矩阵和最小化数据的重构误差间建立了一种平衡机制。从特征所在的空间与经映射后的汉明空间的可判别性角度出发,对哈希函数构造过程中的内在要求和约束同时进行了考虑并综合权衡。采用公共图像检索数据集Caltech-256进行实验,实验结果表明:32位编码长度时,本文算法的检索精度比其他无监督的深度哈希算法至少提高了4.69%。     

基于弱监督深度学习的图像检索技术研究

哈希算法结合卷积神经网络是一种常用的有效图像检索方法,这种有监督的学习方式要求大量人工标注的标签,耗费巨额的人力成本,且这种标签具有较强的专家制定性,在图像深层次语义的挖掘上能力有限。针对这一问题,该文提出了基于弱监督(Weakly-supervised)深度卷积神经网络的哈希函数框架,该框架包括弱监督的预训练和有监督的微调两个阶段。通过利用弱监督标签信息来学习语义感知哈希函数,将标签表示为语义词向量。根据语义间的相似与否来训练网络,设计的目标函数可以使语义相似的图像间的汉明距离较小,语义不相似的汉明距离相对较远。实验结果表明,该文提出的图像检索方法与目前先进的图像检索方法相比,精度提高了2%～6%。     

基于两层迁移卷积神经网络的抽象图像情感识别

为弥合抽象图像底层视觉特征与高层情感语义间的鸿沟,同时缓解抽象图像情感识别所固有的小样本缺陷,将两层迁移学习策略引入传统的卷积神经网络,提出一种基于两层迁移卷积神经网络的抽象图像情感识别模型.该模型利用深度特征的层次性,首先通过大规模通用图像数据集来学习提取普适的底层图像特征;然后利用抽象图像风格分类数据集来学习提取抽象图像的专有高层语义特征;最后采用抽象图像情感识别数据集来微调整个网络.MART数据集上的实验结果表明,与传统的抽象图像情感识别方法相比,所提出的模型能够有效地提高识别精度.     

基于深度时空卷积网络的民航需求预测

在线机票预订网站上的用户查询量变化是真实的民航市场需求变化的反映.通过对机票查询数据进行分析,可以准确地预测航班需求,以利于民航业做出快速的市场反应.提出了一种基于深度时空卷积神经网络的民航需求预测模型(DSTCN-FRP),将用户查询量时间序列数据转换成航线网格图,设计多层卷积神经网络来捕捉用户需求与查询数据之间的时间和空间依赖,同时加入节假日等外部因素,最后得到未来一段时间内的民航需求量.在某在线订票网站的真实查询数据集上进行了实验,结果表明:DSTCN-FRP模型优于其他现有的预测方法,其MAE比其他方法降低了15%~50%,RMSE降低了12%~28%.