基于注意力双分支网络的跨模态足迹检索

为了提高跨模态足迹检索精度,提出一种基于注意力双分支深度卷积神经网络的检索方法.该方法以赤足足迹的光学和压力2个模态图像为研究对象,采集并构建了一个包含138人5520幅足迹图像的跨模态检索数据集;在网络的特征提取模块采用ResNet50作为基础网络搭建双分支结构,并引入空间注意力机制,以提取各模态具有辨别性的特征;在网络的特征嵌入模块,通过部分参数共享学习跨模态共享空间;在双约束损失模块采用交叉熵损失(ID loss)和异质中心损失(HC loss)以增大跨模态足迹特征的类间差异,减小类内差异.实验结果表明:互检索模式下的平均精度均值(mAP)均值和Rank1均值分别为70.83％和87.50％,优于其他一些跨模态检索方法.采用注意力双分支网络模型能够有效进行跨模态足迹检索,可以为现场足迹对比鉴定等应用提供理论基础.     

基于SMbGAN的足迹图像反演算法

为解决在足迹识别领域赤足数据匮乏的问题,提出一种基于足底压力图像的反演算法.该算法能够将鞋底压力图像反演成赤足足底压力图像.首先,对原始数据进行去噪、中心化以及旋转等预处理操作;其次,提出一种对称的多分支生成对抗网络(SMbGAN),该结构将足迹图像分成上、下2部分进行独立反演,并且使用全局与局部判别器进行图像判定,提升结构对足迹图像细节的关注度;最后,为了证明反演结果的有效性,在对比真实图像与反演图像的结构相似性(SSIM)以及平均绝对误差(MAE)指标的基础上,对反演出的赤足足底压力图像进行了身份检索实验.结果表明,相比其他结构,SMbGAN更适合足迹图像的反演任务,真实赤足图像与生成赤足图像的SS1M值为0.988,MAE值为4.324,身份检索的Rank1值为0.462.     

深度优先局部聚合哈希

已有的深度监督哈希方法不能有效地利用提取到的卷积特征,同时,也忽视了数据对之间相似性信息分布对于哈希网络的作用,最终导致学到的哈希编码之间的区分性不足.为了解决该问题,提出了一种新颖的深度监督哈希方法,称之为深度优先局部聚合哈希(Deep Priority Local Aggregated Hashing,DPLAH).DPLAH将局部聚合描述子向量嵌入到哈希网络中,提高网络对同类数据的表达能力,并且通过在数据对之间施加不同权重,从而减少相似性信息分布倾斜对哈希网络的影响.利用Pytorch深度框架进行DPLAH实验,使用NetVLAD层对Resnet18网络模型输出的卷积特征进行聚合,将聚合得到的特征进行哈希编码学习.在CI-FAR-10和NUS-WIDE数据集上的图像检索实验表明,与使用手工特征和卷积神经网络特征的非深度哈希学习算法的最好结果相比,DPLAH的平均准确率均值要高出11％,同时,DPLAH的平均准确率均值比非对称深度监督哈希方法高出2％.     

基于视觉信息与征象标签的肺结节CT图像检索

肺结节CT图像的相似性检索是计算机辅助诊断系统中最重要的部分,目前常用的检索方法通常匹配精度低,检索速度慢.针对上述问题,提出一种新的基于视觉信息与征象标签的双概率超图哈希算法,使用两层结构提高肺结节图像的检索精度:在第一层,将肺结节影像视觉信息和标签信息分别构建概率超图,最优划分概率超图得到哈希码;在第二层,使用结节图像的视觉特征、标签特征和第一层得到的哈希码来训练哈希函数.在检索时,对待检图像通过训练好的哈希函数进行0,1编码,与数据集中图像比较汉明距离,返回相似结节图像.对9种不同征象类型的3422张肺结节CT图像进行实验,并与不同哈希算法进行比较,结果表明,提出的方法在哈希码长为32位时可以达到最高精度90.18%,有效提高了检索精度,可以给医生提供客观的辅助诊断.     

面向大规模图像检索的深度多尺度注意力哈希网络

针对现有哈希方法所存在的特征提取能力有限、量化约束机制低效等问题,提出一个深度多尺度注意力哈希网络进行大规模图像检索。整个网络由主分支和对象分支两个子网络组成。其中,在主分支网络中加入多尺度注意力定位和显著性区域提取两个模块,以有效定位和提取图像中的显著性区域,并将执行结果送入对象分支网络学习更为丰富的细节特征;同时,将两个子网络学习到的多粒度特征进行融合并执行二进制哈希编码;此外,引入三元组量化约束以减少量化误差,同时保持成对样本的相似度关系。为验证方法的有效性,文中在两个基准数据集上进行了广泛实验。实验结果表明,所提方法优于大部分现有的哈希检索方法。     

基于特征分块的赤足足迹人身识别算法

为了提高赤足足迹人身识别算法的准确率，本文提出了一种基于深度学习的足迹识别算法。由于足底各区域压力的不同导致了赤足足迹各部分包含的信息量存在一定的差异性，为了获取更稳定、区分度更高的特征，采用ResNet50作为基础网络，在特征层进行分块处理。本文基于2000人的赤足足迹库进行训练，利用500人1000幅测试图在3000人的赤足测试库上进行测试。所提出算法的首位识别准确率达到了98.50%，优于常规的ResNet50网络。实验证明，本文提出的基于特征分块的足迹识别算法在赤足足迹识别中获得了很好的识别效果。     

基于抗几何变换的离散深度哈希算法

现有的深度哈希算法首先利用连续松弛策略学习连续的近似码,然后通过量化运算将其转化为离散哈希码,导致哈希码出现次优问题.为了解决上述问题,提出了一种基于抗几何变换的离散深度哈希算法,利用抗几何变换和语义监督信息直接指导离散哈希码的学习.首先,本文将离散哈希码学习和深度特征学习集成在一个统一的网络框架中,利用语义监督来指导...     

基于深度卷积神经网络和局部敏感哈希的图像检索

网络图像资源增长迅速,如何实现快速有效的大规模图像检索,成为当前研究的热点之一。深度神经网络对图片特征有很强的表达能力,利用典型深度卷积神经网络VGG16在预训练完成的模型上使用网络全连接层的输出提取待检索图像数据集的特征以建立索引,并采用局部敏感哈希算法提升检索速度,以端到端的形式,完成基于内容的图片检索任务。这种图像检索模型提供了一种在计算资源有限情况下实现大规模图像检索的有效方法。     

基于深度哈希学习的商标图像检索研究

大规模图像检索具有广泛的应用前景,其核心在于图像特征提取和高效相似性计算.深度学习技术在图像特征提取具有较强的特征表示能力,同时哈希技术在高维数据近似计算方面具有较好的性能.目前,基于哈希学习的技术在大规模图像检索及相似性查询方面获得了广泛的研究和应用.本文结合卷积神经网络和哈希技术实现商标图像检索,通过深度学习技术提取商标图像特征,使用位哈希对数据对象编码,在海明空间折中查询的质量和效率.基于卷积神经网络模型,提出了深度哈希算法,并研究了损失函数和该数据集上的优化器选择,通过获取符合哈希编码规范的位编码实现对在二元空间对商标图像数据快速检索,该方法分为离线深度哈希学习和在线查询两个阶段.在真实商标数据集上进行实验,实验结果表明,本文方法能够在商标数据集上获得较高质量的位编码,并具有较高的检索精确度和在线查询效率.     

基于互信息解耦表示的跨域压力足迹图像检索

足迹作为人体生物特征之一，在生物识别领域具有重要意义，而同一对象的不同鞋型压力足迹图像在足迹轮廓特征上具有显著性差异，导致其类内差异大。针对压力足迹图像的跨域检索，文中提出了一种基于互信息解耦表示的跨域压力足迹图像检索方法。首先，构建了一个包含200人足迹图像的多域压力足迹数据集，从定性和定量两个角度分析跨域压力足迹图像的特点；其次，采用两个独立的编码器实现图像解耦模块，该模块将压力足迹图像解耦为域特定表示和域共享表示，通过域分类法保证域特定表示包含更多域相关的信息；然后，通过最小化互信息损失扩大域特定表示和域共享表示之间的距离，同时，为避免解耦过程中信息的丢失，基于域特定表示和域共享表示重构原始压力足迹图像；最后，通过特征提取模块进一步提取域共享表示的深层卷积特征，经过度量模块计算不同特征间的关联度，从而实现跨域压力足迹图像检索。对比及消融实验结果表明，该方法的解耦模块具有一定的有效性，在多域压力足迹数据集上的性能表现良好，首位查询结果的检索准确率达到79.83%，平均准确率达到65.48%。     

基于正态分布的距离保持哈希图像检索方法

针对图像检索任务中部分监督学习部署困难,以及一般无监督学习没有利用监督信息导致检索性能劣化的问题,提出一种基于正态分布的距离保持哈希的无监督框架,使生成的哈希码保持图像的原始距离关系,在检索结果中尽可能保留相似的图像;距离保持哈希使用正态分布框架约束生成的连续码保持原始特征的距离关系,将图像的语义信息尽可能保留到哈希码...     

基于类标签的离散监督哈希算法

基于哈希算法的相似性检索以其高效性和实用性受到学术界的广泛关注。为了提升哈希学习算法的准确性和扩展性,提出了一种基于类标签的离散监督学习算法。首先,假设每个类标签都存在一个潜在的哈希码,并深入探索了类标签的关联性与其哈希码之间的关系,用以求解每个类的哈希码;然后,度量数据点的哈希码与类哈希码间的内积关系构建度量模型,同时采用非线性核函数建立量化模型;最后,在求解哈希码的过程中,采用了离散求解法以提升准确性。NUS-WIDE和CIFAR-10数据集的实验结果均表明,基于类标签的离散监督哈希算法是有效的。     

基于自编码器的深度对抗哈希方法在覆冰电网图像检索中的应用

为了提高覆冰电网图像的检索性能,提出一种基于自编码器的深度对抗哈希方法。首先,通过在现有的生成器和鉴别器之上添加新的编码鉴别器以鼓励生成的图像样本更好地表示真实数据分布。其次,构建哈希编码网络以学习生成紧凑的二进制哈希码。我们在WGAN-GP损失的基础上引入了新的基于长尾柯西分布的交叉熵损失和量化损失函数以优化汉明空间检索性能。实验结果表明,该深度对抗哈希方法能够通过编码鉴别器和柯西损失函数解决模式崩溃和图像模糊的问题,图像检索性能相比于其他方法有明显提高。     

融合多尺度注意力和双向LSTM的行人重识别

将深度学习应用于行人重识别领域,嵌入多尺度注意力融合模块至神经网络中进行多尺度特征提取和表示,可有效提升注意力机制对深度学习网络的识别性能。提出了一种基于SE block的多尺度通道注意力融合模块,并结合ResNet50卷积神经网络提取特征;然后通过双向LSTM网络进一步提取特征序列上下文信息,在提高模型对图像重要特征的提取能力的同时,降低对图像冗余特征的关注度;最后使用级联难采样三元组损失函数和交叉熵损失函数共同训练网络模型,使样本能够在高维特征空间中实现聚类,进一步提升模型识别准确性。所提出算法在Market1501数据集和CUHK03数据集分别进行实验,并在同等条件下和其他注意力模块算法进行比较。为进一步验证各模块作用,对算法进行消融实验,以验证各模块的有效性,实验结果表明,所提出方法可有效应用于行人重识别     

轻量化神经网络和哈希跟踪算法在嵌入式人脸抓拍系统中的应用

针对嵌入式设备上难以兼顾人脸抓拍的速度和准确率的问题, 基于轻量化神经网络和哈希 (Hash) 跟踪算法设计了一种快速精准的嵌入式人脸抓拍系统. 首先, 对轻量化网络 MobileNet 固态硬盘 (solid state disk, SSD) 剪枝和优化网络结构构建人脸检测网络; 其次, 人脸对齐后基于均值哈希 (average Hash, aHash) 与感知哈希 (perceptual Hash, pHash) 设计融合哈希 (fusion Hash, fHash) 算法跟踪人脸, 使用关键点欧氏距离、人脸尺寸和四方向 Sobel 算子三标准提取最佳的人脸图像; 最后, 使用 MobileFaceNet 对最佳人脸进行识别. 实验结果表明: 与 MobileNet SSD 相比, 该人脸检测算法速度提升了 22.6%; 与均值哈希和感知哈希算法相比, 该融合哈希算法匹配准确率提高了 21.7% 和 10.1%; 实际场景中系统人脸抓拍准确率超过 95%, 抓拍速度达到 28 帧/s.     

基于声母和深度哈希的密文语音全文检索方法

为了实现基于内容的语音全文检索,提高语音检索性能,以及保障云端语音数据的隐私安全,提出了一种基于声母和深度哈希的密文语音全文检索方法.该方法将提出的基于汉语声母和元音的双向循环递归神经网络(RNN)-长短时记忆(LSTM)深度学习模型与语音感知哈希相结合,分别将加密语音和生成的哈希码上传至云端密文语音库和全文哈希索引表,并建立一一映射关系.查询时提取待查询语音的哈希码,并与云端的全文哈希索引表进行阶段式匹配检索.实验结果表明:该方法既能保障语音隐私安全,又能获得较高的检索精确度与可观的召回率(当精确度为97.68％时召回率可达47.60％),并在一定程度上减弱了说话人声音特征对全文检索的不利影响.     

基于四元组完备损失的智能图像检索方法

在图像检索领域,将三元组排序损失应用于深度神经网络权重的更新,可以使生成的图像表示保存更多的语义特征,但是三元组排序损失没有全面的考虑不同类别图像之间的关联。为此提出了一种四元组完备损失,此损失函数将图像类间相似性小于类内相似性的特点融入到损失函数的构建中。与三元组排序损失函数相比,此函数可以更全面地体现查询图像与同类和不同图像之间的相似性关系。进一步,本文还提出了一种有效的基于四元组的深度网络结构,可用于图像的哈希检索。实验结果表明,提出的方法能够在CIFAR-10、SVHN和NUS-WIDE图像库中取得良好的检索性能。     

基于深度哈希算法的学生画像个性化推荐系统的设计与实现

为了提升学生画像个性化推荐的效果,研究设计了一种基于深度哈希算法的学生画像个性化推荐系统。通过使用深度哈希算法结合经过处理的学生信息,进行了学生信息特征标签的提取,并构建了学生画像标签维度模型,从而提升了学生画像的生动性。根据学生画像标注的学生特征,在学校课程资源特征数据集中进行搜索匹配,并根据排序后的检索结果生成推荐结果。实验结果表明,该系统能够有效地采集和预处理学生信息,并成功构建学生画像,完成学生画像的个性化推荐。     

基于特征增强的对抗哈希跨模态检索

在跨模态检索任务中,哈希方法由于其检索效率高效、储存成本低廉而被广泛应用。但是,这些方法很少关注如何去弥补主体网络将高维特征转换为哈希码的过程中所丢失的特征信息。为解决这些问题,本文提出了一种特征增强对抗跨模态哈希(Feature Boosting Adversarial Hashing for Cross-Modal, FBAH)方法。FBAH方法将子空间学习与对抗学习相结合,来减少不同模态数据的差异性。另外,构造一种类残差模块,它可以将筛选出具有区别性的特征绕过主体网络直接输入到哈希空间进行特征增强。这样,生成的哈希码能够具有更多的原始特征信息。最后,通过带有分支网络的线性分类器在标签空间进行两种方式的预测,并最小化与真实标签的差距来保证语义的不变性。本文选择两个跨模态检索任务中常用的大型数据集进行大量实验,结果表明FBAH方法的性能优于目前7种较为先进的跨模态哈希方法。     

多尺度残差生成对抗网络的图像超分辨率重建

针对目前基于深度学习的超分辨率重建图像存在的纹理等高频信息丢失问题,提出了多尺度残差生成对抗网络的图像超分辨率重建算法。首先,使用Dense-Res2Net模块替代SRGAN生成网络中原本的残差模块,并且组合特征压缩与激发网络（SENet）从多个尺度自适应地提取浅层特征信息。其次,引入全变分正则化损失（TV loss）指导生成器训练。最后,使用Wasserstein距离优化对抗损失,提高网络训练稳定性。实验结果表明,该算法重建出的图像在视觉效果上保留了更加丰富的高频细节,与当前主流超分算法相比,该方法不仅有更高的峰值信噪比（PNSR）与结构相似性（SSIM）,且学习感知图像块相似度（LPIPS）的分数上均优其他算法。