基于深度哈希学习的商标图像检索研究

大规模图像检索具有广泛的应用前景,其核心在于图像特征提取和高效相似性计算.深度学习技术在图像特征提取具有较强的特征表示能力,同时哈希技术在高维数据近似计算方面具有较好的性能.目前,基于哈希学习的技术在大规模图像检索及相似性查询方面获得了广泛的研究和应用.本文结合卷积神经网络和哈希技术实现商标图像检索,通过深度学习技术提取商标图像特征,使用位哈希对数据对象编码,在海明空间折中查询的质量和效率.基于卷积神经网络模型,提出了深度哈希算法,并研究了损失函数和该数据集上的优化器选择,通过获取符合哈希编码规范的位编码实现对在二元空间对商标图像数据快速检索,该方法分为离线深度哈希学习和在线查询两个阶段.在真实商标数据集上进行实验,实验结果表明,本文方法能够在商标数据集上获得较高质量的位编码,并具有较高的检索精确度和在线查询效率.     

基于全局和局部信息融合的显著性检测

为提高低对比度、复杂自然图像显著性检测的准确率和泛化性能,提出一种贝叶斯框架下的全局和局部信息融合的显著性检测模型.首先,构建深度卷积自编码网络,采用对称编解码结构,监督学习图像全局特征,得到全局显著图;然后,根据全局显著图产生前景和背景码本,利用局部约束线性编码算法进行编码,采用稀疏编码描述局部特征,产生局部显著图;最后,提出采用贝叶斯框架,将全局和局部信息融合,生成最终显著图.实验结果表明,所提模型在ECSSD,DUT-OMRON和PASCAL数据集上F-measure值分别为76.53%、59.45%和72.52%,MAE值分别为0.143 28、0.137 87和0.181 05,且能够有效对低对比度、复杂真实自然图像进行显著性检测.     

基于Swin Transformer的深度有监督哈希图像检索方法

在深度有监督哈希图像检索的特征提取过程中,一直由卷积神经网络架构主导,但是随着Transformer在视觉领域中的应用,Transformer替代卷积神经网络架构成为可能.为了解决现存基于Transformer的哈希方法中不能生成层次表示和计算复杂度高等问题,提出了一种基于Swin Transformer的深度有监督哈希图像检索方法.该方法以Swin Transformer网络模型为基础,在网络最后添加一个哈希层,为图像进行哈希编码.该模型中引入了局部思想和层级结构,能够有效解决上述问题.与现有的13种先进方法相比,所提方法的哈希检索性能得到大幅提升.在两个常用检索数据集CIFAR-10和NUS-WIDE上进行实验,实验结果表明：在CIFAR-10数据集上所提方法mAP最高达到98.4%,与TransHash方法相比平均提高7.1%,与VTS16-CSQ方法相比平均提高0.57%;在NUS-WIDE数据集上所提方法mAP最高达到93.6%,与TransHash方法相比平均提高18.61%,与VTS16-CSQ方法相比检索精度平均提高8.6%.     

基于特征稀疏化的粉尘图像深度预测

【目的】针对粉尘环境中单幅图像深度预测精度低的问题，提出了一种基于输入特征稀疏化的粉尘图像深度预测网络。【方法】使用粉尘图像的直接传输率与深度的关系设计预估计深度网络，利用图像颜色衰减先验原理进一步获取粉尘图像的稀疏深度特征。将该稀疏深度特征与粉尘图像一起作为深度预测网络的输入。深度预测网络以“编码器-解码器”为模型框架，编码器中使用残差网络(ResNet)对粉尘图像进行编码，设计融合通道注意力机制的稀疏卷积网络对稀疏深度特征进行编码。解码器中采用反卷积以及多尺度上采样的方法，以更好的重建稠密的深度信息。使用最小绝对值损失和结构相似性损失作为边缘保持损失函数。【结论】在NYU-Depth-v2数据集上的实验结果表明该方法能够从粉尘图像中有效预测深度信息，平均相对误差降低到0.054,均方根误差降低到0.610,在δ<1.25时准确率达到0.967.     

基于Transformer增强卷积的膝关节磁共振影像年龄预测

年龄预测是临床医学中的一个重要课题和非常活跃的研究领域.最近，由于传统影像学检查中电离辐射的缺点，越来越多的研究使用磁共振影像进行年龄预测.本文基于膝关节MRI数据集，提出了一种新的端到端网络，结合卷积神经网络和Masked-Transformer网络互补地来提取局部特征和全局依赖，并使用一个特征聚合模块来聚合不同局部膝关节MRI切片的特征.通过整合卷积神经网络的特征图和视觉Transformer分支的特征编码，特征提取模块可以互补地提取局部和全局信息，更好地提取与年龄相关的特征.同时，该网络使用由图注意力网络组成的特征聚合模块，用于在特征级别集成不同MRI切片的局部特征，实现多切片局部特征之间的交互.大量实验表明，该方法可以在膝关节MRI年龄估计任务中达到最先进的性能.具体而言，本文方法在MRI数据集上进行了测试，该测试集包括44个年龄在12.0～25.9岁之间的膝关节MRI样本，其中五折交叉验证的最佳结果是年龄平均绝对误差为1.57±1.34岁.     

非接触式身份识别的深度学习算法

针对传统基于Wi-Fi的身份识别方法手工编码特征效率低、准确率不高的问题,提出一种基于深度学习的非接触式身份识别(WiID)算法。该算法通过分析子载波中信道状态信息数据的空间相关性,建立了用于深度学习的输入矩阵;采用二维卷积运算从相邻子载波中提取局部空间特征;构建门限循环单元层,从时间维度对空间特征进行时序建模,完成空间与时间两个维度的步态特征提取,实现端到端的非接触式身份识别,有效减少了数据预处理工作量。实验结果表明,与卷积神经网络和循环神经网络算法相比,该算法识别准确率得到了有效提高;在6种不同的实验场景下,该算法的身份识别准确率介于92.9%～95.6%之间,具有良好的身份识别效果及算法鲁棒性。     

多层次可选择核卷积用于视网膜图像分类

为了提高深度学习网络对糖尿病性视网膜病变识别准确率，针对光学相干断层扫描技术（optical coherence tomography，OCT）的视网膜图像分类研究，提出了一种基于可选择卷积核的网络模型，该模型能对多个尺度扩张率的卷积核之间进行自动选择操作。分割阶段生成多条路径，这些路径具有相同的卷积核但不同的扩张率，对应不同的神经元感受野大小；融合阶段将多条路径的信息进行组合和聚合，得到一个全局的、全面的选择权重表示；选择操作再根据2种权值自身相似性和相对相似性来选择权值。实验结果表明，该模型在2个视网膜公开的基准数据集OCT2017及SD-OCT上分别达到了95.39%，99.18%的分类结果。与目前已有的主流模型相比，该模型的实验结果在2个数据集上均有提升。     

基于特征融合和曼哈顿量化的视频哈希学习方法

当前信息时代,随着计算机和多媒体技术的发展,在互联网尤其是移动互联网中,因视频数据结构复杂,特征维度高,其存储、传输和检索都面临着巨大的挑战,视频哈希学习是解决上述挑战的重要方法之一,已成为多媒体处理领域的研究热点.现有方法主要是利用视频不同特征构造视频哈希,但不同特征存在关联关系,为充分利用视频不同特征之间的关联关系,克服传统视频哈希编码的局限性,提出一种基于特征融合和曼哈顿量化的视频哈希学习方法.该方法首先提取视频的全局、局部和时域特征,并利用张量分解理论实现不同特征的融合,获取视频融合特征表示.然后使用曼哈顿量化对视频融合特征进行量化学习编码,得到视频哈希序列.与传统视频哈希算法相比,该方法不仅充分利用了多特征之间的关联互助关系,而且对原始视频特征的不同维度分别进行编码,较好的保持了原始特征之间的结构相似性.实验结果显示,该方法具有较好的性能.     

多尺度空洞卷积金字塔网络建筑物提取

为改善现有深度学习方法获取图像特征尺度单一、提取精度较低等问题,提出多尺度空洞卷积金字塔网络建筑物提取方法。多尺度空洞卷积金字塔网络以U-Net为基础模型,编码-解码阶段采用空洞卷积替换普通卷积扩大感受野,使得每个卷积层输出包含比普通卷积更大范围的特征信息,以利于获取遥感影像中建筑物特征的全局信息,金字塔池化模块结合U-Net跳跃连接结构整合多尺度的特征,以获取高分辨率全局整体信息及低分辨率局部细节信息。在WHU数据集上进行提取实验,交并比达到了91.876%,相比其他语义分割网络交并比提升4.547%～10.826%,在Inria数据集上进行泛化实验,泛化精度高于其他网络。结果表明所提出的空洞卷积金字塔网络提取精度高,泛化能力强,且在不同尺度建筑物提取上具有良好的适应性。     

基于抗几何变换的离散深度哈希算法

现有的深度哈希算法首先利用连续松弛策略学习连续的近似码,然后通过量化运算将其转化为离散哈希码,导致哈希码出现次优问题。为了解决上述问题,提出了一种基于抗几何变换的离散深度哈希算法,利用抗几何变换和语义监督信息直接指导离散哈希码的学习。首先,本文将离散哈希码学习和深度特征学习集成在一个统一的网络框架中,利用语义监督来指导离散哈希码学习。其次,设计了一种抗几何变换模块来实现几何不变描述特征学习。最后,开发了一个新的损失函数来进行有效的离散哈希码学习。两个数据集CIFAR-10和NUS-WIDE上的大量实验结果表明,所提方法可以实现比其他最新哈希方法更优越的性能。     

基于深度CNN的改进弱监督学习方法设计与验证

针对包含目标、尺度和平移变化较强的空间信息难以获取大量训练样本的问题,提出一种基于深度卷积神经网络(deep convolutional neural network,DCCN)的弱监督学习方法,从3个层面对当前卷积神经网络进行扩展。为了提取分辨率更高的局部特征,同时考虑到全卷积网络(full convolution network,FCN)在全监督式学习下的高效性能,使用FCN作为后端模块;为了获取更多的通用特征,增加一个多映射弱监督学习的传输层,对与补充性类模态相关的多个局部特征进行显式学习;为了优化训练过程,改进了池化层,使用全局图像标签进行训练,将空间得分聚合为全局预测。使用图像分类、弱监督逐点目标定位和图像分割3种常用的机器视觉任务进行评估。多个公开数据库的实验结果表明,所提方法能够有效地学习强局部特征,具有良好的分类和定位效果。     

基于类标签的离散监督哈希算法

基于哈希算法的相似性检索以其高效性和实用性受到学术界的广泛关注。为了提升哈希学习算法的准确性和扩展性,提出了一种基于类标签的离散监督学习算法。首先,假设每个类标签都存在一个潜在的哈希码,并深入探索了类标签的关联性与其哈希码之间的关系,用以求解每个类的哈希码;然后,度量数据点的哈希码与类哈希码间的内积关系构建度量模型,同时采用非线性核函数建立量化模型;最后,在求解哈希码的过程中,采用了离散求解法以提升准确性。NUS-WIDE和CIFAR-10数据集的实验结果均表明,基于类标签的离散监督哈希算法是有效的。     

基于改进的卷积神经网络的钢号识别

为获取样本的多样性特征,提出了一种改进的卷积神经网络结构。该网络中引入多层递归神经网络,利用卷积神经网络提取输入图像的浅层特征,同时利用卷积神经网络和递归神经网络并行提取高层特征,最后将两种网络学习到的特征进行融合输入到分类器中分类。利用迁移学习理论解决小样本集数据训练不足的问题,并将这种卷积神经网络结构应用于石油物资管线钢号识别中。实验探究了递归神经网络个数与卷积核个数对网络性能的影响,实验结果表明,改进的网络结构与其它网络进行对比,错误率降低了 3% 。     

基于特征增强的对抗哈希跨模态检索

在跨模态检索任务中，哈希方法由于其检索效率高效、储存成本低廉而被广泛应用。但是，这些方法很少关注如何去弥补主体网络将高维特征转换为哈希码的过程中所丢失的特征信息。为解决这些问题，本文提出了一种特征增强对抗跨模态哈希（Feature Boosting Adversarial Hashing for Cross-Modal，FBAH）方法。FBAH方法将子空间学习与对抗学习相结合，来减少不同模态数据的差异性。另外，构造一种类残差模块，它可以将筛选出具有区别性的特征绕过主体网络直接输入到哈希空间进行特征增强。这样，生成的哈希码能够具有更多的原始特征信息。最后，通过带有分支网络的线性分类器在标签空间进行两种方式的预测，并最小化与真实标签的差距来保证语义的不变性。本文选择两个跨模态检索任务中常用的大型数据集进行大量实验，结果表明FBAH方法的性能优于目前7种较为先进的跨模态哈希方法。     

基于邻域信息的网络结构表示学习

针对传统网络表示学习方法无法学习节点网络结构相关性的问题, 提出一种基于邻域信息的网络结构表示学习模型. 该模型首先定义基于邻域信息的节点间结构相似度计算方法, 对不同邻域范围内节点间结构相似度建模； 其次构建深层自编码器, 将节点结构相似度作为监督信息优化网络表示, 在网络嵌入过程中学习节点结构信息. 与node2vec,SDNE,struc2vec三种相关算法进行对比的实验结果表明, 该方法有更好的网络结构识别能力, 能学习到节点间的结构相关性, 所得到的网络表示能适用于角色识别相关任务. 此外, 跨网络分类实验结果还体现了该方法在迁移学习方面的潜力.     

基于深度卷积神经网络和深度视频的人体行为识别

传统人体行为识别基于人工设计特征方法涉及的环节多,具有时间开销大,算法难以整体调优的缺点。以深度视频为研究对象,构建了3维卷积深度神经网络自动学习人体行为的时空特征,使用Softmax分类器进行人体行为的分类识别。实验结果表明,提出的方法能够有效提取人体行为的潜在特征,不但在MSR-Action3D数据集上能够获得与当前最好方法一致的识别效果,在UTKinect-Action3D数据集也能够获得与基准项目相当的识别效果。本方法的优势是不需要人工提取特征,特征提取和分类识别构成一个端到端的完整闭环系统,方法更加简单。同时,研究方法也验证了深度卷积神经网络模型具有良好的泛化性能,使用MSR-Action3D数据集训练的模型直接应用于UTKinect-Action3D数据集上行为的分类识别,同样获得了良好的识别效果。     

基于多尺寸特征图卷积方法的玉米雄穗检测

为了解决传统雄穗检测方法因玉米品种不同以及田间环境不同导致的检测误差较大、鲁棒性较差的问题,利用深度卷积神经网络提取特征,并对多尺寸特征图卷积的方法检测玉米雄穗。采用深度卷积神经网络inception作为基础网络来训练提取玉米雄穗特征,同时增加额外的卷积层对图像进行卷积提取特征,最后分别对基础网络中的两层卷积层以及额外的卷积层卷积得到的不同尺度特征图进行分类和位置回归。整体网络结构是多尺度端到端框架,效率高,方便检测不同尺度的雄穗。实验结果表明,此方法提高了雄穗检测的速度和准确率。     

一种标签嵌入子空间的跨模态离散哈希学习

针对有监督的跨模态哈希检索存在计算成本高及准确度不高的问题,提出了一种标签嵌入子空间的跨模态离散哈希学习方法,将数据信息和标签信息同时嵌入到公共子空间中,通过以带标签信息的语义特征逼近公共子空间、并生成低松弛的离散哈希码,降低了计算成本,快速生成了具有丰富语义的公共子空间.经3个标准数据集对比实验,结果表明其准确率均优于被比较的方法.     

语音识别中的DenseNet模型研究

为了解决语音识别中由网络加深导致的低层特征消失、参数量大及网络训练困难的问题,基于Inception V3网络的非对称卷积思想,提出了一种改进的密集连接卷积神经网络(densely connected convolutional neural networks, DenseNet)模型。根据语音识别的长时相关性,通过密集连接块建立起不同层之间的连接关系,从而保存低层特征、加强特征传播;为了得到尺度更丰富的声学特征,将卷积核的范围进行扩大;利用非对称卷积思想分解卷积核,以减少参数量。实验结果表明,相较经典深度残差卷积神经网络模型和原始DenseNet模型,提出的模型在THCHS30数据集上的语音识别性能更好,在保证识别率的情况下,还减少了网络参数量,提高了模型训练效率。