基于集成迁移学习的细粒度图像分类算法

针对现有的大部分细粒度图像分类算法都忽略了局部定位和局部特征学习是相互关联的问题,提出了一种基于集成迁移学习的细粒度图像分类算法。该算法的分类网络由区域检测分类和多尺度特征组合组成。区域检测分类网络通过类别激活映射(class activation mapping,CAM)方法获得局部区域,以相互强化学习的方式,从定位的局部区域中学习图像的细微特征,组合各局部区域特征作为最终的特征表示进行分类。该细粒度图像分类网络在训练过程中结合提出的集成迁移学习方法,基于迁移学习,通过随机加权平均方法集成局部训练模型,从而获得更好的最终分类模型。使用该算法在数据集CUB-200-2011和Stanford Cars上进行实验,结果表明,与原有大部分算法对比,该算法具有更优的细粒度分类结果。     

基于注意力特征融合的SqueezeNet细粒度图像分类模型

针对现有细粒度图像分类算法普遍存在的模型结构复杂、参数多、分类准确率较低等问题,提出一种注意力特征融合的SqueezeNet细粒度图像分类模型.通过对现有细粒度图像分类算法和轻量级卷积神经网络的分析,首先使用3个典型的预训练轻量级卷积神经网络,对其微调后在公开的细粒度图像数据集上进行验证,经比较后选择了模型性能最佳的SqueezeNet作为图像的特征提取器;然后将两个具有注意力机制的卷积模块嵌入至SqueezeNet网络的每个Fire模块;接着提取出改进后的SqueezeNet的中间层特征进行双线性融合形成新的注意力特征图,与网络的全局特征再融合后分类;最后通过实验对比和可视化分析,网络嵌入Convolution Block Attention Module(CBAM)模块的分类准确率在鸟类、汽车、飞机数据集上依次提高了8.96%、4.89%和5.85%,嵌入Squeeze-and-Excitation(SE)模块的分类准确率依次提高了9.81%、4.52%和2.30%,且新模型在参数量、运行效率等方面比现有算法更具优势.     

基于多尺度特征融合与反复注意力机制的细粒度图像分类算法

细粒度图像分类是对某一类别下的图像子类进行精确划分.细粒度图像分类以其特征相似、姿态各异、背景干扰等特点,一直是计算机视觉和模式识别领域的研究热点和难点,具有重要的研究价值.细粒度图像分类的关键在于如何实现对图像判别性区域的精确提取,已有的基于神经网络算法在精细特征提取方面仍有不足.为解决这一问题,本文提出了一种多尺度反复注意力机制下的细粒度图像分类算法.考虑到高、低层级的特征分别具有丰富的语义、纹理信息,分别将注意力机制嵌入到不同尺度当中,以获取更加丰富的特征信息.此外,对输入特征图先后采取通道和空间注意,该过程可以看作是对特征矩阵的反复注意力(re-attention);最后以残差的方式,将注意力结果与原始输入特征相结合,将不同尺度特征图的注意结果拼接起来送入全连接层,以更加精确地提取显著性特征.在国际上公开的细粒度数据集(CUB-200-2011、FGVC Aircraft和Stanford Cars)上进行实验仿真,分类准确率分别达到86.16%、92.26%和93.40%;与只使用ResNet50结构相比,分别提高了1.66%、1.46%和1.10%;明显高于现有经典算法,也高于人类表现,验证了本文算法的有效性.     

基于注意力机制的细粒度图像分类

针对细粒度图像分类中数据分布具有小型、非均匀和不易察觉类间差异的特征,提出一种基于注意力机制的细粒度图像分类模型.首先通过引入双路通道注意力与残差网络融合对图像进行初步特征提取,然后应用多头自注意力机制,达到提取深度特征数据之间细粒度关系的目的,再结合交叉熵损失和中心损失设计损失函数度量模型的训练.实验结果表明,该模型在两个标准数据集102 Category Flower和CUB200-2011上的测试准确率分别达94.42%和89.43%,与其他主流分类模型相比分类效果更好.     

多尺度区域特征的细粒度分类算法研究

为了避免复杂背景对精细目标分类的影响,充分利用卷积神经网络提取的目标全局和局部信息进行细粒度任务的研究,提出了一种多尺度区域特征的细粒度目标检测与分类算法.该方法先使用FASTER-RCNN框架训练3个尺度区域的卷积模型进行多尺度目标区域定位,对定位的结果进行包围盒约束和海伦约束以优化提高定位的精确度,然后将提取多个尺度区域的特征进行组合,并用支持向量机训练细粒度分类器.在Caltech-UCSD鸟类数据集和Comp Cars车型数据集上进行实验测试.实验结果表明该算法在Caltech-UCSD鸟类数据集的分类正确率达到82. 8%,比没有使用多尺度区域特征的分类算法提高了7. 5%,比基于部件的分类方法提高了8. 9%;在Comp Cars车型数据集的分类正确率达到93. 5%,比没有使用多尺度区域特征的分类算法提高了8. 3%,比最优的Google Net精细目标分类算法提高了2. 3%,验证了该算法的有效性.     

一种基于选择性卷积特征和最大后验高斯混合模型的细粒度图像分类算法

提出了一种新颖的细粒度图像分类算法。首先从神经网络VGG 16中提取出卷积特征后进行特征筛选,得到选择性卷积特征;然后利用最大后验高斯混合模型对特征进行分类,从而解决细粒度图像分类问题。造成细粒度图像分类困难的主要原因是类内差异和类间差异。利用卷积特征对图像具有更细致的描述能力,可以有效地减小类内差异;同时,对从VGG 16中得到的卷积特征进行筛选,能够较大程度地摆脱背景干扰,从而提高类间差异。最后,采用基于最大后验的高斯混合模型对这些选择性卷积特征进行分类。实验结果表明,本文算法不仅克服了两种差异带来的问题,还解决了传统高斯混合模型缺少大量实验数据的困难。在目前流行的5种细粒度图像数据集上,本文算法都有更好的分类效果。     

面向细粒度分类的预测属性引导的注意力研究

细粒度图像分类任务比一般图像分类任务更具有挑战性,其通常需要对类间差异小、类内差异大的样本进行分类.现有细粒度分类方法主要依赖视觉特征进行分类,而人类可以根据文本描述等属性描述来辅助识别图像类别.该文提出了一种通过预测属性引导的通道注意力模块,该模块可以插入到任意的卷积神经网络中,从而让模型学习到更高级的特征表示.最后,该算法在CUB-200-2011数据集上测试,在使用Resnet-50、VGG-19、Bilinear-CNN作为主干网络训练时的精度分别达到87.1%、82.1%、85.5%,精度得到显著提升.     

双路特征提取与度量的少样本细粒度图像分类方法

少样本学习旨在利用少量数据训练深度学习模型,并将其快速泛化到新任务中．在这一领域,少样本细粒度图像分类是最具有挑战性的任务之一,原因在于细粒度图像具有类内方差大、类间方差小的特点．为了解决这一问题,本文提出了一种基于距离与方向双重度量的神经网络,分别利用欧氏距离衡量特征间的绝对距离差异和余弦相似度衡量特征间的相对方向差异,以提升度量信息多样性和样本特征的判别性．同时,为了与当前先进的少样本细粒度图像分类方法对比,将特征提取器在不增加深度的前提下设置为双路形式,以适应不同度量方法对嵌入特征信息的需要．此外,设计了彼此分离的通道和空间注意力机制,分别通过自适应通道注意力和空间信息交叉注意力对不同阶段的提取特征进行增强,从而挖掘重要分类信息．最后,通过双相似度模块分别计算两种差异信息的度量结果,并选取一定权重融合得到最终的相似度分数,实现绝对差异与相对差异在度量空间中的协调补充．在4个主流细粒度图像分类数据集上进行实验对比与分析,最终结果表明了所提方法在相同设置下最多实现了7.0%左右的分类准确率提升．     

基于多视图和注意力推荐网络的三维物体识别方法

传统物体识别方法是从单一图像中通过人工提取图像特征,存在成本高、质量低等问题。针对上述问题,提出一种基于多视图和注意力推荐网络的三维物体识别方法,多视图很好地保留了物体在局部和全局上的特征;注意力模块可以有效地对视图上关键的特征聚焦,忽略无关或干扰特征。该方法利用一组多视图作为输入数据,通过卷积神经网络端到端提取物体特征,在卷积层加入注意力模块,实现视图关键区域的定位和剪裁,将处理后的视图送入另外一个卷积层,两个相同卷积操作提取的特征在池化层聚合,利用稀疏表示分类器对特征描述子进行分类识别。通过两个公开数据集的实验表明,所提算法对物体图像的识别准确度优于传统算法。     

基于多通道自注意力网络的遥感图像场景分类

高分辨率遥感图像场景分类广泛应用于土地监测、环境保护及城市规划等诸多领域.现有场景分类方法不能很好地结合局部纹理信息和全局语义信息,同时各通道特征之间的关系没有得到有效挖掘.因此,本文提出了一种基于多通道自注意力网络的遥感图像场景分类模型.通过卷积网络提取遥感图像的多尺度特征;随后采用特征融合单元建立多尺度特征间的局部-全局关系,基于多头自注意力机制的Inter-Channel Transformer在通道维度对融合后的特征建模,并推导特征在通道间的关系,进一步扩大全局感受野,以捕捉其语义结构信息,有效提高了网络的分类精度.在数据集AISC和SIRI-WHU上,本文所提算法的整体分类准确率(OA)分别为95.70%和94.00%,超过了当前最新的研究算法,证明了所提模型在高分辨率遥感图像场景分类任务中的有效性.     

基于卷积和Transformer融合的服装分类算法

针对传统基于卷积神经网络的服装分类算法无法满足海量多样服装分类需求的问题,提出一种卷积注意力融合的服装分类网络.该网络采用并行结构,包含一个ResNet分支和一个Transformer分支,充分利用卷积运算提取的局部特征和自注意力机制提取的全局特征,以增强网络的表征学习能力,从而提高服装分类算法的性能和泛化能力.为验证该方法的有效性,在数据集Fashion-MNIST和DeepFashion上进行了对比实验.结果表明：在数据集Fashion-MNIST上,该方法取得了93.58%的准确率;在数据集DeepFashion上,该方法取得了71.1%的准确率;该方法优于其他对比方法的实验结果.     

基于多层交叉注意力融合网络模型的人脸图像情感分析

目前大多数人脸图像情感分析方法只单方面关注图像整体或局部来构建视觉情感特征表示,忽略了二者在情感表达上的协同作用。针对此问题,提出了一种多层交叉注意力融合网络情感分析方法。该方法首先利用特征相关性分析实现最大化类的可分性;其次通过多层交叉注意力网络中的多个不重叠的注意力区域来提取整体和局部的信息;然后将整体与局部提取的注意力图进行融合,来共同训练图像情感分类器并进行情感分析。实验结果表明,提出的方法在真实数据集RAFDB上的情感分类准确率达到了88.53%,优于现有其他方法,验证了该方法的有效性与优越性。     

基于深层次特征增强网络的SAR图像舰船检测

针对合成孔径雷达图像中舰船目标检测困难的问题,提出了一种基于深层次特征增强网络的多尺度目标检测框架.利用Darknet53提取原始图像特征,自上而下建立四尺度特征金字塔;特别设计基于注意力机制的特征融合结构,自下而上衔接相邻特征层,构建增强型特征金字塔;利用候选区域及其周边上下文信息为检测器计算分类置信度和目标分数提供更高质量的判定依据.所提算法在SSDD公开数据集和SAR-Ship自建数据集上的平均检测精度分别为94.43%和91.92%.实验结果表明,该算法设定合理且检测性能优越.      

基于空间变换双线性网络的细粒度鱼类图像分类

有效地识别水下各种鱼类目标具有重要的实际意义和理论价值.鱼类生存环境复杂,由于海洋的极端条件,水下鱼类图像的分辨率低,且图像类间相似度高、类内差异性大,并受光照、角度、姿态等的影响较大,这些因素使得鱼类识别成为一项具有挑战的任务.针对这些难点,提出了一个能够有效进行细粒度鱼类图像分类的深度学习模型.该模型包含空间变换网络和双线性网络两部分,首先利用空间变换网络作为注意力机制,去除图像背景中复杂的干扰信息,选择图像中感兴趣的目标区域,简化后续分类;双线性网络通过融合两个深度网络的特征图提取图像的双线性特征,使得对目标中具有判别性的特定位置有较强的响应,从而识别种类,该模型可以进行端到端的训练.在公开的F4K数据集上,该模型取得了最好的性能,识别正确率为99.36%,较现有最好算法DeepFish提高0.56%,此外,发布了一个包含100类共6 358张图片的新的鱼类图像数据集Fish100,该模型在Fish100数据集上的识别正确率高出BCNN算法0.98%.多个数据集上的实验验证了模型的有效性与先进性.     

自动生成影像学报告的混合特征提取无卷积结构深度学习模型

在影像学报告的生成中,由于正常区域和异常区域的数据不平衡,描述疾病的关键词经常被描述图像正常区域的句子掩盖,导致异常图像特征的误判和漏判,严重影响医疗报告的质量。本研究提出混合特征提取无卷积深度学习模型,首次将Swin Transformer引入放射学报告中,设计了一个混合特征提取器,以提取更加细粒度的图像特征,准确地捕捉生成影像学报告所需要的异常特征;设计一个名为视觉-语义协同注意力的注意力机制,在生成报告时突出图像重点特征信息,对非关键信息进行过滤,有效提升生成异常报告的质量;使用具有记忆机制的解码器模块生成影像学报告。最后,在流行的影像学报告IU X-Ray数据集上与当前的主流模型进行对比表明,本模型在语言生成指标和临床评估方面都达到较理想的效果。     

采用对比学习的多阶段Transformer图像去雾方法

为了解决现有图像去雾方法在图像局部去雾以及纹理细节恢复等方面始终不理想以及处理非均匀雾质始终不彻底的问题，提出了一种采用对比学习的多阶段自注意力模块(Transformer)的图像去雾MSTCNet方法。首先，利用信道级Transformer模块作为基本的特征提取模块，充分地捕获特征信道之间的长距离依赖关系；其次，通过提出的多监督对比学习方法最大限度地挖掘正负样本信息，使去雾图像在投影后的隐空间中更靠近清晰图像，同时远离有雾图像；最后，利用多阶段渐进式网络结构和可变形自注意力机制有效地整合图像局部细粒度特征和全局粗粒度信息。本文在2个合成数据集和3个真实数据集上对所提出的方法进行了大量的实验，结果表明：所提出的MSTCNet方法在5个数据集上的峰值信噪比(PSNR)分别提高了1.49、1.45、0.11、1.45和0.22 dB,在通用数据集与非数据集的测试中均超越已有的方法，在浓雾质、非均匀雾质以及均匀雾质的测试中均表现出最佳的去雾视觉效果，并达到最高的客观评价指标值。     

基于注意机制和循环卷积神经网络的细粒度图像分类算法

细粒度图像分类是计算机视觉中非常热的研究方向.由于同一个大物种的子类别之间具有相似的外观,相似的颜色,所以差别非常细微.因此,细粒度图像分类非常具有挑战性.为了解决这个挑战,该文提出一种基于注意机制的循环卷积神经网络用于细粒度图像分类.首先,根据注意机制循环提取一幅图像中的显著性物体区域;然后,对原始图像和每次提取的显著性区域分别进行分类;最后,融合分类层得分,进行最终分类.在非常有挑战性的公共数据集CUB-200-2011,Stanford Dogs和Stanford Cars上进行实验,与比较先进的实验方法进行比较,实验结果表明该文提出的方法非常有效.     

基于双流卷积网络的宫颈细胞细粒度分类

为了实现对宫颈细胞图像相近类别的准确自动分类,提出了一种双流卷积神经网络算法。算法以DenseNet121网络和Xception网络为基础并对其进行改进,以提高算法对宫颈细胞进行细粒度分类的识别准确率。首先,在DenseNet121中引入DropBlock模块进行网络正则化,用于提高模型的泛化能力;其次,在Xception中加入SE(squeeze-and-excitation)模块调整通道权重,以增强网络提取有效特征的能力;最后,将两个网络输出的特征图进行拼接构建双流网络,来获取宫颈细胞更全面的特征信息。实验结果表明,该网络在Herlev数据集以及SIPaKMeD数据集上各性能指标都表现良好,且都达到了99%的准确率,优于改进融合前的网络,提出的算法在宫颈细胞的细粒度分类中具有较高识别率。     

融合FV-SIFT特征和深度卷积特征的车辆图像细粒度分类

针对现有的SIFT特征在车辆细粒度分类中存在的分类精度低的问题,提出了一种融合FV-SIFT特征和深度卷积特征的车辆图像细粒度分类算法。首先采用SIFT算法与Fisher Vector算法相结合的方式提取车辆图像的FV-SIFT特征,然后采用VGG-16卷积神经网络提取车辆图像的深度卷积特征,最后将FV-SIFT特征与深度卷积特征进行线性融合并采用支持向量机对融合后的车辆特征进行分类。实验结果表明,该方法的分类准确率达到82.3%,较FV-SIFT算法在分类准确率上提高了15.4%。     

面向印花图案检索的特征融合方法研究

伴随着纺织品CAD技术的发展,印花图案数量快速增长.快速准确地在企业图库中查找到相似印花图案,对于帮助纺织企业极大程度降低成本,提升生产效率,具有重要意义.本文针对印花图案检索问题,以ResNet为主干网络构建了一个基于特征融合的印花图案检索模型PGLN(Pattern Global and Local feature Network).在该模型中,将全局特征和局部特征进行融合,全局特征使用深度网络的池化特征图,高效地整合输入图像的显著特征;局部特征分支借由注意力机制,使用交互特征层来检测图像的显著性区域.为了验证PGLN模型的有效性,本文在自主构建的印花图案数据集(Pattern)上对PGLN模型的检索效果进行了测试.实验表明,与局部特征提取算法、全局特征提取算法以及融合特征算法相比,PGLN模型在Pattern数据集检索任务上均取得了最优的表现.