基于注意力特征融合的SqueezeNet细粒度图像分类模型

针对现有细粒度图像分类算法普遍存在的模型结构复杂、参数多、分类准确率较低等问题,提出一种注意力特征融合的SqueezeNet细粒度图像分类模型.通过对现有细粒度图像分类算法和轻量级卷积神经网络的分析,首先使用3个典型的预训练轻量级卷积神经网络,对其微调后在公开的细粒度图像数据集上进行验证,经比较后选择了模型性能最佳的SqueezeNet作为图像的特征提取器;然后将两个具有注意力机制的卷积模块嵌入至SqueezeNet网络的每个Fire模块;接着提取出改进后的SqueezeNet的中间层特征进行双线性融合形成新的注意力特征图,与网络的全局特征再融合后分类;最后通过实验对比和可视化分析,网络嵌入Convolution Block Attention Module(CBAM)模块的分类准确率在鸟类、汽车、飞机数据集上依次提高了8.96%、4.89%和5.85%,嵌入Squeeze-and-Excitation(SE)模块的分类准确率依次提高了9.81%、4.52%和2.30%,且新模型在参数量、运行效率等方面比现有算法更具优势.     

基于注意力机制的细粒度图像分类算法

针对目前细粒度图像分类算法存在的局部区域特征捕捉不全面的问题,在B-CNN算法基础上提出了一种基于注意力机制的细粒度图像分类算法。首先利用数据增强的6种方式对训练数据集进行扩充,然后在B-CNN算法的特征提取中引入注意力机制,使用卷积注意力模块CBAM精准获取图像局部区域特征,最后融合特征进行分类。改进后的算法分别在CUB-200-2011和Stanford Cars两个数据集上进行实验,与当前先进算法比较,所提算法提高了细粒度图像的分类效果。     

基于多尺度特征融合与反复注意力机制的细粒度图像分类算法

细粒度图像分类是对某一类别下的图像子类进行精确划分.细粒度图像分类以其特征相似、姿态各异、背景干扰等特点,一直是计算机视觉和模式识别领域的研究热点和难点,具有重要的研究价值.细粒度图像分类的关键在于如何实现对图像判别性区域的精确提取,已有的基于神经网络算法在精细特征提取方面仍有不足.为解决这一问题,本文提出了一种多尺度反复注意力机制下的细粒度图像分类算法.考虑到高、低层级的特征分别具有丰富的语义、纹理信息,分别将注意力机制嵌入到不同尺度当中,以获取更加丰富的特征信息.此外,对输入特征图先后采取通道和空间注意,该过程可以看作是对特征矩阵的反复注意力(re-attention);最后以残差的方式,将注意力结果与原始输入特征相结合,将不同尺度特征图的注意结果拼接起来送入全连接层,以更加精确地提取显著性特征.在国际上公开的细粒度数据集(CUB-200-2011、FGVC Aircraft和Stanford Cars)上进行实验仿真,分类准确率分别达到86.16%、92.26%和93.40%;与只使用ResNet50结构相比,分别提高了1.66%、1.46%和1.10%;明显高于现有经典算法,也高于人类表现,验证了本文算法的有效性.     

面向细粒度分类的预测属性引导的注意力研究

细粒度图像分类任务比一般图像分类任务更具有挑战性,其通常需要对类间差异小、类内差异大的样本进行分类.现有细粒度分类方法主要依赖视觉特征进行分类,而人类可以根据文本描述等属性描述来辅助识别图像类别.该文提出了一种通过预测属性引导的通道注意力模块,该模块可以插入到任意的卷积神经网络中,从而让模型学习到更高级的特征表示.最后,该算法在CUB-200-2011数据集上测试,在使用Resnet-50、VGG-19、Bilinear-CNN作为主干网络训练时的精度分别达到87.1%、82.1%、85.5%,精度得到显著提升.     

双路特征提取与度量的少样本细粒度图像分类方法

少样本学习旨在利用少量数据训练深度学习模型,并将其快速泛化到新任务中．在这一领域,少样本细粒度图像分类是最具有挑战性的任务之一,原因在于细粒度图像具有类内方差大、类间方差小的特点．为了解决这一问题,本文提出了一种基于距离与方向双重度量的神经网络,分别利用欧氏距离衡量特征间的绝对距离差异和余弦相似度衡量特征间的相对方向差异,以提升度量信息多样性和样本特征的判别性．同时,为了与当前先进的少样本细粒度图像分类方法对比,将特征提取器在不增加深度的前提下设置为双路形式,以适应不同度量方法对嵌入特征信息的需要．此外,设计了彼此分离的通道和空间注意力机制,分别通过自适应通道注意力和空间信息交叉注意力对不同阶段的提取特征进行增强,从而挖掘重要分类信息．最后,通过双相似度模块分别计算两种差异信息的度量结果,并选取一定权重融合得到最终的相似度分数,实现绝对差异与相对差异在度量空间中的协调补充．在4个主流细粒度图像分类数据集上进行实验对比与分析,最终结果表明了所提方法在相同设置下最多实现了7.0%左右的分类准确率提升．     

一种基于注意力导向CNN的晶粒缺陷检测方法

针对半导体生产过程中的晶粒缺陷检测任务,提出了一种融入多头注意力机制的新型CNN模型(AttnNet).该模型使用深度可分离卷积和标准卷积累加的卷积结构提取输入图像特征,借助多头注意力机制更新特征权重,输出注意力机制筛选的图像分类结果.在13 513张晶粒图像构成的数据集上训练、验证及测试,并与VGG-16、ResNet-50和MobileNet-v2进行对比.相较于现有经典CNN网络模型,Attn-Net检测用时更短(1.26 s),模型尺寸更小(25 MB),在测试集上的分类准确率超过99%,是一种高效且轻量化的晶粒缺陷检测和分类模型.     

基于特征金字塔模型的高分辨率遥感图像船舶目标检测

以舰船为研究对象,研究高分辨遥感图像的多尺度多目标检测中的关键技术,主要解决多尺度多目标识别和细粒度分类准确率低等问题.在目标定位方面,利用特征金字塔深度网络定位多目标区域,创建一个在所有尺度上均具有语义信息的特征金字塔,有效解决多尺度多目标数据定位准确率低这一关键问题;在目标识别方面,利用共享CNN网络重建输入图像、优化多任务损失函数提取细粒度分类目标结构特征,提高细分目标识别准确率.与GoogLeNet、Faster R-CNN和Yolo三种目标检测算法对比实验表明,利用特征金字塔和重建输入图像可有效检测多目标多尺度的细粒度船舶对象,漏检率为1.5%,细粒度分类识别平均准确率为92.67%.     

基于跨层精简双线性网络的细粒度鸟类识别

细微的类间差异和显著的类内变化使得细粒度图像分类极具挑战性。为了对鸟类图像进行细粒度识别,提出一种基于跨层精简双线性池化的深度卷积神经网络模型。首先,根据Tensor Sketch算法计算出多组来自不同卷积层的精简双线性特征向量;其次,将归一化后的特征向量级联送至softmax分类器;最后,引入成对混淆对交叉熵损失函数进行正则化以优化网络。提出的模型无需额外的部件标注,可进行端到端的训练。结果表明,在公开的CUB-200—2011鸟类数据集上,该模型取得了较好的性能,识别正确率为86. 6%,较BCNN提高2. 5%。与多个先进细粒度分类算法的对比,验证了提出模型的有效性和优越性。     

基于空间变换双线性网络的细粒度鱼类图像分类

有效地识别水下各种鱼类目标具有重要的实际意义和理论价值.鱼类生存环境复杂,由于海洋的极端条件,水下鱼类图像的分辨率低,且图像类间相似度高、类内差异性大,并受光照、角度、姿态等的影响较大,这些因素使得鱼类识别成为一项具有挑战的任务.针对这些难点,提出了一个能够有效进行细粒度鱼类图像分类的深度学习模型.该模型包含空间变换网络和双线性网络两部分,首先利用空间变换网络作为注意力机制,去除图像背景中复杂的干扰信息,选择图像中感兴趣的目标区域,简化后续分类;双线性网络通过融合两个深度网络的特征图提取图像的双线性特征,使得对目标中具有判别性的特定位置有较强的响应,从而识别种类,该模型可以进行端到端的训练.在公开的F4K数据集上,该模型取得了最好的性能,识别正确率为99.36%,较现有最好算法DeepFish提高0.56%,此外,发布了一个包含100类共6 358张图片的新的鱼类图像数据集Fish100,该模型在Fish100数据集上的识别正确率高出BCNN算法0.98%.多个数据集上的实验验证了模型的有效性与先进性.     

一种基于选择性卷积特征和最大后验高斯混合模型的细粒度图像分类算法

提出了一种新颖的细粒度图像分类算法。首先从神经网络VGG 16中提取出卷积特征后进行特征筛选,得到选择性卷积特征;然后利用最大后验高斯混合模型对特征进行分类,从而解决细粒度图像分类问题。造成细粒度图像分类困难的主要原因是类内差异和类间差异。利用卷积特征对图像具有更细致的描述能力,可以有效地减小类内差异;同时,对从VGG 16中得到的卷积特征进行筛选,能够较大程度地摆脱背景干扰,从而提高类间差异。最后,采用基于最大后验的高斯混合模型对这些选择性卷积特征进行分类。实验结果表明,本文算法不仅克服了两种差异带来的问题,还解决了传统高斯混合模型缺少大量实验数据的困难。在目前流行的5种细粒度图像数据集上,本文算法都有更好的分类效果。     

基于改进Bilinear-CNN的服装图像风格识别

为解决服装风格的细粒度识别问题,提出一种改进的Bilinear-CNN(convolutional neural network)模型。在VGG16特征提取网络的输出特征图中引入空间注意力机制,提升对图像中服装区域的关注程度。设计一种单特征通路的双线性池化方法,在减小参数量和计算量的同时,采用全局平均池化和全局最大池化两种操作充分挖掘细粒度特征。试验结果表明,改进的Bilinear-CNN模型在FashionStyle14数据集上达到76.4%的识别准确率。相比原始Bilinear-CNN模型,改进模型的识别准确率提升2个百分点,减少40%的参数量和52%的计算量,并对含扰动服装图像具有风格识别的稳健性。     

基于多通道自注意力网络的遥感图像场景分类

高分辨率遥感图像场景分类广泛应用于土地监测、环境保护及城市规划等诸多领域.现有场景分类方法不能很好地结合局部纹理信息和全局语义信息,同时各通道特征之间的关系没有得到有效挖掘.因此,本文提出了一种基于多通道自注意力网络的遥感图像场景分类模型.通过卷积网络提取遥感图像的多尺度特征;随后采用特征融合单元建立多尺度特征间的局部-全局关系,基于多头自注意力机制的Inter-Channel Transformer在通道维度对融合后的特征建模,并推导特征在通道间的关系,进一步扩大全局感受野,以捕捉其语义结构信息,有效提高了网络的分类精度.在数据集AISC和SIRI-WHU上,本文所提算法的整体分类准确率(OA)分别为95.70%和94.00%,超过了当前最新的研究算法,证明了所提模型在高分辨率遥感图像场景分类任务中的有效性.     

基于Xception的细粒度图像分类

细粒度图像分类是对传统图像分类的子类进行更加细致的划分,实现对物体更为精细的识别,它是计算机视觉领域的一个极具挑战的研究方向。通过对现有的细粒度图像分类算法和Xception模型的分析,提出将Xception模型应用于细粒度图像分类任务。用ImageNet分类的预训练模型参数作为卷积层的初始化,然后对图像进行缩放、数据类型转换、数值归一化处理,以及对分类器参数随机初始化,最后对网络进行微调。在公开的细粒度图像库CUB200-2011、Flower102和Stanford Dogs上进行实验验证,得到的平均分类正确率为71.0%、89.9%和91.4%。实验结果表明Xception模型在细粒度图像分类上有很好的泛化能力。由于不需要物体标注框和部位标注点等额外人工标注信息,Xception模型用在细粒度图像分类上具有较好的通用性和鲁棒性。     

基于注意力机制和感知损失的遥感图像去噪

遥感图像去噪对于遥感图像在后续的分类、检测等任务中有着非常重要的作用.为了让去噪后的图像更好地保留边缘细节信息,同时增强深度网络对噪声污染区域的辨识能力,本文结合注意力机制以及感知损失来处理遥感图像,提出了一种新的基于残差自编码器的遥感图像去噪网络ARED-VGG.考虑到遥感图像中不同地物大小不同,该网络首先同时使用图像的空间和光谱信息来提取多尺度特征;然后使用残差自编码器网络结构来进行图像空间-光谱多尺度图像重建.为了增加网络的辨识能力,更多地关注网络中提取的高频特征,网络引入了注意力机制.同时为了让去噪后的结果更符合视觉感观,使用了感知损失混合均方误差作为损失函数.从实验结果知,本文所提出的方法在噪声去除和纹理细节保留方面与NLM3D、BM4D、LRMR、HSID-CNN和3DADCNN相比表现更优.在Washington DC mall遥感图像数据集上进行了仿真实验,平均峰值信噪比以及平均结构相似性指标都有较好的结果;在AVIRIS Indian Pines数据集上进行了真实数据实验,以去噪后的结果地物分类指标作为验证,整体分类精度以及Kappa系数分别为96.90%和0.9647;对网络结构进行了消融实验,在两个数据集下,本文所提出的网络结构都能获得更优的结果.本文提出基于注意力机制和感知损失的深度神经网络进行遥感图像去噪,提高了网络的辨识能力,实现了良好的去噪性能,并且有效保持了图像的细节信息和光谱信息.     

基于集成迁移学习的细粒度图像分类算法

针对现有的大部分细粒度图像分类算法都忽略了局部定位和局部特征学习是相互关联的问题,提出了一种基于集成迁移学习的细粒度图像分类算法。该算法的分类网络由区域检测分类和多尺度特征组合组成。区域检测分类网络通过类别激活映射(class activation mapping,CAM)方法获得局部区域,以相互强化学习的方式,从定位的局部区域中学习图像的细微特征,组合各局部区域特征作为最终的特征表示进行分类。该细粒度图像分类网络在训练过程中结合提出的集成迁移学习方法,基于迁移学习,通过随机加权平均方法集成局部训练模型,从而获得更好的最终分类模型。使用该算法在数据集CUB-200-2011和Stanford Cars上进行实验,结果表明,与原有大部分算法对比,该算法具有更优的细粒度分类结果。     

基于注意力胶囊网络的合成孔径雷达图像分类模型研究

特征提取是合成孔径雷达(synthetic aperture radar, SAR)图像自动识别与分类中的重要环节。由于SAR图像有相干斑噪声及几何畸变等特性,一般网络模型难以提取到有判别性的特征。为增强特征提取能力,提高分类准确率,提出将注意力机制与胶囊网络结合的一种注意力胶囊网络模型。注意力机制可聚焦寻找具有重要局部信息的特征,在图像识别过程中抑制干扰特征,定位重要特征。胶囊网络可捕捉图像中目标的位置与空间关系,使提取到的SAR图像特征含有更多便于分类的重要信息。结果表明：文中方法对SAR图像分类数据集中运动和静止目标的获取与识别(moving and stationary target acquisition and recognition, MSTAR)有显著效果。     

自动生成影像学报告的混合特征提取无卷积结构深度学习模型

在影像学报告的生成中,由于正常区域和异常区域的数据不平衡,描述疾病的关键词经常被描述图像正常区域的句子掩盖,导致异常图像特征的误判和漏判,严重影响医疗报告的质量。本研究提出混合特征提取无卷积深度学习模型,首次将Swin Transformer引入放射学报告中,设计了一个混合特征提取器,以提取更加细粒度的图像特征,准确地捕捉生成影像学报告所需要的异常特征;设计一个名为视觉-语义协同注意力的注意力机制,在生成报告时突出图像重点特征信息,对非关键信息进行过滤,有效提升生成异常报告的质量;使用具有记忆机制的解码器模块生成影像学报告。最后,在流行的影像学报告IU X-Ray数据集上与当前的主流模型进行对比表明,本模型在语言生成指标和临床评估方面都达到较理想的效果。     

基于CNN-GCN模型的扫描电镜图像分类

通过对矿物扫描电镜图像进行分类与鉴定，能够获取矿物的微观信息，确定矿物的组成与类别，对于油气田生、储、盖类型的研究具有重要的意义.由于在一幅图像之中有时不止有一种矿物，且不同矿物之间具有相关性或共生性的特性，而普通的神经网络只提取图像特征或只注意图像局部的特征关系，忽略了矿物之间的相关性.因此如何利用标签之间的关系进行更优秀的多标签图像分类成为扫描电镜图像分类的重要任务.鉴于上述情况，通过构建基于Resnet50的图像特征学习模块与基于图卷积神经网络的分类器模块构成的引入图卷积的卷积神经网络模型可以很好地完成上述任务.使用卷积神经网络模块提取图像特征，并利用GCN模块学习矿物标签之间的相关性，达到提高分类准确率的目的 .此模型相比普通的CNN模型准确率提高了5%，相比引入注意力机制的CNN模型，此模型的准确率仍有3%的优势.实验表明，CNN与GCN相结合的分类模型在扫描电镜数据集分类任务中优于其他的分类模型.     

融合空间及通道注意网络的古籍汉字图像检索

古籍汉字图像检索是古籍汉字研究的有效工具.然而,古籍汉字字形复杂、书写风格多变的特点导致传统文字图像检索技术在应用于古籍汉字图像时效果欠佳.针对现有方法在古籍汉字图像特征提取时存在的字形结构细节信息和低层视觉特征提取问题,设计了一种融合空间注意力和通道注意力网络高低层特征的古籍汉字图像检索模型.首先,融合空间注意力的低维特征和通道注意力的高维特征,捕捉古籍汉字空间结构间的依赖关系,提取更丰富的古籍汉字语义特征信息;其次,构建inception残差结构模块,丰富古籍汉字图像特征的感受野,使网络模型更易优化,保留足够的古籍汉字细节信息;最后,运用加权交叉熵损失函数,解决数据集中存在的正负样本不平衡问题,增强检索模型的鲁棒性.在上下、左右、包围和独体结构古籍汉字图像数据集上检索实验的MAP(mean average precision)值分别为77.89%、79.89%、78.21%、80.75%,表明了方法的有效性.     

基于注意力机制与空间金字塔池化的行人属性识别

针对目前的行人属性识别方法存在鲁棒性差、特征表达能力不足和行人的细粒度特征识别精度不高的缺点,提出一种基于注意力机制与空间金字塔池化的行人属性识别方法,通过注意力机制强化不同维度的特征,提升行人整体特征表达;通过空间金字塔池化操作,实现任意大小图像的输入,更好地保留图像的特征信息。结果表明,与现有的其他方法相比,所提出的行人属性识别方法可以精确地识别行人多种属性,具有较高的行人细粒度特征识别精度。