基于多尺度特征融合与反复注意力机制的细粒度图像分类算法

细粒度图像分类是对某一类别下的图像子类进行精确划分.细粒度图像分类以其特征相似、姿态各异、背景干扰等特点,一直是计算机视觉和模式识别领域的研究热点和难点,具有重要的研究价值.细粒度图像分类的关键在于如何实现对图像判别性区域的精确提取,已有的基于神经网络算法在精细特征提取方面仍有不足.为解决这一问题,本文提出了一种多尺度反复注意力机制下的细粒度图像分类算法.考虑到高、低层级的特征分别具有丰富的语义、纹理信息,分别将注意力机制嵌入到不同尺度当中,以获取更加丰富的特征信息.此外,对输入特征图先后采取通道和空间注意,该过程可以看作是对特征矩阵的反复注意力(re-attention);最后以残差的方式,将注意力结果与原始输入特征相结合,将不同尺度特征图的注意结果拼接起来送入全连接层,以更加精确地提取显著性特征.在国际上公开的细粒度数据集(CUB-200-2011、FGVC Aircraft和Stanford Cars)上进行实验仿真,分类准确率分别达到86.16%、92.26%和93.40%;与只使用ResNet50结构相比,分别提高了1.66%、1.46%和1.10%;明显高于现有经典算法,也高于人类表现,验证了本文算法的有效性.     

基于注意力机制的细粒度图像分类算法

针对目前细粒度图像分类算法存在的局部区域特征捕捉不全面的问题,在B-CNN算法基础上提出了一种基于注意力机制的细粒度图像分类算法。首先利用数据增强的6种方式对训练数据集进行扩充,然后在B-CNN算法的特征提取中引入注意力机制,使用卷积注意力模块CBAM精准获取图像局部区域特征,最后融合特征进行分类。改进后的算法分别在CUB-200-2011和Stanford Cars两个数据集上进行实验,与当前先进算法比较,所提算法提高了细粒度图像的分类效果。     

基于集成迁移学习的细粒度图像分类算法

针对现有的大部分细粒度图像分类算法都忽略了局部定位和局部特征学习是相互关联的问题,提出了一种基于集成迁移学习的细粒度图像分类算法。该算法的分类网络由区域检测分类和多尺度特征组合组成。区域检测分类网络通过类别激活映射(class activation mapping,CAM)方法获得局部区域,以相互强化学习的方式,从定位的局部区域中学习图像的细微特征,组合各局部区域特征作为最终的特征表示进行分类。该细粒度图像分类网络在训练过程中结合提出的集成迁移学习方法,基于迁移学习,通过随机加权平均方法集成局部训练模型,从而获得更好的最终分类模型。使用该算法在数据集CUB-200-2011和Stanford Cars上进行实验,结果表明,与原有大部分算法对比,该算法具有更优的细粒度分类结果。     

基于联合优化多任务学习的细粒度图像识别

为了能够在细粒度图像特征表示中探索出相似层结构中的共享信息,提出了一种多任务学习框架,联合优化卷积神经网络中的Softmax Loss和Triplet Loss,基于此框架,设计广义三元组嵌入标签结构,以发现不同级别中具有相似性的相关图像。在Stanford Cars和CUB200-2011两个细粒度数据集上进行实验,结果表明这种方法不仅可以实现较好的分类性能,还能够提高在细粒度数据集上不同级别的标签结构的图像检索精度,这在电子商务中相关产品的推荐方面具有重要意义。     

双路特征提取与度量的少样本细粒度图像分类方法

少样本学习旨在利用少量数据训练深度学习模型,并将其快速泛化到新任务中．在这一领域,少样本细粒度图像分类是最具有挑战性的任务之一,原因在于细粒度图像具有类内方差大、类间方差小的特点．为了解决这一问题,本文提出了一种基于距离与方向双重度量的神经网络,分别利用欧氏距离衡量特征间的绝对距离差异和余弦相似度衡量特征间的相对方向差异,以提升度量信息多样性和样本特征的判别性．同时,为了与当前先进的少样本细粒度图像分类方法对比,将特征提取器在不增加深度的前提下设置为双路形式,以适应不同度量方法对嵌入特征信息的需要．此外,设计了彼此分离的通道和空间注意力机制,分别通过自适应通道注意力和空间信息交叉注意力对不同阶段的提取特征进行增强,从而挖掘重要分类信息．最后,通过双相似度模块分别计算两种差异信息的度量结果,并选取一定权重融合得到最终的相似度分数,实现绝对差异与相对差异在度量空间中的协调补充．在4个主流细粒度图像分类数据集上进行实验对比与分析,最终结果表明了所提方法在相同设置下最多实现了7.0%左右的分类准确率提升．     

基于注意力机制的细粒度图像分类

针对细粒度图像分类中数据分布具有小型、非均匀和不易察觉类间差异的特征,提出一种基于注意力机制的细粒度图像分类模型.首先通过引入双路通道注意力与残差网络融合对图像进行初步特征提取,然后应用多头自注意力机制,达到提取深度特征数据之间细粒度关系的目的,再结合交叉熵损失和中心损失设计损失函数度量模型的训练.实验结果表明,该模型在两个标准数据集102 Category Flower和CUB200-2011上的测试准确率分别达94.42%和89.43%,与其他主流分类模型相比分类效果更好.     

基于Xception的细粒度图像分类

细粒度图像分类是对传统图像分类的子类进行更加细致的划分,实现对物体更为精细的识别,它是计算机视觉领域的一个极具挑战的研究方向。通过对现有的细粒度图像分类算法和Xception模型的分析,提出将Xception模型应用于细粒度图像分类任务。用ImageNet分类的预训练模型参数作为卷积层的初始化,然后对图像进行缩放、数据类型转换、数值归一化处理,以及对分类器参数随机初始化,最后对网络进行微调。在公开的细粒度图像库CUB200-2011、Flower102和Stanford Dogs上进行实验验证,得到的平均分类正确率为71.0%、89.9%和91.4%。实验结果表明Xception模型在细粒度图像分类上有很好的泛化能力。由于不需要物体标注框和部位标注点等额外人工标注信息,Xception模型用在细粒度图像分类上具有较好的通用性和鲁棒性。     

基于色彩对比度的快速视觉显著目标分割方法

模仿人类视觉系统对显著色彩区域比较敏感的视觉注视机制,提出一种基于贝叶斯的显著性度量.利用像素点与其周围区域的色彩对比度衡量像素点的显著性,并根据显著性度量提出了基于graph cut的显著目标分割方法.在测试图像库上的实验结果表明,该方法可以从图像中提取具有完整轮廓的显著区域,并能准确分割出图像中的显著目标.     

基于显著性主动学习的SAR图像分类

SAR图像分类是实现SAR图像理解和解译的关键步骤,本文将显著性检测、主动学习和支持向量机分类技术相结合,提出基于显著性主动学习的SAR图像分类算法.该算法首先将基于卷积和下采样得到不同尺度的SAR图像;然后对各尺度SAR图像进行显著性检测,分为显著性区域与非显著性区域,最后对区域内像素提取特征,并由基于支持向量机的主动学习方法进行分类.实验结果表明:本文提出的方法极大提高了支持向量机分类的精度和效率.     

面向细粒度分类的预测属性引导的注意力研究

细粒度图像分类任务比一般图像分类任务更具有挑战性,其通常需要对类间差异小、类内差异大的样本进行分类.现有细粒度分类方法主要依赖视觉特征进行分类,而人类可以根据文本描述等属性描述来辅助识别图像类别.该文提出了一种通过预测属性引导的通道注意力模块,该模块可以插入到任意的卷积神经网络中,从而让模型学习到更高级的特征表示.最后,该算法在CUB-200-2011数据集上测试,在使用Resnet-50、VGG-19、Bilinear-CNN作为主干网络训练时的精度分别达到87.1%、82.1%、85.5%,精度得到显著提升.     

Exploiting Effective Facial Patches for Robust Gender Recognition

Gender classification is an important task in automated face analysis. Most existing approaches for gender classification use only raw/aligned face images after face detection as input. These methods exhibit fair classification ability under constrained conditions, in which face images are acquired under similar illumination with similar poses. The performances of these methods may deteriorate when face images show drastic variances in poses and occlusion as routinely encountered in real-world data. The reduction in the performances of current gender classification methods may be attributed to the sensitiveness of features to image translations. This work proposes to alleviate this sensitivity by introducing a majority voting procedure that involves multiple face patches.Specifically, this work utilizes a deep learning method based on multiple large patches. Several Convolutional Neural Networks(CNN) are trained on individual, predefined patches that reflect various image resolutions and partial cropping. The decisions of each CNN are aggregated through majority voting to obtain the final gender classification accurately. Extensive experiments are conducted on four gender classification databases, including Labeled Face in-the-Wild(LFW), CelebA, ColorFeret, and All-Age Faces database, a novel database collected by our group. Each individual patch is evaluated, and complementary patches are selected for voting. We show that the classification accuracy of our method is comparable with that of state-of-the-art systems. This characteristic validates the effectiveness of our proposed method.     

基于卷积神经网络的商品图像精细分类

针对某一类别商品图像的精细分类,研究并实现了深度学习中的卷积神经网络方法。所设计的卷积神经网络由2个卷积层、2个亚采样层及1个完全连接层组成,特征平面的神经元只对其感受野的重叠区域做出反应,由反向传播算法调整网络参数最终完成学习任务。通过鞋类图像的精细分类实验表明,该方法平均分类正确率可达91.5%。     

基于层叠条件随机场的微博商品评论情感分类

商品评论是消费者针对某一个商品的主观议论。针对微博中商品的评论文本短小、结构多样等特征,在仅使用现有的微博级情感标注的条件下,提出了一种基于层叠条件随机场模型。以中文小句中枢说为理论基础,将商品评论的句子划分为若干小句,使用微博内小句序列的各种特征训练粗粒度的随机条件场情感分类模型,同时使用小句内汉字序列的各种特征来训练细粒度的随机条件场情感分类模型。实验结果表明,本文提出的方法优于传统的情感分类方法。     

Three-phase Pupil Localization Method in Non-ideal Eye Images

Pupil localization is a very important preprocessing step in many reel applications. Accurate and robust pupil localization in non-ideal eye images is a challenging task. A detailed method of pupil localization in non-ideal eye images is proposed. This method is implemented in three main phases： first, segment the rough pupil region based on Gaussian Mixture Model： then modify the rough segmentation result using morphological method to minimize the influence of some disturbing factors; last estimate the pupil parameters based on minimizing the least square error. The proposed method is first tested on CASIA iris image dataset, and then on our self-captured iris dataset which contains a wider variety of iris images. Experiments show that the proposed method can perform well for nonideal eye images of various qualities.     

基于复数矩的商标图像检索方法

提出用图像复数矩与其它特征结合进行商标图像检索的方法,并给出了检索算法。实验结果证明,这是一种较好的方法,基本不会出现漏检索。     

基于LVQ神经网络的医学图像识别研究

以医学肝脏CT图为研究对象,设计了一种基于LVQ神经网络的医学图像识别方法。基本思想是首先确定图像ROI区域,并作灰度映射变换。接着提取其颜色、纹理和形状特征构成表征医学图像的特征矢量,最后将特征归一化后利用LVQ神经网络进行识别。通过与其他典型神经网络识别方法的实验比较,结果表明,设计的方法能取得更为理想的识别效果。     

特征空间中的边缘检测及样本选择

将子空间分类法拓展到特征空间后，与核主成分分析结合提出了一种边缘检测的方法及其训练样本选择策略。是基于特征空间中的核方法，对图像特征表达建立了统一的模型，可处理非高斯分布的数据。可与经典的边缘检测算子或其他方法相结合，增强边缘检测的效果和稳定性。只需训练一次，便可将边缘特征从一幅与训练图完全不同的测试图中提取出来。实验结果表明，对噪声有很好的鲁棒性，能很好地适应小样本训练，其边缘检测的效果明显比经典算子，主成分分析，非线性主成分分析的效果好。