一种新的基于频繁加权概念格的视觉单词生成方法

传统的视觉单词仅通过无监督聚类方法生成,标注的精度和效率较低。加权概念格是一种有效的层次数据分析工具,本文采用加权概念格对视觉单词进行分析与约简,提出了一种新的视觉单词生成方法。首先生成训练图像视觉词包的形式背景,并通过信息熵获取视觉单词的权值;其次针对各语义类别,根据用户所设定的内涵重要性阈值,构造出视觉词包模型频繁加权概念格;然后依据外延数阈值,提取对分类贡献大的描述图像语义的约简视觉单词,进一步提高了标注的精度和效率;最后通过实验验证了该方法是有效的和可行的。     

基于图像上下文语义信息的场景分类方法

针对传统“视觉词袋模型”在进行场景分类时只利用图像的特征域,忽略其空间域中上下文语义信息的问题,提出一种基于图像上下文语义信息的场景分类方法.在传统“视觉词袋模型”的基础上,引入马尔科夫随机场模型对图像上下文语义信息进行建模,利用潜在的狄利克雷分布学习场景的主题分布,且利用支持向量机构造场景分类器.对16类场景的分类实验证明该方法能够有效提高分类精确度     

基于多通道自注意力网络的遥感图像场景分类

高分辨率遥感图像场景分类广泛应用于土地监测、环境保护及城市规划等诸多领域.现有场景分类方法不能很好地结合局部纹理信息和全局语义信息,同时各通道特征之间的关系没有得到有效挖掘.因此,本文提出了一种基于多通道自注意力网络的遥感图像场景分类模型.通过卷积网络提取遥感图像的多尺度特征;随后采用特征融合单元建立多尺度特征间的局部-全局关系,基于多头自注意力机制的Inter-Channel Transformer在通道维度对融合后的特征建模,并推导特征在通道间的关系,进一步扩大全局感受野,以捕捉其语义结构信息,有效提高了网络的分类精度.在数据集AISC和SIRI-WHU上,本文所提算法的整体分类准确率(OA)分别为95.70%和94.00%,超过了当前最新的研究算法,证明了所提模型在高分辨率遥感图像场景分类任务中的有效性.     

一种基于二进制分辨矩阵的视觉单词约简方法

针对图像场景生成视觉词典过程中产生冗余视觉单词而导致分类误差的问题,提出了一种基于二进制分辨矩阵的视觉单词约简方法。该方法首先通过调整归一化阈值α的取值,生成关于训练图像初始视觉词典不同的0-1信息决策表和二进制分辨矩阵,然后以二进制分辨矩阵行列方向1的个数作为启发信息,将二进制分辨矩阵行方向上只有一个1的视觉单词作为核视觉单词,列方向上1出现总数最大的视觉单词作为重要视觉单词,并将这些视觉单词构成的集合作为描述图像分类的决策规则。最后采用OT8作为数据集,实验验证了该方法能够有效减少冗余视觉单词对图像场景分类的影响,提高图像场景分类的精度。     

面向垃圾图像分类的残差语义强化网络

为更好地保护生态环境并提高可回收垃圾的经济价值,针对现有的垃圾识别方法面临的分类背景复杂、垃圾目标形态变化多样等问题,提出一种面向垃圾图像分类的残差语义强化网络,能从复杂背景中剥离前景语义目标。该网络以骨干残差网络为基础,利用视觉概念采样、推理以及调制模块实现视觉语义的提取,并通过注意力模块消除语义层次和空间分辨率与视觉概念特征的差距,从而对垃圾目标形态变化更加具有鲁棒性。通过在Kaggle开源的12分类垃圾数据集及TrashNet数据集上进行实验,结果表明,相较于骨干网络ResNeXt-50和其他深层网络,该算法均取得了性能的提升,在垃圾图像分类任务上有较好表现。     

基于两层迁移卷积神经网络的抽象图像情感识别

为弥合抽象图像底层视觉特征与高层情感语义间的鸿沟,同时缓解抽象图像情感识别所固有的小样本缺陷,将两层迁移学习策略引入传统的卷积神经网络,提出一种基于两层迁移卷积神经网络的抽象图像情感识别模型.该模型利用深度特征的层次性,首先通过大规模通用图像数据集来学习提取普适的底层图像特征;然后利用抽象图像风格分类数据集来学习提取抽象图像的专有高层语义特征;最后采用抽象图像情感识别数据集来微调整个网络.MART数据集上的实验结果表明,与传统的抽象图像情感识别方法相比,所提出的模型能够有效地提高识别精度.     

基于DBNMI模型的海洋遥感影像自动标注方法

研究大规模海洋遥感影像管理的关键是缩小影像低层视觉特征与高层语义之间的鸿沟.针对海洋遥感影像中不同区域对语义相似性度量的贡献程度不同,提出一种基于深度信念网络多示例(deep belief networks multi-instance,DBNMI)的遥感影像语义自动标注模型.模型对初始输入遥感影像进行自适应分割,粗粒度划分海洋遥感影像背景区域和对象区域;对影像对象区域的低层视觉特征和高层语义概念间关系,利用深度信念网络模型进行自动建模;定量计算标注词间共现和对立的语义关系,改善图像标注结果.在公开遥感影像数据集上进行验证,实验表明所提出方法在标注精度上取得了较好效果.     

基于卷积神经网络的灾难场景图像分类

为了对灾难场景图像进行快速分析和识别,提出了一种基于多分辨率卷积神经网络和残差注意力机制(attention module)相结合的图像分类模型.首先,对灾难场景数据集进行预处理,在相同类型的条件下将其随机划分为训练集和测试集.基于改进的卷积神经网络(convolutional neural network,CNN),提取训练集的图像特征.使用训练集图片的特征进行训练,并且在测试集图片上实现分类测试.选取DenseNet、Xception和MobileNetV2三种模型,以灾难场景数据集(Disaster_Data_Scenes)为数据集进行实验验证.结果表明:改进的Xception和MobileNetV2网络在灾难场景数据集上进行的图像分类实验测试,比原网络精度分别提升了4.56％和3.04％.其中改进的DenseNet网络比原网络模型精度分别提升9.13％、17.88％和10.27％.可见改进的卷积神经网络模型的分类精度得到有效提高.     

基于Haar-CNN模型的自然场景图像分类的研究

研究基于Haar-CNN模型的图像特征提取用于自然场景图像分类的问题.Haar小波变换是图像处理中常见的一种变换,可以提取图像的局部和空间信息,并把彩色图像的颜色、轮廓和纹理信息进行分层次的表达.卷积神经网络(CNN)是一种得到广泛研究与应用的深度学习模型,对图像特征具有很好的表达能力.基于Haar小波变换和CNN模型的优势,提出一种新的图像特征提取方法,即Haar-CNN模型;利用该模型提取得到图像更丰富的特征信息;然后比较基于Haar-CNN和CNN模型提取的自然场景图像特征在分类中的效果,探究Haar-CNN模型对于自然场景图像特征提取的优势.再对比在不同颜色空间上Haar-CNN模型对自然场景图像的分类效果,实验结果表明YCb Cr颜色空间上的分类精度最高,为96.2%,比灰度图像的分类精度提高了7.8%.同时,进一步分析Haar-CNN模型中图像块大小、隐藏层神经元个数、池化区域大小、模型深度等参数对图像分类精度的影响,实验结果表明参数选择对图像分类很重要,合适的参数选择可以提高分类精度.     

基于局部语义上下文的场景分类方法

针对现有方法难以解决复杂场景图像分类的问题,本文提出一种基于局部语义上下文的场景分类方法。该方法将整个图像分割为一系列超像素,从超像素提取局部特征表示图像的局部观察;在观察图像和场景类别标签之间引入表示超像素区域语义的随机变量,通过不同随机变量之间的依赖关系引入局部语义上下文信息,较好地描述了图像观察、图像内容与场景类别标签之间的语义关联度,最后定义判别图像场景类别的目标函数,采用优化方法推断图像的场景类别。在标准图像库进行的实验证明了该方法的有效性。     

基于对比自监督的遥感图像场景分类

基于视觉Transformer的自监督模型掩码自编码器因其优秀的全局特征捕捉能力，被广泛应用于遥感图像分类领域。但该模型存在图像重建训练时局部上下文语义信息易丢失从而限制其分类精度的进一步提升。针对以上问题，本文提出了融合掩码重建和对比学习的三阶段自监督遥感图像分类新模型——对比掩码自编码器。第一阶段进行掩码重建预训练，以提取遥感图像全局特征；第二阶段则通过对比学习中的正负样本补充第一阶段掩码建模过程中丢失的局部上下文信息；最后通过训练线性分类器完成特征分类。在公开遥感图像数据集AID和NWPU-RESISC45上将本文方法与主流自监督分类方法、监督分类方法进行对比实验。实验结果表明，该模型在两个数据集上分类精度分别达到95.37%和95.14%,性能优于DINO、MoCo、SSGANs等主流自监督模型，接近GLANet、CANet、MG-CAP (Sqrt-E)等主流监督模型，具有良好的应用价值。     

基于纹元森林的视觉词袋模型在图像分类中的应用

引入纹元森林(semantic texton forest,STF)的视觉词袋模型,联合基于金字塔匹配核的支持向量机,实现图像分类.首先对图像进行采样,提取SIFT(scale-invariant feature transform)特征,然后导入纹元森林构造视觉词典,统计视觉单词出现的频率构建语义词袋模型,最后利用支持向量机进行训练得出分类结果.实验在MSRC21(Microsoft research cambridge)图像库上进行,通过优化实验中的关键参数,引入加权的不平衡训练,提高了图像分类精度.实验结果表明,基于纹元森林的视觉词袋模型具有良好的图像分类效果.     

基于向量空间模型的分层网页分类方法

提出一种基于向量空间模型的多层网页分类方法.该方法用主题词、修正主题词和主题概念从3个层次构建网页表示向量,从而在概念层次上更贴近网页的语义,且向量维数低于传统的特征向量.实验结果表明,该方法降低了分类时的计算量,提高了网页分类速度和分类精度.     

基于稀疏编码空间金字塔模型的零样本学习

针对目前零样本图像分类均采用图像底层视觉特征训练属性分类器而导致分类精度较低的问题,提出一种基于稀疏编码空间金字塔模型的零样本学习方法,给出系统结构流程图.首先从原始视觉图像中提取SIFT特征,并进行SIFT特征点提取;然后构建空间金字塔最大池化模型,对已提取的SIFT中间特征进行稀疏编码;最后建立间接属性预测模型.给出基于稀疏编码的空间金字塔最大池化模型的零样本学习算法步骤,完成对目标图像的属性预测,从而达到零样本图像分类的目的.在Shoes数据集与OSR数据集上进行了对比试验.结果表明:试验证实了文中算法的有效性;相对于传统算法,试验耗时减少,图像属性预测精度增加,图像分类识别率提高.     

基于Web挖掘的领域本体自动学习

为获取领域本体并量化概念关系的可信度,提出了一种基于Web挖掘的学习模型.通过可扩展的模式集和分布语义模型获取本体主干,使用关联规则发现概念间的一般关系,对候选本体进行修剪和合并.模式可信度、概念语义距离与关联特征决定了概念间关系的可信度.通过"文本分析-本体获取-文本扩充"的迭代过程,优化模型参数和阈值.该模型解决了现有本体学习方法对词典或核心本体的依赖性、以及不能对关系进行可信度量化的问题.实验证明了所提出模型的有效性.     

一种融合标签间强相关性的多标签图像分类方法

为了将标签间的语义相关性引入多标签图像分类模型中,传统的方法例如 ML-GCN 通过设置单阈值将标 签条件概率矩阵二值化为标签共现矩阵,然而,仅设置单阈值很难归纳所有的标签语义关系情况。 针对这一问题, 提出一种融合标签间强相关性的多标签图像分类方法—MGAN(Multiple Graph Convolutional Attention Networks), 通过设置多个阈值,将传统的标签条件概率矩阵按照不同的相关性程度分割为多个子图;同时,为了提升多标签分 类性能,也引入图像区域空间相关性。 另外,针对传统的“CNN+GCN”方法将标签与特征的融合张量视为预测分数 缺乏可解释性问题,将标签与特征的融合张量视为注意力分数;在 MS-COCO 和 PASCAL VOC 数据集上与其他主 流多标签图像分类方法进行了对比实验,平均准确率分别达到了 94. 9%和 83. 7%,相较于经典 ML-GCN 模型,分 别获得了 0. 9%和 0. 8%准确率提升,且在“Binary”和“Re-weighted”邻接矩阵模式下,MGAN 都有较好的表现,验证 了新的融合方法可以缓解图卷积神经网络过平滑问题对多标签图像分类的影响。     

面向对象的遥感图像水陆场景快速分类

针对传统方法对过分割未作处理以及边界语义上下文信息不强的缺点,对水陆场景图像进行区域分类,得到描述大尺度地物分布的分类结果.该方法分为3个过程:首先对图像进行纹理特征聚类,得到初始分割结果;然后对分割图像进行区域合并;最后利用边缘密度作为区域的特征,通过对大量样本的统计分析,确定一个经验值作为分类阈值,根据阈值将各个区...     

基于概率主题建模的图像语义学习与检索

针对图像检索中存在的“语义鸿沟”问题,本文提出一种语义学习模型进行图像的自动标注.首先提出连续的概率潜在语义分析(PLSA)模型及对应的参数估计算法,并利用最大惩罚似然的方法解决协方差矩阵的奇异性问题;然后,提出一个根据不同模态数据各自的特点进行处理的概率模型,该模型使用连续PLSA和传统PLSA分别建模视觉特征和文本关键词,并通过不对称学习算法发现两种模态之间共有的语义主题,从而能更精确地对未知图像进行标注.通过在分别包含5 000幅和31 695幅图像的两个标准Corel数据集上进行实验,并与几种典型的图像标注方法进行比较的结果表明,文中方法具有更高的精度和更好的效果.     

基于视觉语义与RSSVM的图像检索

以图像的视觉语义为基础,设计了一种新的空间转换模型,提出了一种新的图像语义描述方法.首先,采用NCut方法对图像进行分割,提取每个区域的颜色、纹理与形状等视觉特征;再用K-Means聚类方法对训练集中所有的视觉特征进行聚类,称聚类中心为视觉语义(Visual Semantic,VS),用来构造投影空间;然后通过所定义的非线性函数,将每幅图像向投影空间作映射,得到图像的投影特征;最后,为了提高分类器的训练效率与性能,先采用RS(粗糙集)方法对投影特征进行属性约简,再用支持向量机(SVM)进行学习和分类.基于Corel图像集的对比实验结果表明,该方法性能受聚类数的影响不大,鲁棒性强,且性能优于其它方法.     

深度模型集成的不良图像分类

移动通信技术的飞速发展在提升用户通信体验的同时也为不良信息的散布提供了便利,针对如何在大量数据中进行不良内容的识别与过滤问题,提出一种基于深度模型集成的不良图像分类模型(EDM),通过集成多个结构不同、信息互补的深度模型来最优地区分分布差异较大的不良图像.为了验证本方法的有效性,建立一个真实移动通信场景下的不良图像数据集,并在此数据集上与基于传统支持向量机(SVM)的不良图像分类模型、基于深度卷积神经网络的Alexnet、VGG与Googlenet分类模型做对比.实验结果表明:本文所提深度模型集成方法在不良图像分类性能上明显优于其他模型,分类精度、精确率和召回率分别达到94%、84%和98%.