基于图像上下文语义信息的场景分类方法

针对传统“视觉词袋模型”在进行场景分类时只利用图像的特征域,忽略其空间域中上下文语义信息的问题,提出一种基于图像上下文语义信息的场景分类方法.在传统“视觉词袋模型”的基础上,引入马尔科夫随机场模型对图像上下文语义信息进行建模,利用潜在的狄利克雷分布学习场景的主题分布,且利用支持向量机构造场景分类器.对16类场景的分类实验证明该方法能够有效提高分类精确度     

基于DCT域特征和Bayes语义分类的教学图像资源库检索技术

提出了一种根据DCT域特征提取和Bayes语义分类结合的图像检索技术。针对图像库数据结构的语义需求,采用朴素Bayes算法对图像库进行分类;其中视觉特征提取部分,采用改进的DCT域的边缘空间分布概率特征提取方法,获取目标对象边缘信息,建立20个特征值;通过Bayes分类器的分类,获取每类的索引特征向量,用于初次语义类别过滤,提高了检索效率。通过实验,建立教学需要的图像资源库,与其它检索算法进行查准率对比试验,证明了本算法的优越性。     

复杂相似性图像检索系统体系结构

研究了一种支持复杂相似性查询的图像检索系统体系结构、提出了处理复杂相似性查询的技术,构造出一个高效的图像检索系统。图像的内容由三种特征来定义：可量化的可视化信息特征、非量化描述的语义信息特征和包含更抽象语义信息的关键字特征。用记可以根据上述特征对图像数据库进行各种简单到复杂的查询、利用面向对象的注释描述模型实现图像的高层语义内容索引,利用特征提取方法可以对图像模型中的可视化定量特征建立索引。     

几种图像结构模型的分析

采用一维信号的进化模型,建立图像广义空间的进化模型,得出了各种参数与图象物理参量的关系,据此建立了图像结构信息模型,指出H(Tran)是图像结构熵,图像应向结构熵最大的方向进化．同时,建立了层次结构模型,指出各个终节点构成语义字符串,并定义了图像语义码,这个码所含的信息量及熵称为语义信息及语义熵．     

语义地理信息服务的三级匹配发现算法

目前地理信息服务缺少语义描述和发现算法.借鉴本体语言服务(ontology web language for services,OWL-S),构建地理信息服务的语义模型,提出一种基于语义模型的地理信息服务发现算法.在SI/SO匹配中利用本体分类树,将本体相似度求解转换为分类树中节点距离求解的方法.实验证明,该算法不但能区分匹配等级,而且能区分同一匹配等级之间的相似度大小,能较好地满足地理服务发现的需求.     

基于多通道自注意力网络的遥感图像场景分类

高分辨率遥感图像场景分类广泛应用于土地监测、环境保护及城市规划等诸多领域.现有场景分类方法不能很好地结合局部纹理信息和全局语义信息,同时各通道特征之间的关系没有得到有效挖掘.因此,本文提出了一种基于多通道自注意力网络的遥感图像场景分类模型.通过卷积网络提取遥感图像的多尺度特征;随后采用特征融合单元建立多尺度特征间的局部-全局关系,基于多头自注意力机制的Inter-Channel Transformer在通道维度对融合后的特征建模,并推导特征在通道间的关系,进一步扩大全局感受野,以捕捉其语义结构信息,有效提高了网络的分类精度.在数据集AISC和SIRI-WHU上,本文所提算法的整体分类准确率(OA)分别为95.70%和94.00%,超过了当前最新的研究算法,证明了所提模型在高分辨率遥感图像场景分类任务中的有效性.     

变电站巡检机器人避障方法研究与应用

为提升变电站巡检机器人的导航避障能力,将深度学习技术应用于变电站场景识别中,提出了一种基于深度卷积神经网络的避障方法.该方法联合图像分类和语义分割两个分支来共同辅助机器人导航避障,分类分支通过获取图像全局信息,保证机器人正确行驶方向;而语义分割支路则根据图像局部信息以及机器人前方目标类别,指导机器人准确避障.实验结果表明,避障方法可以高效地对图像进行分类和分割,同时,在实际变电站环境中,该方法也能为巡检机器人提供有效的避障信息,实现实时自主避障.     

一种基于DTSVM的遥感图像分割方法

文章针对城市遥感图像的目标分布特点,提出一种基于改进DTSVM的遥感图像分割方法.实验引人样本的聚类特性改善DTSVM模型分类精度,对城市遥感图像中的区域进行语义标注并提取特征,通过训练改进分类模型得到分割结果.实验结果表明,该方法能比较准确地分割出关注语义的目标区域,并有效避免了遥感图像的过分割问题.     

基于局部性约束和视觉显著性的图像分类方法

基于词包模型的图像表示方法是目前应用最广泛的特征表示方法之一,特征编码是该模型中非常重要的环节。针对已有编码方法未考虑语义信息的缺点,提出了基于局部性约束和视觉显著性的特征编码方法,并用于图像分类。在5个标准图像库进行实验和分析,结果表明融入显著性语义信息的图像编码方法能够提升分类性能。     

基于双流混合变换CNN特征的图像分类与识别

具有表达能力及可辨别性更强的特征是图像分类与识别技术的关键。深度CNN特征经过多次中间非线性变换,特征鲁棒性更强,在图像分类与识别领域已取得重大进展。但传统的CNN模型只增加变换层次,下层变换依赖于上层输出结果,因此其中间特征冗余度较低,最终得到的特征向量信息丰富程度不够。本文提出一种基于双流混合变换的CNN模型——DTM-CNN。该模型首先使用不同大小的感受野卷积核提取图像不同的中间特征,然后在多次深度变换时,对中间特征进行混合流动,经过多次混合变换,最终得到1024维的特征向量,并使用Softmax回归函数对其分类。实验结果表明,该模型经过多次卷积、池化及激活变换,提取的特征更加抽象、语义及结构信息更加丰富,对图像具有更强的表达能力及辨别性,因此图像分类及识别性能优越。     

顾及区域信息的卷积神经网络在影像语义分割中的应用

高分辨率遥感影像在实际应用中得到广泛使用。高分影像语义分割方法的研究具有重要实际应用价值。近来基于深度卷积网络的遥感影像标注方法表现出了比传统方法更为优越的性能;然而由于其基于固定感受野大小的上下文信息获取方法没有显式利用像素间约束关系,导致同一地物内部语义标注结果不一致。基于同一区域内部像素属于相同类别概率较大的假定,试图引入图像区域内部语义标注一致性约束,以改善现有深度卷积神经网络描述上下文信息的能力。在现有全卷积网络模型基础上,利用卷积神经网络最后一层特征,引入一个表示区域内部像素特征一致性的损失函数;将该损失函数与softmax损失函数进行联合训练,得到网络模型参数。在ISPRS(国际摄影测量与遥感学会)的Vaihingen 2D语义标注数据集上,对提出的方法进行了实验验证,实验结果表明所提方法在大多数类别上取得了较现有卷积神经网络模型更优的分类结果,总体准确率达85.18%。提出的引入区域内部像素标记一致性的全卷积网络模型,可以有效捕捉区域内部像素特征一致性的上下文信息,能有效纠正全卷积网络模型在区域内部像素分类中的冲突,获得区域一致较好的分类结果,从而改善图像的语义标注效果。     

基于光谱特征的玉米品种高光谱图像识别

为了对玉米种子进行无损识别分类,对玉米种子的高光谱图像的光谱信息进行分析,探索高光谱图像技术在玉米种子识别分类上的可行性。利用波长范围为400～1 000 nm的高光谱图像采集系统采集11类共528粒玉米样本的高光谱图像;在每个玉米样本上提取感兴趣区域并获取此区域的平均光谱信息,对光谱曲线进行分析,去除12个奇异样本;结合偏最小二乘判别分析法对所选玉米种子样本识别分类。实验结果表明,在所选玉米样本的识别中训练集样本的识别精度可以达到99.22%,测试集样本的识别精度也达到了94.66%。研究结果表明,不同种类的玉米种子的光谱信息具有一定的差异性,利用高光谱图像技术提取其光谱信息对玉米种子品种进行无损识别分类是可行的。     

基于残差注意力和金字塔上采样的图像语义分割

针对图像语义分割中,存在细节信息丢失、分割类别边缘模糊而粗糙的问题,在编码解码结构的基础上,结合残差模块和注意力机制,设计一种残差注意力模块.通过注意力机制加强特征图通道之间的联系,以提升语义分割的细腻度.为提高模型对多尺度物体的识别能力,结合金字塔模型,设计一种金字塔上采样模块.利用编码过程中产生的不同尺度的特征图,...     

多模态语义协同交互的图文联合命名实体识别方法

针对现有多模态命名实体识别(Multimodal Named Entity Recognition, MNER)研究中存在的噪声影响和图文语义融合不足问题,本文提出一个多模态语义协同交互的图文联合命名实体识别(Image-Text Joint Named Entity Recognition, ITJNER)模型。ITJNER模型加入图像描述作为额外特征丰富了多模态特征表示,图像描述可以帮助过滤掉从图像特征中引入的噪声并以文本形式总结图像语义信息;还构建了多模态协同交互的多模态语义融合模型,可以加强多模态信息融合,并减少图像信息的语义偏差。在Twitter-2015和Twitter-2017数据集上进行方法实验,分析实验结果并与AdaCAN、UMT、UMGF、Object-AGBAN等方法进行对比。相较于对比方法中的最优方法UMGF,本方法在Twitter-2017数据集上的准确率、召回率、F1值分别提高了0.67%、2.26%、0.93%;在Twitter-2015数据集上,召回率提高了0.19%。实验结果验证了本方法的有效性。     

基于深度CRF模型的图像语义分割方法

从图像中提取多种特征向量堆叠为一个高维特征向量用于图像语义分割,会导致部分特征向量的分类能力减弱或丢失。针对此问题,提出了一种结合深度卷积神经网络AlexNet和条件随机场的图像语义分割方法。利用预训练好的AlexNet模型提取图像特征,再通过条件随机场对多特征及上下文信息的有效利用来实现图像的语义分割。与利用传统经典特征的方法进行对比,实验结果表明:在利用AlexNet模型提取特征进行图像语义分割时,Conv5层为最有效的特征提取层,在Stanford background和Weizmann horse数据集下的识别准确率分别为81.0%和91.7%,均高于其他2种对比方法,说明AlexNet可以提取更有效的特征,得到更高的语义分割精度。     

基于隐含主题和语义树的医学文本自动批注

针对医学文本缺乏可量化数据结构,基于关键词模型的文本处理方法不适用的问题,在研究词之间潜在语义关联和关键词树结构的基础上,构造了一种基于潜在语义树的语义分析模型用于医学文本的数据挖掘。进一步地将隐含主题与潜在语义的研究相关联,设计出一种基于潜在狄利克雷分配和潜在语义树模型的文本处理方法,可针对不同类型的医学文本生成有一定可读性的自动批注。该方法形成的自动批注主观性低,其准确度和可读性均高于关键词模型的处理结果,可辅助医生进行医学文本的批注和分类,从而减轻其工作量。程序结果表明,该方法目前可应用于对医学图像所见形成诊断意见、对病人病历进行摘要形成和对病症描述给出对症处方等方面,批注的语义匹配度可达67.7%,文本的平均可读性为60.02%。     

基于条纹池化和迁移学习的耕地分割模型

耕地的数量和质量是保持农业可持续发展的关键,是政府部门的决策依据。目前这些信息的获取主要依靠人力,不仅浪费大量人力、财力,而且效率较低,不准确,因此利用卫星遥感影像识别分割耕地图像具有重要价值。本文提出了一种耕地图像分割神经网络SP-Vnet,其包含了条纹池化模块和空洞卷积的V型分割模型,并与迁移学习、图像形态学方法等结合,实现了卫星遥感图像中耕地的精确分割和提取。与目前六个主流的语义分割网络模型相比,本文提出的SP-Vnet在最近MathorCup遥感图像耕地分割的竞赛数据集上,取得了更高的整体准确率OA、F1值和平均交并比（mIoU）。实验表明,SP-Vnet能够加强网络的全局特征表征能力,显著提高了耕地识别的准确率,同时结合图像形态学方法的后处理操作,提升了耕地分割边缘的平滑性和准确性。