利用深度玻尔兹曼机与典型相关分析的自动图像标注算法

提出一种基于深度玻尔兹曼机与典型相关分析的自动图像标注算法(DBM-CCA)。该算法利用深度玻尔兹曼机实现图像与文本的低层次特征向稀疏高层次抽象概念的转变,并通过典型相关分析建立子空间映射关系以实现标注词汇的生成。首先在深度玻尔兹曼机提取图像与文本高层特征过程中,选用伯努利分布和高斯分布分别拟合标注词汇和图像特征,然后在图像与标注词汇高层特征形成的典型变量空间内计算待标注图像与训练集图像的马氏距离并据此加权计算得到高层标注词汇特征,最后由平均场估计生成图像标注词汇。实验结果表明,所提算法对图像的标注准确率改善较好,与经典的基于监督的多类标签方法和多重伯努利相关模型相比,在Corel5K实验中平均查准率和查全查准均率分别提高了10%和5%。     

一种基于概率粗糙集模型的图像语义检索方法

针对目前图像数据信息量大、检索不易和人们对图像检索习惯于对图像概念语义进行检索的难题,本文将概率粗糙集理论和图像的语义标注技术引入图像的信息检索中,提出了一种基于朴素贝叶斯理论和概率粗糙集模型的图像语义信息检索模型.首先,针对图像库中的图像构造精确标注词空间,并通过朴素贝叶斯理论对图像进行精确标注和模糊加权标注.将概率...     

基于改进稀疏编码模型的图像分类算法

针对图像表示,提出了一种基于改进稀疏编码模型的图像分类算法.首先,提取表示图像视觉局部特征的SIFT (Scale Invariant Feature Transform) 描述子;然后,利用稀疏编码方法生成基于SIFT描述子的视觉词汇库,将SIFT描述子编成稀疏向量;通过有效稀疏向量的区域融合和空间结合而获取整体的稀疏向量并用于图像表示;最后,采用随机森林多分类器对稀疏向量进行训练和测试.结果表明,与现有的算法相比,该算法的性能更佳,可以有效表示图像的特性并提高其分类的准确率.     

基于稀疏表达的污损图像标注算法

本文提出了污损图像的自动标注算法.首先确定待标注图像的污损区域,根据污损区域的位置和比例划分字典中的图像,提取图像的底层特征,基于底层视觉特征构建稀疏模型,确立污损图像与字典中图像的相似关系,对字典中的相似图像进行分块处理,由污损图像与字典图像的子块特征确定其可能相关的标注词.最后通过概率统计完成污损图像的自动标注.实验表明该方法在一定程度上弱化污损区域对图像标注的不利影响,较好地实现了污损图像的自动标注.     

一种基于DTSVM的遥感图像分割方法

文章针对城市遥感图像的目标分布特点,提出一种基于改进DTSVM的遥感图像分割方法.实验引人样本的聚类特性改善DTSVM模型分类精度,对城市遥感图像中的区域进行语义标注并提取特征,通过训练改进分类模型得到分割结果.实验结果表明,该方法能比较准确地分割出关注语义的目标区域,并有效避免了遥感图像的过分割问题.     

基于非欧空间差异性度量的图像标注

社会媒体网站上图像数量的飞速发展,极大地激发了人们研究基于标注的图像语义检索的热情.然而,由于图像低层特征和高层语义间鸿沟的存在,导致许多基于标注的图像语义检索技术不能达到令人满意的效果.为此,文中提出一种新颖的图像标注方法——基于最大后验概率的高阶统计标注法.该方法首先使用高阶统计法计算图像的三阶差异性特征,以达到更好描述图像间相关性的目的;然后,使用基于高斯混合模型和差异性增量扩散的最大后验概率算法,来估计每个标签与图像内容的相关值;最后,通过Flick图像数据库上的实验,来验证文中所提算法的有效性.     

基于改进的区域生长鼻咽癌MR医学图像分割

在综述医学图像分割技术的基础上,针对临床鼻咽癌MR医学图像的特点,提出一种基于区域生长的改进分割方法.该方法从基于区域生长的自动分割入手,克服以往交互式地定义初始种子的不足,利用概率矩阵完成初始种子的自动生成,再运用SUSAN算子作为区域生长的终止准则,从而实现对鼻咽癌MR医学图像的有效分割.以福建肿瘤医院临床医学图像数据进行分析实验,结果表明,该方法分割效果显著提高.     

顾及区域信息的卷积神经网络在影像语义分割中的应用

高分辨率遥感影像在实际应用中得到广泛使用。高分影像语义分割方法的研究具有重要实际应用价值。近来基于深度卷积网络的遥感影像标注方法表现出了比传统方法更为优越的性能;然而由于其基于固定感受野大小的上下文信息获取方法没有显式利用像素间约束关系,导致同一地物内部语义标注结果不一致。基于同一区域内部像素属于相同类别概率较大的假定,试图引入图像区域内部语义标注一致性约束,以改善现有深度卷积神经网络描述上下文信息的能力。在现有全卷积网络模型基础上,利用卷积神经网络最后一层特征,引入一个表示区域内部像素特征一致性的损失函数;将该损失函数与softmax损失函数进行联合训练,得到网络模型参数。在ISPRS(国际摄影测量与遥感学会)的Vaihingen 2D语义标注数据集上,对提出的方法进行了实验验证,实验结果表明所提方法在大多数类别上取得了较现有卷积神经网络模型更优的分类结果,总体准确率达85.18%。提出的引入区域内部像素标记一致性的全卷积网络模型,可以有效捕捉区域内部像素特征一致性的上下文信息,能有效纠正全卷积网络模型在区域内部像素分类中的冲突,获得区域一致较好的分类结果,从而改善图像的语义标注效果。     

“弄假成真”：基于对抗学习的数据增广方法

 近年来,深度学习在计算机视觉领域取得了巨大的突破,其背后是利用大量标签数据对深度网络进行监督训练,而标注大规模数据集非常昂贵且十分耗时。针对大规模数据集标注问题,苹果公司的Shrivastava团队希望借助现有的计算机仿真技术以及对抗训练的方法,实现仿真图像的无监督学习,从而避免昂贵的图像标注过程。该团队在对抗网络的基础上提出3个创新点：（1）自正则项;（2）局部对抗损失;（3）使用历史生成图片更新判别器,使得生成真实化图片的同时保留输入图像特征。实验结果展示该方法可以生成高度真实化的图片。研究者通过训练凝视估计模型、手部姿态估计模型定量分析生成图片的效果,分析结果表明,使用生成图片训练的模型,在MPⅡGaze数据集上测试效果有很大的提升,达到了当时最好的效果。不过,研究者并未在包含多个物体的复杂场景下进行实验,文中提出的方法在复杂场景下的应用还存在局限性。     

基于CTM模型和最优标签集的图像标注

为了提高自动标注系统的性能,提出了一种基于最优标签集图像自动标注系统优化算法.用词袋模型表示图像,采用CTM模型进行图像标注,在此基础上,采用基于词频因子的词间相关性以及启发式迭代算法对获得的标注词进行有效的优化,提高了标注词的准确性.在Corel5K数据集中利用LDA模型和CTM模型进行图像标注对比实验,实验结果表明本文提出的图像标注方法能有效提高标注系统的性能.     

Semi-supervised learning based probabilistic latent semantic analysis for automatic image annotation

In recent years, multimedia annotation problem has been attracting significant research attention in multimedia and computer vision areas, especially for automatic image annotation, whose purpose is to provide an efficient and effective searching environment for users to query their images more easily.In this paper, a semi-supervised learning based probabilistic latent semantic analysis ( PL-SA) model for automatic image annotation is presenred.Since it' s often hard to obtain or create la-beled images in large quantities while unlabeled ones are easier to collect, a transductive support vector machine ( TSVM) is exploited to enhance the quality of the training image data.Then, differ-ent image features with different magnitudes will result in different performance for automatic image annotation.To this end, a Gaussian normalization method is utilized to normalize different features extracted from effective image regions segmented by the normalized cuts algorithm so as to reserve the intrinsic content of images as complete as possible.Finally, a PLSA model with asymmetric mo-dalities is constructed based on the expectation maximization( EM) algorithm to predict a candidate set of annotations with confidence scores.Extensive experiments on the general-purpose Corel5k dataset demonstrate that the proposed model can significantly improve performance of traditional PL-SA for the task of automatic image annotation.     

基于视觉内容与语义相关的图像标注模型

针对当前标注系统的不足,设计了一种高效的标注模型,其标注步骤包括标注和标注改善,标注算法采用加权的正反例标志向量法,标注改善采用NGD方法。实验表明,标注效率远优于经典的标注模型,标注质量优于大多数标注模型。     

一种基于特征表达的无人机影像匹配像对提取方法

针对无人机(unmanned aerial vehicle, UAV)影像三维重建中匹配像对提取适应性差、效率低、需准确的先验知识等问题,提出一种基于特征表达的无人机影像匹配像对提取方法。首先利用SiftGPU算法对一组无人机影像进行尺度不变特征转换(scale-invariant feature transform, SIFT)特征提取。其次,对SIFT特征向量集合构建分层词汇树,并分别计算各个影像与影像集中各影像的综合权重因子并按得分大小进行排序。最后,自适应计算影像检索阈值,得到最终的影像匹配像对。通过对不同地形地貌的无人机影像进行试验。实验结果表明:所提方法能快速、有效获取查询影像的匹配像对。与常规词汇树检索方法相比,查准率提高了19%～24%,查全率提高了17.4%～30.9%。尤其针对海量的无人机影像数据,所提方法具有更高的处理效率。     

基于叙词查询的图像标注方法

为了能更好地反映图像标注之间的关系,将叙词查询的概念引人到传统的基于查询的图像标注领域,通过已标注图像的关键词建立标注之间的关系,从而构建了基于叙词查询的图像自动标注方法.最后在Corel图像数据库中对所提出方法的有效性进行了验证.     

基于Vague融合的自动图像标注方法

提出了一种基于Vague融合的自动图像标注方法,通过有效区域匹配方式,利用近邻语义信息来平衡正负样本数目,并且首次利用Vague集的真假隶属度融合图像的区域信息,从而获得更准确的标注结果.实验结果表明,该标注方法是可行的,同时,与传统的标注方法相比,标注结果得到了明显的提高.     

基于意见词汇Ontology的意见属性自动标注模型研究

提出基于意见词汇Ontology的Web商品意见属性自动标注模型,以意见词汇为领域,通过对关键技术的研究,构建意见词汇Ontology,建立意见词汇分类体系,设计实现了基于意见词汇Ontology的Web商品意见属性自动标注原型系统.     

基于语义绑定的分层视觉词汇库的图像检索

提出了一种解析复杂图像语义的模型——分层语义模型,给出了解析复杂语义和构造模型的方法.提出了基于分层语义模型的语义绑定的分层视觉词汇库的概念,给出了构造词汇库的具体方法和步骤,同时对词汇库细节问题给出了解决的方法.将提出的分层视觉词汇库应用于基于内容和语义的图像检索中,并给出了构建图像检索系统的方法和检索图像的步骤.该模型在图像检索中可同时满足基于图像内容的检索方式和基于图像语义的检索方式.实验结果表明,该方法比基于SIFT(Scale Invariant Feature Transform)特征向量的图像检索方法具有更好的性能.     

Fusing PLSA model and Markov random fields for automatic image annotation

A novel image auto-annotation method is presented based on probabilistic latent semantic analysis （PLSA） model and multiple Markov random fields （MRF）.A PLSA model with asymmetric modalities is first constructed to estimate the joint probability between images and semantic concepts,then a subgraph is extracted served as the corresponding structure of Markov random fields and inference over it is performed by the iterative conditional modes so as to capture the final annotation for the image.The novelty of our method mainly lies in two aspects：exploiting PLSA to estimate the joint probability between images and semantic concepts as well as multiple MRF to further explore the semantic context among keywords for accurate image annotation.To demonstrate the effectiveness of this approach,an experiment on the Corel5k dataset is conducted and its results are compared favorably with the current state-of-the-art approaches.     

标注工具中OWL本体编辑功能的实现研究

基于本体的语义标注工具使用已有本体在Web页面中插入语义元数据信息,从而使Web页的内容机器可识别,是将现有Web提升为语义Web的有效方法之一.大多数标注工具仅支持使用已存在的本体词汇来标注Web页,不具备标注过程中新建本体或在已有本体中添加新词汇从而补充标注词汇的本体编辑功能.针对语义标注中的本体编辑功能的特点及存在问题进行研究,并从实现的角度对OWL本体编辑进行讨论.