Exploiting PLSA model and conditional random field for refining image annotation

This paper presents a new method for refining image annotation by integrating probabilistic latent semantic analysis(PLSA) with conditional random field(CRF).First a PLSA model with asymmetric modalities is constructed to predict a candidate set of annotations with confidence scores,and then model semantic relationship among the candidate annotations by leveraging conditional random field.In CRF,the confidence scores generated by the PLSA model and the Flickr distance between pairwise candidate annotations are considered as local evidences and contextual potentials respectively.The novelty of our method mainly lies in two aspects:exploiting PLSA to predict a candidate set of annotations with confidence scores as well as CRF to further explore the semantic context among candidate annotations for precise image annotation.To demonstrate the effectiveness of the method proposed in this paper,an experiment is conducted on the standard Corel dataset and its results are compared favorably with several state-of-the-art approaches.     

Semi-supervised learning based probabilistic latent semantic analysis for automatic image annotation

In recent years, multimedia annotation problem has been attracting significant research attention in multimedia and computer vision areas, especially for automatic image annotation, whose purpose is to provide an efficient and effective searching environment for users to query their images more easily.In this paper, a semi-supervised learning based probabilistic latent semantic analysis ( PL-SA) model for automatic image annotation is presenred.Since it' s often hard to obtain or create la-beled images in large quantities while unlabeled ones are easier to collect, a transductive support vector machine ( TSVM) is exploited to enhance the quality of the training image data.Then, differ-ent image features with different magnitudes will result in different performance for automatic image annotation.To this end, a Gaussian normalization method is utilized to normalize different features extracted from effective image regions segmented by the normalized cuts algorithm so as to reserve the intrinsic content of images as complete as possible.Finally, a PLSA model with asymmetric mo-dalities is constructed based on the expectation maximization( EM) algorithm to predict a candidate set of annotations with confidence scores.Extensive experiments on the general-purpose Corel5k dataset demonstrate that the proposed model can significantly improve performance of traditional PL-SA for the task of automatic image annotation.     

利用组合马尔可夫模型的非监督图像分割方法

提出了一种基于边缘辅助的组合马尔可夫随机场模型(E-CMRF),并应用于非监督图像分割.在传统的马尔可夫标号场(MRF)基础上引入边缘二值随机场,二者相互作用构成组合随机场.该模型使用期望最大(EM)算法对待分割图像完成参数估计,并运用动态能量权值提高收敛速度.最后根据贝叶斯定理将图像分割问题转化为最大后验概率的求取,运用改进的Metropolis采样算法求得最大后验概率解.实验结果证明,该分割方法不需要人工给出先验信息,在具备抗噪性等特点的同时提高了分割精度.     

用于图像分割的局部区域能量最小化算法

针对点对马尔可夫随机场(Pairwise MRF)模型中像素成对交互的结构不能充分描述图像丰富的局部统计特征问题,在研究Pairwise MRF模型基础上,提出了一种基于局部区域能量最小化的图像分割算法.该算法先利用图像局部区域信息构造局部区域能量模型,建立了一种局部交互的区域马尔可夫随机场分割模型,然后采用无环置信传播(LBP)算法对MRF全局能量进行优化.优化过程中,对局部区域能量进行收敛并按照MAP准则估计局部区域标号,通过LBP算法把局部区域信息传递到邻域区域中去.实验结果表明,所提出的新算法较标准LBP算法具有更好的分割结果,并有效地抑制了图像噪声信号和纹理信号对分割结果的干扰和影响.     

基于非欧空间差异性度量的图像标注

社会媒体网站上图像数量的飞速发展,极大地激发了人们研究基于标注的图像语义检索的热情.然而,由于图像低层特征和高层语义间鸿沟的存在,导致许多基于标注的图像语义检索技术不能达到令人满意的效果.为此,文中提出一种新颖的图像标注方法——基于最大后验概率的高阶统计标注法.该方法首先使用高阶统计法计算图像的三阶差异性特征,以达到更好描述图像间相关性的目的;然后,使用基于高斯混合模型和差异性增量扩散的最大后验概率算法,来估计每个标签与图像内容的相关值;最后,通过Flick图像数据库上的实验,来验证文中所提算法的有效性.     

基于马尔可夫随机场的医学图像分割

图像分割是一个经典难题,随着影像医学的发展,图像分割在医学应用中具有特殊的重要意义.马尔可夫随机场(Markov Random Field,即 MRF)方法是图像分割中一个极为活跃的研究方向.本文介绍了基于马尔可夫随机场模型的一般理论与图像的关系.并对基于MRF的传统条件迭代模式算法(ICM)进行改进,在初始分割后,对图像的像素点分为两类:稳定点和不稳定点,用队列存储不稳定点,每次迭代只对队列里面的不稳定点进行计算,以减少运算量.实验结果表明,改进的算法能够大幅度提高计算效率.     

Semantic image annotation based on GMM and random walk model

Automatic image annotation has been an active topic of research in computer vision and patternrecognition for decades.A two stage automatic image annotation method based on Gaussian mixturemodel (GMM) and random walk model (abbreviated as GMM-RW) is presented.To start with,GMM fitted by the rival penalized expectation maximization (RPEM) algorithm is employed to estimatethe posterior probabilities of each annotation keyword.Subsequently, a random walk processover the constructed label similarity graph is implemented to further mine the potential correlations ofthe candidate annotations so as to capture the refining results, which plays a crucial role in semanticbased image retrieval.The contributions exhibited in this work are multifold.First, GMM is exploitedto capture the initial semantic annotations, especially the RPEM algorithm is utilized to train themodel that can determine the number of components in GMM automatically.Second, a label similaritygraph is constructed by a weighted linear combination of label similarity and visual similarity ofimages associated with the corresponding labels, which is able to avoid the phenomena of polysemyand synonym efficiently during the image annotation process.Third, the random walk is implementedover the constructed label graph to further refine the candidate set of annotations generated byGMM.Conducted experiments on the standard Corel5k demonstrate that GMM-RW is significantlymore effective than several state-of-the-arts regarding their effectiveness and efficiency in the task of automatic image annotation.     

基于小波域MRF模型的SAR图像分割

针对存在严重斑点噪声的合成孔径雷达(SAR)图像的分割问题,提出了一种基于小波域马尔科夫随机场(MRF)模型的算法.该算法综合利用了隐含马尔科夫树的相关邻域信息和图像的多分辨率描述的信息,将期望最大化用于先验概率分布参数的估计,采用最大后验准则来进行图像的分割.通过对SAR图像的分割实验表明,该算法可有效去除斑点噪声的影响,并能在准确分割目标的同时保留目标的细节信息.     

基于词序列拼积木模型的图像句子标注研究

用句子标注图像,建立图像与文本间的跨媒体关联,以提升信息检索准确率,改善用户检索交互体验.利用KDES模型抽取图像特征,在多核学习模型中融合出MK-KDES特征,准确刻画图像视觉特性;设计自然语言生成模型:词序列拼积木,评估单词与图像内容的相关性,优选单词,并根据单词间的语义相关性与句法模式约束,将单词组合成N元词序列;把N元词序列输入模板生成句子.结果表明:MK-KDES-1特征聚焦于图像的纹理及形状视觉特性,它是改善句子BLEU-1评分的关键;而单词间的语义相关性与句法模式约束是提升句子BLEU-2评分的重要前提.      

顾及区域信息的卷积神经网络在影像语义分割中的应用

高分辨率遥感影像在实际应用中得到广泛使用。高分影像语义分割方法的研究具有重要实际应用价值。近来基于深度卷积网络的遥感影像标注方法表现出了比传统方法更为优越的性能;然而由于其基于固定感受野大小的上下文信息获取方法没有显式利用像素间约束关系,导致同一地物内部语义标注结果不一致。基于同一区域内部像素属于相同类别概率较大的假定,试图引入图像区域内部语义标注一致性约束,以改善现有深度卷积神经网络描述上下文信息的能力。在现有全卷积网络模型基础上,利用卷积神经网络最后一层特征,引入一个表示区域内部像素特征一致性的损失函数;将该损失函数与softmax损失函数进行联合训练,得到网络模型参数。在ISPRS(国际摄影测量与遥感学会)的Vaihingen 2D语义标注数据集上,对提出的方法进行了实验验证,实验结果表明所提方法在大多数类别上取得了较现有卷积神经网络模型更优的分类结果,总体准确率达85.18%。提出的引入区域内部像素标记一致性的全卷积网络模型,可以有效捕捉区域内部像素特征一致性的上下文信息,能有效纠正全卷积网络模型在区域内部像素分类中的冲突,获得区域一致较好的分类结果,从而改善图像的语义标注效果。     

磁共振图像的随机场分割方法

基于Gibbs分布的Markov随机场是一个重要的先验模型,能够简单地通过势能形式表示图像像素之间的相互作用,从而把图像的先验知识和图像分割的数学模型相结合,利用Markov随机场方法提出了脑磁共振图像最大后验概率的分割模型,并通过迭代条件方法求解,与传统的K均值算法作比较,证明了算法的有效性。     

基于Vague融合的自动图像标注方法

提出了一种基于Vague融合的自动图像标注方法,通过有效区域匹配方式,利用近邻语义信息来平衡正负样本数目,并且首次利用Vague集的真假隶属度融合图像的区域信息,从而获得更准确的标注结果.实验结果表明,该标注方法是可行的,同时,与传统的标注方法相比,标注结果得到了明显的提高.     

基于区域空间与词汇加权的图像自动标注

图像自动标注是图像检索与图像理解中重要而又极具挑战性的问题.针对现有模型忽略了图像不同区域对图像整体贡献程度的差异性,提出了基于区域空间加权的标注方法,改善了图像的区域特征生成概率估计.此外,针对现有模型未考虑词汇本身重要性以及词汇分布对标注性能的影响,提出了基于词汇固定权值的标注方法、基于平滑词汇频率的标注方法以及基于词汇TF-IDF加权的标注方法,对词汇的生成概率估计部分进行了改进.综合以上区域空间改进与词汇改进,提出了WDVRM图像标注模型.通过在Corel数据库进行的实验,验证了WDVRM模型的有效性.     

马尔可夫随机场在可见光图像分割中的应用

在可见光图像生成红外图像的过程中,图像分割至关重要。马尔可夫随机场（MRF）具有局部特性,由此特性建立了纹理特征的MRF模型。利用纹理的MRF模型,将参数的期望最大化用于该模型中的参数估计。最后将图像中的所有像素经该模型计算后得到纹理信息并分割图像。通过实验取得了较好的效果。     

VTC-KSVD:一种融合视觉特征与标签一致性的多标签图像标注方法

提出一种融合视觉特征及标签一致性的多标签图像标注方法VTC-KSVD.首先通过K均值奇异值分解（KSVD）法建立图像的标签一致性模型TC-KSVD,然后将多视图特征融合在该模型中.该方法既利用了训练样本的类标与编码系数的判别式模型,又利用了训练样本的标签与编码系数的关系,增加了字典的判别性,提高了标注性能.在Corel5K数据集上的实验结果表明,融合了多视图视觉特征与标签一致性的VTC-KSVD方法可以较为准确地找到视觉特征与语义特征均相似的图像近邻,能明显提升多标签图像的标注性能,并能有效缓解训练数据有限而引起的稀疏性问题.      

旋转曲面变换PSO算法估计纹理图像MRF参数

快速准确地估计马尔可夫随机场的参数，通过拟似然函数可以将其参数估计转化为一个寻找全局极值的问题．粒子群优化算法应用于多极值点函数优化时，存在陷入局部极小点和搜寻效率低的问题．为此提出旋转曲面变换方法，将被优化函数映射到一个同胚曲面上，它将当前局部极小点变换为全局最大点，并保持被优化函数值在当前局部极小点以下部分的形状不变，从而克服陷入局部极小点问题．利用旋转曲面变换粒子群优化算法对充满局部极小点的目标函数求全局极值．用Gibbs采样器生成的纹理图像实验结果表明，利用这种方法估计马尔可夫随机场参数效果较好．     

一种融合PLSA模型和树模型的文本病历语义分析新方法

将文本语义分析领域中的概率潜语义分析（PLSA）模型和语义树模型进行融合, 设计一种新模型, 并将其应用在文本病历语义分析上, 较好地解决了文本病历语义分析过程中存在的“多词一义”情况, 降低了语义维度, 简化了窗口语义树的结构. 通过语义分解和语义检索实验证明了该模型在文本病历语义分析上的优势.     

基于非负矩阵分解的隐含语义图像检索

提出了一种基于非负矩阵分解(Non-negative Matrix Factorization,NMF)的隐含语义索引(Latent Semantic Indexing,LSI)模型用于图像检索.应用NMF训练算法构造了一个语义空间,将查询图像和原型图像都投影到该空间以获得语义特征,在此空间中进行相似性的度量并将距离最近的图像返回给用户.与已有两种检索模型的实验结果对比表明,所提出模型是有效的.     

基于视觉内容与语义相关的图像标注模型

针对当前标注系统的不足,设计了一种高效的标注模型,其标注步骤包括标注和标注改善,标注算法采用加权的正反例标志向量法,标注改善采用NGD方法。实验表明,标注效率远优于经典的标注模型,标注质量优于大多数标注模型。     

多特征融合的深度强化学习色彩增强方法

提出一种结合深度特征与美学特征的图像增强方法.首先,结合多种图像特征重构智能体评估网络,该网络通过拼接图像语义特征、图像色彩特征及历史动作信息输出当前策略.其次,感知奖励模型通过预训练分类模型激活层网络提取深层特征,使用余弦距离获得图像间的深度感知距离;利用美学模型获得图像间的概率距离.最后,结合两方面的距离表示并将其用于奖励模型构造中.在MIT-Adobe FiveK数据集上的实验结果表明,本色彩增强方法在结构相似度和平均均方误差上优于其他基线算法,模型场景适用性强.生成图像在保留更多的细节信息的同时,可以有效增强图像色彩.