基于相关反馈的文物图像语义标注

目的 通过研究基于相关反馈的文物图像语义标注问题,以克服图像检索领域内的"语义鸿沟".方法 在标注过程中介入人机交互,以此来改进标注的准确率与效率.算法首先通过相关反馈构建语义相似性矩阵,进而通过语义聚类实现语义标注.结果 在对文物图像的标注试验中,获得了较好的标注准确率与效率.结论 基于相关反馈的图像语义标注较自动语义标注具有更大优势.     

基于区域空间与词汇加权的图像自动标注

图像自动标注是图像检索与图像理解中重要而又极具挑战性的问题.针对现有模型忽略了图像不同区域对图像整体贡献程度的差异性,提出了基于区域空间加权的标注方法,改善了图像的区域特征生成概率估计.此外,针对现有模型未考虑词汇本身重要性以及词汇分布对标注性能的影响,提出了基于词汇固定权值的标注方法、基于平滑词汇频率的标注方法以及基于词汇TF-IDF加权的标注方法,对词汇的生成概率估计部分进行了改进.综合以上区域空间改进与词汇改进,提出了WDVRM图像标注模型.通过在Corel数据库进行的实验,验证了WDVRM模型的有效性.     

基于图理论学习模型的胃窥镜图像自动标注

为了解决目前医学图像检索领域不能有效缓解“语义鸿沟”的问题,提出基于图理论学习模型的图像自动标注方法.首先讨论了医学图像的标注问题,总结了现有关医学图像标注的研究工作.以胃窥镜图像为具体研究对象,针对图学习模型中的图像-标注词间的关系提取以及图像相似度计算进行了详细分析,并有效地融合进医生的诊断信息作为图像的高级语义特征,更有效地计算出图像间相似度.最后,在Toy data数据集和临床胃窥镜图像集上进行了一系列的实验,结果表明本文方法优越于传统图像标注方法.     

基于风格建模的图像自动标注

传统的自动图像标注假设图像相对独立,在训练和标注阶段,图像之间的联系都被忽略.然而在实际应用中,用户往往倾向于将来自同源(如同一次旅行,同一次庆典等)的图像存储在一起,组成一个图像子集,来自同一个图片子集的图像享有共同的"风格".以传统的基于PLSA模型的自动图像标注为基础,提出为图像集的"风格"建模,在风格模型的基础上进行自动图像标注.不同数据集上的实验证明,提出的风格化图像自动标注可以为传统的基于PLSA模型的自动图像标注带来80%左右的性能提升.     

基于Co-training的图像自动标注

图像自动标注是图像理解与模式识别等领域中具有挑战性的关键研究问题.目前图像自动标注领域存在着一些问题,如未标注数据规模要远大于标注数据规模,只能单独使用某种图像分割策略与某类图像表示方法.针对上述问题,提出了基于Co-training的图像自动标注方法,通过构建4个独立的特征属性进而建立4个子分类器,将不同的图像分割方法与特征表示方法整合到一个统一框架中,利用提出的基于投票与一致性相结合的自适应算法扩展原始训练集.该方法通过使用Co-training算法,利用大量未标注数据来提升图像自动标注的性能.通过在Corel 5K数据库上进行实验,验证了提出方法的有效性.     

一个基于本体的语义检索方法

提出一个基于本体的语义检索方法,利用领域本体知识对各类资源进行语义标注.把用户查询转化为形式化的SPARQL检索描述,再把执行查询后的结果扩展到相关的标注资源.     

基于词性分析和领域知识的Deep Web语义标注

基于对中文Deep Web查询结果的词性分析,提出一种基于中文词性和领域知识的Deep Web语义标注方法.借助中文分词工具得到Deep Web查询结果的词性,并根据词性或词性组合与语义建立映射规则,同时结合领域知识进行语义标注.实验表明,该方法能够在多个领域对Deep Web查询结果进行正确的语义标注,从而验证了该方法的有效性.     

基于稀疏组Lasso与支持向量机的肺结节CT征象自动标注简

为减少人工读片的工作量及医生对肺结节解释的差异性,提出一种基于稀疏组Lasso特征选择与支持向量机分类器的肺结节CT征象自动标注方法.首先,采用基于多专家标注的阈值概率图方法从肺部CT图像中分割肺结节,并提取专家标注的CT征象;其次,提取肺结节图像的形状、大小、灰度、纹理4种底层特征,通过稀疏组Lasso方法对4种特征进行选择;然后利用支持向量机建立选择后底层特征与CT征象之间的关系模型;最后利用此模型标注肺结节CT征象.LIDC数据库上的实验结果表明,本文方法具有较高的标注精度,能够实现肺结节CT征象的自动标注,辅助医生解释.     

基于Vague融合的自动图像标注方法

提出了一种基于Vague融合的自动图像标注方法,通过有效区域匹配方式,利用近邻语义信息来平衡正负样本数目,并且首次利用Vague集的真假隶属度融合图像的区域信息,从而获得更准确的标注结果.实验结果表明,该标注方法是可行的,同时,与传统的标注方法相比,标注结果得到了明显的提高.     

利用深度玻尔兹曼机与典型相关分析的自动图像标注算法

提出一种基于深度玻尔兹曼机与典型相关分析的自动图像标注算法(DBM-CCA)。该算法利用深度玻尔兹曼机实现图像与文本的低层次特征向稀疏高层次抽象概念的转变,并通过典型相关分析建立子空间映射关系以实现标注词汇的生成。首先在深度玻尔兹曼机提取图像与文本高层特征过程中,选用伯努利分布和高斯分布分别拟合标注词汇和图像特征,然后在图像与标注词汇高层特征形成的典型变量空间内计算待标注图像与训练集图像的马氏距离并据此加权计算得到高层标注词汇特征,最后由平均场估计生成图像标注词汇。实验结果表明,所提算法对图像的标注准确率改善较好,与经典的基于监督的多类标签方法和多重伯努利相关模型相比,在Corel5K实验中平均查准率和查全查准均率分别提高了10%和5%。     

基于视觉内容与语义相关的图像标注模型

针对当前标注系统的不足,设计了一种高效的标注模型,其标注步骤包括标注和标注改善,标注算法采用加权的正反例标志向量法,标注改善采用NGD方法。实验表明,标注效率远优于经典的标注模型,标注质量优于大多数标注模型。     

基于生物医学领域本体语义Web的构建探讨

语义Web能让计算机理解人类的信息需求,从而使搜索和检索更加准确和全面。探讨了如何以生物医学的主题词表为基础构建生物医学的领域本体,并利用半自动化辅以人工信息标注的方法来完成生物医学语义Web的构建。     

复杂相似性图像检索系统体系结构

研究了一种支持复杂相似性查询的图像检索系统体系结构、提出了处理复杂相似性查询的技术,构造出一个高效的图像检索系统。图像的内容由三种特征来定义：可量化的可视化信息特征、非量化描述的语义信息特征和包含更抽象语义信息的关键字特征。用记可以根据上述特征对图像数据库进行各种简单到复杂的查询、利用面向对象的注释描述模型实现图像的高层语义内容索引,利用特征提取方法可以对图像模型中的可视化定量特征建立索引。     

Semantic image annotation based on GMM and random walk model

Automatic image annotation has been an active topic of research in computer vision and patternrecognition for decades.A two stage automatic image annotation method based on Gaussian mixturemodel (GMM) and random walk model (abbreviated as GMM-RW) is presented.To start with,GMM fitted by the rival penalized expectation maximization (RPEM) algorithm is employed to estimatethe posterior probabilities of each annotation keyword.Subsequently, a random walk processover the constructed label similarity graph is implemented to further mine the potential correlations ofthe candidate annotations so as to capture the refining results, which plays a crucial role in semanticbased image retrieval.The contributions exhibited in this work are multifold.First, GMM is exploitedto capture the initial semantic annotations, especially the RPEM algorithm is utilized to train themodel that can determine the number of components in GMM automatically.Second, a label similaritygraph is constructed by a weighted linear combination of label similarity and visual similarity ofimages associated with the corresponding labels, which is able to avoid the phenomena of polysemyand synonym efficiently during the image annotation process.Third, the random walk is implementedover the constructed label graph to further refine the candidate set of annotations generated byGMM.Conducted experiments on the standard Corel5k demonstrate that GMM-RW is significantlymore effective than several state-of-the-arts regarding their effectiveness and efficiency in the task of automatic image annotation.     

基于张量罚偏最小二乘的自动图像标注

如何有效地挖掘变量与标签之间的相互关系和处理高维数据是自动图像标注的两个具有挑战性的问题。以往的自动图像标注都是基于向量模式的学习算法,这样一方面产生高维数据,另一方面破坏了图像数据的高阶结构和内在相关性,导致信息丢失。向量模式下的罚偏最小二乘算法(penalized partial least square,PPLS)可以在获取变量和标签相关性的同时,进行维度约简。在PPLS的基础上,提出基于张量罚偏最小二乘算法(tensor-PPLS)。首先构造图像的张量数据形式,然后采用多线性主成分分析(MPCA)进行降维预处理,最后用tensor-PPLS进行图像标注。在图像标注的三个标准数据集上,提出的算法标注结果明显优于传统的基于向量模式的学习算法。     

基于词序列拼积木模型的图像句子标注研究

用句子标注图像,建立图像与文本间的跨媒体关联,以提升信息检索准确率,改善用户检索交互体验.利用KDES模型抽取图像特征,在多核学习模型中融合出MK-KDES特征,准确刻画图像视觉特性;设计自然语言生成模型:词序列拼积木,评估单词与图像内容的相关性,优选单词,并根据单词间的语义相关性与句法模式约束,将单词组合成N元词序列;把N元词序列输入模板生成句子.结果表明:MK-KDES-1特征聚焦于图像的纹理及形状视觉特性,它是改善句子BLEU-1评分的关键;而单词间的语义相关性与句法模式约束是提升句子BLEU-2评分的重要前提.      

经济学知识网格的构建

通过对相关工作的研究,结合经济学知识网格的实践,设计和实现了一个ESWP平台来辅助开发者以半自动方式构建知识网格.该平台包括三个主要的功能模块:本体构建模块、语义标注模块和进化管理模块.它们分别采用基于角色的用户管理和多版本机制来支持多用户协同的本体开发;采用支持向量机(SVM)和一组标注规则来支持文档级标注和词汇级标注;采用边标注边进化的方法来支持资源的进化管理.目前该平台已成功地应用于一个经济学知识网格原型———经济学学科知识检索系统.     

结合受控词汇表的生物基因本体标注与分类

通过研究有关基因的生物学文献特征,提出了一种能对生物基因文献进行自动标注与分类的方法.在 K 最邻近算法的基础上,采用了 Chi-Square 特征选择方案,并且在加权算法中突出了Chi-Square 的选择特点.另外,采用文档逻辑分块法,将额外的生物受控词汇表中的信息所形成的向量直接引入到了分类算法中,以提高分类和标注的效果.实验表明,所提算法优于常用的单词频率/逆文档频率加权方法,其在文本检索大会(TREC)数据集上的分类、标注效果分别比 TREC 公布的最好结果提高了3.14%和4.12%.     

Image Semantic Automatic Annotation by Relevance Feedback

A large semantic gap exists between content based index retrieval (CBIR) and high-level semantic, additional semantic information should be attached to the images, it refers in three respects including semantic representation model, semantic information building and semantic retrieval techniques. In this paper, we introduce an associated semantic network and an automatic semantic annotation system. In the system, a semantic network model is employed as the semantic representation model, it uses semantic keywords, linguistic ontology and low-level features in semantic similarity calculating. Through several times of users' relevance feedback, semantic network is enriched automatically. To speed up the growth of semantic network and get a balance annotation, semantic seeds and semantic loners are employed especially.