Image Semantic Automatic Annotation by Relevance Feedback

A large semantic gap exists between content based index retrieval (CBIR) and high-level semantic, additional semantic information should be attached to the images, it refers in three respects including semantic representation model, semantic information building and semantic retrieval techniques. In this paper, we introduce an associated semantic network and an automatic semantic annotation system. In the system, a semantic network model is employed as the semantic representation model, it uses semantic keywords, linguistic ontology and low-level features in semantic similarity calculating. Through several times of users' relevance feedback, semantic network is enriched automatically. To speed up the growth of semantic network and get a balance annotation, semantic seeds and semantic loners are employed especially.     

基于词序列拼积木模型的图像句子标注研究

用句子标注图像,建立图像与文本间的跨媒体关联,以提升信息检索准确率,改善用户检索交互体验.利用KDES模型抽取图像特征,在多核学习模型中融合出MK-KDES特征,准确刻画图像视觉特性;设计自然语言生成模型:词序列拼积木,评估单词与图像内容的相关性,优选单词,并根据单词间的语义相关性与句法模式约束,将单词组合成N元词序列;把N元词序列输入模板生成句子.结果表明:MK-KDES-1特征聚焦于图像的纹理及形状视觉特性,它是改善句子BLEU-1评分的关键;而单词间的语义相关性与句法模式约束是提升句子BLEU-2评分的重要前提.      

Query expansion based on semantics and statistics in Chinese question answering system

In Chinese question answering system, because there is more semantic relation in questions than that in query words, the precision can be improved by expanding query while using natural language questions to retrieve documents. This paper proposes a new approach to query expansion based on semantics and statistics Firstly automatic relevance feedback method is used to generate a candidate expansion word set. Then the expanded query words are selected from the set based on the semantic similarity and seman- tic relevancy between the candidate words and the original words. Experiments show the new approach is effective for Web retrieval and out-performs the conventional expansion approaches.     

基于语义绑定的分层视觉词汇库的图像检索

提出了一种解析复杂图像语义的模型——分层语义模型,给出了解析复杂语义和构造模型的方法.提出了基于分层语义模型的语义绑定的分层视觉词汇库的概念,给出了构造词汇库的具体方法和步骤,同时对词汇库细节问题给出了解决的方法.将提出的分层视觉词汇库应用于基于内容和语义的图像检索中,并给出了构建图像检索系统的方法和检索图像的步骤.该模型在图像检索中可同时满足基于图像内容的检索方式和基于图像语义的检索方式.实验结果表明,该方法比基于SIFT(Scale Invariant Feature Transform)特征向量的图像检索方法具有更好的性能.     

基于内容图像检索中的"语义鸿沟"问题

目的探讨目前CBIR系统中广泛存在的“语义鸿沟”问题。方法阐述了该问题的表现及产生的实质;从获取图像语义的角度出发,研究和分析了当前针对这一问题的一些处理方法以及存在的问题,并提出了初步的解决思路。结果现阶段在CBIR中应用多层次的相关反馈方法,能够较好地建立和修正图像低层特征与高层语义间的联系,有助于缩小图像检索过程中的“语义鸿沟”,并达到了一定程度语义检索的目的。结论实现真正意义上的基于语义的图像检索,将是解决“语义鸿沟”问题的最有效途径。     

Automatic Question Answering from Web Documents

A passage retrieval strategy for web-based question answering （QA） systems is proposed in our QA system. It firstly analyzes the question based on semantic patterns to obtain its syntactic and semantic information and then form initial queries. The queries are used to retrieve documents from the World Wide Web （WWW） using the Google search engine. The queries are then rewritten to form queries for passage retrieval in order to improve the precision. The relations between keywords in the question are employed in our query rewrite method. The experimental result on the question set of the TREC-2003 passage task shows that our system performs well for factoid questions.     

A semantic retrieval method based on the fuzzy reasoning

This paper gives a semantic fuzzy retrieval method of multimedia object, discusses the principle of fuzzy semantic retrieval technique, presents a fuzzy reasoning mechanism based on the knowledge base, and designs the relevant reasoning algorithms. Researchful results have innovative significance. Foundation item: Supported by the Natural Science Foundation of Hubei Province(No. 200J157) Biography: Cao Jia-heng(1946-), male, Professor, research direction: multimedia software, artificial intelligence.     

基于Tag-rank和CCA的在线商品跨媒体检索研究

在线商品跨媒体检索是电子商务领域的研究热点,增强特征判别性以改善检索性能是其核心问题。引入Tag-rank模型计算单词的绝对排序和相对排序权重,以准确刻画单词在文本中出现位置的统计特性,抑制噪声干扰并提升关键词权重,从而增强文本特征判别性,最终改善跨媒体检索性能。实验表明：在文本检索图像中,相对排序类模型和绝对排序类模型检索性能平均提升6.58%和4.99%。在图像检索文本中,若合理选取图像特征检索性能也有提升。所设计的后融合策略能进一步改善检索性能。     

基于特征融合注意力的小样本语义分割算法

针对小样本语义分割任务中对查询图片的信息利用不充分的问题，提出一种基于特征融合注意力的小样本语义分割算法。首先，利用共享主干网络编码支持图片和查询图片，从而获取图片的深度特征；然后，利用注意力机制获取支持特征和查询特征的强关联语义信息，从而构造任务注意力特征图；最后，提出一种多特征注意力融合模块，它能够自适应融合多种特征的深层语义信息并进行特征解码，从而获取目标物体的分割掩码。在PASCAL-5ⁱ和COCO-20ⁱ公开数据集进行了实验，结果表明，所提出模型比当前主流的小样本语义分割模型在1-way 1-shot和1-way 5-shot任务中分割得更加精准，尤其是在更具有挑战性的COCO-20ⁱ数据集上，所提出模型在1-shot的设定下达到了28.8%的mIoU和62.1%的FB-IoU,在5-shot设定下达到了36.9%的mIoU和64.8%的FB-IoU。     

CSMCCVA：Framework of cross-modal semantic mapping based on cognitive computing of visual and auditory sensations

Cross-modal semantic mapping and cross-media retrieval are key problems of the multimedia search engine.This study analyzes the hierarchy, the functionality, and the structure in the visual and auditory sensations of cognitive system, and establishes a brain-like cross-modal semantic map-ping framework based on cognitive computing of visual and auditory sensations.The mechanism of visual-auditory multisensory integration, selective attention in thalamo-cortical, emotional control in limbic system and the memory-enhancing in hippocampal were considered in the framework.Then, the algorithms of cross-modal semantic mapping were given.Experimental results show that the framework can be effectively applied to the cross-modal semantic mapping, and also provides an im-portant significance for brain-like computing of non-von Neumann structure.     

基于人工智能方法的图像语义检索

根据语义特征进行图像检索是图像检索技术的发展趋势。文章提出了一种基于人工智能以实现图像语义特征提取的方法,即通过模糊逻辑、遗传算法和人工神经网络三者的融合来解决图像语义特征提取这一难题,该方法使图像检索能够满足用户的需求,提高了图像检索的效率和精度。     

Construction of domain Web classification ontology based on suggested upper merged ontology

Aiming at the problem of merging heterogeneous semantic taxonomy emerged in Web information integration, a method of building Web classification ontology （WCO） has been proposed. A WCO that is logically consistent with the suggested upper merged ontology （SUMO） is defined, together with axioms needed to classify Web pages. WCO can be used as a foundation of merging heterogeneous semantic taxonomy, and could be used to support Web information integration and classification based Web information retrieval.     

基于本体的医学图像检索系统

介绍了基于内容的图像检索技术和医学图像检索系统的相关概念,分析了医学图像检索系统的研究现状,采用多特征归一化图像检索方法、低级特征和语义特征相结合的二级检索机制,构建了一个基于本体的医学图像检索系统。     

基于语义Web的多功能情报信息自适应检索技术

为了解决传统依据关键字、概念和属性值等检索技术没有考虑不同主体中情报信息间的语义关系,无法提供令用户满意的情报检索结果问题,通过语义Web方法研究了多功能情报信息自适应检索技术。设计基于语义Web的多功能情报信息自适应检索模型,检索模型包括人机交互层、知识处理层以及知识存储层。在知识存储层建立本体语义模型。在知识处理层,从检索的多功能情报信息关键词中推断和其语义有关的概念,依据概念有关词汇对原始查询进行扩展,对语义相似度进行计算。在人机交互层,将用户反馈情况看作判断检索结果优劣的衡量因素,依据相似关键词获取相似结果集,按照反馈因子完成对所有相似结果的排序,把排序结果发送给用户,实现多功能情报信息自适应检索。结果表明,所提方法能够同时保证召回率与精度;排序误差率低;检索结果和用户查询结果最相符,检索结果准确,可令用户满意。可见所提方法检索性能强。     

低维显式语义空间下的语义关联度计算方法

语义关联度计算是数据科学中的一个关键性基础问题,在信息检索及自然语言处理等方面有着广泛的应用.针对ESA (Explicit Semantic Analysis)算法存在的局限性,提出一种显式语义特征选择算法,并构建低维语义空间.在此基础上,根据特征概念在Wikipedia中的映射信息,提出一种低维显式语义空间下的语义关联度计算方法.该方法解决了ESA算法在后续语义关联度计算过程中,因高维稀疏空间导致计算效果不够准确的问题.实验结果表明,与当前其他方法相比,该方法的计算结果在皮尔逊相关系数(P)及斯皮尔曼相关系数(S)上与人们的认知判断之间具有更好的一致性.     

基于感兴趣区域和神经网络的图像检索

提出一种感兴趣区域的图像检索方法,该方法首先采用遗传FCM算法对图像进行分割,然后提取分割后的区域特征进行检索;为了缩小低层特征和高层语义之间的语义鸿沟,最后提出一种基于神经网络的相关反馈方法,实验表明,该方法具有较好的检索性能,系统具有较高的查全率和查准率.     

MR中融合语义特征传播模型的前景对象感知定位算法

移动主体获得准确的定位信息是构建稳定的混合现实(mixed reality,MR)系统的关键,然而MR中的前景对象对传统定位算法的精度影响较大.现阶段基于深度学习的定位算法可以通过识别前景对象来提升精度,但深度学习模型耗时过高,导致算法实时性下降.针对该问题,提出了一种MR中融合语义特征传播模型的前景对象感知定位算法.该算法依托语义分割网络与一种快速旋转的二进制独立稳定描述子特征(oriented fast and rotated binary robust independent elementary feature,ORB)提取算法构建了语义特征传播模型,实现高速语义特征提取;融合该模型和几何特征检测方法实现算法中的前景对象感知层,并依赖该感知层剔除MR中前景对象的特征点,构建了背景特征点集,实现高精度、高实时性的定位.实验结果表明:在慕尼黑工业大学(Technical University of Munich,TUM)公共数据集的高动态前景对象场景中,相比动态语义视觉同步定位与建图(dynamic semantic visual simultaneous localization...     

基于语义网的数字图书馆信息检索模型研究

介绍了语义网的相关知识,针对数字图书馆信息检索效率不高的问题,在现有数字图书馆信息检索模型的基础上,提出一种新型的基于语义网的数字图书馆信息检索模型,详细论述了该模型的3个主要模块及其各自功能。通过采用语义网技术,解决了在传统的基于关键字的信息检索中只能从句法上对关键字进行分析,而无法根据信息资源中的语义关系进行检索的问题。