利用深度玻尔兹曼机与典型相关分析的自动图像标注算法

提出一种基于深度玻尔兹曼机与典型相关分析的自动图像标注算法(DBM-CCA)。该算法利用深度玻尔兹曼机实现图像与文本的低层次特征向稀疏高层次抽象概念的转变,并通过典型相关分析建立子空间映射关系以实现标注词汇的生成。首先在深度玻尔兹曼机提取图像与文本高层特征过程中,选用伯努利分布和高斯分布分别拟合标注词汇和图像特征,然后在图像与标注词汇高层特征形成的典型变量空间内计算待标注图像与训练集图像的马氏距离并据此加权计算得到高层标注词汇特征,最后由平均场估计生成图像标注词汇。实验结果表明,所提算法对图像的标注准确率改善较好,与经典的基于监督的多类标签方法和多重伯努利相关模型相比,在Corel5K实验中平均查准率和查全查准均率分别提高了10%和5%。     

基于语义相关区域搜索的图像标注（英文）

探讨了如何有效地利用互联网上大规模的图像和文本信息以数据驱动的方式来实现图像的自动标注,并提出了一种基于语义相关区域搜索的图像自动标注框架.该框架首先利用人工建立的视觉和文本知识库Image-Net来训练一组弱分类器;然后将学习好的弱分类器作用于分割后的图像区域块生成Region-level的语义特征表示用以在大规模的图像数据库中进行相关图像区域的搜索,最后从搜索结果的文本描述中通过聚类挖掘的方式产生最终的图像标注结果.对比于image-level的底层特征表示,基于分类学习的区域模块具有更强的语义表达能力和更好的鲁棒性,更容易抓住图像本身包含的多个目标的多重语义;从而使得该框架兼具了大规模数据驱动和传统基于分类算法的优点.大量web图像和公认的测试数据集上进行的实验结果证明了本文提出框架的有效性.     

基于CTM模型和最优标签集的图像标注

为了提高自动标注系统的性能,提出了一种基于最优标签集图像自动标注系统优化算法.用词袋模型表示图像,采用CTM模型进行图像标注,在此基础上,采用基于词频因子的词间相关性以及启发式迭代算法对获得的标注词进行有效的优化,提高了标注词的准确性.在Corel5K数据集中利用LDA模型和CTM模型进行图像标注对比实验,实验结果表明本文提出的图像标注方法能有效提高标注系统的性能.     

基于概率主题建模的图像语义学习与检索

针对图像检索中存在的“语义鸿沟”问题,本文提出一种语义学习模型进行图像的自动标注.首先提出连续的概率潜在语义分析(PLSA)模型及对应的参数估计算法,并利用最大惩罚似然的方法解决协方差矩阵的奇异性问题;然后,提出一个根据不同模态数据各自的特点进行处理的概率模型,该模型使用连续PLSA和传统PLSA分别建模视觉特征和文本关键词,并通过不对称学习算法发现两种模态之间共有的语义主题,从而能更精确地对未知图像进行标注.通过在分别包含5 000幅和31 695幅图像的两个标准Corel数据集上进行实验,并与几种典型的图像标注方法进行比较的结果表明,文中方法具有更高的精度和更好的效果.     

基于稀疏表达的污损图像标注算法

本文提出了污损图像的自动标注算法.首先确定待标注图像的污损区域,根据污损区域的位置和比例划分字典中的图像,提取图像的底层特征,基于底层视觉特征构建稀疏模型,确立污损图像与字典中图像的相似关系,对字典中的相似图像进行分块处理,由污损图像与字典图像的子块特征确定其可能相关的标注词.最后通过概率统计完成污损图像的自动标注.实验表明该方法在一定程度上弱化污损区域对图像标注的不利影响,较好地实现了污损图像的自动标注.     

基于视觉词袋模型的图像信息处理算法研究

研究一种基于视觉词袋模型的图像筛选与搜索优化算法以提高机器人闭环检测质量和降低图像信息处理量.首先,通过SURF算子提取图像中的特征信息,构建对应的视觉词袋模型,并形成视觉词袋直方图;其次,基于视觉词袋直方图计算获得对应的图像混合显著度,进而筛选出信息量丰富且可区分度大的图像,并组成待搜索图像集合;然后,从视觉词袋直方图中提取图像中的显著主要特征类组成集合,并用其近似替代图像的特征分布情况,以降低图像特征信息处理量,加快图像搜索速度.最后,仿真实验证明本文提出的图像筛选和搜索方法的可行性和有效性.     

基于DBNMI模型的海洋遥感影像自动标注方法

研究大规模海洋遥感影像管理的关键是缩小影像低层视觉特征与高层语义之间的鸿沟.针对海洋遥感影像中不同区域对语义相似性度量的贡献程度不同,提出一种基于深度信念网络多示例(deep belief networks multi-instance,DBNMI)的遥感影像语义自动标注模型.模型对初始输入遥感影像进行自适应分割,粗粒度划分海洋遥感影像背景区域和对象区域;对影像对象区域的低层视觉特征和高层语义概念间关系,利用深度信念网络模型进行自动建模;定量计算标注词间共现和对立的语义关系,改善图像标注结果.在公开遥感影像数据集上进行验证,实验表明所提出方法在标注精度上取得了较好效果.     

VTC-KSVD:一种融合视觉特征与标签一致性的多标签图像标注方法

提出一种融合视觉特征及标签一致性的多标签图像标注方法VTC-KSVD.首先通过K均值奇异值分解（KSVD）法建立图像的标签一致性模型TC-KSVD,然后将多视图特征融合在该模型中.该方法既利用了训练样本的类标与编码系数的判别式模型,又利用了训练样本的标签与编码系数的关系,增加了字典的判别性,提高了标注性能.在Corel5K数据集上的实验结果表明,融合了多视图视觉特征与标签一致性的VTC-KSVD方法可以较为准确地找到视觉特征与语义特征均相似的图像近邻,能明显提升多标签图像的标注性能,并能有效缓解训练数据有限而引起的稀疏性问题.      

基于POS-CBOW语言模型的相似词分析

相似词分析是自然语言处理领域的研究热点之一,在文本分类、机器翻译和信息推荐等领域中具有重要的研究价值和应用意义。针对新浪微博短文本的特点,给出一种带词性的连续词袋模型(POS-CBOW)。该模型在连续词袋模型的基础上加入过滤层和词性标注层,对空间词向量进行优化和词性标注,通过空间词向量的余弦相似度和词性相似度来判别词向量的相似性,并利用统计分析模型筛选出最优相似词集合。实验表明,基于POS-CBOW语言模型的相似词分析算法优于传统CBOW语言模型。     

显微图像相关处理原理及其应用

基于图像识别原理,对数字散斑相关方法做了新的理论探讨,通过分析散斑位移及其导数对变形前后显微图像相关性的影响,对相关算法进行简化和改进,提出了相关识别法,大大减少了相关迭代的计算时间。图像预处理有助于提高图像的相关性。典型的实验证明了该方法的可行性、准确性。