基于多种高级语义特征的图像检索技术

基于语义内容的图像检索已成为解决图像低层特征与人类高级语义之间"语义鸿沟"的关键.笔者以性能优越的回归型支持向量机(SVR)理论为基础,结合重要的图像边缘信息及人眼视觉特性,提出了一种基于多种高级语义特征的图像检索新方法.该方法首先利用Canny检测算子提取原始图像的边缘信息,并据此得到低层纹理特征与颜色特征,同时利用SVR将低层特征映射到高级语义,以获得图像的高级对象语义.然后结合图像边缘线条方向,利用SVR将线条方向映射为高级语义,以获得图像的线条情感语义.再结合人眼视觉系统感知特性,给出基于全局主要颜色的高级颜色语义.最后根据上述多种高级语义特征进行图像检索.实验结果表明,该方法能够有效地对图像高级语义进行刻画,不仅图像匹配检索效果良好,而且具有稳定的检索性能,其对于缩小低层视觉特征与高级语义概念之间的"语义鸿沟"具有重要意义.     

MR中融合语义特征传播模型的前景对象感知定位算法

移动主体获得准确的定位信息是构建稳定的混合现实(mixed reality,MR)系统的关键,然而MR中的前景对象对传统定位算法的精度影响较大.现阶段基于深度学习的定位算法可以通过识别前景对象来提升精度,但深度学习模型耗时过高,导致算法实时性下降.针对该问题,提出了一种MR中融合语义特征传播模型的前景对象感知定位算法.该算法依托语义分割网络与一种快速旋转的二进制独立稳定描述子特征(oriented fast and rotated binary robust independent elementary feature,ORB)提取算法构建了语义特征传播模型,实现高速语义特征提取;融合该模型和几何特征检测方法实现算法中的前景对象感知层,并依赖该感知层剔除MR中前景对象的特征点,构建了背景特征点集,实现高精度、高实时性的定位.实验结果表明:在慕尼黑工业大学(Technical University of Munich,TUM)公共数据集的高动态前景对象场景中,相比动态语义视觉同步定位与建图(dynamic semantic visual simultaneous localization...     

多特征融合的道路场景语义分割算法

为提升道路场景语义分割的性能以及实际应用性,本文将传统的图像处理算法与深度学习技术相结合,提出了一种多特征融合的轻量级道路场景语义分割网络模型。该模型首先利用颜色空间转化、图像均衡化、边缘检测等算法来对图像多种特征信息进行增强;其次,以深度可分离卷积为基本单元搭建高效率特征提取结构,对特征增强后的图像进行信息融合和提取,并结合跳层上采样操作完成初步分割;最后,引入边缘检测支路来对分割图像的目标边界信息进行细化,保障网络高精度分割。通过实验结果表明,所提网络在分割精度、计算效率上得到了较好的平衡,同时,在实际变电站道路场景应用中,该网络也能实现高效语义分割,为巡检机器人提供有效的道路信息。     

一种新的基于稀疏编码Hash的跨模多媒体数据检索算法

针对现有跨模Hash检索方法不能有效消除不同模态数据间语义差异的问题,提出一种新的基于稀疏编码Hash的检索方法,解决了图像低层视觉特征和高层语义之间的语义差异,改善了跨模检索的效果.使用稀疏编码进行跨模相似性检索,首先使用稀疏编码获取图像与文本的显著特征和隐含概念,然后将学习到的隐含语义特征映射到共同的抽象空间中,再通过迭代机制找到多模态数据特征表示间的相关性,最后通过高层语义抽象空间的量化得到统一的Hash编码.     

基于跨模态语义增强的图像检索方法

网络图像的文本和图像之间有较强的相关性,传统基于内容的图像检索方法往往忽视文本和图像的相关性,而跨模态检索中,文本和图像的底层特征独立获得,并未有效利用两模态之间的语义关联性,基于此,本文提出了一种跨模态语义增强的图像检索方法(CSR),协同约束文本底层特征的线性判别分析项及两模态的典型相关分析项,使得文本语义增强的同时其强语义性通过协同约束迁移到图像特征中,最后通过多类逻辑回归获得文本和图像语义特征,用文本语义特征正则化图像语义特征,进一步提高图像特征的语义判别性。在Wikipedia和Pascal Sentence数据集上进行实验,显示本文方法能有效提高图像检索的平均查准率。     

融合几何特征与全局关系的室内点云语义分割

为充分提取3D点云的深层特征以提高复杂室内点云场景的语义分割精度，提出一种结合局部特征和全局特征的室内点云语义分割网络GSFNet.在局部特征部分，加入几何特征信息，并设计几何与语义特征信息编码模块，以更好地捕获室内点云局部信息.对全局特征部分，在编码解码器结构中间层加入全局关系依赖模块，构建不同邻域对象之间的关系提取有效分割信息.使用斯坦福大规模室内数据集(S3DIS)进行实验验证，在测试数据集上测试的总体精度(OA)和平均交并比(mIoU)分别为87.2%和61.1%,实验结果表明，GSFNet对复杂室内环境有较好的语义分割效果.     

基于视觉SLAM的物体实例识别与语义地图构建

针对目前面向语义同步定位与地图构建(SLAM)研究大多需要已知三维对象模型作为先验知识,或者只对有限的几种物体的类别进行语义分割,而没有区分对象的个体的问题,结合目前先进的基于深度学习的实例分割算法和视觉SLAM算法提出了一种面向实例个体的物体识别和语义地图构建方法,使得机器人不仅获得了面向导航的环境几何信息,而且掌握了面向物体个体的属性和位置信息.该方法利用由视觉SLAM算法获得的图像帧间几何一致性约束来促进连续图像帧中物体匹配与识别结果,提高物体实例识别的精度,同时结合实例识别结果完成语义建图的任务.最后实现了基于视觉SLAM算法的物体实例识别与语义地图构建系统,并在ICL-NUIM数据集上进行实验,实验结果表明该系统能够基本完整地识别场景中的各种物体并生成环境的语义地图,验证了本方法的有效性.     

基于图像上下文语义信息的场景分类方法

针对传统“视觉词袋模型”在进行场景分类时只利用图像的特征域,忽略其空间域中上下文语义信息的问题,提出一种基于图像上下文语义信息的场景分类方法.在传统“视觉词袋模型”的基础上,引入马尔科夫随机场模型对图像上下文语义信息进行建模,利用潜在的狄利克雷分布学习场景的主题分布,且利用支持向量机构造场景分类器.对16类场景的分类实验证明该方法能够有效提高分类精确度     

基于局部感知的点云语义分割方法

点云语义分割技术是点云数据处理、三维场景理解与分析的有效手段之一。针对点云场景中局部形态各异,导致网络模型识别特征困难的问题,提出了邻域分布关系学习和混合尺度融合的方法,来增强局部感知能力。在卷积算子思想的基础上,根据邻域内所有点在三个坐标轴方向上的联合分布,学习其在高维特征层面的关系,从而捕获局部的整体相关性。此外,将包含小范围底层特征和大范围深层特征的邻域进行整体融合,有效保留不同层级的特征,并能够辅助网络修正相似或错误特征。在场景分割数据集S3DIS、ScanNet上进行实验验证,结果表明该方法在总体精度和类均精度的评价指标上均有提升,证明了其有效性。     

基于局部类别一致k均值聚类的目标识别方法

针对复杂背景下的目标识别,提出了一种同时检测目标位置和区分目标类别的识别方法.该方法首先从图像中提取丰富的兴趣点,通过图像之间的对极几何约束,过滤出精确匹配的图像兴趣点;然后在兴趣点特征空间用局部类别一致k均值聚类方法生成特征码本;最后,对于给定的测试兴趣点集,通过投票得到表示目标类别的局部特征,采用最大化目标类别和目...