一种由粗至精的RGB-D室内场景语义分割方法

为了标注室内场景中可见物体,提出一种基于RGB-D数据由粗至精的室内场景语义分割方法.首先,利用分层显著度导引的简单线性迭代聚类过分割和鲁棒多模态区域特征,构建面向语义类别的超像素区域池,基于随机决策森林分类器判决各个超像素区域的语义类别,实现粗粒度区域级语义标签推断.然后,为了改善粗粒度级的语义标签,利用几何深度导引和内部反馈机制改进像素级稠密全连接条件随机场模型,以求精细粒度像素级语义标注.最后,在粗、细粒度语义标注之间引入全局递归式反馈,渐进式迭代更新室内场景的语义类别标签.2个公开的RGBD室内场景数据集上的实验结果表明,与其他方法相比,所提出的语义分割方法无论在主观还是客观评估上,均具有较好的效果.     

基于注意力机制的特征融合序列标注模型

序列标注任务是自然语言处理领域的重要问题,包括命名实体识别、词性标注、意见抽取等具有重要应用价值的子任务。目前,长短期记忆网络-条件随机场模型(LSTM-CRF)作为序列标注任务的主流框架,虽然取得了很好的性能并被广泛使用,但仍存在局部依赖性以及受限于序列化特征学习的缺点。为了同步建模句子中每个词的局部上下文语义与全局语义,并将两部分语义进行有效融合,提出基于注意力机制的特征融合序列标注模型。具体地,本模型利用多头注意力机制建模句子中任意两个词之间的语义关系,得到每个词应关注的全局语义。考虑到LSTM学习的局部上下文信息和注意力机制学习的全局语义具有互补性,进一步设计了三种特征融合方法将两部分语义深度融合以得到更丰富的语义依赖信息。为验证模型的有效性,在四个数据集上进行了大量的实验,实验结果表明本模型达到较优的性能。     

基于概率主题建模的图像语义学习与检索

针对图像检索中存在的“语义鸿沟”问题,本文提出一种语义学习模型进行图像的自动标注.首先提出连续的概率潜在语义分析(PLSA)模型及对应的参数估计算法,并利用最大惩罚似然的方法解决协方差矩阵的奇异性问题;然后,提出一个根据不同模态数据各自的特点进行处理的概率模型,该模型使用连续PLSA和传统PLSA分别建模视觉特征和文本关键词,并通过不对称学习算法发现两种模态之间共有的语义主题,从而能更精确地对未知图像进行标注.通过在分别包含5 000幅和31 695幅图像的两个标准Corel数据集上进行实验,并与几种典型的图像标注方法进行比较的结果表明,文中方法具有更高的精度和更好的效果.     

一种采用机器阅读理解模型的中文分词方法

针对中文分词序列标注模型很难获取句子的长距离语义依赖,导致输入特征使用不充分、边界样本少导致数据不平衡的问题,提出了一种基于机器阅读理解模型的中文分词方法。将序列标注任务转换成机器阅读理解任务,通过构建问题信息、文本内容和词组答案的三元组,以有效利用句子中的输入特征;将三元组信息通过Transformer的双向编码器（BERT）进行预训练捕获上下文信息,结合二进制分类器预测词组答案;通过改进原有的交叉熵损失函数缓解数据不平衡问题。在Bakeoff2005语料库的4个公共数据集PKU、MSRA、CITYU和AS上的实验结果表明：所提方法的F₁分别为96.64%、97.8%、97.02%和96.02%,与其他主流的神经网络序列标注模型进行对比,分别提高了0.13%、0.37%、0.4%和0.08%。     

采用特征识别技术的MBD模型自动语义标注方法

为了解决设计重用过程中基于模型的产品数字化定义(MBD)模型的问题,采用特征识别技术,对MBD模型自动添加语义标注,从而提高关键字检索的准确性.首先,对MBD模型的构成原理与模型要素进行分析,并在融合关键信息的基础上建立零件模型的属性面邻接图(AAG),根据零件模型上加工特征,将特征划分为螺钉头部特征、螺钉功能特征和材料特征.其次,通过顶点属性结合邻接矩阵重构图的顶点序列,动态编码结合距离匹配,求出最大公共子图,得出MBD模型之间的相似度.最后,利用聚类法实现对MBD模型的自动语义标注.实验结果表明:文中方法可以实现MBD模型的自动语义标注,很大程度上提高语义标注的自动化程度.     

基于组块分析的路径自然语言语义角色标注方法

为了进行路径自然语言研究,首先设计了路径自然语言收集方案,主要面向室内环境收集了一定的路径自然语言语料,通过手工标注建立了一个小型的语料库.其次,对路径自然语言的特征进行了一定的分析,在此基础上概括了几种常见的语义角色,主要包括关于landmark和方位转换的语义角色.路径自然语言本身具有高度规律性,语义角色相对集中,因此语义分析采用了基于组块分析的语义角色标注方法,将语义分析问题转化为序列信号的切分和分类问题.最后,利用支持向量机进行了相关的组块标注实验.实验结果表明提出的方法具有较大的潜力.     

基于DBNMI模型的海洋遥感影像自动标注方法

研究大规模海洋遥感影像管理的关键是缩小影像低层视觉特征与高层语义之间的鸿沟.针对海洋遥感影像中不同区域对语义相似性度量的贡献程度不同,提出一种基于深度信念网络多示例(deep belief networks multi-instance,DBNMI)的遥感影像语义自动标注模型.模型对初始输入遥感影像进行自适应分割,粗粒度划分海洋遥感影像背景区域和对象区域;对影像对象区域的低层视觉特征和高层语义概念间关系,利用深度信念网络模型进行自动建模;定量计算标注词间共现和对立的语义关系,改善图像标注结果.在公开遥感影像数据集上进行验证,实验表明所提出方法在标注精度上取得了较好效果.     

基于Landsat数据和农田概率时间序列子序列的退耕监测方法

提出一种利用Landsat数据和时间序列子序列的退耕监测方法.首先利用随机森林方法,对每年的Landsat数据统计值进行分类,得到每个像元属于农田的概率,由每年的农田概率构成年际的农田概率时间序列;然后,对退耕(农田变为非农田)及相关地物类别的农田概率时间序列进行分析,得到代表退耕的时间序列片段,即特征子序列;最后,计...     

基于最大熵的汉语篇章结构自动分析方法

在标有复句逻辑语义关系的清华汉语树库上, 研究汉语篇章语义片段自动切分以及篇章关系的自动标注方法。通过比较不同序列标注模型对汉语篇章语义单元切分的性能, 提出基于最大熵模型的汉语篇章结构分析方法。实验结果表明, 篇章语义单元自动切分的F值能达到89.1%, 当篇章语义结构树的高度不超过6层时, 篇章语义关系标注的F值为63%。     

视觉显著性驱动的运动鱼体视频分割算法

针对养殖监控视频中运动鱼体目标检测问题,提出一种基于视觉显著性计算的运动鱼体视频分割算法.首先,将运动特征通道引入基于图论的显著性计算模型中,对多通道特征进行自动加权,生成全局视觉显著图.其次,利用基于方向梯度直方图的支持向量机分类器对显著区域进行目标确认,得到包含前景目标的感兴趣区域.最后,分割出运动鱼体目标,并将其标注在视频序列中.实验结果表明,所提方法在室内养殖监控数据集上能够很好地剔除水面杂波、反光等复杂背景干扰,实现运动鱼体的视频分割.     

体育视频中基于语义推理的事件检测方法

为了对视频内容进行语义级别的事件分析和索引 ,进一步满足用户访问大规模体育视频库的需求 ,提出一种 3层次的视频语义推理方案。在最底层 ,提取视频特征 ,并提出一种视频语义片段自动分割算法 ;在第二层 ,把各语义片段映射到语义概念 ;在最高层 ,建立视频语义事件的有限状态自动机模型 ,进行事件推理和识别。实验结果表明 ,该方案可以有效地进行视频事件识别 ,检测的精度和速度都可以得到很好的保证     

视频剪辑查询结合时空金字塔匹配的视频检索方法

针对视频检索系统中目标持续移动从而影响检索精度的问题,提出一种基于视频剪辑查询融合时空金字塔匹配(spatio-temporal pyramid matching,STPM)方法.借助基于特征分析和分类的片段编辑检测器将新的视频分割成多个片段,以元数据信息将视频片段存入数据库,利用基于逐帧特征结合弱分类器的boosting算法检测视频片段边界,针对新的查询视频进行分析和线上视频匹配,并利用时空金字塔匹配计算相关反馈值.在中佛罗里达大学(university of central Florida,UCF)数据集和YouTube运动视频上的实验验证了方法的有效性,实验结果表明,方法的平均精度可高达97.6％,相比其他几种较为新颖的匹配方法,取得了更好的检索性能.     

基于运动捕获数据的人体运动融合

为了提高运动捕获数据的重用性和重用效率,引入注册曲线思想。以多个已有的捕获数据为输入,通过运动融合生成一段新的运动数据。首先建立时间对齐曲线,基于时间对齐曲线建立坐标对齐曲线,然后基于对齐曲线和坐标对齐曲线进行姿势融合。最后进行约束处理,扩展了可以用于运动融合的运动集合。实验结果证明方法可行且效果好。     

基于深度学习的图像全景分割改进算法模型

图像语义分割和实例分割是计算机视觉领域基础挑战性工作,图像全景分割统一解决两者的任务,其核心为图像中每一个像素分配相应的类别标签以及为类别中每一个实例分配ID。经典UPSNet已经取得了较好的全景分割效果,但是使用了一种单向信息流动的特征金字塔网络,将存在实例分支的目标实例定位不够准确的问题,并且语义分支的语义分割能力还需进一步提升。本文通过考虑两个任务的差异性以及共性,重新设计特征金字塔网络结构以提取出更适合全景分割的特征图,从而提高了实例分支的AP评价指标。在语义分支中引入了克罗内克卷积,与可变形卷积进行融合使得特征图的感受野更大并且捕获了局部信息,使语义分支的mIoU评价指标得到了提高。此模型在Cityscapes数据集上进行实验,验证了所设计的每个模块及整个模型的有效性。     

一种多尺度可变形部件模型的人脸表情识别的研究

针对现有表情识别研究无法捕捉脸部关键部位特征,提出一种多尺度可变形部件模型(DPM)的人脸表情识别方法。首先,构建多尺度图像的特征金字塔,然后,用随机梯度下降算法训练人脸DPM模型,根据DPM模型中根滤波器与部件滤波器的响应值确定人脸关键部位位置,最后,提取关键部位的HOG特征,将获得的特征输入到分类器中训练。在CK+和JAFFE表情库上的验证结果表明,该方法在不同角度和光照强弱影响下对人脸均有较好的检测和定位效果,提取的人脸关键部位特征在计算速率和识别率上优于对比算法。     

Fusing PLSA model and Markov random fields for automatic image annotation

A novel image auto-annotation method is presented based on probabilistic latent semantic analysis （PLSA） model and multiple Markov random fields （MRF）.A PLSA model with asymmetric modalities is first constructed to estimate the joint probability between images and semantic concepts,then a subgraph is extracted served as the corresponding structure of Markov random fields and inference over it is performed by the iterative conditional modes so as to capture the final annotation for the image.The novelty of our method mainly lies in two aspects：exploiting PLSA to estimate the joint probability between images and semantic concepts as well as multiple MRF to further explore the semantic context among keywords for accurate image annotation.To demonstrate the effectiveness of this approach,an experiment on the Corel5k dataset is conducted and its results are compared favorably with the current state-of-the-art approaches.     

一种基于局部运动特征的视频检索方法

在基于运动内容的视频检索中 ,视频中的局部物体运动常是用户关心的重点。在利用全局运动模型参数对运动估计的基础上 ,提出了一种从一般视频序列中提取局部物体运动矢量的方法 ,并以局部运动矢量场的方向直方图作为检索特征 ,实现了一个基于局部运动信息的视频检索系统。实验表明 :基于局部运动信息的检索机制使该系统能够较好地检索到符合人们主观理解的运动视频内容     

基于动态规划的关键帧提取算法

在传统的关键帧动画中,动画师对关键帧进行编辑并通过插值生成一段连续的动画.运动捕捉数据的每一帧均可看作关键帧,但是对其直接进行编辑非常繁琐,需要从运动中提取具有代表性的关键帧,简化运动的编辑操作.已有的关键帧抽取方法主要基于一些局部误差度量策略,算法的全局误差难以得到保证.提出了一种基于动态规划的运动捕捉数据的关键帧提取算法,该算法通过曲线拟合技术对密集采样的运动捕捉数据进行减帧,在生成指定数目关键帧的同时保证误差达到全局最小.用户可以利用传统的关键帧技术对减帧后的运动进行编辑.     

抖动视频的电子稳像算法

为解决视频序列中出现的抖动问题,提出了一种基于感兴趣区域的电子稳像算法。该算法首先对采集到的每帧图像建立高斯金字塔并进行下采样,然后结合稳像数学模型,求
解仿射变换参数,最后对每帧画面进行运动补偿,输出稳定的图像序列。仿真实验结果表明,该算法具有较好的稳像效果,对较大的旋转和平移运动,有较强的鲁棒性和准确性。与原始序列相比,稳定图像序列帧间的峰值信噪比平均提高了约10 dB。     

基于残差注意力和金字塔上采样的图像语义分割

针对图像语义分割中,存在细节信息丢失、分割类别边缘模糊而粗糙的问题,在编码解码结构的基础上,结合残差模块和注意力机制,设计一种残差注意力模块.通过注意力机制加强特征图通道之间的联系,以提升语义分割的细腻度.为提高模型对多尺度物体的识别能力,结合金字塔模型,设计一种金字塔上采样模块.利用编码过程中产生的不同尺度的特征图,...