基于深度学习的纹理图像语义识别

传统的纹理图像识别方法主要对底层的视觉特征进行检测,从而导致对高层语义特征的识别能力不足.为了解决上述问题,提出一种基于深度学习的纹理图像语义特征识别方法.该方法首先把在ImageNet数据集上预先训练的模型作为骨干网络构建模型,然后对输入的纹理图像进行数据增强和预处理,并输入模型进行训练和验证,最后利用训练获得的最佳...     

精细拓扑结构表示与深度特征融合在多目标图像检索中的应用

空间信息表示是增强图像特征表达性能的重要手段,通过空间关系建模与深度学习方法融合可有效提升深度特征的语义特性,从而提升图像检索性能.首先,针对复杂图像的空间关系表示提出了一种新的精细拓扑结构表示模型,该模型不仅具有完备的拓扑描述性能,还提供了两种拓扑不变量的推理算法,使得拓扑不变量可以由表示模型直接推导而不需要繁复的几何计算;其次,基于精细拓扑结构表示模型,提出了有效的拓扑结构相似性度量方法,为空间关系特征表达奠定了基础;最后,进一步结合卷积神经网络,提出融合复杂空间关系特征与深度特征的多目标图像检索方法.实验结果表明,所提出的拓扑结构表示模型在空间查询中具有良好的性能;所提出的图像检索框架取得优于现有方法的精度,并能够有效地结合手工特征与深度特征各自的优势,为提升深度学习方法的可解释性创造了有利条件.     

基于概率主题建模的图像语义学习与检索

针对图像检索中存在的“语义鸿沟”问题,本文提出一种语义学习模型进行图像的自动标注.首先提出连续的概率潜在语义分析(PLSA)模型及对应的参数估计算法,并利用最大惩罚似然的方法解决协方差矩阵的奇异性问题;然后,提出一个根据不同模态数据各自的特点进行处理的概率模型,该模型使用连续PLSA和传统PLSA分别建模视觉特征和文本关键词,并通过不对称学习算法发现两种模态之间共有的语义主题,从而能更精确地对未知图像进行标注.通过在分别包含5 000幅和31 695幅图像的两个标准Corel数据集上进行实验,并与几种典型的图像标注方法进行比较的结果表明,文中方法具有更高的精度和更好的效果.     

一种用于智能零售视觉结算的增量学习方法

为了解决智能零售视觉结算任务中的增量学习问题,提出一个新颖的基于数据增广的三元组模型,由合成网络、渲染网络和检测网络组成。合成网络与渲染网络协同学习,将单品示例图像以数据增广方式生成分布接近真实数据的渲染视觉结算图像。在增量学习阶段,原有产品和新产品的示例图像协同学习,生成包含新产品的结算图像。所有渲染视觉结算图像被用于训练检测网络,训练好的模型能同时识别原有产品和新产品。试验结果表明,该模型具有相较于现有增量学习方法更优异的对抗灾难性遗忘能力,增量后的结算准确率为64.90%,遗忘率为3.63%,优于现有最佳方法的4.38%。     

级联模型展开与残差学习的压缩感知重构

基于传统优化模型展开的深度网络由于集成了深度学习与传统优化方法的优点,具有良好的可解释性,在当前图像处理与计算机视觉领域得到广泛关注.提出了一种级联模型展开与残差学习的图像压缩感知重构深度网络框架,以实现重构图像质量的进一步改善.第一级的基于模型展开的深度网络根据输入的压缩测量值得到初始的重构图像,第二级的深度残差网络对初始重构图像进行去噪处理,最终得到高质量的重构结果.该两级级联网络的训练分别独立完成,训练过程简单易实现,将ADMM-Net与Res Net级联实现对磁共振图像重构,将ISTA-Net+与Res Net级联实现对自然图像重构.大量实验结果比较验证了所提出方法的有效性.     

基于多任务多模态学习的谣言检测框架

谣言检测是对社交网络上传播的信息内容进行真实性鉴别的任务.一些研究表明融合多模态信息有助于谣言检测,而现有多模谣言检测方法具有以下问题：（1）只是将处于不同表示空间的单模态特征简单拼接形成多模态表示,没有考虑多模态之间的关系,难以提高模型的预测性能和泛化能力.（2）缺乏对社交网络数据组成结构的细致考虑,只能处理由文本-图像对的社交网络数据,无法处理由多幅图像组成的数据,且当其中一种模态（图像或文本）缺失时模型无法进行预测.针对上述问题,本文提出了一种多任务多模态谣言检测框架（MMRDF）,该框架由3个子网络组成：文本子网络、视觉子网络和融合子网络,通过从单模态数据中提取浅层至深层的单模特征表示,在不同的子空间中产生特征图,丰富模态内特征,并通过复合卷积结构融合生成联合多模态表示,以获得更好的预测性能.同时该框架可以灵活地处理所有类型的推文（纯文本、纯图像、文本-图像对和多图像文本）,并且没有引入造成额外时间延迟的传播结构、响应内容等数据作为输入,可以在推文发布后立即应用于谣言检测,减少辟谣的时间延迟.在两个真实数据集上的实验结果表明,所提框架明显优于目前最先进的方法,准确率上的提升分别...     

基于生成式对抗网络的自监督多元时间序列异常检测方法

异常检测是数据挖掘的重要研究方向之一.工业设备的各项指标以多元时间序列的形式被传感器监测，多元时间序列的异常检测对保障安全和提高服务质量至关重要，但是异常的定义相对模糊，具有异常标签的数据很稀少.此外，多元时间序列具有复杂的时间依赖性和随机性，使异常检测存在许多问题.提出CPCGAN模型，使用自监督学习的方法对多元时序数据进行异常检测.首先使用对比学习的方法得到多元时序数据的表示向量，再将具有先验信息的表示向量作为输入用来训练生成式对抗网络，通过生成式对抗网络的重构误差来确定异常.在五个数据集上与五种无监督异常检测方法进行对比，实验结果证明提出的方法能有效地检测两类异常，并且，在大多数数据集上的表现更好.     

基于深度学习模型的非结构化数据标注方法研究

大型的、标记密集的数据集是利用大量在线论坛中发现的非结构化数据有效促进文本和图像分析的深度学习方法的创建.虽然这种非结构化数据包比租用的数据注释包花费更低,但它也更容易陷入自然语言应答的陷阱,因为数据的非结构化特性会使回答者可能无法正确回答所提的问题.为了解决这些问题,提出一种深度学习的方法来系统地识别混淆,并从Instagram收集的非结构化数据包注释的数据中提取答案.每个注释数据包含一个图像、一个机器生成的问题和一个非结构化数据包响应.本文使用一个基于Facebook人工智能研究的Pythia体系结构模型:(1)用R-CNN模型来识别突出的特征(自下而上);(2)问题文本用作上下文来衡量这些特征(自上而下).使用基于伯特BERT的分类器来重复训练来自问题和响应的文本特征(不包括图像特征)等任务.结果显示:基于伯特BERT模型(分类AUC-ROC=0.84,应答预测F1=0.77)优于Pythia体系结构(分类AUC-ROC=0.79,应答预测F1=0.46).此外,还提出了一种基于BERT的多任务并行训练模型(1)和(2)能够优于特定任务模型(分类AUC-ROC=0.84,应答预测F1=0.78).     

深度学习与一致性表示空间学习的跨媒体检索

提出一种基于深度学习与一致性表示空间学习的方法,针对图像与文本2种模态,分别采用卷积神经网络模型和潜在狄利克雷分布算法学习图像的深度特征和文档的主题概率分布;通过一个概率模型将两个高度异构的向量空间非线性映射到一个一致性表示空间;采用中心相关性算法计算不同模态信息在此空间的距离.在Wikipedia Dataset上的实验结果表明:在单模态输入检索中,文中方法的平均准确率为38.43%,相比于其他方法有明显提高.     

一种基于多任务学习的多模态情感识别方法

为了通过设置辅助任务学习到更具有情感倾向性的视频和语音表示,进而提升模态融合的效果,提出一种基于多任务学习的多模态情感识别模型,使用多模态共享层来学习视觉和语音模型的情感信息.在MOSI数据集和MOSEI数据集上的实验表明,添加两个辅助的单模态情感识别任务后,模型可以学习到更有效的单模态情感表示,并且在两个数据集上的情...