全相关约束下的变分层次自编码模型

基于深度学习的解耦表示学习可以通过数据生成的方式解耦数据内部多维度、多层次的潜在生成因素,并解释其内在规律,提高模型对数据的自主探索能力。传统基于结构化先验的解耦模型只能实现各个层次之间的解耦,不能实现层次内部的解耦,如变分层次自编码(variational ladder auto-encoders,VLAE)模型。本文提出全相关约束下的变分层次自编码(variational ladder auto-encoder based on total correlation,TC-VLAE)模型,该模型以变分层次自编码模型为基础,对多层次模型结构中的每一层都加入非结构化先验的全相关项作为正则化项,促进此层内部隐空间中各维度之间的相互独立,使模型实现层次内部的解耦,提高整个模型的解耦表示学习能力。在模型训练时采用渐进式训练方式优化模型训练,充分发挥多层次模型结构的优势。本文最后在常用解耦数据集3Dshapes数据集、3Dchairs数据集、Celeb A人脸数据集和dSprites数据集上设计对比实验,验证了TC-VLAE模型在解耦表示学习方面有明显的优势。     

基于生成对抗网络的变分自编码器解耦合

深度生成模型从观测数据中学习到潜在因素,然后通过潜在因素生成目标,在人工智能领域受到广泛关注。现有深度生成模型学习的潜在因素往往是耦合的,无法让潜在因素每一维控制所得数据的不同特征,即无法单独改变某一特征而不影响其他特征。为此,在β-变分自编码器(beta-variationalautoencoder,β-VAE)的基础上,结合生成对抗网络(generativeadversarialnetworks,GAN),提出基于生成对抗网络的变分自编码器(beta-variationalautoencoder basedongenerativeadversarialnetwork,β-GVAE)模型。该模型是一种改进的β-VAE,通过引入生成对抗网络约束β-VAE中损失函数的KL项(Kullback-Leiblerdivergence),促进模型的解耦合。在数据集CelebA、3DChairs和d Sprites上进行对比实验,结果表明β-GVAE不仅具有更好的解耦合表示,同时生成的图像具有更好的视觉效果。     

基于行列式点过程的变分拉普拉斯自编码器

变分自编码器(Variational Autoencoders,VAE)是一类重要的学习概率潜在变量的生成模型,然而VAE对复杂模型的表现力较差,生成的图像往往比较模糊.为了解决VAE生成图像模糊的问题,提出一种基于行列式点过程的变分拉普拉斯自编码器(Variational Laplace Autoencoders-Determinantal Point Process,VLAE-DPP)模型,将行列式点过程方法引入变分拉普拉斯自编码器模型,在原始目标函数的基础上添加一项无监督惩罚损失,以此来提高生成图像的质量.VLAE-DPP模型利用行列式点过程来捕获一个与真实数据类似的多样性,然后通过从编码器中提取特征来学习核.最后,训练解码器优化核的伪、实、特征值和特征向量之间的损失,以鼓励解码器模拟真实数据的多样性,从而生成高质量的图像.在Fashion-MNIST,SVHN,CIFAR10数据集上的实验结果表明,VLAE-DPP模型能提高生成图像的质量.     

基于条件变分自编码器的问题生成方法

将条件变分自编码器作为辅助模块,引入预训练语言模型的编码解码过程,通过数据增强(潜在的语义扩充)以提高模型的鲁棒性。通过建立陈述句与疑问句之间的高维分布联系,由分布采样实现一对多的问题生成。结果表明,融合条件变分自编码器不仅能生成多样性的问题,也有助于提升问题生成的模型性能。在基于SQuAD数据集划分的2个答案可知问题生成数据集Split1和Split2上,BLEU-4值分别被提升到20.75%和21.61%。     

基于SNGAN的黑盒恶意软件对抗样本生成方法

基于变分自编码器的协同推荐算法可以帮助解决推荐算法中的稀疏性问题，但是由于变分自编码器模型先验是单一的高斯分布，使得表达趋向简单和平均，存在拟合不足的问题.高斯混合变分自编码器模型拥有更加复杂的先验，相对于原本的变分自编码器模型，它对于非线性的任务有着更强的适应性和效果，已被广泛应用于无监督聚类和半监督学习.受此启发，本文研究基于高斯混合变分自编码器模型的协同过滤算法.本文基于Cornac推荐系统比较框架设计实验，将高斯混合变分自编码器改进后用于协同推荐任务中，利用生成模型重新生成的用户-物品矩阵进行推荐.在推理模型和生成模型中分别用一层隐藏层提取深层特征增加模型鲁棒性，并且使用提前停止的训练策略以减少过拟合.本文在多组公开数据集上进行实验，与其他推荐算法在NDCG和召回率指标上进行对比.实验证明，改进的基于高斯混合变分自编码器模型的协同过滤算法在推荐任务中表现优异.     

变分自动编码器的潜变量空间解耦方法

潜变量空间解耦是深度生成领域一个越来越热门的研究方向。对数据潜变量空间进行解耦带来最直观的好处是在生成数据时能选择性地调整数据的不同属性,实现更可控的数据生成。本文专注于潜变量空间解耦,提出一种能够进一步提高解耦任务度量指标的重要方法。本文方法基于变分自动编码器,在编码器阶段运用了自注意力机制和残差网络,使模型更有效地捕捉长期依赖关系,增强模型的维度适应性。在训练阶段,提出一种更好地驱使潜变量空间编码维度与属性值趋向单调关系的新颖损失函数。它更好地调节损失函数所处区间范围,更易于优化。该模型使潜在空间拥有较好的解耦程度和可解释性,有效地操纵生成图像的数据属性。实验结果表明,本文模型和方法在图像的潜变量空间解耦生成上优于目前许多先进方法,且具有更为轻量级的网络架构。     

基于复杂样本的安全态势要素分类架构

针对网络安全态势要素获取中大规模复杂攻击样本分类困难的问题,提出一种基于条件变分自编码网络的安全态势要素分类架构。该架构分为编码网络和生成网络两部分,均采用深度神经网络作为其基础框架。编码网络用于对高维数据进行降维,提取其隐含特征;生成网络用于对降维后的样本进行重构,生成新的样本。在生成网络中引入混合密度模型优化其特征提取能力,提高重构数据的准确性。采用训练数据对该架构进行训练,训练后的编码网络作为分类器,识别样本类型;生成网络生成指定类别的样本数据,以平衡复杂样本中各类攻击样本的数量,提高分类精度。仿真结果表明,与其他对比模型相比,所提分类架构具有较好的降维效果和较高的态势要素分类精度。     

结合多注意力和条件变分自编码器的宋词生成模型

现有的诗词生成方法忽略了风格的重要性。另外,由于宋词大部分词牌词句较多,逐句生成宋词的过程中容易产生上下文缺乏连贯性的现象,在上下文连贯性方面仍存在提升空间。针对这两个问题,在编码解码的文本生成框架基础上,引入自注意力机制的句子表示算法计算多注意力权重矩阵,用于提取词句的多种重要语义特征,让模型更多地关注上文的显著信息来提高上下文连贯性。引入条件变分自编码器(CVAE)将每条宋词数据转化为隐空间中不同风格特征的高维高斯分布,从各自的分布中采样隐变量来控制宋词的风格。由于自构建的宋词语料库缺少完整风格分类标签,使用具有风格标签的宋词微调BERT模型,将其作为风格分类器标注全部的宋词数据。在上述关键技术的基础上实现了宋词生成模型,生成上下文连贯的婉约词以及豪放词。通过与其他4种基准方法进行对比实验,结果表明引入自注意力机制的句子表示算法和条件变分自编码器,在上下文连贯性和风格控制方面有一定的提升。     

压敏电阻表面缺陷深度无监督检测方法

针对表面缺陷检测方法泛化能力不足问题,提出一种深度迁移卷积变分自编码网络进行压敏电阻表面缺陷检测．检测方法包含多颜色多规格压敏电阻图像自适应预处理、模型建立及缺陷检测3个阶段．第一阶段完成自适应规范化、自适应通道选取、自适应阈值处理;第二阶段完成参数迁移,自动提取良品差分图像特征得到模型;第三阶段对差分图像与重构图像进行差分处理后得到的残差图像,通过改进的“3σ准则”进行缺陷检测．结果表明：方法平均检测准确率达98.83%,相比其他流行模型至少提高了9.53%,检测范围扩展至2种颜色3种规格的压敏电阻．     

无监督异常检测的深度变分自编码高斯混合模型

针对高维数据无监督异常检测难以重构异常样本,无法保留低维空间信息的问题,提出一种深度变分自编码高斯混合模型（deep variational autoencoding gaussian mixture model,DVAGMM）。该模型利用深度变分自编码器为每个输入样本生成低维数据和重构误差,并将这些数据输入高斯混合模型。为更好地学习到原始样本的低维特征,同时避免自编码器自身的局部优化问题,减少重构误差,模型采用联合优化深度变分自编码器和高斯混合模型参数的方法,并利用单独的估计网络促进混合模型的参数学习。实验结果表明,该模型在几个基准数据集上的检测准确率和效果都比其他传统模型更高,以F1值作为综合评价指标,模型的综合分数比第二名高出大约4%。     

变分自动编码器的潜变量空间解耦方法

针对潜变量空间解耦具有可选择性地调整数据属性,实现更可控的数据生成的特性,提出一种提高解耦任务度量指标的方法. 该方法在编码器阶段,运用自注意力机制和残差网络,使模型更有效地捕捉长期依赖关系,增强模型的维度适应性. 在训练阶段,提出新颖损失函数使潜变量空间编码维度与属性值趋向单调关系,从而更好地调节损失函数所处区间范围,达到优化目的. 通过对比实验表明,本模型和方法在图像的潜变量空间解耦生成上优于变分自编码机(variational auto encoder,VAE)及属性正则化(AR-VAE）模型模型,且具有更为轻量级的网络架构.     

混合高斯分布的变分贝叶斯学习参数估计

针对常用于非高斯信号或系统建模的包含隐变量的混合高斯分布模型,提出利用一种变分贝叶斯学习算法进行模型的参数估计.该方法采用一个形式较为简单的自由分布,通过不断最大化边缘似然函数的下界,迭代地更新变分参数,直至近似分布足够逼近参数真实的后验分布,从而实现混合高斯分布的参数估计.文中推导了该方法对混合高斯模型参数学习过程.实验表明,变分贝叶斯学习可以有效实现高斯混合模型的多参数估计,相比采样方法更有工程应用前景.     

基于风格解耦和自适应层实例归一化的图像翻译方法

针对当前无监督图像翻译方法在翻译过程中存在着图像内容变化过大、目标图像域风格传递不佳而导致生成的图像质量较低、多样性较差等问题,提出一种基于风格解耦和自适应层实例归一化的图像翻译方法.首先,采用基于解耦表示的自编码器作为模型的生成器,共享内容编码器来增强图像翻译的内容一致性;其次,在解码器中实现自适应层实例归一化运算,可以自适应地改变图像的风格,以改善风格传递的效果;再次,将随机风格编码融合至损失函数中,使得设计的模型具有生成随机风格图像的能力,来提升生成图像的多样性;最后,设计并实现了该方法,并在多个数据集上进行验证和分析.实验验证表明,与现有的无监督图像翻译方法相比,所研究的方法生成的图像质量较高,多样性较好.     

基于自监督信息增强的图表示学习

针对图表示学习模型依赖具体任务进行特征保留以及节点表示的泛化性有限等问题,本文提出一种基于自监督信息增强的图表示学习模型(Self-Variational Graph Auto Encoder,Self-VGAE)。Self-VGAE首先使用图卷积编码器和节点表示内积解码器构建变分图自编码器(Variational Graph Auto Encoder,VGAE),并对原始图进行特征提取和编码;然后,使用拓扑结构和节点属性生成自监督信息,在模型训练过程中约束节点表示的生成。在多个图分析任务中,Self-VGAE的实验表现均优于当前较为先进的基线模型,表明引入自监督信息能够增强对节点特征相似性和差异性的保留能力以及对拓扑结构的保持、推断能力,并且Self-VGAE具有较强的泛化能力。     

基于深度哈希学习的商标图像检索研究

大规模图像检索具有广泛的应用前景,其核心在于图像特征提取和高效相似性计算.深度学习技术在图像特征提取具有较强的特征表示能力,同时哈希技术在高维数据近似计算方面具有较好的性能.目前,基于哈希学习的技术在大规模图像检索及相似性查询方面获得了广泛的研究和应用.本文结合卷积神经网络和哈希技术实现商标图像检索,通过深度学习技术提取商标图像特征,使用位哈希对数据对象编码,在海明空间折中查询的质量和效率.基于卷积神经网络模型,提出了深度哈希算法,并研究了损失函数和该数据集上的优化器选择,通过获取符合哈希编码规范的位编码实现对在二元空间对商标图像数据快速检索,该方法分为离线深度哈希学习和在线查询两个阶段.在真实商标数据集上进行实验,实验结果表明,本文方法能够在商标数据集上获得较高质量的位编码,并具有较高的检索精确度和在线查询效率.     

基于图像整体变分和分数阶奇异性提取的图像恢复模型

分析基于图像整体变分理论所对应的图像恢复整体变分模型的不足：对于纹理丰富的含噪自然图像，在去除噪声的同时，损失了图像中固有的纹理信息。揭示从残差图像中提取具有分数阶导数奇异性图像的可能性，提出用于图像恢复的残差校正整体变分模型。模型提供一种图像的分解与表示方法。实验结果表明，该恢复模型对自然图像的边缘和纹理等细节保持效果大大优于整体变分模型。     

基于多模态生成模型的半监督学习

随着进入大数据时代,"标记数据少,而未标记数据多"的现象越来越普遍.半监督学习是充分利用样本中"廉价"的未标记样本,让学习器不依赖外界交互、自动地利用未标记样本提升学习性能.通过构建多模态概率生成模型对数据进行建模,然后分析该模型上的监督学习过程和非监督学习过程,最后结合两种学习过程实现半监督学习.通过在MNIST数据...     

基于光流约束自编码器的动作识别

为了改进特征学习在提取目标运动方向及运动幅度等方面的能力,提高动作识别精度,提出一种基于光流约束自编码器的动作特征学习算法.该算法是一种基于单层正则化自编码器的无监督特征学习算法,使用神经网络重构视频像素并将对应的运动光流作为正则化项.该神经网络在学习动作外观信息的同时能够编码物体的运动信息,生成联合编码动作特征.在多个标准动作数据集上的实验结果表明,光流约束自编码器能有效提取目标的运动部分,增加动作特征的判别能力,在相同的动作识别框架下该算法超越了经典的单层动作特征学习算法.     

基于改进的稀疏降噪自编码网络的三维模型识别方法

针对海量数据挖掘中三维模型特征识别准确率较低的问题, 提出一种改进的稀疏降噪自编码神经网络模型. 先基于改进的稀疏降噪自编码方法构建深度神经网络模型, 再利用无监督预训练方法及受限的拟牛顿计算方法对自编码神经网络进行训练, 最后采用softmax回归和得到的特征训练最终的分类器. 结果表明: 该方法对有噪声的三维模型特征信息具有较好的鲁棒性; 与栈式自编码神经网络和自学习神经网络相比, 该方法识别率较高.     

近红外光谱变分推断标定自适应方法研究

在近红外光谱分析中,已有的标定迁移方法多基于标准样本和无参数归纳模型,普遍存在模型生存周期短、适用范围小等问题.针对此问题,提出了一种参数化对齐源域(主仪器)和目标域(从仪器)特征分布的变分推断标定自适应(variational inference calibration adaptation, VICA)方法.VICA对源域数据进行主成分分析,建立源域特征的变分回归模型.在预测时,VICA首先将目标域数据投影到源域特征子空间中,然后建立源域特征和目标域特征的分布差异函数,通过最小化该函数得到目标域的概率密度模型,实现模型迁移.实验对比表明,VICA比现有的大多数标定迁移方法的标定效果更好.