评论感知的异构变分自编码器推荐模型

随着推荐系统的研究与发展,人们越来越关注个性化服务信息的准确推送,而对于推荐中数据稀疏的问题,传统评分信息协同推荐的方法很大程度上不能解决.因此人们将一些上下文信息引入到推荐系统中,而蕴含用户偏好的评论文本信息也被广泛用于缓解数据稀疏和冷启动的问题.自编码器作为一种无监督学习方法,在异常检测、人脸识别、数据增强和数据生...     

基于变分自编码器的问题识别方法

在非正式问答语料中,往往存在问题文本中包含多个子问题的情况,需要将每个子问题分别识别出来.由于标注样本的数目太小,并且存在海量的未标注样本,可以用半监督深度学习方法来进行问题识别.采用了变分自编码器(variational auto-encoder,VAE),并且结合了在深度学习模型中广泛应用的注意力机制.实验结果表明,不管是F值还是准确率,变分自编码器和注意力机制的结合可以显著地提升问题识别的性能.     

基于条件变分自编码器的问题生成方法

将条件变分自编码器作为辅助模块,引入预训练语言模型的编码解码过程,通过数据增强(潜在的语义扩充)以提高模型的鲁棒性。通过建立陈述句与疑问句之间的高维分布联系,由分布采样实现一对多的问题生成。结果表明,融合条件变分自编码器不仅能生成多样性的问题,也有助于提升问题生成的模型性能。在基于SQuAD数据集划分的2个答案可知问题生成数据集Split1和Split2上,BLEU-4值分别被提升到20.75%和21.61%。     

基于行列式点过程的变分拉普拉斯自编码器

变分自编码器(Variational Autoencoders,VAE)是一类重要的学习概率潜在变量的生成模型,然而VAE对复杂模型的表现力较差,生成的图像往往比较模糊.为了解决VAE生成图像模糊的问题,提出一种基于行列式点过程的变分拉普拉斯自编码器(Variational Laplace Autoencoders-Determinantal Point Process,VLAE-DPP)模型,将行列式点过程方法引入变分拉普拉斯自编码器模型,在原始目标函数的基础上添加一项无监督惩罚损失,以此来提高生成图像的质量.VLAE-DPP模型利用行列式点过程来捕获一个与真实数据类似的多样性,然后通过从编码器中提取特征来学习核.最后,训练解码器优化核的伪、实、特征值和特征向量之间的损失,以鼓励解码器模拟真实数据的多样性,从而生成高质量的图像.在Fashion-MNIST,SVHN,CIFAR10数据集上的实验结果表明,VLAE-DPP模型能提高生成图像的质量.     

基于变分自编码器的雷达辐射源个体识别

针对雷达辐射源个体识别中特征提取困难和低信噪比下识别率低的问题,从图像角度出发提出了一种基于变分自编码器的雷达辐射源个体识别算法。基于信号时频分析,利用变分自编码器(variational auto-encoder, VAE)提取时频图像的深层特征,并采用核主成分分析(kernel principal component analysis,KPCA)获取特征中的主成分,最后将特征送入支持向量机进行分类识别。仿真结果表明:文中所提算法在识别效率和抗噪声性能等方面均优于其他传统算法。当信噪比(signal-to-noise ratio,SNR)为0 dB时针对6个辐射源进行识别,可获得93%以上的识别率。该算法特征提取简单、系统实时性高,具有较高的工程应用价值。     

基于生成对抗网络的变分自编码器解耦合

深度生成模型从观测数据中学习到潜在因素,然后通过潜在因素生成目标,在人工智能领域受到广泛关注。现有深度生成模型学习的潜在因素往往是耦合的,无法让潜在因素每一维控制所得数据的不同特征,即无法单独改变某一特征而不影响其他特征。为此,在β-变分自编码器(beta-variationalautoencoder,β-VAE)的基础上,结合生成对抗网络(generativeadversarialnetworks,GAN),提出基于生成对抗网络的变分自编码器(beta-variationalautoencoder basedongenerativeadversarialnetwork,β-GVAE)模型。该模型是一种改进的β-VAE,通过引入生成对抗网络约束β-VAE中损失函数的KL项(Kullback-Leiblerdivergence),促进模型的解耦合。在数据集CelebA、3DChairs和d Sprites上进行对比实验,结果表明β-GVAE不仅具有更好的解耦合表示,同时生成的图像具有更好的视觉效果。     

变分自编码器和注意力机制的异常入侵检测方法

针对传统的机器学习算法在检测未知攻击方面表现不佳的问题,提出了一种基于变分自动编码器和注意力机制的异常入侵检测方法,通过将变分自编码器和注意力机制相结合,实现使用深度学习方法从基于流量的数据中检测异常网络流量的目标。所提方法利用独热编码和归一化技术对输入数据进行预处理;将数据输入到基于注意力机制的变分编码器中,采集训练样本中隐含特征信息,并将其融入最终潜变量中;计算原始数据与重建数据之间的重建误差,进而基于适当的阈值判断流量的异常情况。实验结果表明,与其他入侵检测方法相比,所提方法明显改善了入侵检测的精度,不仅可以检测已知和未知攻击,而且还可以提高低频次攻击的检测率。     

非平行文本下基于变分自编码器和辅助分类器生成对抗网络的语音转换

提出了1种基于变分自编码器和辅助分类器生成对抗网络的语音转换方法,实现了非平行文本条件下多对多的高质量语音转换.在该方法中,利用辅助分类器生成对抗网络替代基于变分自编码器和生成对抗网络模型中的Wasserstein生成对抗网络.由于辅助分类器生成对抗网络将特征样本的类别标签作为辅助信息,其鉴别器不仅能预测样本真假,还能预测生成样本所属的类别,从而提高了生成对抗网络的生成效果.充分的客观和主观评价表明:本文提出的方法明显优于基准模型,在显著改善语音质量的同时也有效提升了说话人个性的相似度.     

基于变分自编码器的情感回归半监督领域适应方法

提出一个新的情感回归半监督领域适应方法.首先使用长短期记忆网络(long short-term memory,LSTM)实现回归模型,其次使用变分自编码器(variational autoencoder,VAE)实现生成模型,最后联合学习LSTM回归模型和VAE生成模型,实现基于变分自编码器的情感回归半监督领域适应模型.实验结果表明,所提出的基于变分自编码器的情感回归半监督领域适应方法较其他基准方法能有效提高实验性能.     

结合多注意力和条件变分自编码器的宋词生成模型

现有的诗词生成方法忽略了风格的重要性。另外,由于宋词大部分词牌词句较多,逐句生成宋词的过程中容易产生上下文缺乏连贯性的现象,在上下文连贯性方面仍存在提升空间。针对这两个问题,在编码解码的文本生成框架基础上,引入自注意力机制的句子表示算法计算多注意力权重矩阵,用于提取词句的多种重要语义特征,让模型更多地关注上文的显著信息来提高上下文连贯性。引入条件变分自编码器(CVAE)将每条宋词数据转化为隐空间中不同风格特征的高维高斯分布,从各自的分布中采样隐变量来控制宋词的风格。由于自构建的宋词语料库缺少完整风格分类标签,使用具有风格标签的宋词微调BERT模型,将其作为风格分类器标注全部的宋词数据。在上述关键技术的基础上实现了宋词生成模型,生成上下文连贯的婉约词以及豪放词。通过与其他4种基准方法进行对比实验,结果表明引入自注意力机制的句子表示算法和条件变分自编码器,在上下文连贯性和风格控制方面有一定的提升。     

基于VMD和时空网络变分自编码器的负荷聚类

为了解决用户用电负荷曲线数据维度高、特征提取困难以及序列存在信号模态混叠的问题,本文提出使用变分模态分解（variational mode decomposition,VMD）和改进基于时空网络的变分自编码器（variational auto-encoders,VAE）对电力负荷曲线进行特征提取。通过模态分解得到信号的固有模态,对模态重构得到时序特征较明显的序列信号。再通过长短期记忆网络（long short-term memory network,LSTM）和卷积网络（convolutional neural networks,CNN）组成的时空变分自编码器进行潜在特征提取,并构建网络分类器来联合损失优化自编码器模型。最后使用Minibatchkmeans算法聚类并计算聚类中心。使用UCI数据集中葡萄牙居民用电量作为实验数据,通过实验结果表明经模态分解后通过降维再聚类的算法在戴维斯丁堡指数（Davies-Bouldin Index,DBI）和轮廓系数（Silhouette Coefficient,SC）上表现出较好效果。     

采用多变量耦合网络与变分图自编码器的机械设备异常检测方法

为了全面准确地检测出潜在的设备异常,针对汽轮机、风电转子等高关联耦合分布式系统多测点多源传感器产生的多维多态监测数据,提出了一种基于多变量耦合网络与变分图自编码器的异常检测方法。首先采用去趋势互相关分析(DCCA),定量分析多维变量间的耦合关系,构建复杂系统多变量耦合关系网络。在此基础上,建立基于无监督学习的变分图自编码模型,对系统多变量耦合关系网络进行特征提取,使用正常数据训练该模型,图卷积网络作为编码器学习输入数据的分布,采样获得其潜在表示,以实现耦合网络的重构,采用重建概率作为系统多维多态监测数据异常检测评价指标。最后以某火电厂汽轮机组转子系统监测数据为例开展异常检测分析,结果表明:考虑多维多态监测数据间的耦合关系,提高了系统异常检测的准确性和可靠性;引入基于变分图自编码器的无监督学习方法,降低了经验依赖性并克服了异常样本少的问题。     

变分自动编码器的潜变量空间解耦方法

针对潜变量空间解耦具有可选择性地调整数据属性,实现更可控的数据生成的特性,提出一种提高解耦任务度量指标的方法. 该方法在编码器阶段,运用自注意力机制和残差网络,使模型更有效地捕捉长期依赖关系,增强模型的维度适应性. 在训练阶段,提出新颖损失函数使潜变量空间编码维度与属性值趋向单调关系,从而更好地调节损失函数所处区间范围,达到优化目的. 通过对比实验表明,本模型和方法在图像的潜变量空间解耦生成上优于变分自编码机(variational auto encoder,VAE)及属性正则化(AR-VAE）模型模型,且具有更为轻量级的网络架构.     

变分自动编码器的潜变量空间解耦方法

潜变量空间解耦是深度生成领域一个越来越热门的研究方向。对数据潜变量空间进行解耦带来最直观的好处是在生成数据时能选择性地调整数据的不同属性,实现更可控的数据生成。本文专注于潜变量空间解耦,提出一种能够进一步提高解耦任务度量指标的重要方法。本文方法基于变分自动编码器,在编码器阶段运用了自注意力机制和残差网络,使模型更有效地捕捉长期依赖关系,增强模型的维度适应性。在训练阶段,提出一种更好地驱使潜变量空间编码维度与属性值趋向单调关系的新颖损失函数。它更好地调节损失函数所处区间范围,更易于优化。该模型使潜在空间拥有较好的解耦程度和可解释性,有效地操纵生成图像的数据属性。实验结果表明,本文模型和方法在图像的潜变量空间解耦生成上优于目前许多先进方法,且具有更为轻量级的网络架构。     

基于变分自动编码器的车辆轨迹预测研究

针对轨迹预测中车辆与周边车辆、道路几何之间交互关系建模不充分,以及车辆轨迹多模态建模不完整等一系列问题,提出了一种基于变分自动编码器的车辆轨迹预测方法。首先,通过长短时记忆网络从原始数据中提取轨迹数据与车道信息的语义特征;其次,引入多头注意力机制,采用两个单独的注意力模块分别建立车辆与车辆交互模型及车辆与道路交互模型,能够更好地反映周边车辆与道路几何对车辆轨迹的交互影响,得到丰富的场景上下文信息;接着利用变分自动编码器对车辆轨迹多模态建模,捕捉轨迹预测的随机性质以生成合理的未来轨迹分布;最后从分布中多次重复采样以生成多条可能的未来轨迹。通过搭建实验平台和使用Argoverse自然驾驶数据集进行测试,改进后的预测方法在平均位移误差和最终位移误差指标下的数值分别为1.03和1.51,预测精度上相较于其他3种预测方法,分别提升了45%、46%、32%;实验结果表明：预测方法可以有效地改善车辆与周边车辆、道路几何之间交互关系建模不充分,以及车辆轨迹多模态建模不完整等问题,预测精度提高,总体预测性能良好。     

融合改进变分自编码器与影像组学的X光片肺部疾病筛查算法

计算机辅助技术在肺部疾病筛查方面已经取得显著成效,然而现有研究大多面向已知类型的疾病进行建模,对未知类型疾病极易带来误诊及漏诊风险,且主要以追求高准确率为目标,对误诊及漏诊未加以约束,导致其难以应用于实际临床场景。针对以上问题,该文提出更适用于临床的计算机辅助肺部疾病筛查目标,即保证零漏诊率的同时降低误诊率。为完成上述肺部疾病筛查目标,该文基于单类别分类思想提出改进变分自编码网络对肺部疾病初筛,并提取X光片图像的深度编码特征,接着,融合基于医生经验的影像组学特征以及深度学习特征之间的互补优势,构建一个集成学习模型,最终完成肺部疾病的筛查。在仅有正常X光片图像参与训练的情况下,提升了所构建模型的分类效果,降低了模型的漏诊率。实验结果AUC值为0.984 8±0.002 3,漏诊率为0时,误诊率降低至0.149 8±0.005 7,证明该方法可以有效达到该文的肺部疾病筛查目标。与此同时,对比了所构建的集成模型以及单独的深度学习模型的筛查效果,发现集成模型明显优于深度学习模型,进一步凸显了融合医生经验的有效性。     

变分方法在带周期边界条件的脉冲微分方程中的应用

文章研究具有周期边界条件的脉冲微分方程解的存在性.运用临界点理论中一般的山路引理证明解的存在性结果.     

基于对抗性策略的变分自编码模型

深度生成模型结合了生成模型与多层神经网络,在计算机视觉、目标检测、自然语言处理等领域得到广泛应用.变分自编码是一种重要的深度生成模型,通过多层神经网络对生成模型和后验概率分布的近似分布进行建模,得到目标函数的变分下界.变分自编码以其显式的生成模型建模方式及定量的下界表示形式受到研究者的关注.由于变分自编码中推理模型的表示能力有限,使得生成的图像精细度不高.本文提出一种基于对抗性策略的变分自编码模型,该模型通过在变分自编码模型的推理模型中加入随机噪声,提高推理模型的表示能力,同时引入对抗网络增加聚合正则化约束,进一步训练推理模型.通过在MNIST和Fashion-MNIST数据集上设计对比实验,表明该模型可以给出更优的变分似然下界,并生成效果更好的图像数据.