基于条件变分自编码器的问题生成方法

将条件变分自编码器作为辅助模块,引入预训练语言模型的编码解码过程,通过数据增强(潜在的语义扩充)以提高模型的鲁棒性。通过建立陈述句与疑问句之间的高维分布联系,由分布采样实现一对多的问题生成。结果表明,融合条件变分自编码器不仅能生成多样性的问题,也有助于提升问题生成的模型性能。在基于SQuAD数据集划分的2个答案可知问题生成数据集Split1和Split2上,BLEU-4值分别被提升到20.75%和21.61%。     

基于生成对抗网络的变分自编码器解耦合

深度生成模型从观测数据中学习到潜在因素,然后通过潜在因素生成目标,在人工智能领域受到广泛关注。现有深度生成模型学习的潜在因素往往是耦合的,无法让潜在因素每一维控制所得数据的不同特征,即无法单独改变某一特征而不影响其他特征。为此,在β-变分自编码器(beta-variationalautoencoder,β-VAE)的基础上,结合生成对抗网络(generativeadversarialnetworks,GAN),提出基于生成对抗网络的变分自编码器(beta-variationalautoencoder basedongenerativeadversarialnetwork,β-GVAE)模型。该模型是一种改进的β-VAE,通过引入生成对抗网络约束β-VAE中损失函数的KL项(Kullback-Leiblerdivergence),促进模型的解耦合。在数据集CelebA、3DChairs和d Sprites上进行对比实验,结果表明β-GVAE不仅具有更好的解耦合表示,同时生成的图像具有更好的视觉效果。     

结合多注意力和条件变分自编码器的宋词生成模型

现有的诗词生成方法忽略了风格的重要性。另外,由于宋词大部分词牌词句较多,逐句生成宋词的过程中容易产生上下文缺乏连贯性的现象,在上下文连贯性方面仍存在提升空间。针对这两个问题,在编码解码的文本生成框架基础上,引入自注意力机制的句子表示算法计算多注意力权重矩阵,用于提取词句的多种重要语义特征,让模型更多地关注上文的显著信息来提高上下文连贯性。引入条件变分自编码器(CVAE)将每条宋词数据转化为隐空间中不同风格特征的高维高斯分布,从各自的分布中采样隐变量来控制宋词的风格。由于自构建的宋词语料库缺少完整风格分类标签,使用具有风格标签的宋词微调BERT模型,将其作为风格分类器标注全部的宋词数据。在上述关键技术的基础上实现了宋词生成模型,生成上下文连贯的婉约词以及豪放词。通过与其他4种基准方法进行对比实验,结果表明引入自注意力机制的句子表示算法和条件变分自编码器,在上下文连贯性和风格控制方面有一定的提升。     

基于对抗性策略的变分自编码模型

深度生成模型结合了生成模型与多层神经网络,在计算机视觉、目标检测、自然语言处理等领域得到广泛应用.变分自编码是一种重要的深度生成模型,通过多层神经网络对生成模型和后验概率分布的近似分布进行建模,得到目标函数的变分下界.变分自编码以其显式的生成模型建模方式及定量的下界表示形式受到研究者的关注.由于变分自编码中推理模型的表示能力有限,使得生成的图像精细度不高.本文提出一种基于对抗性策略的变分自编码模型,该模型通过在变分自编码模型的推理模型中加入随机噪声,提高推理模型的表示能力,同时引入对抗网络增加聚合正则化约束,进一步训练推理模型.通过在MNIST和Fashion-MNIST数据集上设计对比实验,表明该模型可以给出更优的变分似然下界,并生成效果更好的图像数据.     

评论感知的异构变分自编码器推荐模型

随着推荐系统的研究与发展,人们越来越关注个性化服务信息的准确推送,而对于推荐中数据稀疏的问题,传统评分信息协同推荐的方法很大程度上不能解决.因此人们将一些上下文信息引入到推荐系统中,而蕴含用户偏好的评论文本信息也被广泛用于缓解数据稀疏和冷启动的问题.自编码器作为一种无监督学习方法,在异常检测、人脸识别、数据增强和数据生...     

变分自动编码器的潜变量空间解耦方法

潜变量空间解耦是深度生成领域一个越来越热门的研究方向。对数据潜变量空间进行解耦带来最直观的好处是在生成数据时能选择性地调整数据的不同属性,实现更可控的数据生成。本文专注于潜变量空间解耦,提出一种能够进一步提高解耦任务度量指标的重要方法。本文方法基于变分自动编码器,在编码器阶段运用了自注意力机制和残差网络,使模型更有效地捕捉长期依赖关系,增强模型的维度适应性。在训练阶段,提出一种更好地驱使潜变量空间编码维度与属性值趋向单调关系的新颖损失函数。它更好地调节损失函数所处区间范围,更易于优化。该模型使潜在空间拥有较好的解耦程度和可解释性,有效地操纵生成图像的数据属性。实验结果表明,本文模型和方法在图像的潜变量空间解耦生成上优于目前许多先进方法,且具有更为轻量级的网络架构。     

变分自编码器和注意力机制的异常入侵检测方法

针对传统的机器学习算法在检测未知攻击方面表现不佳的问题,提出了一种基于变分自动编码器和注意力机制的异常入侵检测方法,通过将变分自编码器和注意力机制相结合,实现使用深度学习方法从基于流量的数据中检测异常网络流量的目标。所提方法利用独热编码和归一化技术对输入数据进行预处理;将数据输入到基于注意力机制的变分编码器中,采集训练样本中隐含特征信息,并将其融入最终潜变量中;计算原始数据与重建数据之间的重建误差,进而基于适当的阈值判断流量的异常情况。实验结果表明,与其他入侵检测方法相比,所提方法明显改善了入侵检测的精度,不仅可以检测已知和未知攻击,而且还可以提高低频次攻击的检测率。     

非平行文本下基于变分自编码器和辅助分类器生成对抗网络的语音转换

提出了1种基于变分自编码器和辅助分类器生成对抗网络的语音转换方法,实现了非平行文本条件下多对多的高质量语音转换.在该方法中,利用辅助分类器生成对抗网络替代基于变分自编码器和生成对抗网络模型中的Wasserstein生成对抗网络.由于辅助分类器生成对抗网络将特征样本的类别标签作为辅助信息,其鉴别器不仅能预测样本真假,还能预测生成样本所属的类别,从而提高了生成对抗网络的生成效果.充分的客观和主观评价表明:本文提出的方法明显优于基准模型,在显著改善语音质量的同时也有效提升了说话人个性的相似度.     

基于VMD和时空网络变分自编码器的负荷聚类

为了解决用户用电负荷曲线数据维度高、特征提取困难以及序列存在信号模态混叠的问题,本文提出使用变分模态分解（variational mode decomposition,VMD）和改进基于时空网络的变分自编码器（variational auto-encoders,VAE）对电力负荷曲线进行特征提取。通过模态分解得到信号的固有模态,对模态重构得到时序特征较明显的序列信号。再通过长短期记忆网络（long short-term memory network,LSTM）和卷积网络（convolutional neural networks,CNN）组成的时空变分自编码器进行潜在特征提取,并构建网络分类器来联合损失优化自编码器模型。最后使用Minibatchkmeans算法聚类并计算聚类中心。使用UCI数据集中葡萄牙居民用电量作为实验数据,通过实验结果表明经模态分解后通过降维再聚类的算法在戴维斯丁堡指数（Davies-Bouldin Index,DBI）和轮廓系数（Silhouette Coefficient,SC）上表现出较好效果。     

全相关约束下的变分层次自编码模型

基于深度学习的解耦表示学习可以通过数据生成的方式解耦数据内部多维度、多层次的潜在生成因素,并解释其内在规律,提高模型对数据的自主探索能力。传统基于结构化先验的解耦模型只能实现各个层次之间的解耦,不能实现层次内部的解耦,如变分层次自编码(variational ladder auto-encoders,VLAE)模型。本文提出全相关约束下的变分层次自编码(variational ladder auto-encoder based on total correlation,TC-VLAE)模型,该模型以变分层次自编码模型为基础,对多层次模型结构中的每一层都加入非结构化先验的全相关项作为正则化项,促进此层内部隐空间中各维度之间的相互独立,使模型实现层次内部的解耦,提高整个模型的解耦表示学习能力。在模型训练时采用渐进式训练方式优化模型训练,充分发挥多层次模型结构的优势。本文最后在常用解耦数据集3Dshapes数据集、3Dchairs数据集、Celeb A人脸数据集和dSprites数据集上设计对比实验,验证了TC-VLAE模型在解耦表示学习方面有明显的优势。     

基于梯度和拉普拉斯算子的图像扩散变分模型

采用图像扩散的变分方法可以有效地设计边缘保持或增强的图像恢复模型。传统的模型往往基于图像强度的梯度,所得到的结果在本该光滑的区域具有明显的阶梯效应。为此,提出了基于梯度和拉普拉斯算子的图像扩散变分模型,以期实现在对图像进行噪声去除的同时,保持或增强图像的边缘,并消除单纯基于梯度模型导致图像光滑区域的阶梯效应。对变分模型中光滑项的设计,首先针对一维模型的分析得出基于梯度和拉普拉斯算子模型向前、后扩散的条件,然后将其推广到二维图像扩散,并在设计的有限差分方法基础上,对所提模型的有效性进行了实验验证,效果良好。     

变分自动编码器的潜变量空间解耦方法

针对潜变量空间解耦具有可选择性地调整数据属性,实现更可控的数据生成的特性,提出一种提高解耦任务度量指标的方法. 该方法在编码器阶段,运用自注意力机制和残差网络,使模型更有效地捕捉长期依赖关系,增强模型的维度适应性. 在训练阶段,提出新颖损失函数使潜变量空间编码维度与属性值趋向单调关系,从而更好地调节损失函数所处区间范围,达到优化目的. 通过对比实验表明,本模型和方法在图像的潜变量空间解耦生成上优于变分自编码机(variational auto encoder,VAE)及属性正则化(AR-VAE）模型模型,且具有更为轻量级的网络架构.     

伪单调变分不等式近似点算法的收敛性

将近似点算法推广到具有伪单调映射的变分不等式.经典的近似点算法的子问题利用范数平方作为辅助函数.将一个可微强凸的函数作为辅助函数,在有限维空间和Hilbert空间上讨论伪单调算子近似点算法的收敛性.     

基于变分自动编码器的车辆轨迹预测研究

针对轨迹预测中车辆与周边车辆、道路几何之间交互关系建模不充分,以及车辆轨迹多模态建模不完整等一系列问题,提出了一种基于变分自动编码器的车辆轨迹预测方法。首先,通过长短时记忆网络从原始数据中提取轨迹数据与车道信息的语义特征;其次,引入多头注意力机制,采用两个单独的注意力模块分别建立车辆与车辆交互模型及车辆与道路交互模型,能够更好地反映周边车辆与道路几何对车辆轨迹的交互影响,得到丰富的场景上下文信息;接着利用变分自动编码器对车辆轨迹多模态建模,捕捉轨迹预测的随机性质以生成合理的未来轨迹分布;最后从分布中多次重复采样以生成多条可能的未来轨迹。通过搭建实验平台和使用Argoverse自然驾驶数据集进行测试,改进后的预测方法在平均位移误差和最终位移误差指标下的数值分别为1.03和1.51,预测精度上相较于其他3种预测方法,分别提升了45%、46%、32%;实验结果表明：预测方法可以有效地改善车辆与周边车辆、道路几何之间交互关系建模不充分,以及车辆轨迹多模态建模不完整等问题,预测精度提高,总体预测性能良好。     

广义线性模型的分位数回归变点检测

变点问题因具有广泛的应用,一直是一个研究的热门问题。文章结合分位数回归的思想,考虑了广义线性模型在连接函数不变的情况下其参数是否发生改变,利用子样本的次梯度来构造检验统计量,并且找到了在原假设下检验统计量的渐进分布,并通过数值模拟证明了该检验的有效性。     

基于曲率图卷积的非均匀点云掩码自编码器

提出一种基于曲率图卷积的非均匀分组与掩码策略,用以优化掩码自编码器.首先,提出曲率图卷积以避免固定邻域导致的归纳偏差;其次,在曲率图卷积后引入图池化层,根据点云局部特征进行池化操作并分组;最后,在池化层输出特征的基础上学习每个分组的掩码概率来避免冗余.实验结果表明,本方法能有效提高点云掩码自编码器在下游任务的泛化效果,在ModelNet40上的分类精度达到93.7%,在Completion3Dv2上的补全精度达到5.08,均优于目前主流方法.     

无监督异常检测的深度变分自编码高斯混合模型

针对高维数据无监督异常检测难以重构异常样本,无法保留低维空间信息的问题,提出一种深度变分自编码高斯混合模型（deep variational autoencoding gaussian mixture model,DVAGMM）。该模型利用深度变分自编码器为每个输入样本生成低维数据和重构误差,并将这些数据输入高斯混合模型。为更好地学习到原始样本的低维特征,同时避免自编码器自身的局部优化问题,减少重构误差,模型采用联合优化深度变分自编码器和高斯混合模型参数的方法,并利用单独的估计网络促进混合模型的参数学习。实验结果表明,该模型在几个基准数据集上的检测准确率和效果都比其他传统模型更高,以F1值作为综合评价指标,模型的综合分数比第二名高出大约4%。     

基于对抗性自编码器的入侵检测算法

针对当前无监督学习的入侵检测算法准确度低、误报率高以及有监督学习算法所需训练样本标记成本高的问题,提出一种基于对抗性自编码器的入侵检测算法.这是一种半监督学习算法,仅需要训练数据集中少量标记数据进行训练,并在训练数据集中支持未标记数据,从而提高性能.首先,自编码器通过提取重要特征作为潜在变量来降低输入数据的维数;其次,...     

变分自编码的分层解耦卷积脑肿瘤分割网络

三维卷积神经网络处理图像分割精度高，可以保留更多空间信息，有效解决标签不平衡问题，但存在参数量大的缺点．针对目前三维脑肿瘤分割网络内存资源占用大、硬件设备要求高、计算效率低的问题，将传统3DUNet网络中的3D卷积替换为分层解耦卷积，能够降低空间环境的计算复杂度和内存占用量，在不提高计算量的前提下显著提高分割精度，提高网络性能．为解决传统自编码器不能自主生成数据的问题，使用结合深度学习和统计学习的变分自编码器，在编码器结果中加入高斯噪声，使得编码器对结果具有鲁棒性，在编码器中加入概率分布防止过拟合，提高算法的泛化性能．采用三线性插值在三维离散采样数据的张量积网格上进行线性插值，有效避免线性方程组不断增大导致计算时间过长的问题．通过对损失函数加权混合，避免梯度弥散时出现学习速率下降现象，解决小区域分割不平衡问题，减少局部性能最优，使网络保持较高运算速度的同时有效提高分割精度，在有限内存空间最大化网络特征提取能力．在脑肿瘤公开数据集BraTS2019上的实验结果表明，该网络在增强型肿瘤、全肿瘤、肿瘤核心上的Dice值分别可达78.02%、90.05%和83.14%，参数量仅为0.30×10...