非平行文本下基于变分自编码器和辅助分类器生成对抗网络的语音转换

提出了1种基于变分自编码器和辅助分类器生成对抗网络的语音转换方法,实现了非平行文本条件下多对多的高质量语音转换.在该方法中,利用辅助分类器生成对抗网络替代基于变分自编码器和生成对抗网络模型中的Wasserstein生成对抗网络.由于辅助分类器生成对抗网络将特征样本的类别标签作为辅助信息,其鉴别器不仅能预测样本真假,还能预测生成样本所属的类别,从而提高了生成对抗网络的生成效果.充分的客观和主观评价表明:本文提出的方法明显优于基准模型,在显著改善语音质量的同时也有效提升了说话人个性的相似度.     

无监督异常检测的深度变分自编码高斯混合模型

针对高维数据无监督异常检测难以重构异常样本,无法保留低维空间信息的问题,提出一种深度变分自编码高斯混合模型（deep variational autoencoding gaussian mixture model,DVAGMM）。该模型利用深度变分自编码器为每个输入样本生成低维数据和重构误差,并将这些数据输入高斯混合模型。为更好地学习到原始样本的低维特征,同时避免自编码器自身的局部优化问题,减少重构误差,模型采用联合优化深度变分自编码器和高斯混合模型参数的方法,并利用单独的估计网络促进混合模型的参数学习。实验结果表明,该模型在几个基准数据集上的检测准确率和效果都比其他传统模型更高,以F1值作为综合评价指标,模型的综合分数比第二名高出大约4%。     

基于行列式点过程的变分拉普拉斯自编码器

变分自编码器(Variational Autoencoders,VAE)是一类重要的学习概率潜在变量的生成模型,然而VAE对复杂模型的表现力较差,生成的图像往往比较模糊.为了解决VAE生成图像模糊的问题,提出一种基于行列式点过程的变分拉普拉斯自编码器(Variational Laplace Autoencoders-Determinantal Point Process,VLAE-DPP)模型,将行列式点过程方法引入变分拉普拉斯自编码器模型,在原始目标函数的基础上添加一项无监督惩罚损失,以此来提高生成图像的质量.VLAE-DPP模型利用行列式点过程来捕获一个与真实数据类似的多样性,然后通过从编码器中提取特征来学习核.最后,训练解码器优化核的伪、实、特征值和特征向量之间的损失,以鼓励解码器模拟真实数据的多样性,从而生成高质量的图像.在Fashion-MNIST,SVHN,CIFAR10数据集上的实验结果表明,VLAE-DPP模型能提高生成图像的质量.     

采用多变量耦合网络与变分图自编码器的机械设备异常检测方法

为了全面准确地检测出潜在的设备异常,针对汽轮机、风电转子等高关联耦合分布式系统多测点多源传感器产生的多维多态监测数据,提出了一种基于多变量耦合网络与变分图自编码器的异常检测方法。首先采用去趋势互相关分析(DCCA),定量分析多维变量间的耦合关系,构建复杂系统多变量耦合关系网络。在此基础上,建立基于无监督学习的变分图自编码模型,对系统多变量耦合关系网络进行特征提取,使用正常数据训练该模型,图卷积网络作为编码器学习输入数据的分布,采样获得其潜在表示,以实现耦合网络的重构,采用重建概率作为系统多维多态监测数据异常检测评价指标。最后以某火电厂汽轮机组转子系统监测数据为例开展异常检测分析,结果表明:考虑多维多态监测数据间的耦合关系,提高了系统异常检测的准确性和可靠性;引入基于变分图自编码器的无监督学习方法,降低了经验依赖性并克服了异常样本少的问题。     

基于对抗性策略的变分自编码模型

深度生成模型结合了生成模型与多层神经网络,在计算机视觉、目标检测、自然语言处理等领域得到广泛应用.变分自编码是一种重要的深度生成模型,通过多层神经网络对生成模型和后验概率分布的近似分布进行建模,得到目标函数的变分下界.变分自编码以其显式的生成模型建模方式及定量的下界表示形式受到研究者的关注.由于变分自编码中推理模型的表示能力有限,使得生成的图像精细度不高.本文提出一种基于对抗性策略的变分自编码模型,该模型通过在变分自编码模型的推理模型中加入随机噪声,提高推理模型的表示能力,同时引入对抗网络增加聚合正则化约束,进一步训练推理模型.通过在MNIST和Fashion-MNIST数据集上设计对比实验,表明该模型可以给出更优的变分似然下界,并生成效果更好的图像数据.     

变分自动编码器的潜变量空间解耦方法

潜变量空间解耦是深度生成领域一个越来越热门的研究方向。对数据潜变量空间进行解耦带来最直观的好处是在生成数据时能选择性地调整数据的不同属性,实现更可控的数据生成。本文专注于潜变量空间解耦,提出一种能够进一步提高解耦任务度量指标的重要方法。本文方法基于变分自动编码器,在编码器阶段运用了自注意力机制和残差网络,使模型更有效地捕捉长期依赖关系,增强模型的维度适应性。在训练阶段,提出一种更好地驱使潜变量空间编码维度与属性值趋向单调关系的新颖损失函数。它更好地调节损失函数所处区间范围,更易于优化。该模型使潜在空间拥有较好的解耦程度和可解释性,有效地操纵生成图像的数据属性。实验结果表明,本文模型和方法在图像的潜变量空间解耦生成上优于目前许多先进方法,且具有更为轻量级的网络架构。     

基于条件变分自编码器的问题生成方法

将条件变分自编码器作为辅助模块,引入预训练语言模型的编码解码过程,通过数据增强(潜在的语义扩充)以提高模型的鲁棒性。通过建立陈述句与疑问句之间的高维分布联系,由分布采样实现一对多的问题生成。结果表明,融合条件变分自编码器不仅能生成多样性的问题,也有助于提升问题生成的模型性能。在基于SQuAD数据集划分的2个答案可知问题生成数据集Split1和Split2上,BLEU-4值分别被提升到20.75%和21.61%。     

基于改进深度卷积生成对抗网络的入侵检测方法研究

针对入侵检测系统因采用的网络攻击样本具有不平衡性而导致检测结果出现较大偏差的问题,文章提出一种将改进后的深度卷积生成对抗网络(DCGAN)与深度神经网络(DNN)相结合的入侵检测模型(DCGAN-DNN),深度卷积生成对抗网络能够通过学习已知攻击样本数据的内在特征分布生成新的攻击样本,并对深度卷积生成对抗网络中生成网络所用的线性整流(ReLU)激活函数作出改进,改善了均值偏移和神经元坏死的问题,提升了训练稳定性。使用CIC-IDS-2017数据集作为实验样本对模型进行评估,与传统的过采样方法相比DCGAN-DNN入侵检测模型对于未知攻击和少数攻击类型具有较高检测率。     

基于生成对抗网络的恶意域名训练数据生成方法

当前攻击者广泛采用域名生成算法(DGA)生成大量的随机域名来躲避检测.针对现有的DGA域名检测模型均是在已经公开的数据集上进行训练构建,无法对未知恶意域名进行有效检测的情况,利用真实域名数据训练自编码器,并将自编码器和生成对抗网络相结合,构造了一种新的DGA域名生成模型.实验表明,该模型产生的序列与Alexa域名在长度和字符分布等特征都很接近,而且能够有效降低基于长短期记忆网络的DGA域名分类器的性能.这些生成序列很好地丰富了恶意域名数据集,对其进一步利用,显著提升了现有DGA域名检测器的性能.     

基于信道特征生成对抗网络的信道建模方法

基于生成对抗网络(generative adversarial networks, GAN)的数据生成特性,提出一种用于信道特征生成的GAN改进模型,即信道特征生成对抗网络(channel feature generative adversarial networks, CFGAN)。采用完全无监督学习信道特征方式,利用线性编码向量与生成信道之间的互信息关系和变分互信息最大化原理,实现编码向量与信道特征对应;采用实测室内电力线信道数据集训练CFGAN模型,训练完成的CFGAN能够学习到不同信道特征分布。仿真表明,在-80～-10 dB大动态衰减范围内,CFGAN可根据学习到的信道特征生成具有明显区别的4类信道模型,并且生成信道和实测信道的信道特征差异小于2%。     

基于生成对抗单分类网络的异常声音检测

针对正常和异常声音可能具有较大的相似性, 有时无法利用自编码器重构误差大小区分的问题, 提出一种生成对抗单分类网络方法进行异常声音检测, 通过多次训练, 该方法学习正常样本的分布特征. 在测试过程中, 测试正常样本能以极小的误差进行重构, 而异常样本重构效果较差, 在某些频率段会发生畸变, 从而给出判别分类结果. 实验采用UrbanSound8K公开数据集和实测电机声音数据集进行了测试, 获得该方法的准确率分别为86.3%和98.1%, 比卷积自动编码器等主要深度学习方法分别提高了5.0%和3.0%.     

基于MeAEG-Net的异常流量检测方法研究

异常流量检测现有方法大都是基于有监督的学习,在现实生活中获取并标记异常流量数据样本是极为困难的,存在诸多限制.此外,由于网络异常数据的多样性和复杂性,各种检测方法的自适应性较差,对新出现的异常流量难以判断.针对上述问题,本文设计了一个基于生成对抗网络和记忆增强模块的半监督异常流量检测框架MeAEG-Net（Memory Augment Based on Generative Adversarial Network）,通过只训练正常流量样本数据,比较生成器模块输入流量底层特征的重构误差来达到检测异常的目的.在模型中使用生成对抗网络来更好地训练生成器,生成器采用自编码器加解码器的结构来解决自编码器易受噪声影响的问题,并在自编码器子网络中添加记忆增强模块来削弱生成器模块的泛化能力,增大异常流量的重构误差.实验证明,本文提出的方法能在只学习正常流量数据样本的前提下达到很好的异常流量检测效果.     

基于变分自编码器的情感回归半监督领域适应方法

提出一个新的情感回归半监督领域适应方法.首先使用长短期记忆网络(long short-term memory,LSTM)实现回归模型,其次使用变分自编码器(variational autoencoder,VAE)实现生成模型,最后联合学习LSTM回归模型和VAE生成模型,实现基于变分自编码器的情感回归半监督领域适应模型.实验结果表明,所提出的基于变分自编码器的情感回归半监督领域适应方法较其他基准方法能有效提高实验性能.     

基于卷积神经网络的人脸图像隐私保护

针对现有基于深度生成网络模型的人脸图像隐私保护方法无法提供可证明隐私保证、合成图像与原始图像保持语义一致性的问题,提出一种基于卷积神经网络的人脸图像隐私保护方法。该方法首先基于卷积自动编码器和差分隐私实现人脸图像的预训练,对原始人脸图像进行解耦和身份信息的差分隐私保护;然后利用卷积生成对抗网络合成伪图像代替原始图像发布,在保留原始人脸图像的关键特征的基础上,生成与原始图像的关键人脸属性高度匹配的伪图像。该方法可保证合成图像与原始图像语义一致性,并提供可证明的隐私保证。与现有的基于深度生成模型人脸图像隐私方法相比,所提出的方法达到了更好的隐私保护与数据可用性之间的优化权衡。     

针对数据不平衡问题的分子生成模型

化合物毒性预测中所使用的有标签数据较少且存在数据类别不平衡问题,因此为了解决这个问题,提高预测准确率,本文提出了一种自编码器-辅助分类器的生成对抗网络(AE-ACGAN)分子生成模型.该模型使用自编码器处理化合物数据得到特征向量,然后将其作为ACGAN模型的输入,生成的输出通过解码器解码得到新的化合物分子,在原始的ACGAN基础上进行改良,引入wasserstein距离解决原始模型的模式坍塌问题,同时对模型中的判别器的结构进行改良,在ACGAN模型的输入中加入真实的无标签数据来增强判别器的鉴别能力,使得无标签的数据也能得到充分的利用.实验结果表明,本文所提出的模型可以生成新颖的化合物分子,而且与原始数据具有相同的特征,可以加入到原始数据集中进行数据扩充,平衡后的数据集能够提升预测模型的准确率.     

基于无监督生成推理的网络安全威胁态势评估方法

针对基于数据类别标记的监督式网络数据建模方式在评估网络威胁态势时存在计算成本高,效率低和耗时长的问题,该文提出一种基于无监督生成推理的网络安全威胁态势评估方法。首先,设计一种变分自动编码器-生成式对抗网络(VAE-GAN)模型,将只包含正常网络流量的训练数据集输入到由VAE-GAN组成的网络集合层进行训练,统计每层网络输出的重构误差,并使用输出层的3层变分自动编码器训练重构误差;然后使用包含异常网络流量的测试数据集进行分组威胁测试,统计每组测试的威胁发生概率;最后根据威胁发生概率确定网络安全威胁严重度,结合威胁影响度计算威胁态势值对网络安全威胁态势进行评估。仿真实验结果表明,与反向传播(BP)和径向基函数(RBF)方法相比,该方法能够更直观地评估网络威胁的整体态势,对网络威胁具有更好的表征效果。     

全相关约束下的变分层次自编码模型

基于深度学习的解耦表示学习可以通过数据生成的方式解耦数据内部多维度、多层次的潜在生成因素,并解释其内在规律,提高模型对数据的自主探索能力。传统基于结构化先验的解耦模型只能实现各个层次之间的解耦,不能实现层次内部的解耦,如变分层次自编码(variational ladder auto-encoders,VLAE)模型。本文提出全相关约束下的变分层次自编码(variational ladder auto-encoder based on total correlation,TC-VLAE)模型,该模型以变分层次自编码模型为基础,对多层次模型结构中的每一层都加入非结构化先验的全相关项作为正则化项,促进此层内部隐空间中各维度之间的相互独立,使模型实现层次内部的解耦,提高整个模型的解耦表示学习能力。在模型训练时采用渐进式训练方式优化模型训练,充分发挥多层次模型结构的优势。本文最后在常用解耦数据集3Dshapes数据集、3Dchairs数据集、Celeb A人脸数据集和dSprites数据集上设计对比实验,验证了TC-VLAE模型在解耦表示学习方面有明显的优势。     

基于条件生成对抗网络的稀疏样本回归预测模型

自生成对抗网络提出以来，基于生成对抗网络的拓展模型在图像处理等领域均有显著成效，但其在回归预测问题上的应用较少.在概率回归过程中，通过构建条件概率分布模拟特征与实际目标之间的潜在关系是一种常用方法，但在实际问题中条件概率分布过于复杂，似然估计难以捕捉.为此，首先分析高斯过程回归在稀疏样本回归预测中的预测精度，将其作为稀疏样本回归预测的基准线.通过分析条件生成对抗网络的构造，提出利用条件生成对抗网络解决稀疏样本回归预测问题.最终通过对比分析4种非线性模拟数据回归预测结果，发现提出的条件生成对抗网络模型相较基于Matern32核函数的高斯过程回归具有更好的预测精度.     

人脸属性编辑的全局组织网络算法

提出一种新的基于生成对抗网络的人脸属性编辑全局组织网络算法.人脸属性编辑是指通过结合编码解码器结构与生成对抗网络,生成具有期望属性的人脸图像.传统的编码解码器结构对人脸的重构和编辑能力有限.直接将编码特征与属性标签结合会因为融入编码特征造成属性编辑性能低下,同时,也会由于缺失编码特征造成人脸还原度的损失,两者无法平衡.因此,提出U型传递方式与全局组织单元. U型传递改变了传统的属性流动方式,并生成反向状态.全局组织单元结合反向状态生成全局属性信息,在编码解码器中搭建桥梁,帮助解码器更好地融入编码器特征与属性信息.与此同时,为了更好地配合全局组织模块,重新设计了编码器下采样.实验结果表明,本文所提方法可以同时提高模型的人脸重塑与属性编辑能力.      

联合双编码器增强的生成对抗壁画多尺度重建

针对现有深度学习算法在修复破损壁画图像过程中,存在特征感知能力较弱和重建细节丢失等问题,提出了一种联合双编码器增强的生成对抗壁画多尺度重建深度学习模型．首先,设计由双分支联合编码器和多尺度解码器构成的生成网络,其中双分支联合编码器分为门控编码器分支和标准编码器分支：门控编码器分支利用门控卷积的动态特征选择机制并结合空洞卷积扩大感受野,提高壁画的语义特征感知能力;而标准编码器分支则利用标准卷积并结合密集连接加强特征传递,以获得更丰富的壁画细节信息．然后,采用多尺度解码器进行重构恢复,增强破损壁画纹理细节的重构能力．最后,通过谱归一化马尔科夫判别网络改善壁画修复结果的语义一致性和结构连续性．通过对真实敦煌壁画进行数字化修复的实验结果表明：所提出的算法能够有效完成破损壁画的修复,重构取得了更好地视觉感和协调性,在主客观评价方面均优于比较算法．