变分自动编码器的潜变量空间解耦方法

针对潜变量空间解耦具有可选择性地调整数据属性,实现更可控的数据生成的特性,提出一种提高解耦任务度量指标的方法. 该方法在编码器阶段,运用自注意力机制和残差网络,使模型更有效地捕捉长期依赖关系,增强模型的维度适应性. 在训练阶段,提出新颖损失函数使潜变量空间编码维度与属性值趋向单调关系,从而更好地调节损失函数所处区间范围,达到优化目的. 通过对比实验表明,本模型和方法在图像的潜变量空间解耦生成上优于变分自编码机(variational auto encoder,VAE)及属性正则化(AR-VAE）模型模型,且具有更为轻量级的网络架构.     

基于SNGAN的黑盒恶意软件对抗样本生成方法

基于变分自编码器的协同推荐算法可以帮助解决推荐算法中的稀疏性问题，但是由于变分自编码器模型先验是单一的高斯分布，使得表达趋向简单和平均，存在拟合不足的问题.高斯混合变分自编码器模型拥有更加复杂的先验，相对于原本的变分自编码器模型，它对于非线性的任务有着更强的适应性和效果，已被广泛应用于无监督聚类和半监督学习.受此启发，本文研究基于高斯混合变分自编码器模型的协同过滤算法.本文基于Cornac推荐系统比较框架设计实验，将高斯混合变分自编码器改进后用于协同推荐任务中，利用生成模型重新生成的用户-物品矩阵进行推荐.在推理模型和生成模型中分别用一层隐藏层提取深层特征增加模型鲁棒性，并且使用提前停止的训练策略以减少过拟合.本文在多组公开数据集上进行实验，与其他推荐算法在NDCG和召回率指标上进行对比.实验证明，改进的基于高斯混合变分自编码器模型的协同过滤算法在推荐任务中表现优异.     

基于条件变分自编码器的问题生成方法

将条件变分自编码器作为辅助模块,引入预训练语言模型的编码解码过程,通过数据增强(潜在的语义扩充)以提高模型的鲁棒性。通过建立陈述句与疑问句之间的高维分布联系,由分布采样实现一对多的问题生成。结果表明,融合条件变分自编码器不仅能生成多样性的问题,也有助于提升问题生成的模型性能。在基于SQuAD数据集划分的2个答案可知问题生成数据集Split1和Split2上,BLEU-4值分别被提升到20.75%和21.61%。     

基于对抗性策略的变分自编码模型

深度生成模型结合了生成模型与多层神经网络,在计算机视觉、目标检测、自然语言处理等领域得到广泛应用.变分自编码是一种重要的深度生成模型,通过多层神经网络对生成模型和后验概率分布的近似分布进行建模,得到目标函数的变分下界.变分自编码以其显式的生成模型建模方式及定量的下界表示形式受到研究者的关注.由于变分自编码中推理模型的表...     

无监督异常检测的深度变分自编码高斯混合模型

针对高维数据无监督异常检测难以重构异常样本,无法保留低维空间信息的问题,提出一种深度变分自编码高斯混合模型（deep variational autoencoding gaussian mixture model,DVAGMM）。该模型利用深度变分自编码器为每个输入样本生成低维数据和重构误差,并将这些数据输入高斯混合模型。为更好地学习到原始样本的低维特征,同时避免自编码器自身的局部优化问题,减少重构误差,模型采用联合优化深度变分自编码器和高斯混合模型参数的方法,并利用单独的估计网络促进混合模型的参数学习。实验结果表明,该模型在几个基准数据集上的检测准确率和效果都比其他传统模型更高,以F1值作为综合评价指标,模型的综合分数比第二名高出大约4%。     

变分自动编码器的潜变量空间解耦方法

潜变量空间解耦是深度生成领域一个越来越热门的研究方向。对数据潜变量空间进行解耦带来最直观的好处是在生成数据时能选择性地调整数据的不同属性,实现更可控的数据生成。本文专注于潜变量空间解耦,提出一种能够进一步提高解耦任务度量指标的重要方法。本文方法基于变分自动编码器,在编码器阶段运用了自注意力机制和残差网络,使模型更有效地捕捉长期依赖关系,增强模型的维度适应性。在训练阶段,提出一种更好地驱使潜变量空间编码维度与属性值趋向单调关系的新颖损失函数。它更好地调节损失函数所处区间范围,更易于优化。该模型使潜在空间拥有较好的解耦程度和可解释性,有效地操纵生成图像的数据属性。实验结果表明,本文模型和方法在图像的潜变量空间解耦生成上优于目前许多先进方法,且具有更为轻量级的网络架构。     

基于变分自编码器的情感回归半监督领域适应方法

提出一个新的情感回归半监督领域适应方法.首先使用长短期记忆网络(long short-term memory,LSTM)实现回归模型,其次使用变分自编码器(variational autoencoder,VAE)实现生成模型,最后联合学习LSTM回归模型和VAE生成模型,实现基于变分自编码器的情感回归半监督领域适应模型.实验结果表明,所提出的基于变分自编码器的情感回归半监督领域适应方法较其他基准方法能有效提高实验性能.     

基于信道特征生成对抗网络的信道建模方法

基于生成对抗网络(generative adversarial networks, GAN)的数据生成特性,提出一种用于信道特征生成的GAN改进模型,即信道特征生成对抗网络(channel feature generative adversarial networks, CFGAN)。采用完全无监督学习信道特征方式,利用线性编码向量与生成信道之间的互信息关系和变分互信息最大化原理,实现编码向量与信道特征对应;采用实测室内电力线信道数据集训练CFGAN模型,训练完成的CFGAN能够学习到不同信道特征分布。仿真表明,在-80～-10 dB大动态衰减范围内,CFGAN可根据学习到的信道特征生成具有明显区别的4类信道模型,并且生成信道和实测信道的信道特征差异小于2%。     

基于SegNet的非结构道路可行驶区域语义分割

为了增强自动驾驶车辆对非结构化道路中可行驶区域的场景理解能力,基于SegNet深度学习网络结构,提出了一种针对非结构道路的可行驶区域语义分割方法。在传统的卷积神经网络基础上,构建编码-解码深度卷积神经网络,用于自动习得图片中非结构化道路的特征,通过在数据集上进行训练和学习,得到图像语义分割模型,可直接用该模型预测非结构道路中的可行驶区域,实现自动驾驶车辆在非结构道路中行驶时的环境感知。实验结果表明,研究方法分割效果和精确度提升明显,Dice相似度和Jaccard相似系数均可达80%以上。     

基于改进卷积神经网络的短文本分类模型

基于卷积神经网络, 提出一种基于改进卷积神经网络的短文本分类模型. 首先, 采用不同编码方式将短文本映射到不同空间下的分布式表示, 提取不同粒度的数字特征作为短文本分类模型的多通道输入, 并根据标准知识库提取概念特征作为先验知识, 提高短文本的语义表征能力； 其次, 在全连接层增加自编码学习策略, 在近似恒等的基础上进一步组合数字特征, 模拟数据内部的关联性； 最后, 利用相对熵原理为模型增加稀疏性限制, 降低模型复杂度的同时提高模型的泛化能力. 通过对开源数据集进行短文本分类实验, 验证了模型的有效性.     

基于改进卷积神经网络的短文本分类模型

基于卷积神经网络, 提出一种基于改进卷积神经网络的短文本分类模型. 首先, 采用不同编码方式将短文本映射到不同空间下的分布式表示, 提取不同粒度的数字特征作为短文本分类模型的多通道输入, 并根据标准知识库提取概念特征作为先验知识, 提高短文本的语义表征能力； 其次, 在全连接层增加自编码学习策略, 在近似恒等的基础上进一步组合数字特征, 模拟数据内部的关联性； 最后, 利用相对熵原理为模型增加稀疏性限制, 降低模型复杂度的同时提高模型的泛化能力. 通过对开源数据集进行短文本分类实验, 验证了模型的有效性.     

基于风格解耦和自适应层实例归一化的图像翻译方法

针对当前无监督图像翻译方法在翻译过程中存在着图像内容变化过大、目标图像域风格传递不佳而导致生成的图像质量较低、多样性较差等问题,提出一种基于风格解耦和自适应层实例归一化的图像翻译方法.首先,采用基于解耦表示的自编码器作为模型的生成器,共享内容编码器来增强图像翻译的内容一致性;其次,在解码器中实现自适应层实例归一化运算,可以自适应地改变图像的风格,以改善风格传递的效果;再次,将随机风格编码融合至损失函数中,使得设计的模型具有生成随机风格图像的能力,来提升生成图像的多样性;最后,设计并实现了该方法,并在多个数据集上进行验证和分析.实验验证表明,与现有的无监督图像翻译方法相比,所研究的方法生成的图像质量较高,多样性较好.     

基于生成对抗网络的变分自编码器解耦合

深度生成模型从观测数据中学习到潜在因素,然后通过潜在因素生成目标,在人工智能领域受到广泛关注。现有深度生成模型学习的潜在因素往往是耦合的,无法让潜在因素每一维控制所得数据的不同特征,即无法单独改变某一特征而不影响其他特征。为此,在β-变分自编码器(beta-variationalautoencoder,β-VAE)的基础上,结合生成对抗网络(generativeadversarialnetworks,GAN),提出基于生成对抗网络的变分自编码器(beta-variationalautoencoder basedongenerativeadversarialnetwork,β-GVAE)模型。该模型是一种改进的β-VAE,通过引入生成对抗网络约束β-VAE中损失函数的KL项(Kullback-Leiblerdivergence),促进模型的解耦合。在数据集CelebA、3DChairs和d Sprites上进行对比实验,结果表明β-GVAE不仅具有更好的解耦合表示,同时生成的图像具有更好的视觉效果。     

多层感知器自监督在线学习非结构化道路识别

针对智能车辆非结构化道路识别中存在的环境自适应性和在线学习算法实时性问题,提出了一种结合多线程技术和多层感知器自监督在线学习技术的道路识别算法. 通过识别结果在线自动更新训练集,并利用评估函数判断是否触发重训分类器,确保当前分类器对行驶道路环境的有效识别. 同时,算法中道路图像采集、分类器训练、训练集更新、分类器识别等计算操作分别在各自线程中实现,利用信号量对数据流进行同步互斥,优化计算资源,充分利用了多层感知器分类计算快的特点,并克服其训练耗时问题. 实际道路检测实验结果表明,算法具有较好的自适应性及实时性,能够满足智能车辆非结构化道路导航需求.      

基于BERT-SUMOPN模型的抽取-生成式文本自动摘要

抽取式摘要可读性、准确性较差,生成式摘要存在连贯性、逻辑性的不足,此外2种摘要方法的传统模型对文本的向量表示往往不够充分、准确。针对以上问题,该文提出了一种基于BERT-SUMOPN模型的抽取-生成式摘要方法。模型通过BERT预训练语言模型获取文本向量,然后利用抽取式结构化摘要模型抽取文本中的关键句子,最后将得到的关键句子输入到生成式指针生成网络中,通过EAC损失函数对模型进行端到端训练,结合coverage机制减少生成重复,获取摘要结果。实验结果表明,BERT-SUMOPN模型在BIGPATENT专利数据集上取得了很好的效果,ROUGE-1和ROUGE-2指标分别提升了3.3%和2.5%。     

密集三维散乱点数据的拓扑矩形网格自组织压缩重建

探讨了曲面密集三维散乱点数据的拓扑矩形网格自组织压缩重建方法。建立了基于自组织特征映射神经网络的三维散乱点数据的拓扑矩形网格自组织压缩重建模型。该模型利用神经元对曲面散乱点的学习和训练来模拟曲面上的点与点之间的内在关系,结点连接权矢量集作为对散乱点集的工程近似化并重构曲面样本点的内在拓扑关系,实现曲面密集三维散乱点数据的自组织压缩。按矩形阵列侧抑制邻区训练调整网络神经元权重矢量,使网络输出层结点呈矩形阵列分布,可生成测量点集压缩后的拓扑矩形网格,可用于NURBS曲面重构。计算机仿真实验表明,所建模型可以实现三维密集散乱点数据自组织压缩,生成期望疏密程度和精度的双有序点列,重建矩形拓扑网格。     

基于复杂样本的安全态势要素分类架构

针对网络安全态势要素获取中大规模复杂攻击样本分类困难的问题，提出一种基于条件变分自编码网络的安全态势要素分类架构。该架构分为编码网络和生成网络两部分，均采用深度神经网络作为其基础框架。编码网络用于对高维数据进行降维，提取其隐含特征;生成网络用于对降维后的样本进行重构，生成新的样本。在生成网络中引入混合密度模型优化其特征提取能力，提高重构数据的准确性。采用训练数据对该架构进行训练，训练后的编码网络作为分类器，识别样本类型;生成网络生成指定类别的样本数据，以平衡复杂样本中各类攻击样本的数量，提高分类精度。仿真结果表明，与其他对比模型相比，所提分类架构具有较好的降维效果和较高的态势要素分类精度。     

基于边缘信息和先验形状的水平集图像分割方法及其在病原菌识别中的应用

研究从多目标图像中自动提取单个目标的图像处理方法.从分析曲线的水平集表示入手,首先探讨了水平集动态轮廓分割和配准模型构建的统计思想和变分方法,然后针对多目标粘连图像的特点,提出了含边缘信息和先验形状的水平集图像分割模型,并将其应用于病原菌的识别.由于引入边缘信息改进对分割的约束,加强了目标边缘对分割轮廓的吸引,同时消除了一些由噪声、阴影和杂质造成的影响.实验表明,改进后的先验形状水平集图像分割方法能直接从多目标粘连图像中提取单个目标,进一步完善了依据显微镜图像识别病原菌的图像处理方法.     

区分自编码网络及其在滚动轴承故障特征提取中的应用

针对传统自编码网络在特征自动提取过程中仅以重构误差最小为目的而导致的分类信息模糊问题,提出了一种区分自编码网络。该网络在自编码网络的隐层连接一个全连接层,加上Softmax分类器,将分类器的输出与标签信息的交叉熵添加到原始的损失函数中,以该复合损失函数最小为目标对网络进行训练。将上一层区分自编码网络的隐层作为下一层区分自编码网络的输入,依次堆叠形成堆叠区分自编码网络。运用改进前后的堆叠自编码网络进行滚动轴承故障特征自动提取,分别在实验室定转速和变转速多载荷数据集上进行了测试。定量计算改进前后网络提取特征的类内距和类间距,区分自编码网络将类内距减少8.26%,类间距增加23.02%。运用3种常用分类器对两种网络提取的特征和42个人工提取的特征分别进行故障分类,结果显示,在定转速数据集上,区分型网络提取的特征和人工提取特征的分类效果相当,均高于传统型网络提取的特征;但是在变转速多载荷数据上,区分型网络提取的特征明显优于另外两类特征。定量计算和故障诊断的结果表明,区分型网络具有良好的不随工况变化的特征自动提取能力。提出的区分型自编码网络可广泛应用在机械故障诊断的特征提取阶段,为工程技术人员实现特征自动提取提供了一种解决方案。     

融合多路注意力机制的语句匹配模型

为了增强语句内关键信息和语句间交互信息的表征能力，有效整合匹配特征，提出一种融合多路注意力机制的语句匹配模型。采用双向长短时记忆网络获取文本的编码信息，通过自注意力机制学习语句内部的关键信息;将编码信息和自注意力信息拼接之后，通过多路注意力机制学习语句间的交互信息;结合并压缩多路注意力层之前和之后的信息，通过双向长短时记忆网络进行池化获得最终的语句特征，经过全连接层完成语句匹配。实验结果表明，该模型在SNLI和MultiNLI数据集上进行的自然语言推理任务、在Quora Question Pairs数据集上进行的释义识别任务和在SQuAD数据集上进行的问答语句选择任务中均表现出了更好效果，能够有效提升语句匹配的性能。