变分自动编码器的潜变量空间解耦方法

针对潜变量空间解耦具有可选择性地调整数据属性,实现更可控的数据生成的特性,提出一种提高解耦任务度量指标的方法. 该方法在编码器阶段,运用自注意力机制和残差网络,使模型更有效地捕捉长期依赖关系,增强模型的维度适应性. 在训练阶段,提出新颖损失函数使潜变量空间编码维度与属性值趋向单调关系,从而更好地调节损失函数所处区间范围,达到优化目的. 通过对比实验表明,本模型和方法在图像的潜变量空间解耦生成上优于变分自编码机(variational auto encoder,VAE)及属性正则化(AR-VAE）模型模型,且具有更为轻量级的网络架构.     

基于变分自动编码器的车辆轨迹预测研究

针对轨迹预测中车辆与周边车辆、道路几何之间交互关系建模不充分,以及车辆轨迹多模态建模不完整等一系列问题,提出了一种基于变分自动编码器的车辆轨迹预测方法。首先,通过长短时记忆网络从原始数据中提取轨迹数据与车道信息的语义特征;其次,引入多头注意力机制,采用两个单独的注意力模块分别建立车辆与车辆交互模型及车辆与道路交互模型,能够更好地反映周边车辆与道路几何对车辆轨迹的交互影响,得到丰富的场景上下文信息;接着利用变分自动编码器对车辆轨迹多模态建模,捕捉轨迹预测的随机性质以生成合理的未来轨迹分布;最后从分布中多次重复采样以生成多条可能的未来轨迹。通过搭建实验平台和使用Argoverse自然驾驶数据集进行测试,改进后的预测方法在平均位移误差和最终位移误差指标下的数值分别为1.03和1.51,预测精度上相较于其他3种预测方法,分别提升了45%、46%、32%;实验结果表明：预测方法可以有效地改善车辆与周边车辆、道路几何之间交互关系建模不充分,以及车辆轨迹多模态建模不完整等问题,预测精度提高,总体预测性能良好。     

结合多注意力和条件变分自编码器的宋词生成模型

现有的诗词生成方法忽略了风格的重要性。另外,由于宋词大部分词牌词句较多,逐句生成宋词的过程中容易产生上下文缺乏连贯性的现象,在上下文连贯性方面仍存在提升空间。针对这两个问题,在编码解码的文本生成框架基础上,引入自注意力机制的句子表示算法计算多注意力权重矩阵,用于提取词句的多种重要语义特征,让模型更多地关注上文的显著信息来提高上下文连贯性。引入条件变分自编码器(CVAE)将每条宋词数据转化为隐空间中不同风格特征的高维高斯分布,从各自的分布中采样隐变量来控制宋词的风格。由于自构建的宋词语料库缺少完整风格分类标签,使用具有风格标签的宋词微调BERT模型,将其作为风格分类器标注全部的宋词数据。在上述关键技术的基础上实现了宋词生成模型,生成上下文连贯的婉约词以及豪放词。通过与其他4种基准方法进行对比实验,结果表明引入自注意力机制的句子表示算法和条件变分自编码器,在上下文连贯性和风格控制方面有一定的提升。     

变分自编码器和注意力机制的异常入侵检测方法

针对传统的机器学习算法在检测未知攻击方面表现不佳的问题,提出了一种基于变分自动编码器和注意力机制的异常入侵检测方法,通过将变分自编码器和注意力机制相结合,实现使用深度学习方法从基于流量的数据中检测异常网络流量的目标。所提方法利用独热编码和归一化技术对输入数据进行预处理;将数据输入到基于注意力机制的变分编码器中,采集训练样本中隐含特征信息,并将其融入最终潜变量中;计算原始数据与重建数据之间的重建误差,进而基于适当的阈值判断流量的异常情况。实验结果表明,与其他入侵检测方法相比,所提方法明显改善了入侵检测的精度,不仅可以检测已知和未知攻击,而且还可以提高低频次攻击的检测率。     

基于条件变分自编码器的问题生成方法

将条件变分自编码器作为辅助模块,引入预训练语言模型的编码解码过程,通过数据增强(潜在的语义扩充)以提高模型的鲁棒性。通过建立陈述句与疑问句之间的高维分布联系,由分布采样实现一对多的问题生成。结果表明,融合条件变分自编码器不仅能生成多样性的问题,也有助于提升问题生成的模型性能。在基于SQuAD数据集划分的2个答案可知问题生成数据集Split1和Split2上,BLEU-4值分别被提升到20.75%和21.61%。     

基于行列式点过程的变分拉普拉斯自编码器

变分自编码器(Variational Autoencoders,VAE)是一类重要的学习概率潜在变量的生成模型,然而VAE对复杂模型的表现力较差,生成的图像往往比较模糊.为了解决VAE生成图像模糊的问题,提出一种基于行列式点过程的变分拉普拉斯自编码器(Variational Laplace Autoencoders-Determinantal Point Process,VLAE-DPP)模型,将行列式点过程方法引入变分拉普拉斯自编码器模型,在原始目标函数的基础上添加一项无监督惩罚损失,以此来提高生成图像的质量.VLAE-DPP模型利用行列式点过程来捕获一个与真实数据类似的多样性,然后通过从编码器中提取特征来学习核.最后,训练解码器优化核的伪、实、特征值和特征向量之间的损失,以鼓励解码器模拟真实数据的多样性,从而生成高质量的图像.在Fashion-MNIST,SVHN,CIFAR10数据集上的实验结果表明,VLAE-DPP模型能提高生成图像的质量.     

基于生成对抗网络的变分自编码器解耦合

深度生成模型从观测数据中学习到潜在因素,然后通过潜在因素生成目标,在人工智能领域受到广泛关注。现有深度生成模型学习的潜在因素往往是耦合的,无法让潜在因素每一维控制所得数据的不同特征,即无法单独改变某一特征而不影响其他特征。为此,在β-变分自编码器(beta-variationalautoencoder,β-VAE)的基础上,结合生成对抗网络(generativeadversarialnetworks,GAN),提出基于生成对抗网络的变分自编码器(beta-variationalautoencoder basedongenerativeadversarialnetwork,β-GVAE)模型。该模型是一种改进的β-VAE,通过引入生成对抗网络约束β-VAE中损失函数的KL项(Kullback-Leiblerdivergence),促进模型的解耦合。在数据集CelebA、3DChairs和d Sprites上进行对比实验,结果表明β-GVAE不仅具有更好的解耦合表示,同时生成的图像具有更好的视觉效果。     

互编码器辅助视频的多模态场景分类

为了解决多模态场景分类准确率不高的问题,文中提出一种由互编码器辅助视频的多模态场景分类方法。音频部分首先对输入音频数据进行特征提取并且使用自注意力机制取得关注信息,图像部分首先对视频进行分帧图片提取,然后通过ResNet50网络进行特征提取,随后提取到的双模态信息进入互编码器,互编码器通过提取各个模态隐层特征进行特征融合,融合后的新特征结合attention机制辅助视频特征。在该模型中,互编码器为融合特征的辅助系统。实验基于DCASE2021 Challenge Task 1B数据集进行验证,结果表明互编码器能够提升分类准确率。     

评论感知的异构变分自编码器推荐模型

随着推荐系统的研究与发展,人们越来越关注个性化服务信息的准确推送,而对于推荐中数据稀疏的问题,传统评分信息协同推荐的方法很大程度上不能解决.因此人们将一些上下文信息引入到推荐系统中,而蕴含用户偏好的评论文本信息也被广泛用于缓解数据稀疏和冷启动的问题.自编码器作为一种无监督学习方法,在异常检测、人脸识别、数据增强和数据生...     

变分自编码的分层解耦卷积脑肿瘤分割网络

三维卷积神经网络处理图像分割精度高,可以保留更多空间信息,有效解决标签不平衡问题,但存在参数量大的缺点．针对目前三维脑肿瘤分割网络内存资源占用大、硬件设备要求高、计算效率低的问题,将传统3DUNet网络中的3D卷积替换为分层解耦卷积,能够降低空间环境的计算复杂度和内存占用量,在不提高计算量的前提下显著提高分割精度,提高网络性能．为解决传统自编码器不能自主生成数据的问题,使用结合深度学习和统计学习的变分自编码器,在编码器结果中加入高斯噪声,使得编码器对结果具有鲁棒性,在编码器中加入概率分布防止过拟合,提高算法的泛化性能．采用三线性插值在三维离散采样数据的张量积网格上进行线性插值,有效避免线性方程组不断增大导致计算时间过长的问题．通过对损失函数加权混合,避免梯度弥散时出现学习速率下降现象,解决小区域分割不平衡问题,减少局部性能最优,使网络保持较高运算速度的同时有效提高分割精度,在有限内存空间最大化网络特征提取能力．在脑肿瘤公开数据集BraTS2019上的实验结果表明,该网络在增强型肿瘤、全肿瘤、肿瘤核心上的Dice值分别可达78.02%、90.05%和83.14%,参数量仅为0.30×10...     

基于变分贝叶斯推理的高光谱图像恢复

提出一种基于变分贝叶斯推理的高光谱图像恢复方法.建立描述高斯噪声的最大似然函数项,采用小波基矩阵变换,构建小波变换后因子稀疏分布的先验函数;然后建立估计图像和相关超参数的联合后验概率估计模型,并通过变分贝叶斯推理得到估计的图像.利用实际的高光谱图像进行实验,从恢复的衡量指标和视觉效果图两方面验证所提出方法的有效性,结果优于目前常用的图像恢复方法.     

采用IEWT-SAE算法的配电变压器故障诊断方法

为识别配电变压器运行过程中存在的潜伏性故障,提出一种基于改进经验小波变换(improve empirical wavelet transform,IEWT)及堆栈自编码器(stacked auto-encoder,SAE)算法的故障诊断新方法. 首先,利用顺序统计滤波包络法来改进经验小波变换完成对振动信号的分解,得到一组经验小波分量并计算其与原始信号之间的K-L散度值,以剔除干扰分量. 然后,选取K-L散度值低的经验小波分量作为SAE的输入数据进行特征的自适应提取,再用Softmax分类器完成故障诊断,并在堆栈自编码器训练过程中引入樽海鞘群算法实现参数寻优. 最后,在10kV油浸式变压器上搭建数据采集平台进行故障模拟及分类测试. 实验结果表明,所提方法的分类精度达99.5%,在识别准确率、诊断时间上均优于对比方法.     

采用IEWT-SAE算法的配电变压器故障诊断方法

为识别配电变压器运行过程中存在的潜伏性故障,提出一种基于改进经验小波变换(improve empirical wavelet transform, IEWT)及堆栈自编码器(stacked auto-encoder, SAE)的故障诊断新方法。首先,利用顺序统计滤波（order statistic filter, OSF）包络法来改进EWT对振动信号进行分解,得到一组经验小波分量并计算其与原始信号之间的K-L散度值,以剔除干扰分量;然后选取K-L散度值低的前n个（实际取3）经验小波分量作为SAE的输入数据,进行特征的自适应提取,并使用Softmax分类器完成故障诊断。为克服人工选取SAE参数带来的结果差、效率低等问题,在SAE训练过程中引入樽海鞘群算法(salp swarm algorithm, SSA)实现预训练学习率和微调学习率的自动寻优。最后在10kV油浸式变压器上搭建数据采集平台进行故障模拟及分类测试。实验结果表明,所提方法的分类精度达到99.5%,在面对强噪声干扰时亦具有较高的识别成功率。经测试发现其在识别准确率及诊断时间上均优于对比方法。     

一种求解变分不等式问题的光滑路径方法

目前已提出了许多求解变分不等式的算法，其主要是牛顿型方法等传统的迭代法及其对此类问题的推广，一般只有局限收敛性。讨论了一种具有全局收敛性的光滑路径方法。     

用变分法求解W-型势阱的本征问题

采用变分法计算了W-型势阱的基态和第一激发态的本征问题，并对所得结果进行了分析。证明了所选波函数的有效性和W-型势阱内独特的近简并双能级结构。     

考虑材料应变软化的非线性有限元的改进变Kp法

针对变Kp法进行非线性有限元求解时，存在求解精度低和应变软化难以模拟的缺点，分析了变Kp法与增量法内在联系与区别，将初应力迭代法的基本思想引进到变Kp法，提出了改进变Kp法。不仅保持了原方法求解效率高的优点，而且可改善原方法求解精度，使该方法适用于材料应变软化的数值模拟。     

随机仿射变分不等式的改进期望加权残差法

本文在绝对值残差和加权期望残差方法的基础上针对带有非线性扰动的随机仿射变分不等式问题考虑了期望和方差的凸组合形式,得到了改进的期望加权残差极小化问题.通过拟蒙特卡洛方法,本文得到问题的离散近似问题,并研究了问题目标函数的可微性及其水平集的有界性,然后对问题进行了收敛性分析.