结合主题模型与自监督学习的可控文本生成技术研究

基于大型预训练语言模型的有监督学习方法在可控文本生成任务上取得了优秀的成果,但这些研究都着重于控制生成文本的高级属性(比如情感与主题),而忽略了泛化性问题.现有的基于自监督学习的研究方法则通过句子级别的训练来使模型获得补全整句的能力,使模型做到单词和短语级别的控制生成,但生成与特定属性强相关句子的能力依旧待提升.所以本文提出了一种单词级别(细粒度)与句子(粗粒度)级别相结合的多粒度训练方式：单词级别的主题模型让模型学习主题层面的语义以获得主题到文本的生成能力,句子级别的自监督训练让模型学习整句的表征以获得补全句子的能力.通过主题模型与自监督学习的结合,使模型在单词与短语级别的可控生成阶段取得了更好的效果.实验表明,本文提出的模型在主题契合度以及常规文本生成指标方面优于现有的基线模型.     

时频分区扰动实现音频分类对抗样本生成

现有方法生成的音频分类对抗样本(adversarial example, AE)攻击成功率低,易被感知。鉴于此,设计了一种基于时频分区扰动(time-frequency partitioned perturbation, TFPP)的音频AE生成框架。音频信号的幅度谱根据时频特性被划分为关键和非关键区域,并生成相应的对抗扰动。在TFPP基础上,提出了一种基于生成对抗网络(generative adversarial network, GAN)的AE生成方法TFPPGAN,以分区幅度谱为输入,通过对抗训练自适应调整扰动约束系数,同时优化关键和非关键区域的扰动。3个典型音频分类数据集上的实验表明,与基线方法相比,TFPPGAN可将AE的攻击成功率、信噪比分别提高4.7%和5.5 dB,将生成的语音对抗样本的质量感知评价得分提高0.15。此外,理论分析了TFPP框架与其他攻击方法相结合的可行性,并通过实验验证了这种结合的有效性。     

基于平行注意力机制的对抗样本防御方法

为降低对抗样本的影响,提高分类模型在遭受攻击威胁下的精度,利用哺乳动物视觉系统工作原理,结合注意力机制,提出一种新型防御对抗样本模型PSCAM-GAN(Parallel Spatial and Channel Attention Mechanism Adversarial Generative Network)。该防御模型在通过编码器获得对抗样本的特征图后,使用平行注意力机制提取特征图中的个体和位置信息,然后在保证这些特征不变的情况下,重新调整特征图的权重,通过解码器产生净化结果。该方法能在清除恶意扰动的同时保持净化结果与输入的一致性,有效降低对抗样本对模型精度的影响。在CIFAR-10和MNIST数据集上,PSCAM-GAN面对多种对抗样本攻击时的防御效果超越了其他基于预处理的防御方法,能有效提高模型的健壮性。     

基于无监督对抗学习的时间序列异常检测

时间序列异常检测是类别不均衡问题,异常现象少有发生,所以获取异常标签的成本高昂,因此基于无监督学习的时间序列异常检测方法更具有实用价值.然而,现有的时间序列异常检测方法存在三个缺陷:难以对复杂的时间序列进行建模、缺乏合理的缺失值处理机制和无法利用先验知识(例如少量的有标签异常).为了解决以上问题,提出一种基于生成对抗神...     

基于生成对抗网络的恶意网络流生成及验证

针对基于深度学习的分类器面对对抗样本时缺乏稳定性的问题,基于生成对抗网络(GAN)提出了一种新的模型,用于生成对抗样本。该模型首次实现了直接以恶意网络流为原始样本的对抗样本生成,并首次提出了弱相关位的概念,用于保证恶意网络流对抗样本的可执行性和攻击性。利用该模型生成的对抗样本能够有效地欺骗基于深度学习的网络安全检测器,且通过实验验证了该对抗样本具有实际攻击效果。     

利用生成对抗网络实现水下图像增强

提出一种基于生成对抗模型的水下图像修正与增强算法.该算法将多尺度内核应用于改进的残差模块中,以此构建生成器,实现多感受野特征信息的提取与融合;判别器设计考虑了全局信息与局部细节的关系,建立了全局-区域双判别结构,能够保证整体风格与边缘纹理的一致性;最后,根据人类视觉感官系统设计了无监督损失函数,此部分无需参考图像进行约...     

基于注意力机制CGAN的对抗样本去噪方法

卷积神经网络已被广泛应用于各种计算机视觉任务中,然而研究发现卷积神经网络极易受到精心设计的对抗样本攻击。为了抵御对抗攻击,提出一种基于注意力机制的条件生成对抗网络防御方法(attention conditional generative adversarial net, Attention-CGAN)。本算法利用对抗样本作为Attention-CGAN的训练样本,同时将生成器的生成样本输入分类器,得到注意力损失和分类损失;通过这两种损失函数训练Attention-CGAN,从而保证去噪样本的注意力区域与原始干净样本一致。在CIFAR10(Canadia Institute for Advanced Research)和ILSVRC2012(ImageNet Large Scale Visual Recognition Challenge)2个数据集上进行大量试验,结果表明去噪之后的样本分类准确率保持在70%以上。基于注意力机制CGAN的对抗样本去噪方法能提高卷积神经网络的鲁棒性,可为深度学习模型防御对抗攻击提供参考。     

基于图像去噪和图像生成的对抗样本检测方法

针对现有对抗样本检测方法存在检测准确率低和训练收敛速度慢等问题,提出一种基于图像去噪技术和图像生成技术实现的对抗样本检测方法.该检测方法将对抗样本检测问题转换为图像分类问题,无须事先得知被攻击模型的结构和参数,仅使用图像的语义信息和分类标签信息即可判定图像是否为对抗样本.首先,采用基于swin-transformer和vision-transformer实现的移动窗口式掩码自编码器去除图像中的对抗性噪声,还原图像的语义信息.然后,使用基于带有梯度惩罚的条件生成式对抗网络实现的图像生成部分根据图像分类标签信息生成图像.最后,将前两阶段输出的图像输入卷积神经网络进行分类,通过对比完成去噪的图像和生成图像的分类结果一致性判定检测图像是否为对抗样本.在MNIST、GTSRB和CIAFAR-10数据集上的实验结果表明,相比于传统检测方法,本文提出的对抗样本检测方法的平均检测准确率提高6%~36%,F1分数提高6%~37%,训练收敛耗时缩减27%~83%,存在一定优势.     

基于条件生成对抗网络的稀疏样本回归预测模型

自生成对抗网络提出以来,基于生成对抗网络的拓展模型在图像处理等领域均有显著成效,但其在回归预测问题上的应用较少.在概率回归过程中,通过构建条件概率分布模拟特征与实际目标之间的潜在关系是一种常用方法,但在实际问题中条件概率分布过于复杂,似然估计难以捕捉.为此,首先分析高斯过程回归在稀疏样本回归预测中的预测精度,将其作为稀疏样本回归预测的基准线.通过分析条件生成对抗网络的构造,提出利用条件生成对抗网络解决稀疏样本回归预测问题.最终通过对比分析4种非线性模拟数据回归预测结果,发现提出的条件生成对抗网络模型相较基于Matern32核函数的高斯过程回归具有更好的预测精度.     

针对车载环境感知系统的对抗样本生成方法

针对车载环境感知场景中的目标检测系统,提出了一种针对目标检测器的对抗样本生成方法。该方法能够实现对目标检测器的白盒对抗攻击,包括目标隐身攻击和目标定向攻击。在Rail数据集和Cityscapes数据集中进行测试,测试结果验证了所提方法对YOLO目标检测器对抗攻击的有效性。     

联合自编码任务的多机制融合复述生成模型

基于神经网络编码–解码框架的复述生成模型存在两方面的问题: 1) 生成的复述句中存在实体词不准确、未登录词和词汇重复生成; 2) 复述平行语料的有限规模限制了编码器的语义学习能力。针对第一个问题, 本文提出在解码过程中融合注意力机制、复制机制和覆盖机制的多机制复述生成模型, 利用复制机制从原句复制词语来解决实体词和未登录词生成问题; 利用覆盖机制建模学习注意力机制历史决策信息来规避词汇重复生成。针对第二个问题, 基于多任务学习框架, 提出在复述生成任务中联合自编码任务, 两个任务共享一个编码器, 同时利用平行复述语料和原句子数据, 共同增强复述生成编码器的语义学习能力。在Quora复述数据集上的实验结果表明, 提出的联合自编码的多机制融合复述生成模型有效地解决了复述生成的问题, 并提高了复述句的生成质量。     

基于对抗学习的讽刺识别研究

为了避免现有讽刺识别方法的性能会受训练数据缺乏的影响, 在使用有限标注数据训练的注意力卷积神经网络基础上, 提出一种对抗学习框架, 该框架包含两种互补的对抗学习方法。首先, 提出一种基于对抗样本的学习方法, 应用对抗生成的样本参与模型训练, 以期提高分类器的鲁棒性和泛化能力。进而, 研究基于领域迁移的对抗学习方法, 以期利用跨领域讽刺表达数据, 改善模型在目标领域上的识别性能。在3个讽刺数据集上的实验结果表明, 两种对抗学习方法都能提高讽刺识别的性能, 其中基于领域迁移方法的性能提升更显著; 同时结合两种对抗学习方法能够进一步提高讽刺识别性能。     

基于多尺度密集特征融合的生成式对抗除雾网络

在真实雾天场景下,针对除雾网络无法去除远处雾气、天空区域容易出现噪声的问题,提出了一种基于多尺度密集特征融合的生成式对抗除雾网络,并采用制作的合成雾天数据集进行对抗训练.首先,对除雾网络进行设计,构建了网络模型;其次,从合成晴朗天气图像中利用深度标签生成逼真的雾天数据集,以适用于真实雾天除雾领域;最后,在真实雾天数据集上测试,选取近几年具有代表性的6种基于深度学习的除雾网络进行主观视觉效果,并借助除雾领域常用的无参考图像质量评价指标进行客观分析.研究结果表明:提出的除雾网络在真实场景下的除雾效果较其他网络有显著提升,主观视觉效果明显优于对比的除雾网络,在无参评价指标上综合表现优于其他除雾网络.     

二分类判别网络的对抗样本检测

在原始图像数据集中,添加特殊的细微扰动能形成对抗样本,经这类样本攻击的深度神经网络等模型可能以高置信度给出错误输出,然而当前大部分检测对抗样本的方法有许多前提条件,限制了其检测能力.针对这一问题,该文提出一个二分类判别网络模型,通过多层卷积神经网络来提取样本数据的主要特征;应用特殊的判别目标函数,结合不同程度的噪声数据...     

基于生成式对抗网络的字体风格迁移方法

针对风格多样的中文字体设计和复杂操作的问题,提出一种生成式对抗网络的汉字风格迁移和字库设计方法。将宋体与黑体作为测试数据集,将瑞虎宋体作为目标数据集,通过生成式对抗网络对抗训练方法,使宋体与黑体字风格转换为瑞虎宋体风格。通过实验生成的字体图像轮廓更加平滑和美观,表明本文提出的方法能够显著提高对字形设计的工作效率。     

利用对抗性边缘学习模型生成超分辨率图像

大部分基于卷积神经网络的图像超分辨率方法都是采用端到端的模式,这类图像超分辨率方法往往存在重构图像纹理边缘模糊、高频信息缺失的问题.为了改善该问题,在SRGAN(super-resolution generation adversarial networks)的基础上提出了一种基于对抗性图像边缘学习的深层网络模型,将图...     

基于生成对抗网络的单图像超分辨率重建

针对当前卷积神经网络未能充分利用浅层特征信息, 并难以捕获各特征通道间的依赖关系、 丢失高频信息的问题, 提出一种新的生成对抗网络用于图像超分辨率重建. 首先, 在生成器中引入WDSR-B残差块充分提取浅层特征信息; 其次, 将GCNet模块和像素注意力机制相结合加入到生成器和鉴别器中, 学习各特征通道的重要程度和高频信息; 最后, 采用谱归一化代替不利于图像超分辨率的批规范化, 减少计算开销, 稳定训练. 实验结果表明, 该算法与其他经典算法相比能有效提高浅层特征信息的利用率, 较好地重建出图像的细节信息和几何特征, 提高超分辨率图像的质量.     

基于无监督迁移学习的核范数最大化轴承故障诊断方法

针对实际工业运行中带标签的轴承故障数据难以获取,导致有监督学习故障诊断效果不佳的问题,提出一种基于无监督迁移学习(transfer learning, TL)的核范数最大化轴承故障诊断方法。该方法通过结构优化深度卷积神经网络(structure optimized deep convolutional neural networks, SOCNN)进行故障特征提取,利用最大均值差异(maximum mean discrepancy, MMD)提升源域和目标域的分布相似度,并结合快速批量核范数最大化(fast batch nuclear-norm maximization, FBNM)来提升目标域批量输出矩阵的可分辨性和多样性。实验结果表明：所提方法在不同噪声环境中都具有较高的诊断精度,能准确识别出轴承的故障类型和故障危害等级,为轴承故障诊断提供有效技术支撑。     

单机可控排序问题的神经网络模型

本文建立了1｜rj｜cmax的可控排序问题的数学规划模型,利用投影算子与变分不等式的关系,构造了求解数学规划模型的神经网络动力系统,运用Lyapunov方法,证明了该系统全局稳定,且系统的平衡点就是所求问题的最优解。