多模态情感分析模型对抗攻击评估与防御方法

为系统探究多模态情感分析模型在对抗攻击下的鲁棒性,采用3种经典对抗攻击方法(快速梯度符号方法、投影梯度下降和动量迭代快速梯度符号方法)、2种模态数据输入(视觉和语音)和4种不同的数据特征融合方法(特征相加、特征拼接、多模态低秩双线性和多模态Tucker融合),对比各种组合下模型的性能表现,研究影响多模态情感分析模型鲁棒性的内在因素．提出一种基于互信息最大化的多模态防御方法,通过减少输入模态特征中的冗余信息提升模型鲁棒性．研究结果表明：在非线性特征融合及双模态数据输入组合下,模型抵御对抗攻击效果最佳;在应用互信息最大化防御方法后,模型性能及抵御攻击能力均可得到有效提升．     

基于多频谱特征的音频对抗样本检测方法

音频对抗样本技术是一种通过在音频中添加微小扰动信号来达到特殊目标的技术,该技术甚至可以改变现代自动语音识别系统（ASR）的识别结果,可对语音识别系统造成安全威胁。因此,如何检测音频对抗样本,是一个紧迫的研究课题。现有的音频对抗样本检测方法的检测准确率还有提高的空间,并且缺乏对音频对抗样本特征的研究,在文中,基于音频对抗样本的时域特征和频域特征,提出了一个基于多频谱的检测器来解决音频对抗样本检测的问题。与已有的方法相比,所提出的方法在白盒攻击方法和黑盒攻击方法下生成的短音频对抗样本的检测精度上得到提升,特别是在受到关键词篡改的攻击下,检测精度提高了30%以上。     

基于生成对抗网络的医学诊断模型知识蒸馏对抗攻击方法

为了提高医学诊断模型防御攻击的能力,提出了一种基于生成对抗网络的医学诊断模型知识蒸馏对抗攻击方法。首先创建医学对抗攻击端到端训练网络,并以残差网络作为对抗网络架构;其次在生成器特征块中融合扩张卷积块和通道注意力机制,采用马尔可夫判别器改进判别器网络结构;最后利用生成器和判别器组建生成对抗网络,使用对抗样本进行知识蒸馏对抗攻击,以训练医学诊断模型提高识别精度。采用对抗样本对所提对抗方法进行攻击验证,结果表明：本文方法对抗攻击的成功率为92.6%,与所对比的主流方法相比,该方法的成功率提高了20%,生成对抗样本的最大平均差异降低了3.68%,峰值信噪比、结构相似性分别提升了5.07%、20.29%。本文方法解决了医学诊断模型在对抗攻击中难以获取网络结构和参数信息的问题,生成的对抗样本更接近真实样本,网络效果更佳,为辅助医疗模型诊断及模型安全性提供了参考方案。     

PIDI-FGSM:一种对抗样本生成的梯度处理新方法

深度神经网络在多种模式识别任务上均取得卓越表现,然而相关研究表明深度神经网络非常脆弱,极易受到对抗样本的攻击。且人眼不易察觉的对抗样本还具有迁移性,即针对某个模型生成的对抗样本能够使得其他不同的深度模型也产生误判。主要研究提升对抗样本的迁移性,提出了基于PID控制优化器的快速梯度符号方法（PIDI-FGSM）,用于替代原有的基于动量优化器生成方法（MI-FGSM）。不同于MI-FGSM只累加一阶动量项,PIDI-FGSM同时考虑当前梯度、一阶动量项和一阶微分动量项。此外,PIDI-FGSM经过相应变化后,可与现有其他对抗样本生成方法相结合,在不需要额外运行时间和运算资源的情况下大大提高了对抗样本对于黑盒防御模型的攻击成功率。在ImageNet数据集上的实验表明,结合了PIDI-FGSM的对抗样本生成方法能够更快速地生成攻击成功率更高的对抗样本。通过提出最强攻击组合NI-TI-DI-PIDM2,对6个经典黑盒防御模型的平均攻击达到87.4%的成功率,比现有的动量方法提高3.8%,对3个较为先进的黑盒防御模型的平均攻击达到80.0%的成功率,比现有的动量方法提高4.9%。     

基于卷积神经网络的污点攻击与防御

深度神经网络易受对抗样例的攻击,该攻击主要通过对图像做细微的修改而使卷积神经网络识别出错。因此,为了模拟实际生活中车牌上的污点攻击,只对车牌图像添加局部扰动。首先使用l_1范数作为优化算法得到车牌图像中易被字符分类器识别错误的位置,然后继续在该图像中产生特定的扰动,最后将扰动加入到易被攻击错误的位置中。试验结果表明该攻击方法具有90%的成功率,对车牌的字符识别造成了一定的影响。同时以对抗训练作为防御策略,取得了98%的成功率。     

基于局部对抗训练的命名实体识别方法研究

命名实体识别研究中,数据集内普遍存在实体与非实体,实体内部类别间边界样本混淆的问题,极大地影响了命名实体识别方法的性能.提出以BiLSTM-CRF为基线模型,结合困难样本筛选与目标攻击对抗训练的命名实体识别方法.该方法筛选出包含大量边界样本的困难样本,利用边界样本易被扰动偏离正确类别的特性,采用按照混淆矩阵错误概率分布的目标攻击方法,生成对抗样本用于对抗训练,增强模型对混淆边界样本的识别能力.为验证该方法的优越性,设计非目标攻击方式的全局、局部对抗训练方法与目标攻击全局对抗训练方法作为对比实验.实验结果表明,该方法提高了对抗样本质量,保留了对抗训练的优势,在JNLPBA、MalwareTextDB、Drugbank三个数据集上F1值分别提升1.34%、6.03%、3.65%.     

时频分区扰动实现音频分类对抗样本生成

现有方法生成的音频分类对抗样本(adversarial example, AE)攻击成功率低,易被感知。鉴于此,设计了一种基于时频分区扰动(time-frequency partitioned perturbation, TFPP)的音频AE生成框架。音频信号的幅度谱根据时频特性被划分为关键和非关键区域,并生成相应的对抗扰动。在TFPP基础上,提出了一种基于生成对抗网络(generative adversarial network, GAN)的AE生成方法TFPPGAN,以分区幅度谱为输入,通过对抗训练自适应调整扰动约束系数,同时优化关键和非关键区域的扰动。3个典型音频分类数据集上的实验表明,与基线方法相比,TFPPGAN可将AE的攻击成功率、信噪比分别提高4.7%和5.5 dB,将生成的语音对抗样本的质量感知评价得分提高0.15。此外,理论分析了TFPP框架与其他攻击方法相结合的可行性,并通过实验验证了这种结合的有效性。     

两阶段目标类指引的行人检测对抗补丁生成算法

针对缘于深度学习模型脆弱性的对抗样本攻击这一国内外热门研究课题，以无人驾驶等实际应用为背景，探讨了针对Yolo-v2行人检测系统的对抗攻击方法;基于Yolo-v2对行人目标的预测置信度和分类概率，提出基于两阶段目标类指引的行人检测对抗补丁生成算法。创新性地提出了目标类指引的攻击策略，通过先后实施目标类指引的对抗补丁生成和对抗补丁增强，有效引导了对抗补丁在训练生成过程中的收敛方向，以此逐步提升对抗补丁攻击行人检测系统的能力;在Inria数据集上实现了79个目标类指引的对抗补丁生成训练与测试。结果表明，算法以“teddy bear”为目标类生成了攻击效果最佳的对抗补丁，行人检测交并比(IOU)指标可达0.043 5，显著优于对照算法的0.244 8。     

无人机集群对抗技术新进展

 无人机集群对抗是未来无人机作战的重要模式,它是一群无人机对另一群无人机进行拦截而形成的空中协作式的缠斗,对抗中无人机具有自组织、自适应特点和拟人思维属性,通过感知环境,对周围态势进行判断,依据一定的行为规则,采取攻击、避让、分散、集中、协作、援助等有利策略,使得在整体上涌现出集群对抗系统的动态特性。本文对近年来无人机集群对抗的研究进展进行综述,分析总结相关的关键技术,对研究思路和方法进行深入探讨,以期为从事无人机集群对抗建模研究提供参考。     

基于对抗学习的讽刺识别研究

为了避免现有讽刺识别方法的性能会受训练数据缺乏的影响, 在使用有限标注数据训练的注意力卷积神经网络基础上, 提出一种对抗学习框架, 该框架包含两种互补的对抗学习方法。首先, 提出一种基于对抗样本的学习方法, 应用对抗生成的样本参与模型训练, 以期提高分类器的鲁棒性和泛化能力。进而, 研究基于领域迁移的对抗学习方法, 以期利用跨领域讽刺表达数据, 改善模型在目标领域上的识别性能。在3个讽刺数据集上的实验结果表明, 两种对抗学习方法都能提高讽刺识别的性能, 其中基于领域迁移方法的性能提升更显著; 同时结合两种对抗学习方法能够进一步提高讽刺识别性能。     

基于PCA的对抗样本攻击防御研究

针对机器学习安全、防御对抗样本攻击问题,提出了基于PCA的对抗样本攻击防御方法.首先利用快速梯度符号(FGSM)非针对性攻击方式,敌手为白盒攻击,其次在MNIST数据集上进行PCA来防御深度神经网络模型的逃逸攻击,最后实验结果表明:PCA能够防御对抗样本攻击,在维度降至50维时防御效果达到最好.     

针对车载环境感知系统的对抗样本生成方法

针对车载环境感知场景中的目标检测系统,提出了一种针对目标检测器的对抗样本生成方法。该方法能够实现对目标检测器的白盒对抗攻击,包括目标隐身攻击和目标定向攻击。在Rail数据集和Cityscapes数据集中进行测试,测试结果验证了所提方法对YOLO目标检测器对抗攻击的有效性。     

针对交通标志检测模型的安全性研究

近几年研究表明,现有对抗算法在攻击目标检测模型时,易受到光照、角度、天气等环境因素的影响,导致生成的对抗扰动攻击成功率较低,鲁棒性较差.为进一步提高攻击目标检测模型的成功率,提出了一种对抗算法IFASC-TS(Improved Fooling Automated Surveillance Cameras on Traf...     

基于语音识别的说话人身份辨识系统

提出一种在小字库孤立语音条件下,集成语音识别与说话人的识别技术,并进行说话人身份代码（密码）识别、认证．利用语音信号的短时分析技术进行孤立词的单元分割,采用临界带特征矢量作为语音信号特征,分析了经典语音识别算法——动态时间规整算法,提出了对语音模板各帧加权的改进方法．为提高识别响应速度,研究了多门限多轮次的判决方法,在增加多套模板、提高识别率的情况下,降低了系统的响应时间．     

差分隐私生成式对抗网络的框架与方法综述

生成式对抗网络因使用真实样本迭代训练判别器存在隐私泄露风险,为此已有工作基于差分隐私实现生成式对抗网络的隐私保护。因此,很有必要系统地综述目前差分隐私生成式对抗网络的研究成果。首先,概述和分析重复使用差分隐私的累积隐私预算估计方法,以及介绍生成式对抗网络及其常见变式。其次,总结和分析生成式对抗网络的隐私威胁模型及其评价指标。然后,针对存在的隐私攻击模型,归纳和分析差分隐私生成式对抗网络框架,并对比分析其方法与评价指标;同时,概括和分析差分隐私联邦生成式对抗网络框架,并比较分析其方法与评价指标。最后,分析目前工作存在的问题,并对差分隐私生成式对抗网络的未来研究进行展望。     

基于时序卷积生成对抗网络的单通道音域分离

由于音域信号的语音和音乐常常以混叠的形式出现,因此在许多应用中,希望能有效分离音域信号中的语音和音乐. 普通的分离方法一般采用基于频域信号的处理方式,而频域信号还原时需借助相位信息,导致还原的信息有偏差. 针对时域单通道音域信号分离效果差的问题,提出在对抗生成网络中引入联合训练与时序卷积的方法. 首先,对时域语音进行预处理;然后,将预处理过的数据送入时序卷积生成对抗网络生成器中进行分离;最后,将分离的干扰语音和纯净的干扰语音送到生成对抗网络判别器判别,并把判别结果反馈给生成器. 实验采用MIR-1K和data_thchs30数据集进行算法性能测试,结果表明,提出的单通道音域分离模型的PESQ和STOI指标平均提高了0.31和0.07,证明所提算法有效提升了音域信号中语音和音乐的分离效果.     

面向各向异性3D-MRI图像超分辨率 重建的ESRGAN网络

高分辨率磁共振图像(MRI, magnetic resonance images)能够提高疾病诊断精度,但高分辨率MRI图像的获取十分困难。基于深度学习的图像超分辨率(SR, super resolution)技术可有效地提高图像分辨率。近年来,生成对抗网络(GANs, generative adversarial networks)为3D-MRI图像SR重建提供了新思路。相较于传统的基于深度卷积神经网络(DCNN, deep convolutional neural network)的SR算法,GANs网络以人类视觉机制为目标,且引入判别函数,使重建3D-MRI图像更接近真实图像。研究采用增强超分辨率生成对抗网络(ESRGAN, enhanced super-resolution generative adversarial networks)对3D-MRI图像进行SR重建;并利用3D-MRI图像的跨层面自相似性,将重建任务降维到2D,在保证重建效果的基础上,减少了网络训练时间和内存需求。通过与其他传统算法和基于DCNN算法对比实验表明,提出的算法能够进一步提高3D-MRI图像的视觉...     

基于矢量量化域相似码字替换的对抗嵌入方法

为了整合对图像的隐私保护、版权保护、完整性保护，提出一种压缩域基于相似码字替换的对抗嵌入方法 .该方法属于对抗攻击和信息隐藏的交叉新领域，将传统对抗攻击方法中人为添加的无意义噪声替换成有意义的秘密信息，使对抗嵌入图像错误分类，防止攻击者在云端海量数据库中通过神经网络分类模型捕获特定类别的图像，实现对图像的隐私保护；而且，可以从对抗嵌入图像中完整提取隐藏的秘密信息，实现对图像的版权保护.该对抗嵌入方法的攻击对象是图像的压缩形式-矢量量化索引，攻击中使用该索引的不同相似码字索引替换嵌入的秘密信息，可以实现在高压缩率情况下对图像的双重保护.使用遗传算法优化相似索引扰动，可以有效地降低真实类别的概率，误导分类模型的输出.实验结果证明，在CIFAR-10测试数据集上，使用三种经典的网络分类模型（Resnet,NIN,VGG16），提出的对抗嵌入方法使90.83%的图像以85.44%的平均置信度被错误分类，且嵌入容量可以达到0.75 bpp.     

一种基于音频小波变换的数字水印算法研究

提高语音通信的安全性和保护音频产品的知识产权已经成为人们关注的热点。本文介绍了信息隐藏的基本原理,重点分析了一种基于音频载体的图像数字水印算法,算法对音频载体首先进行小波变换并提取小波系数,然后将二值图像嵌入到低频系数中的较大值系列当中,接受时采用相反的方法对其进行处理并提取出原始水印图像,最后利用MATLAB软件对算法进行仿真实现。结果表明,该算法具有很强的安全性、不可察觉性,对噪声污染和MPEG压缩攻击具有良好的鲁棒性。     

基于WGAN的语音增强算法研究

带噪语音可看成由独立的噪声信号和语音信号经某种方式混合而成,传统语音增强方法需要对噪声信号和干净语音信号的独立性和特征分布做出假设,不合理的假设会造成噪声残留、语音失真等问题,导致语音增强效果不佳。此外,噪声本身的随机性和突变性也会影响传统语音增强方法的鲁棒性。针对这些问题,使用生成对抗网络来对语音进行增强,给出一种基于Wasserstein 距离的生成对抗网络(Wasserstein generative adversarial nets, WGAN)的语音增强方法来加快训练速度和稳定训练过程。该方法无需人工提取声学特征,且使语音增强系统的泛化能力得以提升,在匹配噪声集和不匹配噪声集中都有良好的增强效果。实验结果表明,使用训练出的端对端语音增强模型后,语音信号的客观评价标准(perceptual evaluation of speech quality,PESQ)平均得到23.97%的提高。