基于PCA的对抗样本攻击防御研究

针对机器学习安全、防御对抗样本攻击问题,提出了基于PCA的对抗样本攻击防御方法.首先利用快速梯度符号(FGSM)非针对性攻击方式,敌手为白盒攻击,其次在MNIST数据集上进行PCA来防御深度神经网络模型的逃逸攻击,最后实验结果表明:PCA能够防御对抗样本攻击,在维度降至50维时防御效果达到最好.     

基于局部对抗训练的命名实体识别方法研究

命名实体识别研究中,数据集内普遍存在实体与非实体,实体内部类别间边界样本混淆的问题,极大地影响了命名实体识别方法的性能.提出以BiLSTM-CRF为基线模型,结合困难样本筛选与目标攻击对抗训练的命名实体识别方法.该方法筛选出包含大量边界样本的困难样本,利用边界样本易被扰动偏离正确类别的特性,采用按照混淆矩阵错误概率分布的目标攻击方法,生成对抗样本用于对抗训练,增强模型对混淆边界样本的识别能力.为验证该方法的优越性,设计非目标攻击方式的全局、局部对抗训练方法与目标攻击全局对抗训练方法作为对比实验.实验结果表明,该方法提高了对抗样本质量,保留了对抗训练的优势,在JNLPBA、MalwareTextDB、Drugbank三个数据集上F1值分别提升1.34%、6.03%、3.65%.     

PIDI-FGSM:一种对抗样本生成的梯度处理新方法

深度神经网络在多种模式识别任务上均取得卓越表现,然而相关研究表明深度神经网络非常脆弱,极易受到对抗样本的攻击。且人眼不易察觉的对抗样本还具有迁移性,即针对某个模型生成的对抗样本能够使得其他不同的深度模型也产生误判。主要研究提升对抗样本的迁移性,提出了基于PID控制优化器的快速梯度符号方法（PIDI-FGSM）,用于替代原有的基于动量优化器生成方法（MI-FGSM）。不同于MI-FGSM只累加一阶动量项,PIDI-FGSM同时考虑当前梯度、一阶动量项和一阶微分动量项。此外,PIDI-FGSM经过相应变化后,可与现有其他对抗样本生成方法相结合,在不需要额外运行时间和运算资源的情况下大大提高了对抗样本对于黑盒防御模型的攻击成功率。在ImageNet数据集上的实验表明,结合了PIDI-FGSM的对抗样本生成方法能够更快速地生成攻击成功率更高的对抗样本。通过提出最强攻击组合NI-TI-DI-PIDM2,对6个经典黑盒防御模型的平均攻击达到87.4%的成功率,比现有的动量方法提高3.8%,对3个较为先进的黑盒防御模型的平均攻击达到80.0%的成功率,比现有的动量方法提高4.9%。     

人工智能算法安全研究现状与对策

机器学习助推的新一代人工智能再一次成为学术界和产业界关注的焦点,已取得的进展和深度应用,正在成为世界各国新一轮战略性技术和核心驱动力。然而,数据、算法和算力作为新一代人工智能的核心要素,在支撑数字经济发展的同时,也面临技术和社会双重安全风险。以人工智能算法为主线,聚焦人工智能技术潜在的安全风险,综述分析了人工智能算法面临的不可解释性、逆向攻击、后门攻击、投毒攻击和对抗样本攻击等方面的潜在技术安全问题与挑战,从隐私保护机器学习、算法鲁棒性增强和算法安全评估等几个方面,从技术角度归纳或提出人工智能算法安全的解决对策,旨在为解决人工智能的应用和安全之间的矛盾提供一种研究思路和方向。     

基于生成对抗网络的医学诊断模型知识蒸馏对抗攻击方法

为了提高医学诊断模型防御攻击的能力,提出了一种基于生成对抗网络的医学诊断模型知识蒸馏对抗攻击方法。首先创建医学对抗攻击端到端训练网络,并以残差网络作为对抗网络架构;其次在生成器特征块中融合扩张卷积块和通道注意力机制,采用马尔可夫判别器改进判别器网络结构;最后利用生成器和判别器组建生成对抗网络,使用对抗样本进行知识蒸馏对抗攻击,以训练医学诊断模型提高识别精度。采用对抗样本对所提对抗方法进行攻击验证,结果表明：本文方法对抗攻击的成功率为92.6%,与所对比的主流方法相比,该方法的成功率提高了20%,生成对抗样本的最大平均差异降低了3.68%,峰值信噪比、结构相似性分别提升了5.07%、20.29%。本文方法解决了医学诊断模型在对抗攻击中难以获取网络结构和参数信息的问题,生成的对抗样本更接近真实样本,网络效果更佳,为辅助医疗模型诊断及模型安全性提供了参考方案。     

基于子图采样的大规模图对抗性攻击方法

为提高对抗性攻击在大规模图上的攻击效率,提出了基于子图采样的对抗样本生成方法. 该方法通过引入PageRank、余弦相似度及K跳子图等技术,提取与目标节点高度相关的子图,在大规模图上缓解了计算梯度效率较低的问题,在降低被攻击模型准确性的同时提升了攻击的隐蔽性. 实验结果表明： 所提出的对抗性攻击方法与基于梯度攻击的GradArgmax算法相比,在Cora数据集上提升了30.7%的攻击性能,且在Reddit大规模数据上能够计算GradArgmax算法无法计算的攻击扰动.     

基于随机梯度上升和球面投影的通用对抗攻击方法

在面向样本集的通用对抗攻击中，导致多数样本输出错误的通用扰动设计是研究关键.本文以典型卷积神经网络为研究对象，对现有通用扰动生成算法进行总结，提出采用批量随机梯度上升训练策略和球面投影搜索策略相结合的通用扰动生成算法.算法的每次迭代计算，首先从样本集中抽取小批量样本，采用随机梯度上升策略计算出使损失函数值下降的通用对抗扰动，然后将通用扰动投影到半径为ε的高维球面上，从而缩小通用扰动的搜索空间.算法还引入了正则化技术以改善通用扰动的生成质量.实验结果证明该算法与基线算法对比，攻击成功率显著提升，通用扰动的求解效率提高约30倍.     

多模态情感分析模型对抗攻击评估与防御方法

为系统探究多模态情感分析模型在对抗攻击下的鲁棒性,采用3种经典对抗攻击方法(快速梯度符号方法、投影梯度下降和动量迭代快速梯度符号方法)、2种模态数据输入(视觉和语音)和4种不同的数据特征融合方法(特征相加、特征拼接、多模态低秩双线性和多模态Tucker融合),对比各种组合下模型的性能表现,研究影响多模态情感分析模型鲁棒性的内在因素．提出一种基于互信息最大化的多模态防御方法,通过减少输入模态特征中的冗余信息提升模型鲁棒性．研究结果表明：在非线性特征融合及双模态数据输入组合下,模型抵御对抗攻击效果最佳;在应用互信息最大化防御方法后,模型性能及抵御攻击能力均可得到有效提升．     

基于改进深度卷积生成对抗网络的入侵检测方法研究

针对入侵检测系统因采用的网络攻击样本具有不平衡性而导致检测结果出现较大偏差的问题,文章提出一种将改进后的深度卷积生成对抗网络(DCGAN)与深度神经网络(DNN)相结合的入侵检测模型(DCGAN-DNN),深度卷积生成对抗网络能够通过学习已知攻击样本数据的内在特征分布生成新的攻击样本,并对深度卷积生成对抗网络中生成网络所用的线性整流(ReLU)激活函数作出改进,改善了均值偏移和神经元坏死的问题,提升了训练稳定性。使用CIC-IDS-2017数据集作为实验样本对模型进行评估,与传统的过采样方法相比DCGAN-DNN入侵检测模型对于未知攻击和少数攻击类型具有较高检测率。     

二分类判别网络的对抗样本检测

在原始图像数据集中,添加特殊的细微扰动能形成对抗样本,经这类样本攻击的深度神经网络等模型可能以高置信度给出错误输出,然而当前大部分检测对抗样本的方法有许多前提条件,限制了其检测能力.针对这一问题,该文提出一个二分类判别网络模型,通过多层卷积神经网络来提取样本数据的主要特征;应用特殊的判别目标函数,结合不同程度的噪声数据...     

两阶段目标类指引的行人检测对抗补丁生成算法

针对缘于深度学习模型脆弱性的对抗样本攻击这一国内外热门研究课题，以无人驾驶等实际应用为背景，探讨了针对Yolo-v2行人检测系统的对抗攻击方法;基于Yolo-v2对行人目标的预测置信度和分类概率，提出基于两阶段目标类指引的行人检测对抗补丁生成算法。创新性地提出了目标类指引的攻击策略，通过先后实施目标类指引的对抗补丁生成和对抗补丁增强，有效引导了对抗补丁在训练生成过程中的收敛方向，以此逐步提升对抗补丁攻击行人检测系统的能力;在Inria数据集上实现了79个目标类指引的对抗补丁生成训练与测试。结果表明，算法以“teddy bear”为目标类生成了攻击效果最佳的对抗补丁，行人检测交并比(IOU)指标可达0.043 5，显著优于对照算法的0.244 8。     

针对交通标志检测模型的安全性研究

近几年研究表明,现有对抗算法在攻击目标检测模型时,易受到光照、角度、天气等环境因素的影响,导致生成的对抗扰动攻击成功率较低,鲁棒性较差.为进一步提高攻击目标检测模型的成功率,提出了一种对抗算法IFASC-TS(Improved Fooling Automated Surveillance Cameras on Traf...     

基于图像去噪和图像生成的对抗样本检测方法

针对现有对抗样本检测方法存在检测准确率低和训练收敛速度慢等问题,提出一种基于图像去噪技术和图像生成技术实现的对抗样本检测方法.该检测方法将对抗样本检测问题转换为图像分类问题,无须事先得知被攻击模型的结构和参数,仅使用图像的语义信息和分类标签信息即可判定图像是否为对抗样本.首先,采用基于swin-transformer和vision-transformer实现的移动窗口式掩码自编码器去除图像中的对抗性噪声,还原图像的语义信息.然后,使用基于带有梯度惩罚的条件生成式对抗网络实现的图像生成部分根据图像分类标签信息生成图像.最后,将前两阶段输出的图像输入卷积神经网络进行分类,通过对比完成去噪的图像和生成图像的分类结果一致性判定检测图像是否为对抗样本.在MNIST、GTSRB和CIAFAR-10数据集上的实验结果表明,相比于传统检测方法,本文提出的对抗样本检测方法的平均检测准确率提高6%~36%,F1分数提高6%~37%,训练收敛耗时缩减27%~83%,存在一定优势.     

语音识别对抗攻击方法综述

用于语音识别(SR)的深度神经网络在提供强大的语言计算和分析能力的同时,极易受到对抗性攻击影响,在人为不可察觉的情况下,造成语音转录错误,甚至是执行特定非法控制命令．本研究聚焦语音识别对抗攻击,首先,从攻击模型的角度,以攻击演变的顺序对语音对抗攻击方法进行分类论述;然后,根据SR系统的输入方式、处理过程的特点,分析现有方法克服空中条件、优化攻击效果、添加不可察觉音频扰动的实现原理及相关的优势与劣势;最后,对语音识别所面临的技术挑战进行总结,并对未来研究发展方向进行展望．     

基于生成对抗网络的恶意网络流生成及验证

针对基于深度学习的分类器面对对抗样本时缺乏稳定性的问题,基于生成对抗网络(GAN)提出了一种新的模型,用于生成对抗样本。该模型首次实现了直接以恶意网络流为原始样本的对抗样本生成,并首次提出了弱相关位的概念,用于保证恶意网络流对抗样本的可执行性和攻击性。利用该模型生成的对抗样本能够有效地欺骗基于深度学习的网络安全检测器,且通过实验验证了该对抗样本具有实际攻击效果。     

攻击标签信息的对抗分类算法

真实数据集中存在的对抗样本一方面易导致分类器取得较差分类结果，另一方面如果能够被合理利用，分类器的泛化能力将得到显著提高。针对现有大部分分类算法并没有利用对抗样本训练分类模型，提出一种攻击标签信息的对抗分类算法（ACA）。该方法从给定数据集中选取一定比例样本并攻击所选取的样本标签使之成为对抗样本，即将样本标签替换成其他不同类型的标签。利用支持向量机（support vector machine，SVM）训练包含对抗样本的数据集，计算生成的SVM输出误差对于输入样本的一阶梯度信息并嵌入到输入样本特征中以更新输入样本。再次利用SVM训练更新后的样本以生成对抗的SVM（A-SVM）。原理分析与实验结果表明，一阶梯度信息不仅提供了一种分类器输出与输入之间的正相关关系，而且可提高A-SVM的实际分类性能     

基于潜在数据挖掘的小样本数据库对抗攻击防御算法

为了降低小样本数据库欺骗率,提升小样本数据库的攻击防御效果,设计了一种基于潜在数据挖掘的小样本数据库对抗攻击的防御算法(潜在数据挖掘的防御算法).采用改进的Apriori算法,通过频繁属性值集的工作过程获取准确的强关联规则优势,并从小样本数据库中挖掘潜在数据对抗攻击,同时优化候选集寻找频繁集的过程,然后利用关联分析检测对抗攻击,并通过可信度调度控制访问速率来防止产生恶意会话,实现小样本数据库对抗攻击防御.实验结果表明,潜在数据挖掘的防御算法可有效防御小样本数据库遭受的多种类型攻击,降低攻击产生的数据库欺骗率,保障小样本数据库服务器利用率的稳定性.     

逃避攻击下恶意PDF文件检测技术

KNN(K近邻)算法以其操作简单、分类效果明显的优点被广泛应用于网络入侵检测、垃圾邮件识别和图像识别等领域。KNN算法通过计算测试集与训练集之间的相似度进行分类。传统的机器学习分类模型通常只考虑分类的精度,没有考虑到攻击者的攻击问题,导致当存在非法攻击时,分类模型的鲁棒性降低。对此首先通过使用逃避攻击方法实现对KNN算法在恶意PDF文件分类上的攻击,然后将攻击产生的对抗样本添加到训练集中训练出新的分类器,最后模拟两种不同攻击方式在不同攻击强度下对改进前后KNN分类器分类效果的影响。实验结果表明,通过将对抗样本添加到训练集中能够有效提高KNN分类器的鲁棒性。     

基于k-WTA的对抗样本防御模型研究

为提高图像分类神经网络的鲁棒性,提出一种基于k-WTA的对抗样本防御模型Att-k-DefGAN.模型在Rob-GAN的基础上做出改进,并利用k-WTA激活函数的不连续性与模型训练中的对抗攻击预处理形成对抗,进一步提高分类神经网络的鲁棒性.实验结果表明,在CIFAR-10数据集和ImageNet子集上,Att-k-De...     

基于SNGAN的黑盒恶意软件对抗样本生成方法

目前，为了应对数以百万计的Android恶意软件，基于机器学习的检测器被广泛应用，然而其普遍存在防对抗攻击能力差的问题，对恶意软件对抗样本生成方法的研究有助于促进恶意软件检测领域相关研究的发展.黑盒场景下的对抗样本生成技术更加符合现实环境，但相较于白盒场景效果不佳.针对这一问题，本文提出了一种基于SNGAN的黑盒恶意软件对抗样本生成方法，将图像领域的SNGAN方法迁移到恶意软件领域，通过生成器网络和替代检测器网络的迭代训练生成对抗样本，并通过谱归一化来稳定训练过程.该方法能够对已有的恶意软件添加扰动，达到欺骗机器学习检测器的效果.实验结果证明，该方法对多种机器学习分类器均可以有效规避检测，验证了方法的可行性和可迁移性.