| 多模态情感分析模型对抗攻击评估与防御方法 |
| |
| 引用本文： | 范福兰,聂新,邓贤君,刘生昊.多模态情感分析模型对抗攻击评估与防御方法[J].华中科技大学学报(自然科学版),2023(2):19-24. |
| |
| 作者姓名： | 范福兰 聂新 邓贤君 刘生昊 |
| |
| 作者单位： | 1. 中南民族大学教育学院;2. 华中科技大学网络空间安全学院分布式系统安全湖北省重点实验室湖北省大数据安全工程技术研究中心 |
| |
| 基金项目： | 国家自然科学基金资助项目(62207033)；;湖北省高校人文社科基地绩效评价信息管理研究中心开放课题(2020JX01)；;中央高校基本科研业务费专项资金资助项目(CSQ19013)； |
| |
| 摘 要： | 为系统探究多模态情感分析模型在对抗攻击下的鲁棒性，采用3种经典对抗攻击方法(快速梯度符号方法、投影梯度下降和动量迭代快速梯度符号方法)、2种模态数据输入(视觉和语音)和4种不同的数据特征融合方法(特征相加、特征拼接、多模态低秩双线性和多模态Tucker融合)，对比各种组合下模型的性能表现，研究影响多模态情感分析模型鲁棒性的内在因素．提出一种基于互信息最大化的多模态防御方法，通过减少输入模态特征中的冗余信息提升模型鲁棒性．研究结果表明：在非线性特征融合及双模态数据输入组合下，模型抵御对抗攻击效果最佳；在应用互信息最大化防御方法后，模型性能及抵御攻击能力均可得到有效提升．
|
| 关 键 词： | 多模态 情感分析 对抗攻击 对抗防御 互信息最大化 |
|
