多模态情感分析模型对抗攻击评估与防御方法

为系统探究多模态情感分析模型在对抗攻击下的鲁棒性,采用3种经典对抗攻击方法(快速梯度符号方法、投影梯度下降和动量迭代快速梯度符号方法)、2种模态数据输入(视觉和语音)和4种不同的数据特征融合方法(特征相加、特征拼接、多模态低秩双线性和多模态Tucker融合),对比各种组合下模型的性能表现,研究影响多模态情感分析模型鲁棒性的内在因素．提出一种基于互信息最大化的多模态防御方法,通过减少输入模态特征中的冗余信息提升模型鲁棒性．研究结果表明：在非线性特征融合及双模态数据输入组合下,模型抵御对抗攻击效果最佳;在应用互信息最大化防御方法后,模型性能及抵御攻击能力均可得到有效提升．     

基于多模态学习的深度玻尔兹曼机分析微博用户的心理压力

提出了利用基于多模态学习的深度玻尔兹曼机模型(DBM)对微博图片和文本数据进行处理和分析,在模型中可以实现文本和图片的低层次特征向稀疏高层次抽象特征的转变,最后用一个联合层表示来自2种不同模态数据的融合特征.此外,该模型发现2种不同模态数据的输入特征处在低层次时是高度非线性的.实验结果证明了本文所提出方法的有效性.     

鉴别流形敏感的跨模态轴承故障诊断方法

目的 在实际应用中采集的原始多模态故障数据通常是包含大量噪声和冗余信息的非线性数据,如何从不同故障模态中提取有效的非线性故障特征仍是一个挑战性的问题。方法 提出了一种鉴别流形敏感的跨模态故障诊断方法,在该方法中首先借助相关分析理论在跨模态故障空间中构建了不同模态间的相关系数,并通过理论推导获得了相关系数的等价优化模型,然后利用局部近邻图构建了鉴别流形敏感散布,进而通过最大化不同模态间的相关性和最小化鉴别流形敏感散布,形成了鉴别流形敏感的跨模态故障诊断模型,并且在理论上推导出了该优化模型的解析解,从而能够从不同模态的故障数据中学习强鉴别力的非线性故障特征。结果 在德国帕德博恩轴承数据集和多模态轴承故障数据集上设计了针对性实验,实验结果显示在少量故障样本用于训练时即可获得良好的诊断准确性。结论 提出的方法是一种有效的跨模态故障诊断方法。     

基于注意力模型的多模态特征融合雷达知识推荐

为了能够在数量庞大的雷达技术资料中快速准确地找到科研人员感兴趣的雷达知识信息并进行推荐,提出了一种基于注意力模型的多模态特征融合雷达知识推荐方法,学习高层次的雷达知识的多模态融合特征表示,进而实现雷达知识推荐.该方法主要包括数据预处理、多模态特征提取、多模态特征融合和雷达知识推荐4个阶段.实验结果表明:与只利用单一模态特征以及简单串联多模态特征的方法相比,利用文中方法学习到的多模态融合特征进行雷达知识推荐,推荐结果的准确率、召回率和综合评价指标(F1值)均有显著提高,表明提出的基于注意力模型的多模态特征融合方法对于知识推荐任务更加有效,体现了算法的优越性.     

基于跨模态交叉注意力网络的多模态情感分析方法

挖掘不同模态内信息和模态间信息有助于提升多模态情感分析的性能,本文为此提出一种基于跨模态交叉注意力网络的多模态情感分析方法。首先,利用VGG-16网络将多模态数据映射到全局特征空间;同时,利用Swin Transformer网络将多模态数据映射到局部特征空间;其次,构造模态内自注意力和模态间交叉注意力特征;然后,设计一种跨模态交叉注意力融合模块实现不同模态内和模态间特征的深度融合,提升多模态特征表达的可靠性;最后,通过Softmax获得最终预测结果。在2个开源数据集CMU-MOSI和CMU-MSOEI上进行测试,本文模型在七分类任务上获得45.9%和54.1%的准确率,相比当前MCGMF模型,提升了0.66%和2.46%,综合性能提升显著。     

面向多模态图像的广义辅助相关投影方法

多模态图像是同一目标的多种图像,面向多模态图像的子空间投影是机器视觉领域的热门研究课题,然而已有的多模态子空间投影仅仅利用投影方向来实现测试样本的子空间投影,忽略了测试和训练样本间的近邻关系,这种关系能够有效增强识别性能。为此,基于相关分析理论和图的光滑性准则,提出了一种新的广义辅助相关投影方法,即多模态广义辅助相关分析,该方法能够从多模态训练样本中学习每个模态对应的相关投影方向,并利用光滑性辅助的广义优化模型,显示地嵌入了测试和训练样本之间的局部结构信息,从而有效增强了相关特征的鉴别力。大量的实验结果已经展示了该方法的优越性。     

一种融合多模态特征的视频暴力检测方法

暴力事件检测是视频内容智能分析的一个常见任务,在互联网视频内容审查、影视作品分析、安防视频监控等领域有重要应用.面向视频中暴力检测任务,提出了一个包含关系网络和注意力机制的方法来融合视频中的多模态特征,该方法首先使用深度学习提取视频中多个模态特征,如音频特征、光流特征、视频帧特征,接着组合不同的模态特征,利用关系网络来建模多模态之间的关系;然后基于深度神经网络设计了多头注意力模块,学习多个不同的注意力权重来聚焦视频的不同方面,以生成区分力强的视频特征.该方法可以融合视频中多个模态,提高了暴力检测准确率.在公开数据集上训练和验证的实验结果表明,提出的多模态特征融合方法,与仅使用单模态数据的方法和现有多模态融合的方法相比,具有明显的优势,检测准确率分别提升了4.89％和1.66％.     

基于高维映射感知器网络的机器学习分类方法

利用Rosenblatt感知器网络的权值学习方法,提出一种解决线性不可分样本的多类分类方法.该方法不需要考虑使用何种核函数,将高维坐标值作为分类信息的函数,直接解决非线性多类分类问题.对双螺旋线数据分类应用的结果表明:基于高维映射感知器网络的多类分类机器学习方法可以有效解决非线性数据的分类问题,并能够提高分类效率和准确度.     

基于KCCA的特征融合方法及人耳人脸多模态识别

鉴于人耳和人脸特殊的生理位置关系,本文从非打扰识别的角度出发,提出一种基于人耳人脸的多模态生物特征识别技术。首先仅采集侧面人脸图像,然后将核方法引入到典型相关分析(CCA)中,提出基于核CCA的特征融合方法,抽取两组特征矢量的非线性典型相关特征构成有效鉴别特征矢量用于识别,并应用其提取人耳人脸的关联特征进行个体的分类识别。实验结果验证了基于KCCA特征融合方法的有效性;此外,与单一的人耳或侧面人脸特征体识别比较,基于人耳和人脸融合的多模态生物特征识别性能得到提高,这为非打扰生物特征识别提供了一条有效的途径。     

基于文本指导的层级自适应融合的多模态情感分析

提出了一种基于文本模态指导的多模态层级自适应融合方法,以文本模态信息为指导实现多模态信息的层级自适应筛选及融合。首先,基于跨模态注意力机制实现两两模态之间的重要性信息表征;然后通过多模态自适应门控机制实现基于多模态重要信息的层级自适应融合;最后综合多模态特征和模态重要性信息实现多模态情感分析。在公共数据集MOSI和MOSEI上的实验结果表明：对比基线模型,本文所提方法在准确率与F₁值方面分别提升了0.76%和0.7%。