基于跨模态交叉注意力网络的多模态情感分析方法

挖掘不同模态内信息和模态间信息有助于提升多模态情感分析的性能,本文为此提出一种基于跨模态交叉注意力网络的多模态情感分析方法。首先,利用VGG-16网络将多模态数据映射到全局特征空间;同时,利用Swin Transformer网络将多模态数据映射到局部特征空间;其次,构造模态内自注意力和模态间交叉注意力特征;然后,设计一种跨模态交叉注意力融合模块实现不同模态内和模态间特征的深度融合,提升多模态特征表达的可靠性;最后,通过Softmax获得最终预测结果。在2个开源数据集CMU-MOSI和CMU-MSOEI上进行测试,本文模型在七分类任务上获得45.9%和54.1%的准确率,相比当前MCGMF模型,提升了0.66%和2.46%,综合性能提升显著。     

基于距离置信度分数的多模态融合分类网络

使用多模态数据建模可以有效地克服单一模态信息量不足的问题,大大提高模型的性能.但在量化神经网络模型置信度,尤其是对于多模态融合模型方面并没有很多进展.基于此,提出一种基于嵌入的方法,在嵌入空间中通过计算样本间的距离进行局部密度估计,进而计算模型的置信度分数.该方法具备可扩展性,不仅可以用于单一模态模型,还可以用于多模态...     

基于文本指导的层级自适应融合的多模态情感分析

提出了一种基于文本模态指导的多模态层级自适应融合方法,以文本模态信息为指导实现多模态信息的层级自适应筛选及融合。首先,基于跨模态注意力机制实现两两模态之间的重要性信息表征;然后通过多模态自适应门控机制实现基于多模态重要信息的层级自适应融合;最后综合多模态特征和模态重要性信息实现多模态情感分析。在公共数据集MOSI和MOSEI上的实验结果表明：对比基线模型,本文所提方法在准确率与F₁值方面分别提升了0.76%和0.7%。     

基于Tamura纹理特征提取和SVM的多模态脑肿瘤MR图像分割

在Tamura纹理特征和支持向量机(SVM)算法基础上提出一种多模态脑肿瘤图像分割算法.将4种模态下的多序列核磁共振图像(MRI)的局部灰度特征与Tamura纹理度量相结合,尽可能提取足够多的图像信息;在SVM模型中输入已知样本并进行训练;用训练好的SVM模型处理其他脑肿瘤图像.实验通过对20例患者的图像进行展开,从实验数据来看,提出的方法可以精准有效地分割出脑肿瘤区域,得到脑肿瘤的边界,并且对脑肿瘤图像的差异性表现出较强的自适应能力.     

基于多层次特征融合的Transformer人脸识别方法

卷积神经网络中的卷积操作只能捕获局部信息,而Transformer能保留更多的空间信息且能建立图像的长距离连接.在视觉领域的应用中,Transformer缺乏灵活的图像尺寸及特征尺度适应能力,通过利用层级式网络增强不同尺度建模的灵活性,且引入多尺度特征融合模块丰富特征信息.本文提出了一种基于改进的Swin Transformer人脸模型——Swin Face模型.Swin Face以Swin Transformer为骨干网络,引入多层次特征融合模块,增强了模型对人脸的特征表达能力,并使用联合损失函数优化策略设计人脸识别分类器,实现人脸识别.实验结果表明,与多种人脸识别方法相比,Swin Face模型通过使用分级特征融合网络,在LFW、CALFW、AgeDB-30、CFP数据集上均取得最优的效果,验证了此模型具有良好的泛化性和鲁棒性.     

基于多模态3D-CNNs特征提取的MRI脑肿瘤分割方法

针对目前MRI脑肿瘤分割中的无监督特征提取方法无法适应脑肿瘤图像的差异性,提出一种基于多模态3D卷积神经网络(CNNs)特征提取的MRI脑肿瘤分割方法。将2D的多模态MRI图像组合成3D原始特征,通过3D-CNNs提取特征,更有利于提取各模态之间的差异信息,去除各模态之间的冗余干扰信息,同时缩小原始特征邻域大小,以适应同一病人不同图像层肿瘤大小的差异变化,进一步提高MRI脑肿瘤的分割精度。实验结果证明,能适应不同病人各模态之间的差异性和多变性,以提高脑肿瘤的分割精度。     

基于空间自注意力机制和深度特征重建的脑MR图像分割方法

准确分割核磁共振(magnetic resonance, MR)图像中的脑组织是临床诊断、手术计划和辅助治疗的关键步骤.深度学习在各种图像分割任务中表现出巨大潜力，现有模型没有一种有效方法汇总远距离像素间的关系.在网络解码阶段不能很好地融合不同层级的特征，导致无法准确定位.为克服上述问题，本文提出一种基于空间自注意力机制和深度特征重建的脑MR图像分割方法，构建了一个可以融合3维信息的2D模型，可快速准确对3D结构图像进行密集预测.在MRBrainS13数据集和IBSR数据集上进行充分地实验研究，结果表明本文方法在3D多模态和单模态脑MR图像分割方面优于目前的2D模型，运算和推理时间相比3D模型小很多，性能却十分接近.     

基于注意力机制的分层次交互融合多模态情感分析

针对基于视频的多模态情感分析中,通常在同一语义层次采用同一种注意力机制进行特征捕捉,而未能考虑模态间交互融合对情感分类的差异性,从而导致模态间融合特征提取不充分的问题,提出一种基于注意力机制的分层次交互融合多模态情感分析模型(hierarchical interactive fusion network based on attention mechanism,HFN-AM),采用双向门控循环单元捕获各模态内部的时间序列信息,使用基于门控的注意力机制和改进的自注意机制交互融合策略分别提取属于句子级和篇章级层次的不同特征,并进一步通过自适应权重分配模块判定各模态的情感贡献度,通过全连接层和Softmax层获得最终分类结果。在公开的CMU-MOSI和CMU-MOSEI数据集上的实验结果表明,所给出的分析模型在2个数据集上有效改善了情感分类的准确率和F1值。     

融合Swin Transformer的虫害图像实例分割优化方法研究

【目的】为了实现对虫害的精准监测，提出了一种融合Swin Transformer的图像实例分割优化方法，以期有效解决复杂真实场景下多幼虫个体图像识别分割困难的问题。【方法】选用Swin Transformer模型，改进Mask R-CNN实例分割模型的主干网部分，对黄野螟幼虫虫害图像进行识别分割。针对不同结构参数的Swin Transformer模型与ResNet模型，调整各层的输入输出维度，将其分别设置为Mask R-CNN的主干网进行对比实验，从定量与定性两个角度分析不同主干网的Mask R-CNN模型对黄野螟幼虫的识别分割精度与效果，确定最佳模型结构。【结果】(1)该方法在虫害识别框选方面的测度(F1)分数可达89.7%,平均精度(A_P)可达88.0%;在虫害识别分割方面的F1分数可达84.3%,A_P可达82.2%。相较于Mask R-CNN,在目标框选与目标分割方面分别提升8.75%与8.40%。(2)对于小目标虫害识别分割任务，该方法在虫害识别框选方面的F1分数可达88.4%,A_P可达86.3%;在虫害识别分割...     

基于注意力模型的多模态特征融合雷达知识推荐

为了能够在数量庞大的雷达技术资料中快速准确地找到科研人员感兴趣的雷达知识信息并进行推荐,提出了一种基于注意力模型的多模态特征融合雷达知识推荐方法,学习高层次的雷达知识的多模态融合特征表示,进而实现雷达知识推荐.该方法主要包括数据预处理、多模态特征提取、多模态特征融合和雷达知识推荐4个阶段.实验结果表明:与只利用单一模态特征以及简单串联多模态特征的方法相比,利用文中方法学习到的多模态融合特征进行雷达知识推荐,推荐结果的准确率、召回率和综合评价指标(F1值)均有显著提高,表明提出的基于注意力模型的多模态特征融合方法对于知识推荐任务更加有效,体现了算法的优越性.     

基于多任务多模态学习的谣言检测框架

谣言检测是对社交网络上传播的信息内容进行真实性鉴别的任务.一些研究表明融合多模态信息有助于谣言检测,而现有多模谣言检测方法具有以下问题：（1）只是将处于不同表示空间的单模态特征简单拼接形成多模态表示,没有考虑多模态之间的关系,难以提高模型的预测性能和泛化能力.（2）缺乏对社交网络数据组成结构的细致考虑,只能处理由文本-图像对的社交网络数据,无法处理由多幅图像组成的数据,且当其中一种模态（图像或文本）缺失时模型无法进行预测.针对上述问题,本文提出了一种多任务多模态谣言检测框架（MMRDF）,该框架由3个子网络组成：文本子网络、视觉子网络和融合子网络,通过从单模态数据中提取浅层至深层的单模特征表示,在不同的子空间中产生特征图,丰富模态内特征,并通过复合卷积结构融合生成联合多模态表示,以获得更好的预测性能.同时该框架可以灵活地处理所有类型的推文（纯文本、纯图像、文本-图像对和多图像文本）,并且没有引入造成额外时间延迟的传播结构、响应内容等数据作为输入,可以在推文发布后立即应用于谣言检测,减少辟谣的时间延迟.在两个真实数据集上的实验结果表明,所提框架明显优于目前最先进的方法,准确率上的提升分别...     

一种深度偏最小二乘相关分析的多模态融合方法

典型相关分析是一种经典的线性多模态融合方法,但是难以有效解决高维非线性数据的多模态融合问题.结合典型相关分析、线性回归分析与深度神经网络,提出一种新颖的多模态融合方法,即深度偏最小二乘相关分析.该方法能够在最大化不同模态之间相关性的前提下学习具有强鉴别力的跨模态融合数据,并且能够有效解决典型相关分析面临的高维非线性困境.在真实图像数据集上的实验结果表明,提出的方法具有良好的融合鉴别力和相关收敛性,是一种有效的多模态融合方法.     

基于有向图模型的多模态新闻图像检索研究

不同模态特征描述网络新闻数据各具优势。为充分利用不同模态特征的优点,提高网络新闻图像检索准确率,提出了一种基于有向图理论模型的多模态特征融合检索方法。首先对新闻图像进行预处理,提升新闻图像兴趣点对比度,之后对新闻文本提取关键词,然后对新闻图像进行场景辨别,结合图像人物特征,将文本、场景、人物特征依据有向图理论模型进行融合,形成基于有向图理论模型的多模态融合检索。在10万条新闻数据上测试,实验结果表明,本文提出的方法检索准确率达到了69%,查全率达到70%,效果提升了5%。     

拉索支座减隔震桥梁自适应推倒分析方法

以拉索支座减隔震桥梁为研究对象,提出了自适应推倒分析方法(AMPP),对比多模态推倒分析方法(MPA)和一阶模态推倒分析方法(PO-1),研究AMPP方法应用于这类桥梁抗震性能评估的可行性及效果.结果表明:推倒分析方法可以成功应用于拉索支座减隔震桥梁的抗震性能评估,AMPP方法对关键参数的计算精度高于一阶模态推倒分析和多模态推倒分析,但多模态推倒方法对下部构件的内力评估精度较好.     

"文本为主"的多模态特征融合的新闻视频分类算法

视频分类算法通过融合多模态特征提高分类性能.大多数多模态特征融合算法采用统一模式处理不同模态特征,忽略文本与声音/图像特征在视频分类能力和可靠性方面的差异.该文提出一种新闻视频分类算法,采用文本为主,声音/图像为辅的特征融合模式.该算法充分考虑文本特征在内容分类方面的高可靠性,并在适当情况下,辅以声音/图像信息为补充.对10类新闻视频进行分类实验,并与其他两种分类算法对比,表明在提取相同的底层特征情况下,该文算法的平均分类性能最佳.     

一种改进超像素融合的图像分割方法

基于超像素的传统图像分割方法在边缘分割的一致性、计算效率和融合算法的自适应性等方面仍存在诸多问题. 文章结合国内外相关研究进展,提出了一种新型超像素融合的图像分割方法. 方法采用ERS超像素过分割算法,以强度、梯度直方图作为超像素特征,并采取EMD方法计算特征距离,通过混合Weibull模型获取融合自适应阈值,进而完成分割. 算法时间复杂度降至为O(N),分割过程中不需要手动选取待分割区域,有效提高了算法的自适应性. 实验结果表明本方法在分割边界准确度和处理效率方面优于现有方法.     

多模态情感分析模型对抗攻击评估与防御方法

为系统探究多模态情感分析模型在对抗攻击下的鲁棒性,采用3种经典对抗攻击方法(快速梯度符号方法、投影梯度下降和动量迭代快速梯度符号方法)、2种模态数据输入(视觉和语音)和4种不同的数据特征融合方法(特征相加、特征拼接、多模态低秩双线性和多模态Tucker融合),对比各种组合下模型的性能表现,研究影响多模态情感分析模型鲁棒性的内在因素．提出一种基于互信息最大化的多模态防御方法,通过减少输入模态特征中的冗余信息提升模型鲁棒性．研究结果表明：在非线性特征融合及双模态数据输入组合下,模型抵御对抗攻击效果最佳;在应用互信息最大化防御方法后,模型性能及抵御攻击能力均可得到有效提升．     

基于结构特征和稀疏表示的多模态遥感图像配准研究

<正>我校计算机与信息技术学院樊建伟博士2020年获批国家自然科学基金青年项目:基于结构特征和稀疏表示的多模态遥感图像配准研究.项目批准号:62002307.随着对地观测平台和多传感器的不断应用,多模态遥感数据日益丰富,如合成孔径雷达(SAR)图像、可见光图像、红外图像等.不同模态图像间存在着一定的差异性和互补性.因此,如何实现多模态遥感图像间的融合,以充分发挥不同模态遥感图像的优势,是值得研究的问题.在此背景下,开展多模态遥感图像配准算法的研究对于推动高分辨率对地观测系统的发展,具有重要的研究价值和科学意义,符合国家中长期科技发展战略需求.然而,由于不同传感器的成像机理不同,所获取图像的时间、角度等也存在差异,导致在实际应用中传统配准方法很难提取多模态遥感图像的共有特征,造成特征匹配异常困难.     

基于多变量多项式模型的多模态生物特征分数层融合算法

提出了一种基于多变量多项式模型的多模态生物特征分数层融合算法(MPMSF),用多变量多项式模型获取融合分数,用最小二乘法确定模型中的参数.并对多变量多项式模型进行简化,以减小计算量.MPMSF的特点在于不需要分数归一化.采用交叉验证的方法,评估了各种分数层融合算法的正确接受率和分数归一化、单模态性能对分数层融合算法的影响.开集测试表明,MPMSF算法优于传统的分数层融合算法.同时,MPMSF满足多模态生物特征识别系统实时性的需求.     

贝叶斯优化的RSF模型脑肿瘤图像分割新方法

由于核磁共振成像(MRI,magnetic resonance imaging)模糊、灰度不均,使得脑肿瘤图像分割精确度不高,给出了一种贝叶斯优化的自适应RSF模型.传统RSF模型的水平集分割性能受初始化和控制参数影响较大,需要大量人工干预,限制了其在实际中的应用.利用贝叶斯估计的自适应性,自动提取初始轮廓,并用于RSF模型细分割脑肿瘤图像,得到了一种脑肿瘤MRI图像分割新方法.结果表明,实验采用Jaccard系数和分割时间评估分割方法的精度和效率,与RSF-mean shift方法相比,其分割精度提高20%以上,分割效率提高32%以上.