多模态英语课堂的模态关系和使用原则探究

随着多模态新教学法的发展和多媒体教学工具的引进,高校英语课堂中的多模态话语分析的研究日趋重要。从多模态视角出发,对优秀英语教师的课堂录像进行标注和分析。一方面描述成功英语课堂实例中的多种模态,体现对外语教学的启发意义;另一方面探究各种模态之间的相互关系和在不同教学环节中的作用,从而试图构建英语课堂中多模态的设计、选择和操作原则。多种模态在课堂教学中配合体现和构建意义,发挥良好教学作用,共同实现教学目标。     

基于文本指导的层级自适应融合的多模态情感分析

提出了一种基于文本模态指导的多模态层级自适应融合方法,以文本模态信息为指导实现多模态信息的层级自适应筛选及融合。首先,基于跨模态注意力机制实现两两模态之间的重要性信息表征;然后通过多模态自适应门控机制实现基于多模态重要信息的层级自适应融合;最后综合多模态特征和模态重要性信息实现多模态情感分析。在公共数据集MOSI和MOSEI上的实验结果表明：对比基线模型,本文所提方法在准确率与F₁值方面分别提升了0.76%和0.7%。     

基于ELAN的多模态隐喻中各种模态的耦合分析——以口语诗《广岛》为例

文章基于概念隐喻理论,通过ELAN软件对口语诗《广岛》中的话语文本、音韵特征和语伴手势进行了分层标注、统计和分析,研究不同模态如何互动耦合来动态构建多模态隐喻。从统计结果来看,在多模态隐喻构建中,言语、音韵特征和手势基本上同步,实现了时空耦合;言语提供解释,手势形象地表示源域指明动作的产生和结果,音韵特征突出言语的中心内容,三种模态相互作用并贯通成和谐的整体,通过语义耦合和语境耦合形象地揭示了隐喻思维,突出了语篇的主题。     

奇幻电影《水形物语》中“爱”的多模态隐喻表征研究

多模态隐喻研究目前多集中于政治漫画、宣传海报、企业商标等静态文本方面,但对于电影等动态文本的研究较少。文章以双域型网络为理论框架,从双边共享拓扑网络、不对称双边网络和双边非填充共享拓扑网络三方面,结合口头语言和图像符号等模态,分析奇幻电影《水形物语》中"爱"这一基本情感的多模态隐喻表征。研究结果表明:电影中多模态隐喻的表征多以口头符号为始源域,图像符号为目标域,这与电影主要以人物台词推动故事情节发展的特点相关;多模态隐喻在静态文本和动态文本中的表征形式不一样,在动态文本中的研究更加复杂,隐喻映射的类型更多,多模态隐喻的表征能够更好地展示人物社会关系,揭示电影主题;双域型网络合成空间中的层创结构能够产生新的隐喻意义,为影片中多模态隐喻表征提供认知理据。     

MC-CA:基于模态时序列耦合与交互式多头注意力的多模态情感分析

针对现有多模态情感分析模型对模态交互问题的忽视导致其性能受限的问题,提出一种基于模态时序列耦合与交互式多头注意力的多模态情感分析模型（MC-CA）。利用仿射变换耦合模态的情感信息和时序信息,使用交互式多头注意力机制获取模态间的交互信息,利用多通道情感预测方法综合全局与局部信息实现多模态协同训练。在多个公开数据集上的实验结果表明,该模型能够建立多模态数据之间的交互,在多模态情感分析任务中取得优异的性能。     

多模态话语理论在英语分级教学中的应用——以大学英语课堂教学为例

以多模态话语理论为框架,分析大学英语教学的现状及存在的问题,指明多模态话语理论应用于大学英语课堂教学的必要性及可行性。并给出在大学英语课堂教学中构建多模态文化语境及多模态情景语境的方略。     

基于跨模态交叉注意力网络的多模态情感分析方法

挖掘不同模态内信息和模态间信息有助于提升多模态情感分析的性能,本文为此提出一种基于跨模态交叉注意力网络的多模态情感分析方法。首先,利用VGG-16网络将多模态数据映射到全局特征空间;同时,利用Swin Transformer网络将多模态数据映射到局部特征空间;其次,构造模态内自注意力和模态间交叉注意力特征;然后,设计一种跨模态交叉注意力融合模块实现不同模态内和模态间特征的深度融合,提升多模态特征表达的可靠性;最后,通过Softmax获得最终预测结果。在2个开源数据集CMU-MOSI和CMU-MSOEI上进行测试,本文模型在七分类任务上获得45.9%和54.1%的准确率,相比当前MCGMF模型,提升了0.66%和2.46%,综合性能提升显著。     

基于多模态3D-CNNs特征提取的MRI脑肿瘤分割方法

针对目前MRI脑肿瘤分割中的无监督特征提取方法无法适应脑肿瘤图像的差异性,提出一种基于多模态3D卷积神经网络(CNNs)特征提取的MRI脑肿瘤分割方法。将2D的多模态MRI图像组合成3D原始特征,通过3D-CNNs提取特征,更有利于提取各模态之间的差异信息,去除各模态之间的冗余干扰信息,同时缩小原始特征邻域大小,以适应同一病人不同图像层肿瘤大小的差异变化,进一步提高MRI脑肿瘤的分割精度。实验结果证明,能适应不同病人各模态之间的差异性和多变性,以提高脑肿瘤的分割精度。     

基于情感信息辅助的多模态情绪识别

不同于纯文本的情绪分析, 本文面向多模态数据(文本和语音)进行情绪识别研究。为了同时考虑多模态数据特征, 提出一种新颖的联合学习框架, 将多模态情绪分类作为主任务, 多模态情感分类作为辅助任务, 通过情感信息来辅助提升情绪识别任务的性能。首先, 通过私有网络层对主任务中的文本和语音模态信息分别进行编码, 以学习单个模态内部的情绪独立特征表示。接着, 通过辅助任务中的共享网络层来获取主任务的辅助情绪表示以及辅助任务的单模态完整情感表示。在得到主任务的文本和语音辅助情绪表示之后, 分别与主任务中的单模态独立特征表示相结合, 得到主任务中单模态情绪信息的完整表示。最后, 通过自注意力机制捕捉每个任务上的多模态交互特征, 得到最终的多模态情绪表示和情感表示。实验结果表明, 本文方法在多模态情感分析数据集上可以通过情感辅助信息大幅度地提升情绪分类任务的性能, 同时情感分类任务的性能也得到一定程度的提升。     

一种适用于多模态过程监控的集成统计指标

具有多模态特性的工业过程的数据分布呈现出与单模态过程不同的特性。在构造监控指标时,不仅要能够概括每个模态内部的数据统计特征,还要充分考虑到不同模态之间的信息。传统的T~2和SPE统计量在多模态过程中可能无法实现这一目标。提出了一种融合多模态统计信息的全局监控统计量,在贝叶斯推论的框架下,通过对每个模态的局部马氏距离赋予相应权重来实现对多模态数据的描述。通过多模态的连续反应搅拌釜(CSTH)仿真实验,验证了全局监控指标的有效性和灵敏性。