形象片《上海,灵感之城》多模态隐喻解读

广告作为一种语篇体裁,其最显著的特征就是混合运用多种符号模态诸如图像、音乐及颜色等,隐喻在其意义构建中扮演着重要角色。文章以上海城市形象片《上海,灵感之城》为例,从文化角度解读广告语篇中多模态隐喻的意义建构。     

中国手语模态对句子加工的影响

该文系统地研究了中国手语模态对句子加工的影响,使用事件相关电位(ERP)技术来探索句子加工过程中手势模态的语义和语音信息对词汇通达的影响和时间过程。设计实验材料时,对句尾变化条件下目标手势的语义和音韵形式进行了系统的人为操纵。通过18个被试的实验,观察到将初级视觉特征映射到手势音韵特征的手势感知证据(时长100~200ms),紧接着是将目标手势音韵特征与语境信息匹配的负成分(时长200~400ms),以及表征语篇语境对语义制约的动态建构的负成分(时长400~650ms),它促进了手势的音义信息与句子信息的整合。音近和义近手势在时间进程和效应方向上存在着相似性,表明手语模态的词汇通达与有声语言类似,并消耗类似的在线处理成本。同时发现了手语模态独有的表征手语音韵特征加工已经完成的N300效应,它代表了手势音韵元素识别和手势识别之间的直接联系。实验结果表明:在进行句子加工时,被试首要考虑的是语境和目标手势匹配,并不是与手势的音韵特征匹配。这种结果可能是词汇选择时音近和义近相关信息相互作用的标志。     

标准化病人的多模态互动话语分析

从社会符号学和概念隐喻的双重视角,考察了标准化病人互动话语的多模态特征,结果发现：标准化病人互动话语表现出纯语言、副语言、肢体语言和非肢体语言四种主要模态,通过补充、强化、替代三种多模态协同关系共同完成信息传递和情感表达,通过相似性表征和动态性表达呈现出“病人是医生最好的老师”的多模态隐喻;作为教育戏剧活动的主体,标准化病人运用多模态互动话语开展并串联情境活动、叙事性活动和诗化活动,最终实现教学目标。     

一种适用于多模态过程监控的集成统计指标

具有多模态特性的工业过程的数据分布呈现出与单模态过程不同的特性。在构造监控指标时,不仅要能够概括每个模态内部的数据统计特征,还要充分考虑到不同模态之间的信息。传统的T~2和SPE统计量在多模态过程中可能无法实现这一目标。提出了一种融合多模态统计信息的全局监控统计量,在贝叶斯推论的框架下,通过对每个模态的局部马氏距离赋予相应权重来实现对多模态数据的描述。通过多模态的连续反应搅拌釜(CSTH)仿真实验,验证了全局监控指标的有效性和灵敏性。     

从关联理论视角看平面广告中的多模态隐喻

平面广告是图像和文字两种视觉符号相结合的一种多模态语篇,依赖于图像、文字等静态手段,诉诸读者的感知能力隐喻性地传达广告意图。关联原则在广告的多模态隐喻的解读过程中发挥着至关重要的作用,那就是广告通过图像、文字以多模态隐喻的形式呈现,寻求广告信息和读者认知的最佳关联,促使读者自发寻求多模态隐喻的最佳解释,从而理解广告意图。     

基于局部特征的多模态过程监控方法

多模态过程中各个模态均有不同的特征,因此模态数据的局部特征比全局特征更能有效、合理地表征实际化工过程。为利用多模态数据的局部特征,提出了基于数据局部特征的多模型方法(LFMM)用于多模态过程的监控。首先,离线阶段考虑到数据间的时序信息以及数据特征,利用不同时间窗内数据的变异系数(CV)完成多模态数据集的聚类;然后,考虑到不同模态的数据在空间分布上具有不同的疏密性特征,建模阶段利用局部离群因子(LOF)算法计算数据在其模态数据集中的局部密度,监控时将在线数据的局部密度作为统计特征,并构造全局概率指标用于多模态过程监控;最后,通过田纳西伊斯曼(TE)过程验证了本文方法的有效性。     

多模态视角下的微信群聊话语分析

微信作为时下热门的聊天社交软件,呈现出多模态的特征,并贯穿于语境层、内容层和表达层的方方面面。本文立足于多模态交际理论和系统功能语言学语境观,从四个微信群聊所摘取的语料出发,重点关注微信群聊过程中的文字模态、链接模态、表情模态、图片模态、语音模态、文件模态以及视频模态,阐释不同模态在虚拟语境中的相互关系,期以更好地理解网络社区中所构建的独特的多模态话语模式。     

广告语篇中多模态隐喻的意义建构——以央视公益广告《Family》为例

现代科技和传媒技术的发展促使多种非语言符号诸如图像、声音、颜色等参与隐喻的构建,因此,有关多模态语篇中的隐喻越来越受到学者们的关注。文章以公益广告《Family》为例解读广告语篇中多模态隐喻的意义建构,进一步揭示广告中的文化内涵,以期为研究广告中的隐喻提供新的研究路向。     

基于跨模态交叉注意力网络的多模态情感分析方法

挖掘不同模态内信息和模态间信息有助于提升多模态情感分析的性能,本文为此提出一种基于跨模态交叉注意力网络的多模态情感分析方法。首先,利用VGG-16网络将多模态数据映射到全局特征空间;同时,利用Swin Transformer网络将多模态数据映射到局部特征空间;其次,构造模态内自注意力和模态间交叉注意力特征;然后,设计一种跨模态交叉注意力融合模块实现不同模态内和模态间特征的深度融合,提升多模态特征表达的可靠性;最后,通过Softmax获得最终预测结果。在2个开源数据集CMU-MOSI和CMU-MSOEI上进行测试,本文模型在七分类任务上获得45.9%和54.1%的准确率,相比当前MCGMF模型,提升了0.66%和2.46%,综合性能提升显著。     

奇幻电影《水形物语》中“爱”的多模态隐喻表征研究

多模态隐喻研究目前多集中于政治漫画、宣传海报、企业商标等静态文本方面,但对于电影等动态文本的研究较少。文章以双域型网络为理论框架,从双边共享拓扑网络、不对称双边网络和双边非填充共享拓扑网络三方面,结合口头语言和图像符号等模态,分析奇幻电影《水形物语》中"爱"这一基本情感的多模态隐喻表征。研究结果表明:电影中多模态隐喻的表征多以口头符号为始源域,图像符号为目标域,这与电影主要以人物台词推动故事情节发展的特点相关;多模态隐喻在静态文本和动态文本中的表征形式不一样,在动态文本中的研究更加复杂,隐喻映射的类型更多,多模态隐喻的表征能够更好地展示人物社会关系,揭示电影主题;双域型网络合成空间中的层创结构能够产生新的隐喻意义,为影片中多模态隐喻表征提供认知理据。     

视频广告中多模态的隐喻认知建构——以香奈儿可可小姐香水广告为例

在认知语言学隐喻认知角度分析广告文本研究的基础上,本文加入了多模态的分析方法,认为图像、声音等模态的引入使从隐喻角度分析视频广告成为可能。文章通过对视频广告香奈儿可可小姐香水广告的多模态隐喻认知分析,证明了该分析方法是一种有效的了解动态文本认知建构过程的方法。     

公益广告语篇态度意义的多模态构建 ——以《有人偷偷爱着你》为例

基于评价理论、认知心理学及功能符号学,结合公益广告语篇模式特征,建构由诱发条件、态度行为表达和评价意义三大模块所构成的公益广告语篇态度意义多模态理论框架。《有人偷偷爱着你》的案例研究表明,面部表情、手势等肢体语言等符号和语言符号一样都是构建公益广告语篇态度意义的重要模态符号,各模态符号之间相互协调、配合共同构建态度意义;在整个态度意义的多模态构建中,诱发条件主要是视觉模态,而态度行为表达主要是由语言和表情来完成,评价意义大多以正面评价结尾,对正能量进行宣传,从而实现良好的价值导向功能。     

基于文本指导的层级自适应融合的多模态情感分析

提出了一种基于文本模态指导的多模态层级自适应融合方法,以文本模态信息为指导实现多模态信息的层级自适应筛选及融合。首先,基于跨模态注意力机制实现两两模态之间的重要性信息表征;然后通过多模态自适应门控机制实现基于多模态重要信息的层级自适应融合;最后综合多模态特征和模态重要性信息实现多模态情感分析。在公共数据集MOSI和MOSEI上的实验结果表明：对比基线模型,本文所提方法在准确率与F₁值方面分别提升了0.76%和0.7%。     

MC-CA:基于模态时序列耦合与交互式多头注意力的多模态情感分析

针对现有多模态情感分析模型对模态交互问题的忽视导致其性能受限的问题,提出一种基于模态时序列耦合与交互式多头注意力的多模态情感分析模型（MC-CA）。利用仿射变换耦合模态的情感信息和时序信息,使用交互式多头注意力机制获取模态间的交互信息,利用多通道情感预测方法综合全局与局部信息实现多模态协同训练。在多个公开数据集上的实验结果表明,该模型能够建立多模态数据之间的交互,在多模态情感分析任务中取得优异的性能。     

中文多模态知识库构建

多模态融合旨在将多个模态信息整合以得到一致、公共的模型输出,是多模态领域的一个基本问题。通过多模态信息的融合能获得更全面的特征并且提高模型鲁棒性,目前多模态融合技术已成为多模态领域核心研究课题之一。本文基于ImageNet、HowNet和CCD,通过人工标注构建了一个新的多模态知识库,已完成校准ImageNet中21 455个名词及动词概念的映射,有效地将HowNet以及CCD中概念映射到ImageNet中。该数据集能够应用于自然语言处理任务和计算机视觉任务,并通过图片信息和概念信息提高任务效果。在图片分类中,通过增加HowNet和ImageNet概念能够融合更多的图片特征来辅助分类;在语义理解中,通过映射增加图片信息可以更好地理解语义。     

基于时间优化的多模态输入整形法抑制柔性系统的振动

多模态输入整形器能够很好地抑制多模态系统的残余振动,而且通过时间优化能够减少系统响应的时间延迟.介绍了两种基于时间优化的多模态输入整形器:多模态部分和负脉冲输入整形器与多模态单位幅度负脉冲输入整形器.构建了一种三自由度柔性机器人的两模态部分和负脉冲与单位幅度负脉冲输入整形器.通过数字仿真,这两种输入整形器在有效抑制机器人残余振动的同时减少了系统响应的时间延迟,且两模态单位幅度负脉冲输入整形器能够改善系统减振的效果.     

基于注意力模型的多模态特征融合雷达知识推荐

为了能够在数量庞大的雷达技术资料中快速准确地找到科研人员感兴趣的雷达知识信息并进行推荐,提出了一种基于注意力模型的多模态特征融合雷达知识推荐方法,学习高层次的雷达知识的多模态融合特征表示,进而实现雷达知识推荐.该方法主要包括数据预处理、多模态特征提取、多模态特征融合和雷达知识推荐4个阶段.实验结果表明:与只利用单一模态特征以及简单串联多模态特征的方法相比,利用文中方法学习到的多模态融合特征进行雷达知识推荐,推荐结果的准确率、召回率和综合评价指标(F1值)均有显著提高,表明提出的基于注意力模型的多模态特征融合方法对于知识推荐任务更加有效,体现了算法的优越性.     

平面公益广告语篇的符际互补关系——以世界结核病日宣传海报为例

本文以Royce的符际互补理论为框架,以彭丽媛担任结核病防治形象大使的世界结核病日宣传海报为研究对象,分析该多模态语篇中文本模态和视觉模态在构建整体语篇意义时的不同作用和相互关系,旨在说明两种模态结合在一起比单独使用一种模态更有效。     

基于情感信息辅助的多模态情绪识别

不同于纯文本的情绪分析, 本文面向多模态数据(文本和语音)进行情绪识别研究。为了同时考虑多模态数据特征, 提出一种新颖的联合学习框架, 将多模态情绪分类作为主任务, 多模态情感分类作为辅助任务, 通过情感信息来辅助提升情绪识别任务的性能。首先, 通过私有网络层对主任务中的文本和语音模态信息分别进行编码, 以学习单个模态内部的情绪独立特征表示。接着, 通过辅助任务中的共享网络层来获取主任务的辅助情绪表示以及辅助任务的单模态完整情感表示。在得到主任务的文本和语音辅助情绪表示之后, 分别与主任务中的单模态独立特征表示相结合, 得到主任务中单模态情绪信息的完整表示。最后, 通过自注意力机制捕捉每个任务上的多模态交互特征, 得到最终的多模态情绪表示和情感表示。实验结果表明, 本文方法在多模态情感分析数据集上可以通过情感辅助信息大幅度地提升情绪分类任务的性能, 同时情感分类任务的性能也得到一定程度的提升。     

大跨度中承式拱桥的耦合频域抖振分析

大跨度中承式拱桥的主拱风荷载相互干扰,其抖振响应具有多模态耦合的特点.文中基于结构的固有模态坐标,考虑风速沿主拱高度的变化,推导了拱桥结构的节点等效气动抖振力公式.同时,考虑作用于主拱的干扰风谱、风载的空间相干性及主桥与主拱的多模态耦合效应,进行了大跨度中承式拱桥的耦合频域抖振有限元分析.最后以重庆菜园坝长江大桥为例,计算了桥梁结构节点位移和单元脉动内力的功率谱密度和方差响应.分析表明,高阶模态对于大跨度中承式拱桥抖振响应具有较大的影响.此类大跨度中承式拱桥的抖振响应中水平脉动风速功率谱和竖向脉动功率谱的贡献较大,交叉脉动风功率谱可以忽略;与SRSS法相比,CQC法更好地考虑了多模态及模态耦合的影响.