中文多模态知识库构建

多模态融合旨在将多个模态信息整合以得到一致、公共的模型输出,是多模态领域的一个基本问题。通过多模态信息的融合能获得更全面的特征并且提高模型鲁棒性,目前多模态融合技术已成为多模态领域核心研究课题之一。本文基于ImageNet、HowNet和CCD,通过人工标注构建了一个新的多模态知识库,已完成校准ImageNet中21 455个名词及动词概念的映射,有效地将HowNet以及CCD中概念映射到ImageNet中。该数据集能够应用于自然语言处理任务和计算机视觉任务,并通过图片信息和概念信息提高任务效果。在图片分类中,通过增加HowNet和ImageNet概念能够融合更多的图片特征来辅助分类;在语义理解中,通过映射增加图片信息可以更好地理解语义。     

多模态情感分析模型对抗攻击评估与防御方法

为系统探究多模态情感分析模型在对抗攻击下的鲁棒性,采用3种经典对抗攻击方法(快速梯度符号方法、投影梯度下降和动量迭代快速梯度符号方法)、2种模态数据输入(视觉和语音)和4种不同的数据特征融合方法(特征相加、特征拼接、多模态低秩双线性和多模态Tucker融合),对比各种组合下模型的性能表现,研究影响多模态情感分析模型鲁棒性的内在因素．提出一种基于互信息最大化的多模态防御方法,通过减少输入模态特征中的冗余信息提升模型鲁棒性．研究结果表明：在非线性特征融合及双模态数据输入组合下,模型抵御对抗攻击效果最佳;在应用互信息最大化防御方法后,模型性能及抵御攻击能力均可得到有效提升．     

多模态在医学微生物学实验病例教学中的应用

目的研究多模态PPT教学法在医学微生物学实验病例教学中的应用。方法以临床医学本科生的PPT为研究语料,从选择PPT模态的角度分析学生多元识读能力的变化。结果 PPT模态运用以单一文字模态为主过渡到文字、图片、声音模态的多元化运用。在进行信息获取、模态选择、实验操作和学习评价的同时,学生的多元识读能力得到了发展。结论多模态PPT演示教学法提高了学生学习兴趣和学习效果,加强了学生间团队合作,提高了学生的综合能力,对促进教学改革具有重要意义。     

基于多模态隐喻整合模型的品牌名感知-认知研究

鉴于品牌跨国运作对消费者国际化品牌名感知-认知机理研究的需求,依托品牌名多模态隐喻整合模型,提炼感知维度,实施双语品牌名组的"听-看-读"3环节感知效果测试和"记忆、联想及态度"测试以及眼动实验.实验结果验证了品牌名多模态隐喻整合模型的构建原理以及品牌名组感知效果与认知效应的相关性假设,获得"读"环节感知维度与态度的回归方程,发现"读-好感度"对提升品牌名组态度的作用显著.     

多模态语义协同交互的图文联合命名实体识别方法

针对现有多模态命名实体识别(Multimodal Named Entity Recognition, MNER)研究中存在的噪声影响和图文语义融合不足问题,本文提出一个多模态语义协同交互的图文联合命名实体识别(Image-Text Joint Named Entity Recognition, ITJNER)模型。ITJNER模型加入图像描述作为额外特征丰富了多模态特征表示,图像描述可以帮助过滤掉从图像特征中引入的噪声并以文本形式总结图像语义信息;还构建了多模态协同交互的多模态语义融合模型,可以加强多模态信息融合,并减少图像信息的语义偏差。在Twitter-2015和Twitter-2017数据集上进行方法实验,分析实验结果并与AdaCAN、UMT、UMGF、Object-AGBAN等方法进行对比。相较于对比方法中的最优方法UMGF,本方法在Twitter-2017数据集上的准确率、召回率、F1值分别提高了0.67%、2.26%、0.93%;在Twitter-2015数据集上,召回率提高了0.19%。实验结果验证了本方法的有效性。     

多模态输入优化对英语学习影响的研究

本文在对多模态理论研究的基础上,探讨计算机多媒体资源在多模态语言学习中的应用。通过问卷调查,研究在多媒体技术的支撑下多模态输入和英语学习效果之间的关系,作者尝试寻求多媒体技术下多模态的输入优化策略。包括教师的作用,学生的参与度和信息输入量等,期望建立一种有效地多模态语言学习模式。     

基于瑟利模型的水电施工事故分析

水电工程建设在国家基本建设中占有较大的比重,水电工程施工又属于高风险行业,皆处在偏远的山区。因此,水电工程建设的安全生产管理显得尤为重要,深入研究水电工程安全意义重大。本文应用瑟利模型对100起水电事故案例进行逐一分析及结果统计,结合水电施工特点得出:人的心理和行为异常主要是瑟利模型中认识警报、处理危险和采取行动这三个方面问题。最后结合水电施工技术特点针对以上三个方面提出控制和预防水电施工事故的对策措施。     

一种用于多模态心脏图像配准的统计形状模型构建方法

统计形状模型构建的关键在于训练集样本形状的构造和形状特征点的自动提取.针对多模态心脏图像的配准问题,提出了一种统计形状模型的构建方法.模型的构建过程主要通过图谱标签图像训练集的建立、模板标签图像形状特征点的提取和模板形状到待标记图谱形状特征点的自动传递来完成.并在此构建方法的基础上,建立左心室统计形状模型引导多模态图像配准过程.为评估构建方法的有效性,使用心脏CT和MR图像数据集进行多模态配准实验验证.结果表明,基于统计形状模型约束的方法较仅靠互信息的方法在配准精度上有明显提高.     

非线性系统的多模态ARMAX模型及其应用

利用非线性系统多个工作点上的线性化模型,建立了一类参数内插型多模态ARMAX模型。与传统的线性化模型相比较,在较大的工作范围内有较高的精度。根据多模态模型设计的控制器,由于能够综合利用非线性系统多个工作点上的静态与动态信息,所以具有良好的性能。仿真例子表明多模态模型的有效性。     

基于注意力模型的多模态特征融合雷达知识推荐

为了能够在数量庞大的雷达技术资料中快速准确地找到科研人员感兴趣的雷达知识信息并进行推荐,提出了一种基于注意力模型的多模态特征融合雷达知识推荐方法,学习高层次的雷达知识的多模态融合特征表示,进而实现雷达知识推荐.该方法主要包括数据预处理、多模态特征提取、多模态特征融合和雷达知识推荐4个阶段.实验结果表明:与只利用单一模态特征以及简单串联多模态特征的方法相比,利用文中方法学习到的多模态融合特征进行雷达知识推荐,推荐结果的准确率、召回率和综合评价指标(F1值)均有显著提高,表明提出的基于注意力模型的多模态特征融合方法对于知识推荐任务更加有效,体现了算法的优越性.     

多模态教育语篇的意义构建

教育语篇是多模态语篇分析关注重点之一。教育语篇意义的产生源于语言、图像、音像、图表、态势等符号资源。在多模态语境下的课堂教学、学术讲座、教科书、词典百科书等教育语篇中,语言系统和图表、声音、颜色、动作等其他符号系统给予语篇以意义和统一的连贯,在专业知识的传播和获取过程中发挥各自不可取代的作用。分析教育语篇多模态呈现形式、特征及其意义构建能够促进学习者更加全面、准确识读语篇意义,实现教育目的,并为教育语篇的研究提供新视角。     

基于文本指导的层级自适应融合的多模态情感分析

提出了一种基于文本模态指导的多模态层级自适应融合方法,以文本模态信息为指导实现多模态信息的层级自适应筛选及融合。首先,基于跨模态注意力机制实现两两模态之间的重要性信息表征;然后通过多模态自适应门控机制实现基于多模态重要信息的层级自适应融合;最后综合多模态特征和模态重要性信息实现多模态情感分析。在公共数据集MOSI和MOSEI上的实验结果表明：对比基线模型,本文所提方法在准确率与F₁值方面分别提升了0.76%和0.7%。     

引入图像信息的多模态复述生成模型

在商品描述、新闻评论等多模态场景下, 已有复述生成模型只能围绕文本信息生成复述。为了解决其因无法利用图像信息而导致的语义丢失问题, 提出多模态复述生成模型(multi-modality paraphrase generation model, MPG)来引入图像信息, 并用其生成复述。在MPG中, 为了引入与原句对应的图像信息, 首先根据原句构建抽象场景图, 并将与原句相关联的图像区域特征转换为场景图的结点特征。进一步地, 为了利用构建好的场景图来生成语义一致的复述句, 使用关系图卷积神经网络和基于图的注意力机制对图结点特征进行编码和解码。在评测阶段, 提出句对相似度计算方法, 从MSCOCO数据集中筛选出描述图像中相同物体的句对, 并将其作为复述测试集进行评测。实验结果显示, 所提出的MPG模型生成的复述拥有更好的语义忠实度, 表明在多模态场景下图像信息的引入对提高复述生成质量的有效性。     

CDIO理念下大学英语多模态教学模式探析

CDIO教育模式是近年来国际工程教育改革的最新成果,而多模态教学是语言学家提出的一种新的教学理论。虽然二者主要针对的学科领域不同,但作为教育理念却有相同之处。尝试把这两种教育理念相结合,应用到大学英语教学中去,构建"普通课堂教学+网络资源平台教学+课外自主学习"的全方位的多模态教学模式,以提高大学英语教学效果和学生的综合文化素养,培养学生的语言实践能力和自主学习能力,使大学英语教学跟上时代发展的步伐。     

多模态PPT教学模式与学生自我效能感的相关性研究

基于多模态话语分析理论,分两个阶段对英语课堂中多模态PPT教学模式与学生自我效能感的相关性进行了实证研究。研究结果表明:多模态PPT教学模式能提高学生的自我效能感,并在一定程度上提升了学生的学习绩效。本研究两个阶段的结果基本保持一致,说明在英语课堂中使用PPT演示教学模式具有一定的可行性和稳定性,可以增强学生学习英语的信心和提高学生的英语水平。     

“民族团结”平面公益广告中的多模态隐喻研究

概念隐喻关注纯语言研究,多模态隐喻研究拓宽了隐喻研究的范围。"民族团结"平面公益广告紧扣时代主题,以图文并茂的形式映射出深刻的价值内涵。人物隐喻、动植物隐喻、汉字隐喻、身体隐喻、部分——整体隐喻是本主题平面公益广告的基本隐喻表征类型。基于此,"民族团结"平面公益广告多模态隐喻的构建过程包括:第一,相似性联想;第二、体验性认知;第三、文化性认知。     

多模态模式在商务英语教学中的应用

通过反思传统商务英语教学中的不足,并结合认知、文化及情感等因素论证将多模态教学模式溶入商务英语教学的理论意义,由此提出实施多模态商务英语教学的几点建议,以提高商务英语教学效率并促进商务英语人才的培养。     

多模态话语理论在英语分级教学中的应用——以大学英语课堂教学为例

以多模态话语理论为框架,分析大学英语教学的现状及存在的问题,指明多模态话语理论应用于大学英语课堂教学的必要性及可行性。并给出在大学英语课堂教学中构建多模态文化语境及多模态情景语境的方略。     

从关联理论视角看平面广告中的多模态隐喻

平面广告是图像和文字两种视觉符号相结合的一种多模态语篇,依赖于图像、文字等静态手段,诉诸读者的感知能力隐喻性地传达广告意图。关联原则在广告的多模态隐喻的解读过程中发挥着至关重要的作用,那就是广告通过图像、文字以多模态隐喻的形式呈现,寻求广告信息和读者认知的最佳关联,促使读者自发寻求多模态隐喻的最佳解释,从而理解广告意图。     

基于医学影像和病历文本的甲状腺多模态语料库构建与应用

多模态语料库作为一种新型计算机辅助医学诊断与学习研究的工具,有利于相似病例的诊治借鉴,但基于直观影像和电子病历标注的多模态医学语料库并不多见,且多数为人工构建,费时费力,如甲状腺等语料库。因此,该文提出了一种基于医学影像和病历文本的甲状腺多模态语料库的自动构建方法。由于甲状腺结节的声像图表现复杂多样以及良恶性判断困难,基于传统深度学习的医学影像分类方法的精度较低,该文提出基于特征筛选的深度学习分类方法去除冗余和噪声特征,提高良恶性分类准确率,并结合自然语言处理方法提取电子病历的关键文本特征信息以构建多模态语料库。实验结果表明,该文提出的分类算法在甲状腺超声影像数据集可以实现甲状腺结节良恶性的精确分类识别,有效构建医学影像与电子病历多模态语料库。该语料库的建立有利于相关案例教学,方便医学生自学有关的医学知识,也为医务工作者更为全面和准确地解读疾病的病理信息提供重要的参考价值。