多模态与文本预训练模型的文本嵌入差异研究

为了详细地分析文本单模态预训练模型RoBERTa和图文多模态预训练模型WenLan文本嵌入的差异,提出两种定量比较方法,即在任一空间中,使用距离一个词最近的k近邻词集合表示其语义,进而通过集合间的Jaccard相似度来分析两个空间中词的语义变化;将每个词与其k近邻词组成词对,分析词对之间的关系。实验结果表明,图文多模态预训练为更抽象的词(如成功和爱情等)带来更多的语义变化,可以更好地区分反义词,发现更多的上下义词,而文本单模态预训练模型更擅长发现同义词。另外,图文多模态预训练模型能够建立更广泛的词之间的相关关系。     

基于多模态语言输入的英语写作效度研究

用对比试验的方法分别在实验组和对比组使用两种不同的语言输入方法进行英语写作教学。对某高校116名本科生一个学期的实验发现,多模态语言输入(应用于实验组)和单模态(应用于对比组)相比,多模态语言输入要比单模态输入对学生的认知负荷大,对提高学生的写作效度、促进学生读者意识和思辨能力有比较明显的作用。     

多模态语篇时代下的视觉读写能力

网络时代的快速发展逐步改变着语篇世界的内在结构。随着多模态语篇时代的到来,视觉读写能力已越来越受到各领域学者的高度重视。在简要论述了视觉读写能力的概念和内涵基础上,主要从多模态语篇发展、认知能力发展以及批判性思维发展方面阐述了视觉读写能力培养的必要性和紧迫性,进而尝试探讨了视觉读写能力培养的一些方法与途径。     

预训练语言模型的可解释性研究进展

基于深度神经网络的大型预训练语言模型在众多自然语言处理任务上都取得了巨大的成功,如文本分类、阅读理解、机器翻译等,目前已经广泛应用于工业界。然而,这些模型的可解释性普遍较差,即难以理解为何特定的模型结构和预训练方式如此有效,亦无法解释模型做出决策的内在机制,这给人工智能模型的通用化带来不确定性和不可控性。因此,设计合理的方法来解释模型至关重要,它不仅有助于分析模型的行为,也可以指导研究者更好地改进模型。本文介绍近年来有关大型预训练语言模型可解释性的研究现状,对相关文献进行综述,并分析现有方法的不足和未来可能的发展方向。     

基于预训练语言表示模型的汉语韵律结构预测

韵律结构预测作为语音合成系统中的一个关键步骤,其结果直接影响合成语音的自然度和可懂度.本文提出了一种基于预训练语言表示模型的韵律结构预测方法,以字为建模单位,在预训练语言模型的基础上对每个韵律层级设置了独立的输出层,利用韵律标注数据对预训练模型进行微调.另外在此基础上额外增加了分词任务,通过多任务学习的方法对各韵律层级间的关系及韵律与词间的关系建模,实现对输入文本各级韵律边界的同时预测.实验首先证明了多输出结构设置的合理性及使用预训练模型的有效性,并验证了分词任务的加入可以进一步提升模型性能;将最优的结果与设置的两个基线模型相比,在韵律词和韵律短语预测的F1值上与条件随机场模型相比分别有2.48%和4.50%的绝对提升,而与双向长短时记忆网络相比分别有6.2%和5.4%的绝对提升;最后实验表明该方法可以在保证预测性能的同时减少对训练数据量的需求.     

图文决策融合的多模态电商垃圾评价检测

现有的电商垃圾评价检测方法大多基于对评价文本信息进行分析,难以有效检测带有图片的多模态垃圾评价,为充分利用评价的图片和文本内容,提出了基于Transformer双向编码表示(bidirectional encoder representa-tions from transformer,BERT)和宽残差网络(wide residual networks,WRN)的图文融合决策检测方法.该方法利用评价文本对经过预训练的BERT模型进行微调训练,经过表示学习分类得到文本评价类别向量,使用宽残差网络对评价图片进行特征提取和分类并输出图片类别向量,将得到的对应评价图文类别向量共同输入启发式决策融合分类器,对多模态评价整体进行预测分类.使用真实电商评价数据集进行实验表明,相比面向评价文本的分类方法,图文融合决策检测方法对多模态评价分类的精准率提高4.44％,召回率提高2.12％,Micro-F1提高3.67％,结果证实该方法能够对多模态垃圾评价进行有效检测.     

多模态视角下的微信"语言"符号特征研究

符号是人们观察世界和了解事物不可或缺的中介与传播元素,也是人类传递个人思想的重要载体.伴随着科技的迅猛发展,微信作为一款多功能的通信软件渗入到网民的日常生活中.微信中的"语言"作为语言符号与非语言符号结合的多模态符号,对网络交际和现实交际产生了至关重要的意义.基于皮尔士的符号学三分法,通过选取微信中个人与个人之间、微信...     

基于预训练语言模型特征扩展的科研论文推荐

针对科研学术论文推荐数据稀疏的问题,提出一种基于预训练语言模型特征扩展的科研论文推荐方法.通过预训练语言模型学习论文摘要的特征表示,将其作为辅助信息构建推荐模型,再将辅助特征和用户-论文标签矩阵共同输入半自编码机模型进行训练,最终实现推荐任务.实验结果表明,相比自编码机等神经网络方法,该方法推荐的科研论文更为准确,可提高科研工作效率.     

基于多模态生成模型的半监督学习

随着进入大数据时代,"标记数据少,而未标记数据多"的现象越来越普遍.半监督学习是充分利用样本中"廉价"的未标记样本,让学习器不依赖外界交互、自动地利用未标记样本提升学习性能.通过构建多模态概率生成模型对数据进行建模,然后分析该模型上的监督学习过程和非监督学习过程,最后结合两种学习过程实现半监督学习.通过在MNIST数据...     

大学英语课多模态互动教学探析

以一节大学英语专业综合英语课程录像为语料,从多模态话语分析的角度,分析了该课堂教师非语言模态的运用,然后对本节课的模态互动教学做出反思,为更好的做好互动教学,应进一步挖掘师生互动的潜力,选择适配的模态进行组合,切合时宜地设计动作和手势,优化教学效果。     

融合非偏好注意力跨度的预训练语言模型

语言模型是自然语言处理领域最重要的任务之一,并以迁移学习的方式影响着机器翻译、机器阅读理解、自动文本摘要等诸多下游任务。依托多头自注意力构建的大规模预训练语言模型在特征提取和文本表征能力上相较之前的神经网络模型取得了较大提升,却也极大地增加了模型训练的时空复杂度。为此,从模糊群决策的角度出发,将毕达哥拉斯模糊非偏好函数用作多头注意力跨度范围的先验,提出一种自适应的注意力跨度调节机制,较大程度地改善了模型捕捉长距离文本依赖的能力,并使模型的整体计算复杂度相较原始Transformer结构维持在较低水平。公开语言模型数据集上的实验表明：所提方法在困惑度指标上取得了较好的性能,超越了多种以往的方法。     

基于多模态学习理论的多媒体课件设计

多媒体课件是多媒体教学过程中的重要组成部分,成功的多媒体课件设计应以学生为中心,这已成为一种共识。多模态学习理论是一种研究如何充分利用学习者各感官进行学习的理论。通过对多模态学习理论的研究,针对目前多媒体课件设计的不足,借鉴软件工程设计思想,提出基于多模态学习理论指导下的多媒体课件设计方法,指出高质量的课件设计应该包括课件需求分析、课件设计、课件实现、课件测试及课件维护等过程,并对每个过程涉及的主要内容进行了探讨。     

非线性系统的多模态ARMAX模型及其应用

利用非线性系统多个工作点上的线性化模型,建立了一类参数内插型多模态ARMAX模型。与传统的线性化模型相比较,在较大的工作范围内有较高的精度。根据多模态模型设计的控制器,由于能够综合利用非线性系统多个工作点上的静态与动态信息,所以具有良好的性能。仿真例子表明多模态模型的有效性。     

大学英语四级看图作文题的多模态分析

本文以多模态分析框架为理论基础,从视觉符号和言语符号两方面分析一篇大学英语四级看图作文,揭示视觉符号和言语符号作为社会符号共同作用完成表意功能以及在语篇中发挥意义共建作用。本文对于在分析过程中所发现的问题提出了相应的建议。     

陶瓷涂层材料多模态数据表征学习

陶瓷涂层具有耐高温、耐腐蚀、耐磨损等特性, 其热膨胀系数和热导率等参数与其性能息息相关. 为解决陶瓷涂层性能实验成本高、测试困难等问题, 提出了陶瓷涂层材料多模态数据表征学习的性能预测方法. 首先利用高斯混合模型虚拟样本生成(Gaussian mixture model virtual sample generation, GMMVSG)算法生成符合真实陶瓷涂层数据分布的样本来扩充数据集; 其次利用卷积神经网络 VGG16 对陶瓷涂层的显微结构图像数据进行特征提取, 利用 TabNet 对结构化数据进行特征提取, 将提取到的图像数据特征与结构化数据特征融合; 最终根据多模态数据表征建立基于K-最近邻(K-nearest neighbor, KNN)、支持向量机回归(support vector regression, SVR)和多层感知机(multi-layer perceptron, MLP) 3 种机器学习算法的预测模型, 对陶瓷涂层的性能指标, 即热膨胀系数和热导率进行了预测. 实验结果表明: 提出的多模态数据表征学习模型的预测结果要优于单模态数据表征学习模型, 其中基于 MLP 算法训练的多模态数据表征学习模型对陶瓷涂层性能的预测效果最好; 在测试集中, 对陶瓷涂层热膨胀系数预测的平均绝对误差(mean absolute error, MAE)和均方误差(mean square error, MSE)分别为 0.026 6 和 0.001 7, 对热导率预测的 MAE 和 MSE 分别为 0.017 9 和 0.000 7. 所提出的陶瓷涂层材料多模态数据表征学习方法有效融合了结构化数据与非结构化数据, 联合学习了各模态数据的潜在共享信息, 成功提升了对陶瓷涂料层材料性能预测的准确度.     

多模态语言输入视角下交际教学法在英语教学中的应用

当今世界高速发展,全球化趋势不可阻挡。英语,作为外语教学科目中的主打科目,其教学模式,面临着全新的挑战。什么是更适合当前多元化社会需求的英语教学模式,确实值得深思和探求。伴随着多媒体和计算机信息技术的飞速更新,资源获取的途径变得林林总总,实践表明,大学英语教学采取多模态理论深得人心,顺应了大学英语教学改革的要求,而在此基础上若能充分发挥交际教学法在教学中的应用,会助推大学英语教学再上新台阶。     

多模态模型及其在气候分析中的应用

对气候要素的概率分布进行了讨论,根据这些概率分布的特点提出了多模态模型,并用非线性拟合的方法进行了验证。对赤道平流层纬向风、ENSO指数(ESI)序列、冰岛Reykjavik(21.90°W, 64.13°N)气压和瑞典温度、北半球树木年轮等数据的分析表明：气候系统中多模态现象具有普遍性。     

基于多模态语义分组的视频摘要模型

充分利用视频的信息以及解码去除冗余信息是视频摘要生成的关键.提出了一种基于多模态语义分组的视频摘要生成模型(VMSG).首先,该模型使用3D ResNet神经网络和残差神经网络来提取3D和2D特征;然后把音频信息与视频的分类信息加入多模态的框架中进行编码,得到多模态的特征之后,需要对其进行解码;为了减少视频帧的冗余信息,不同于按帧分组的解码模式,VMSG使用了一种新颖的语义分组方式进行解码,将相同语义的视频分为一个语义组进行解码,预测下一个单词.实验表明,与当前一些最先进的模型相比,VMSG具有更好的摘要生成性能,其生成的视频摘要更加客观丰富.     

基于多模态共享网络的自监督语音-人脸跨模态关联学习方法

现有的语音-人脸跨模态关联学习方法在语义关联和监督信息方面仍然面临挑战,尚未充分考虑语音与人脸之间的语义信息交互。为解决这些问题,提出一种基于多模态共享网络的自监督关联学习方法。首先,将语音和人脸模态的特征映射到单位球面,构建一个公共的特征空间;接着,通过多模态共享网络的残差块来挖掘复杂的非线性数据关系,并利用其中权重共享的全连接层来增强语音与人脸特征向量之间的关联性;最后,使用K均值聚类算法生成的伪标签作为监督信号来指导度量学习,从而完成4种跨模态关联学习任务。实验结果表明,本文提出的方法在语音-人脸跨模态验证、匹配和检索任务上均取得了良好的效果,多项评价指标相较于现有基线方法提升1%～4%的准确率。