基于本体的生物医学数据多模态语义转换方法

采用基于本体驱动的数据转换模型建立生物医学数据集集成数据库,并给出异构资源的共享语义标识符.生成支持语义Web格式的生物医学库,能实现数据集的自动化转换和映射.     

多模态话语协同作用在视频广告中的体现

图像分析理论是Kress&Leeuwen于1996年以韩礼德的功能语法理论为基础建立起来的。利用图像理论来分析视频广告的多模态话语不同模态和媒体之间的关系,可以了解不同模态之间是如何相互作用、互相协作,在一个多模态语篇中共同实现所要表达的意义的。     

多模态语义协同交互的图文联合命名实体识别方法

针对现有多模态命名实体识别(Multimodal Named Entity Recognition, MNER)研究中存在的噪声影响和图文语义融合不足问题,本文提出一个多模态语义协同交互的图文联合命名实体识别(Image-Text Joint Named Entity Recognition, ITJNER)模型。ITJNER模型加入图像描述作为额外特征丰富了多模态特征表示,图像描述可以帮助过滤掉从图像特征中引入的噪声并以文本形式总结图像语义信息;还构建了多模态协同交互的多模态语义融合模型,可以加强多模态信息融合,并减少图像信息的语义偏差。在Twitter-2015和Twitter-2017数据集上进行方法实验,分析实验结果并与AdaCAN、UMT、UMGF、Object-AGBAN等方法进行对比。相较于对比方法中的最优方法UMGF,本方法在Twitter-2017数据集上的准确率、召回率、F1值分别提高了0.67%、2.26%、0.93%;在Twitter-2015数据集上,召回率提高了0.19%。实验结果验证了本方法的有效性。     

基于多模注意力机制的密集型视频描述

为了解决密集型视频描述(dense video captioning, DVC)任务中视频特征利用不充分,视频定位分段不准确,语义描述效果不丰富的问题,采用多模注意力机制的密集型视频描述方法,提取视频中的视觉特征、音频特征和语音特征.通过多模注意力机制,在编码器中计算不同模态视频帧特征间的关联程度,在解码器中计算描述词序列特征与编码器输出的多模态视频帧特征间的关联程度,并将编码器、解码器输出特征分别作用于视频定位分段模型和语义描述模型获得视频分段和分段描述.提出的方法在ActivityNet Captions数据集上进行了理论分析和实验验证,其中F1-score达到60.09,METEOR指标达到8.78.该方法有效提高了视频定位分段和语义描述的准确性.     

基于场景的视频摘要生成方法

针对如何在语义层次上形成视频摘要问题,提出了一种基于场景的视频摘要生成算法.首先利用类内和类间损失对场景进行分类,然后根据语义概念"重要度"从镜头类和场景提取视频摘要的构成帧,最后将选取的关键帧根据时间顺序排序,构成静态浏览型的视频摘要.实验证明该方法可以用少量的视频帧有效地表示视频的主要内容,并能有效地保持视频内容的连续性.     

基于有向图模型的多模态新闻图像检索研究

不同模态特征描述网络新闻数据各具优势。为充分利用不同模态特征的优点,提高网络新闻图像检索准确率,提出了一种基于有向图理论模型的多模态特征融合检索方法。首先对新闻图像进行预处理,提升新闻图像兴趣点对比度,之后对新闻文本提取关键词,然后对新闻图像进行场景辨别,结合图像人物特征,将文本、场景、人物特征依据有向图理论模型进行融合,形成基于有向图理论模型的多模态融合检索。在10万条新闻数据上测试,实验结果表明,本文提出的方法检索准确率达到了69%,查全率达到70%,效果提升了5%。     

基于文本指导的层级自适应融合的多模态情感分析

提出了一种基于文本模态指导的多模态层级自适应融合方法,以文本模态信息为指导实现多模态信息的层级自适应筛选及融合。首先,基于跨模态注意力机制实现两两模态之间的重要性信息表征;然后通过多模态自适应门控机制实现基于多模态重要信息的层级自适应融合;最后综合多模态特征和模态重要性信息实现多模态情感分析。在公共数据集MOSI和MOSEI上的实验结果表明：对比基线模型,本文所提方法在准确率与F₁值方面分别提升了0.76%和0.7%。     

一种融合多模态特征的视频暴力检测方法

暴力事件检测是视频内容智能分析的一个常见任务,在互联网视频内容审查、影视作品分析、安防视频监控等领域有重要应用.面向视频中暴力检测任务,提出了一个包含关系网络和注意力机制的方法来融合视频中的多模态特征,该方法首先使用深度学习提取视频中多个模态特征,如音频特征、光流特征、视频帧特征,接着组合不同的模态特征,利用关系网络来建模多模态之间的关系;然后基于深度神经网络设计了多头注意力模块,学习多个不同的注意力权重来聚焦视频的不同方面,以生成区分力强的视频特征.该方法可以融合视频中多个模态,提高了暴力检测准确率.在公开数据集上训练和验证的实验结果表明,提出的多模态特征融合方法,与仅使用单模态数据的方法和现有多模态融合的方法相比,具有明显的优势,检测准确率分别提升了4.89％和1.66％.     

基于IP分组网络和无线网视频业务的QoS研究

IP分组网和无线网的多媒体业务是未来的主流,传送实时的视频流是多媒体应用的主要内容,传送实时的视频业务有宽带,延时,包丢失的要求,但是因为IP分组网和无线网的固有特性不能提供QoS保证,另外网络的不对称给组播业务带来了实际困难,因此分析了IP分组网和无线网对于实时视频流的质量影响因素,研究了基于网络和终端的解决方案,并着重研究了基于终端解决方案的策略。     

中文多模态知识库构建

多模态融合旨在将多个模态信息整合以得到一致、公共的模型输出,是多模态领域的一个基本问题。通过多模态信息的融合能获得更全面的特征并且提高模型鲁棒性,目前多模态融合技术已成为多模态领域核心研究课题之一。本文基于ImageNet、HowNet和CCD,通过人工标注构建了一个新的多模态知识库,已完成校准ImageNet中21 455个名词及动词概念的映射,有效地将HowNet以及CCD中概念映射到ImageNet中。该数据集能够应用于自然语言处理任务和计算机视觉任务,并通过图片信息和概念信息提高任务效果。在图片分类中,通过增加HowNet和ImageNet概念能够融合更多的图片特征来辅助分类;在语义理解中,通过映射增加图片信息可以更好地理解语义。     

基于高斯混合模型的多模态过程监测

本文针对多模态复杂过程的多变量、多工序、变量时变性以及模态转换时间不确定等多种特性,提出基于高斯混合模型的多模态过程监测算法;针对离线数据没有模态标签的问题,提出离线数据分类算法;针对在线数据无法对应模态类型的问题,提出在线数据模态识别算法.并在以上方法的基础上建立多模态过程监测模型,以连续退火机组为背景,利用实际生产...     

基于高斯混合模型的多模态过程监测

本文针对多模态复杂过程的多变量、多工序、变量时变性以及模态转换时间不确定等多种特性,提出基于高斯混合模型的多模态过程监测算法;针对离线数据没有模态标签的问题,提出离线数据分类算法;针对在线数据无法对应模态类型的问题,提出在线数据模态识别算法。并在以上方法的基础上建立多模态过程监测模型,以连续退火机组为背景,利用实际生产过程数据验证了算法的有效性。     

国内多模态话语研究动态述评

随着现代信息技术的发展,人们更加依赖多模态话语进行交际,多模态话语已经引起越来越多的学者的关注。我国多模态话语研究主要涉及多模态话语理论探讨,视觉语法应用,多模态外语教学实践探索等。文章分析了近十年我国多模态话语研究现状问题并展望未来发展方向。     

基于多模态理论的大学英语教学策略研究

现代网络技术在大学英语教学改革中发挥着不可或缺的作用,多模态话语分析理论正是把现代网络技术的功用与受众对于知识获取的感官模式紧密联系在一起,在高等院校英语教学中,两者的有机结合将大大改善学生的学习成果和效率。在梳理多模态理论研究的基础上,从讲授内容、师生互动途径和教学环境布置三个方面,提出了大学英语教学中的多模态策略,以期提升学习者学习成效,培养学习者英语语言文化素养和综合应用能力。     

基于记忆网络的视频着色方法

针对视频上色过程中存在的颜色跳变以及多模态问题,提出了一种基于记忆网络的视频上色方法,即在生成对抗网络的基础上引入记忆网络来保持视频帧之间的颜色一致性,统一整个视频上色的颜色传播。研究结果表明,该方法不仅可以有效缓解相邻帧的颜色跳变问题,而且可以在保持参考特征的基础上,生成稳定且真实的着色效果。     

秦腔汉英多模态双语语料库构建与应用

秦腔表演包含的台词、身段、唱腔、脸谱和服饰等要素,构成了秦腔语言与非语言模态,为目标语受众呈现秦腔的多层次意义,是一种典型的动态多模态话语。多模态语料库作为新兴的语料库研究领域,为秦腔研究提供了新方向。基于张德禄多模态话语分析模型,提出秦腔汉英多模态双语语料库构建的基本步骤,并从指导秦腔翻译实践、创新CAT教学内容和搭建秦腔外宣资源平台三方面探讨该语料库如何应用于戏曲翻译人才培养和戏曲文化的对外传播。     

基于语义对齐的生成式文本摘要研究

针对当前生成式文本摘要模型在解码时对摘要整体语义信息利用不充分的问题,提出一种基于语义对齐的神经网络文本摘要方法.该方法以带注意力、Pointer机制和Coverage机制的Sequence-to-Sequence模型为基础,在编码器与解码器之间加入语义对齐网络,实现文本到摘要的语义信息对齐;将获得的摘要整体语义信息与...     

基于多模态话语分析理论的英语师范生的教学能力培养

英语教学能力是英语专业师范生成为合格教师必备的职业素养。全国教师资格证统一考试特别强调要加强考生的实践教学能力。在全球信息多元化时代,如何借助信息技术带来的多模态资源提高英语师范生的教学能力成为高师院校研究的重要课题。多模态话语分析理论是在信息技术飞速发展的社会背景下应运而生,以系统功能语言学为理论基础,为该课题研究提供了有效途径。教师可以充分考虑不同模态之间的协同关系,运用多模态设计课堂教学,强化英语师范生的课堂话语,从而有效提高学生的教学设计能力、教学实施能力以及教学评价能力,从而为其从事教师职业打下坚实的基础。     

标准化病人的多模态互动话语分析

从社会符号学和概念隐喻的双重视角,考察了标准化病人互动话语的多模态特征,结果发现：标准化病人互动话语表现出纯语言、副语言、肢体语言和非肢体语言四种主要模态,通过补充、强化、替代三种多模态协同关系共同完成信息传递和情感表达,通过相似性表征和动态性表达呈现出“病人是医生最好的老师”的多模态隐喻;作为教育戏剧活动的主体,标准化病人运用多模态互动话语开展并串联情境活动、叙事性活动和诗化活动,最终实现教学目标。     

基于多模态的贝叶斯网络疼痛识别方法

有效的疼痛管理对病人的治疗和护理至关重要,针对传统的单模态疼痛识别准确度低的问题,提出了一种基于多模态的贝叶斯网络(multimodal Bayesian network, MMBN)疼痛识别方法。首先利用互信息对多模态特征进行相关性判断,剔除冗余的特征向量,使得模型简洁;其次将多模态特征与贝叶斯网络结构的可扩展性相结合设计了一种基于多模态的BN结构,并建立疼痛识别模型;最后利用BN概率推理算法完成疼痛识别,并在UNBC-McMaster数据库上进行验证。实验结果表明：与传统基于单模态的疼痛识别方法相比较,MMBN方法利用多模态之间的信息互补性能够有效地提高疼痛识别准确度,为目前的疼痛识别与研究提供了一种新手段。