MC-CA:基于模态时序列耦合与交互式多头注意力的多模态情感分析

针对现有多模态情感分析模型对模态交互问题的忽视导致其性能受限的问题,提出一种基于模态时序列耦合与交互式多头注意力的多模态情感分析模型（MC-CA）。利用仿射变换耦合模态的情感信息和时序信息,使用交互式多头注意力机制获取模态间的交互信息,利用多通道情感预测方法综合全局与局部信息实现多模态协同训练。在多个公开数据集上的实验结果表明,该模型能够建立多模态数据之间的交互,在多模态情感分析任务中取得优异的性能。     

多模态语义协同交互的图文联合命名实体识别方法

针对现有多模态命名实体识别(Multimodal Named Entity Recognition, MNER)研究中存在的噪声影响和图文语义融合不足问题,本文提出一个多模态语义协同交互的图文联合命名实体识别(Image-Text Joint Named Entity Recognition, ITJNER)模型。ITJNER模型加入图像描述作为额外特征丰富了多模态特征表示,图像描述可以帮助过滤掉从图像特征中引入的噪声并以文本形式总结图像语义信息;还构建了多模态协同交互的多模态语义融合模型,可以加强多模态信息融合,并减少图像信息的语义偏差。在Twitter-2015和Twitter-2017数据集上进行方法实验,分析实验结果并与AdaCAN、UMT、UMGF、Object-AGBAN等方法进行对比。相较于对比方法中的最优方法UMGF,本方法在Twitter-2017数据集上的准确率、召回率、F1值分别提高了0.67%、2.26%、0.93%;在Twitter-2015数据集上,召回率提高了0.19%。实验结果验证了本方法的有效性。     

基于情感信息辅助的多模态情绪识别

不同于纯文本的情绪分析, 本文面向多模态数据(文本和语音)进行情绪识别研究。为了同时考虑多模态数据特征, 提出一种新颖的联合学习框架, 将多模态情绪分类作为主任务, 多模态情感分类作为辅助任务, 通过情感信息来辅助提升情绪识别任务的性能。首先, 通过私有网络层对主任务中的文本和语音模态信息分别进行编码, 以学习单个模态内部的情绪独立特征表示。接着, 通过辅助任务中的共享网络层来获取主任务的辅助情绪表示以及辅助任务的单模态完整情感表示。在得到主任务的文本和语音辅助情绪表示之后, 分别与主任务中的单模态独立特征表示相结合, 得到主任务中单模态情绪信息的完整表示。最后, 通过自注意力机制捕捉每个任务上的多模态交互特征, 得到最终的多模态情绪表示和情感表示。实验结果表明, 本文方法在多模态情感分析数据集上可以通过情感辅助信息大幅度地提升情绪分类任务的性能, 同时情感分类任务的性能也得到一定程度的提升。     

基于变分自动编码器的车辆轨迹预测研究

针对轨迹预测中车辆与周边车辆、道路几何之间交互关系建模不充分,以及车辆轨迹多模态建模不完整等一系列问题,提出了一种基于变分自动编码器的车辆轨迹预测方法。首先,通过长短时记忆网络从原始数据中提取轨迹数据与车道信息的语义特征;其次,引入多头注意力机制,采用两个单独的注意力模块分别建立车辆与车辆交互模型及车辆与道路交互模型,能够更好地反映周边车辆与道路几何对车辆轨迹的交互影响,得到丰富的场景上下文信息;接着利用变分自动编码器对车辆轨迹多模态建模,捕捉轨迹预测的随机性质以生成合理的未来轨迹分布;最后从分布中多次重复采样以生成多条可能的未来轨迹。通过搭建实验平台和使用Argoverse自然驾驶数据集进行测试,改进后的预测方法在平均位移误差和最终位移误差指标下的数值分别为1.03和1.51,预测精度上相较于其他3种预测方法,分别提升了45%、46%、32%;实验结果表明：预测方法可以有效地改善车辆与周边车辆、道路几何之间交互关系建模不充分,以及车辆轨迹多模态建模不完整等问题,预测精度提高,总体预测性能良好。     

多模奇与偶相干态光场可分辨性的证明

构造了一般形式的多模相干态光场，并由一般形式的多模相干态光场及其相反态光场构造出一般形式的多模奇相干态光场和多模偶相干态光场；运用L．Knoell等人提出的两个量子态之间的距离函数，从理论上严格证明了多模奇相干态光场与多模偶相干态光场是完全可以分辨的量子态光场．     

基于多模态的贝叶斯网络疼痛识别方法

有效的疼痛管理对病人的治疗和护理至关重要,针对传统的单模态疼痛识别准确度低的问题,提出了一种基于多模态的贝叶斯网络(multimodal Bayesian network, MMBN)疼痛识别方法。首先利用互信息对多模态特征进行相关性判断,剔除冗余的特征向量,使得模型简洁;其次将多模态特征与贝叶斯网络结构的可扩展性相结合设计了一种基于多模态的BN结构,并建立疼痛识别模型;最后利用BN概率推理算法完成疼痛识别,并在UNBC-McMaster数据库上进行验证。实验结果表明：与传统基于单模态的疼痛识别方法相比较,MMBN方法利用多模态之间的信息互补性能够有效地提高疼痛识别准确度,为目前的疼痛识别与研究提供了一种新手段。     

基于人脸和人耳的多模态生物特征识别

单一模式生物特征识别系统由于存在一些固有的局限性,有时难以满足实际应用的需求,本文提出了基于正面人脸和人耳信息融合的多模态生物特征识别方法.针对USTB人耳图像库和ORL人脸图像库,利用核Fisher鉴别分析方法分别进行了人耳识别、人脸识别和人脸人耳融合识别,融合策略包括图像层融合和特征层融合两种.识别结果表明基于人脸人耳信息融合的多模态识别的识别率优于单体的人耳或人脸识别.这说明融合多种生物特征的多模态识别可以提高身份认证的准确率,也为实现非打扰式识别提供了一种新的途径.     

基于多模态共享网络的自监督语音-人脸跨模态关联学习方法

现有的语音-人脸跨模态关联学习方法在语义关联和监督信息方面仍然面临挑战,尚未充分考虑语音与人脸之间的语义信息交互。为解决这些问题,提出一种基于多模态共享网络的自监督关联学习方法。首先,将语音和人脸模态的特征映射到单位球面,构建一个公共的特征空间;接着,通过多模态共享网络的残差块来挖掘复杂的非线性数据关系,并利用其中权重共享的全连接层来增强语音与人脸特征向量之间的关联性;最后,使用K均值聚类算法生成的伪标签作为监督信号来指导度量学习,从而完成4种跨模态关联学习任务。实验结果表明,本文提出的方法在语音-人脸跨模态验证、匹配和检索任务上均取得了良好的效果,多项评价指标相较于现有基线方法提升1%～4%的准确率。     

多模态情绪识别在讯问中应用效果的初步实验

多模态情绪识别展现了智能时代信息技术与讯问方法融合的趋势，其在讯问过程中非接触式采集讯问对象的表情、声强等生理和行为数据，通过多模态数据拟合，实时判断讯问对象的情绪变化。为检验当前多模态情绪识别技术的准确性，本次实验采用情绪诱导范式，通过自我报告、观察者报告、多道心理生理测试仪记录、多模态情绪识别4种不同的方式记录92名实验对象的情绪变化。实验结果表明，当多模态情绪识别指标包括皮肤电等接触式生理数据时，其准确性可达80.9%;当识别指标仅以微表情、心率等非接触式生理数据为主时，其准确性因受情绪分类维度和细致程度、识别对象的特异性、算法模型等因素的影响而明显降低，但仍优于普通人的肉眼观察。该技术在审讯实战中的试用已初步展现出对讯问对象身体限制小、数据采集效率高等优势，后续仍需提升情绪识别技术的准确性，加强情绪识别与讯问策略方法之间的关联度和可操作性。     

联合人脸与指纹的多模态生物特征识别方法综述

由于基于生物特征识别的方式不但简单快速,而且安全可靠,近年来,作为生物特征识别的典型技术,人脸识别与指纹识别被广泛应用.然而,使用单一特征的生物特征识别系统,其正确率和稳定性还有待提高,且容易被作弊手段攻破.因此,侧重于回顾联合人脸与指纹的多模态生物特征识别方法.首先分别回顾了人脸、指纹识别的研究现状;然后对单模态生物特征识别面临的挑战进行了总结;在此基础上,为了解决单模态生物特征识别存在的正确率不够高和稳定性不够强等问题,重点讨论了联合人脸与指纹进行多模态生物特征识别的方法和未来的发展方向.     

两个不同多模奇相干态光场可分辨性分析

目的 讨论两个不同多模奇相干态的可分辨性与其内禀参数之间的关系。方法采用两个不同态的密度算符距离函数方法，从理论上研究两个不同多模奇相干态光场之间的距离。结果得到了两个不同多模奇相干态之间的距离函数Do（rj,rj＇）。结论结构相同的两个多模奇相干态光场之间不可分辨；模数相同且相互平行的两个多模奇相干态光场具有相似性，只能部分地分辨；模数相同且相互正交的两个多模奇相干态光场在一定条件下完全可分辨。     

基于广义典型相关分析融合和鲁棒概率协同表示的人脸指纹多模态识别

针对单模态生物特征识别容易受自身条件和环境变化的影响,鉴于人脸识别和指纹识别已经在生物识别系统中得到了广泛应用,提出了二者特征信息融合的多模态生物特征识别方法。该方法首先对人脸、指纹图像进行预处理,并对这两种模态均提取LBP和Gabor特征,然后将广义典型相关分析方法分别引入到人脸多特征融合和指纹多特征融合中,应用分块对角矩阵组合上述融合的人脸特征和指纹特征,最后用鲁棒概率协同表示分类器进行分类。在两个多模态数据库上的实验结果表明:与人脸或指纹单模态生物特征识别相比,基于人脸指纹的多模态生物特征识别具有更高的识别率和更好的稳定性;所提出的基于广义典型相关分析的特征融合方法优于传统的融合方法。     

基于BiGRU的多模态驾驶行为及轨迹预测

在复杂交通环境中行驶的智能汽车需要预测未来周围车辆的动向,为了提升智能汽车快速且准确预测周围车辆驾驶行为及轨迹的能力,设计了一种基于BiGRU的多模态驾驶行为及轨迹预测模型.模型由BiGRU编码器、交互卷积池化层和GRU解码器组成,能够预测未来5s车辆多模态驾驶行为的概率和多模态驾驶行为对应的轨迹分布.试验结果表明,相...     

基于广义合作网络人-机交互系统安全评价模型

基于复杂网络理论建立一种新的人-机交互网络系统模型,在此基础上,针对网络拓扑特性提出了人-机交互复杂系统安全性判别准则及安全性判据,并结合柴电机启动人-机交互复杂过程说明了模型的应用.该模型从网络的角度去分析和理解人-机交互复杂系统的本质和内涵,直观地描述了复杂系统中的人-机交互过程,为安全性分析和安全性预防工作提供了新的依据.     

基于穿戴视觉的人手跟踪与手势识别方法

为了解决人与穿戴计算机的自然交互问题,提出了一种基于穿戴视觉的人手跟踪与手势识别方法.该方法以Icondensation算法为基础,综合利用穿戴视觉系统输出的深度和灰度信息进行人手跟踪,并引入了手势变换模型.该模型可以在几种预先定义的手势之间进行动态变换.实验结果表明,该方法可以有效地实现动态和复杂背景下的人手跟踪与手势识别,为穿戴计算机系统提供自然友好的手势交互途径.     

基于信息熵的人-机交互系统性能评估研究

根据人 机交互模型 ,分析了操作者与机器之间的交互关系 ,研究了操作者周围环境的复杂性以及对控制对象和环境知识的了解程度如何影响着人 机系统性能 .从信息熵角度 ,提出了人 机交互系统的性能评估框架 ,从而为人 机交互系统的设计和应用提供了理论支持 .     

多模态输入优化对英语学习影响的研究

本文在对多模态理论研究的基础上,探讨计算机多媒体资源在多模态语言学习中的应用。通过问卷调查,研究在多媒体技术的支撑下多模态输入和英语学习效果之间的关系,作者尝试寻求多媒体技术下多模态的输入优化策略。包括教师的作用,学生的参与度和信息输入量等,期望建立一种有效地多模态语言学习模式。     

基于KCCA的特征融合方法及人耳人脸多模态识别

鉴于人耳和人脸特殊的生理位置关系,本文从非打扰识别的角度出发,提出一种基于人耳人脸的多模态生物特征识别技术。首先仅采集侧面人脸图像,然后将核方法引入到典型相关分析(CCA)中,提出基于核CCA的特征融合方法,抽取两组特征矢量的非线性典型相关特征构成有效鉴别特征矢量用于识别,并应用其提取人耳人脸的关联特征进行个体的分类识别。实验结果验证了基于KCCA特征融合方法的有效性;此外,与单一的人耳或侧面人脸特征体识别比较,基于人耳和人脸融合的多模态生物特征识别性能得到提高,这为非打扰生物特征识别提供了一条有效的途径。     

云计算和大数据重点专项项目成果“多模态自然人机交互神经系统疾病辅助诊断工具”入选国家卫健委“医疗健康人工智能应用落地30最佳案例”

<正>中国科学院软件研究所和中国医学科学院北京协和医院在国家重点研发计划"云计算和大数据"重点专项项目"云端融合的自然交互设备和工具"的支持下,将自然人机交互技术与神经系统疾病临床诊断方法结合,研制了"多模态自然人机交互神经系统疾病辅助诊断工具",成功应用于神经系统疾病的早期预警与辅助诊断当中,在国家健康医疗相关领域发挥了重要作用,入选国家卫健委颁发的"医疗健康人工智能应用落地30最佳案例"。     

基于文本指导的层级自适应融合的多模态情感分析

提出了一种基于文本模态指导的多模态层级自适应融合方法,以文本模态信息为指导实现多模态信息的层级自适应筛选及融合。首先,基于跨模态注意力机制实现两两模态之间的重要性信息表征;然后通过多模态自适应门控机制实现基于多模态重要信息的层级自适应融合;最后综合多模态特征和模态重要性信息实现多模态情感分析。在公共数据集MOSI和MOSEI上的实验结果表明：对比基线模型,本文所提方法在准确率与F₁值方面分别提升了0.76%和0.7%。