一种基于多任务学习的多模态情感识别方法

为了通过设置辅助任务学习到更具有情感倾向性的视频和语音表示,进而提升模态融合的效果,提出一种基于多任务学习的多模态情感识别模型,使用多模态共享层来学习视觉和语音模型的情感信息.在MOSI数据集和MOSEI数据集上的实验表明,添加两个辅助的单模态情感识别任务后,模型可以学习到更有效的单模态情感表示,并且在两个数据集上的情...     

基于语音信号与心电信号的多模态情感识别

通过采集与分析语音信号和心电信号,研究了相应的情感特征与融合算法.首先,通过噪声刺激和观看影视片段的方式分别诱发烦躁情感和喜悦情感,并采集了相应情感状态下的语音信号和心电信号.然后,提取韵律、音质特征和心率变异性特征分别作为语音信号和心电信号的情感特征.最后,利用加权融合和特征空间变换的方法分别对判决层和特征层进行融合,并比较了这2种融合算法在语音信号与心电信号融合情感识别中的性能.实验结果表明:在相同测试条件下,基于心电信号和基于语音信号的单模态情感分类器获得的平均识别率分别为71%和80%;通过特征层融合,多模态分类器的识别率则达到90%以上;特征层融合算法的平均识别率高于判决层融合算法.因此,依据语音信号、心电信号等不同来源的情感特征可以构建出可靠的情感识别系统.     

基于长短时记忆网络的多模态情感识别和空间标注

情感计算中音/视频的情感识别对人机交互等领域的深层次认知具有重要应用价值,在现代远程教育中可作为教学过程性实时评估的重要技术之一.为克服单一模态模型识别精度依赖于情感类型这一问题,本文提出一种基于长短时记忆(LSTM)网络的多模态情感识别模型,采用双路LSTM分别模拟人类听觉和视觉处理通路处理语音和面部表情的情感信息,在eNTERFACE’05双模态情感数据集上进行训练和测试,并模拟人脑边缘系统情感区进行决策层加权特征融合,传统情绪六分类标准的准确率可达74.7%.同时,考虑到传统离散情绪六分类法无法进行程度度量,且存在外在表现相似和多情感同时并存的问题,本文提出一种新的多模态情感识别模型的空间标注法,采用模型层特征融合方法将情感分类特征映射到激活度-效价空间(Arousal-Valence Space),从而更好刻画情感的程度,实验结果显示准确率在空间两个维度上分别达到84.1%和86.6%.相比于已有的大多数相关研究,本文提出的模型运算量小,识别精度高,可进行实时在线情感识别.     

基于知识蒸馏与迁移学习结合的多模态音乐情感识别

音乐情感识别的难题是缺乏足够的标签数据或者只有类别不均衡的标签数据训练情感识别模型,准确地标注情感类别不仅成本高而且耗时,且对标注者有着较高的音乐背景要求;同时,音乐的情感往往受多种因素的影响,演唱方式、音乐风格、编曲方式、歌词等因素都会影响到音乐情感的传达.本文提出一种基于知识蒸馏与音乐曲风迁移学习结合的多模态方法,...     

基于辅助模态监督训练的情绪识别神经网络

为了解决多模态数据中数据样本不平衡的问题,利用资源丰富的文本模态知识对资源贫乏的声学模态建模,构建一种利用辅助模态间相似度监督训练的情绪识别神经网络。首先,使用以双向门控单元为核心的神经网络结构,分别学习文本与音频模态的初始特征向量;其次,使用SoftMax函数进行情绪识别预测,同时使用一个全连接层生成2个模态对应的目标特征向量;最后,利用该目标特征向量计算彼此之间的相似度辅助监督训练,提升情绪识别的性能。结果表明,该神经网络可以在IEMOCAP数据集上进行情绪4分类,实现了82.6%的加权准确率和81.3%的不加权准确率。研究结果为人工智能多模态领域的情绪识别以及辅助建模提供了参考依据。     

多模态情绪识别在讯问中应用效果的初步实验

多模态情绪识别展现了智能时代信息技术与讯问方法融合的趋势,其在讯问过程中非接触式采集讯问对象的表情、声强等生理和行为数据,通过多模态数据拟合,实时判断讯问对象的情绪变化。为检验当前多模态情绪识别技术的准确性,本次实验采用情绪诱导范式,通过自我报告、观察者报告、多道心理生理测试仪记录、多模态情绪识别4种不同的方式记录92名实验对象的情绪变化。实验结果表明,当多模态情绪识别指标包括皮肤电等接触式生理数据时,其准确性可达80.9%;当识别指标仅以微表情、心率等非接触式生理数据为主时,其准确性因受情绪分类维度和细致程度、识别对象的特异性、算法模型等因素的影响而明显降低,但仍优于普通人的肉眼观察。该技术在审讯实战中的试用已初步展现出对讯问对象身体限制小、数据采集效率高等优势,后续仍需提升情绪识别技术的准确性,加强情绪识别与讯问策略方法之间的关联度和可操作性。     

基于文本指导的层级自适应融合的多模态情感分析

提出了一种基于文本模态指导的多模态层级自适应融合方法,以文本模态信息为指导实现多模态信息的层级自适应筛选及融合。首先,基于跨模态注意力机制实现两两模态之间的重要性信息表征;然后通过多模态自适应门控机制实现基于多模态重要信息的层级自适应融合;最后综合多模态特征和模态重要性信息实现多模态情感分析。在公共数据集MOSI和MOSEI上的实验结果表明：对比基线模型,本文所提方法在准确率与F₁值方面分别提升了0.76%和0.7%。     

多模态人机交互中基于笔输入的手势识别

为研究多模态人机交互系统的理论及构造方法 ,提出了一种快速的、单笔划手势识别方法 .该方法通过提取手势轨迹的关键点及各关键点的运移方向 ,形成特征码 ,然后与标准手势符号的各种可能的特征码进行匹配 .其中方向特征用于预分类 ,而关键点位置信息用于细分类 .实验结果表明该方法速度快、识别率高 .     

基于注意力机制的分层次交互融合多模态情感分析

针对基于视频的多模态情感分析中,通常在同一语义层次采用同一种注意力机制进行特征捕捉,而未能考虑模态间交互融合对情感分类的差异性,从而导致模态间融合特征提取不充分的问题,提出一种基于注意力机制的分层次交互融合多模态情感分析模型(hierarchical interactive fusion network based on attention mechanism, HFN-AM),采用双向门控循环单元捕获各模态内部的时间序列信息,使用基于门控的注意力机制和改进的自注意机制交互融合策略分别提取属于句子级和篇章级层次的不同特征,并进一步通过自适应权重分配模块判定各模态的情感贡献度,通过全连接层和Softmax层获得最终分类结果。在公开的CMU-MOSI和CMU-MOSEI数据集上的实验结果表明,所给出的分析模型在2个数据集上有效改善了情感分类的准确率和F1值。     

基于核典型相关分析的姿态人耳、人脸多模态识别

选用在生理位置上具有一定关联性的人耳和人脸作为研究对象,针对剧烈的姿态变化会造成融合信息大量缺损的问题,提出了一种基于核典型相关分析的多模态识别方法,利用标准化和中心化两种方法对原始数据集进行预处理,并用最近邻方法进行分类识别. 实验结果表明,核典型相关分析方法可以有效地克服剧烈的姿态变化对人耳和人脸识别的影响,且与单生物特征相比,识别率显著提高.     

中文情绪识别方法研究

以中文情绪语料库(Ren-CECps)为基础,重点研究了句子级情绪识别方法.比较了不同特征以及不同机器学习分类方法(NB,SVM,ME)对情绪识别的影响.此外,针对情绪文本和非情绪文本在语料中的分布非常不平衡问题,通过集成学习的算法来实现不平衡情绪识别,用以提高情绪识别的整体性能.实验结果表明:使用基于样本的集成学习方法能够有效解决不平衡问题,明显提高情绪识别的分类性能.     

基于模糊核判别分析的语音情感识别

为了克服传统核判别方法将样本唯一归属于某一类的不足,基于模糊集理论对传统的核判别分析方法进行改进,引入了模糊类别隶属度并详细分析了基于模糊核判别分析的语音情感识别。识别实验中采用VQ方法进行了特征参数的融合,根据实验结果对模糊核判别分析和核判别分析的性能进行了比较和分析。     

基于改进KNN算法的语音情感识别系统

语音是人类表达情感的重要方式之一,语音中情感信息的识别已然成为人机交互不可或缺的组成部分,目前的语音情感识别技术存在一定的问题,如冗余大、识别率低等,故提出一种改进KNN识别算法。首先提取能够表征音频情感信息的特征参数,并通过优化算法对其进行筛选,然后对优化特征集运用所提算法进行识别验证。实验结果表明,笔者所提的识别算法能够用于基于语音信息的个体情绪识别状态。     

融合情感词典的改进BiLSTM-CNN+Attention情感分类算法

传统机器学习和深度学习模型在处理情感分类任务时会忽略情感特征词的强度,情感语义关系单薄,造成情感分类的精准度不高。本文提出一种融合情感词典的改进型BiLSTM-CNN+Attention情感分类算法。首先,该算法通过融合情感词典优化特征词的权重;其次,利用卷积神经网络(CNN)提取局部特征,利用双向长短时记忆网络(BiLSTM)高效提取上下文语义特征和长距离依赖关系;再结合注意力机制对情感特征加成;最后由Softmax分类器实现文本情感预测。实验结果表明,本文提出的情感分类算法在精确率、召回率和F值上均有较大提升。相较于TextCNN、BiLSTM、LSTM、CNN和随机森林模型,本文方法的F值分别提高2.35%、3.63%、4.36%、2.72%和6.35%。这表明该方法能够充分融合情感特征词的权重,利用上下文语义特征,提高情感分类性能。该方法具有一定的学术价值和应用前景。     

音乐情感识别研究进展

首先介绍音乐情感的定义、表示、计算模型和数据集,然后回顾最近几年音频音乐情感识别的研究进展情况,最后提出若干问题及可能的解决方案.     

基于短时和长时特征的语音情感识别研究

基于语音的自动人类情感识别是近年来新兴的研究课题,它在人机通信中有广阔的应用前景。分别利用语音的短时和长时特征识别说话者的五种情感状态,即生气、高兴、悲伤、惊奇和一种无情感状态。提出了一种基于基音频率、子带频谱能量与共振峰频率的短时特征矢量和一种反映能量频谱分布及动态的长时特征参数,分别利用隐马尔可夫模型和支持矢量机两种方法进行识别。试验用的情感语音包括一个普通话情感语音库和一个丹麦语情感语音库,试验结果表明使用两类特征参数都可以得到较高的识别率。     

基于粗神经网络的语音情感识别

语音情感识别是从语音信号中提取一些有效的声学特征,然后利用智能计算或者识别的方法对话者的情感状态进行识别。介绍了国内外在该领域中关于语音情感数据库、特征提取、识别方法的研究现状。基于对该领域现状的了解,发现特征提取对识别率有着非常大的影响。录制了1050句语音,每句语音提取了30个特征,从而形成了一个1050×30的数据库。提出了用粗糙集理论中的信息一致性对数据库中的30个特征进行化简,最后得到了12个特征。用神经网络中的BP网络对话者的情感状态进行识别,最高识别率达到了84%。从实验结果发现不同的情感用不同的方法识别结果更好。