一种基于多任务学习的多模态情感识别方法

为了通过设置辅助任务学习到更具有情感倾向性的视频和语音表示,进而提升模态融合的效果,提出一种基于多任务学习的多模态情感识别模型,使用多模态共享层来学习视觉和语音模型的情感信息.在MOSI数据集和MOSEI数据集上的实验表明,添加两个辅助的单模态情感识别任务后,模型可以学习到更有效的单模态情感表示,并且在两个数据集上的情...     

基于循环交互注意力网络的问答立场分析

针对现有问答立场分析方法未考虑问答文本间交互依赖关系的不足,该文提出一种基于循环交互注意力(recurrent interactive attention,RIA)网络的问答立场分析方法。该方法模拟人类的问答阅读理解机制,采用交互注意力机制和循环迭代策略,结合问题和回答的相互联系分析问答文本的立场信息。此外,为了处理问题文本无法明确表达自身立场的情况,该方法将问题转换为陈述句。在中文社交问答数据集上的实验结果表明,由于有效地表示了问答对依赖关系,本文方法的性能优于已有方法。     

结合规则蒸馏的情感原因发现

现有基于深度学习的情感原因发现方法往往缺乏对文本子句之间关系的建模,且存在学习过程不易控制、可解释性差和对高质量标注数据依赖过大的不足。为此,该文提出了一种结合规则蒸馏和层级注意力网络的情感原因发现方法。该方法使用结合位置编码和残差结构的层级注意力网络捕获子句内部以及子句和情感表达句之间的潜层语义关系。进而,采用基于对抗学习的知识蒸馏框架将情感原因表达相关的语言学规则引入模型,最终实现结合深度神经网络和语言学规则的情感原因发现。在中文情感原因发现数据集上的实验结果显示,该方法F1值比现有最优方法提升约0.02,达到了已知的最佳性能。     

一种融入背景知识的交互文本立场分析方法

提出一种融入背景知识的交互文本立场分析方法。该方法以交互文本作为查询, 从维基百科中检索相关的背景知识文本, 然后对背景知识文本进行编码, 并通过深度记忆网络获取相关的背景知识特征, 以此来增强交互文本的表示学习。在3个英文在线辩论数据集上的实验结果表明, 通过选取适当的背景知识嵌入层数以及背景知识嵌入层连接方式, 可以有效地提高交互文本立场分析性能。     

基于对抗学习的讽刺识别研究

为了避免现有讽刺识别方法的性能会受训练数据缺乏的影响, 在使用有限标注数据训练的注意力卷积神经网络基础上, 提出一种对抗学习框架, 该框架包含两种互补的对抗学习方法。首先, 提出一种基于对抗样本的学习方法, 应用对抗生成的样本参与模型训练, 以期提高分类器的鲁棒性和泛化能力。进而, 研究基于领域迁移的对抗学习方法, 以期利用跨领域讽刺表达数据, 改善模型在目标领域上的识别性能。在3个讽刺数据集上的实验结果表明, 两种对抗学习方法都能提高讽刺识别的性能, 其中基于领域迁移方法的性能提升更显著; 同时结合两种对抗学习方法能够进一步提高讽刺识别性能。     

音乐欣赏中脑对音乐属性变化加工规律的脑电研究

研究了长时音乐持续刺激下,人脑对音乐属性变化加工规律的脑反应,结合音乐的底层属性特征与事件相关电位(ERP),研究音乐相关的脑反应机制.首先,通过一个长时音乐的脑认知实验来采集需要的脑电信号.随后,提取了音乐的几种属性特征——频谱通量、过零率和均方根可近似代表音色、音高和音强3种要素.对于得到的声音特征信号,提取了特征信号上的突变点作为ERP叠加的事件点,并据此将16首音乐的事件点进行了叠加平均,通过得到的ERP图像,作了相应的脑地形图.最后,初步得到结论:前额区和中央区在脑对音乐的反应中所占比重较大,并且脑对音高变化反应最为强烈.本文所采用的研究思路,将音乐特征作为事件,进而探究脑认知规律.经过验证,这种方法可以广泛应用于相关脑认知研究.