|
|||||
|
|
| 基于文本指导的层级自适应融合的多模态情感分析 | |
| 作者姓名： | 卢婵 郭军军 谭凯文 相艳 余正涛 |
| 作者单位： | 1. 昆明理工大学信息工程与自动化学院;2. 昆明理工大学云南省人工智能重点实验室 |
| 基金项目： | 国家重点研发计划资助项目(2020AAA0107904)；;国家自然科学基金资助项目(62366025,62241604)；;云南省科技厅基础研究专项面上项目(202301AT070444)； |
| 摘 要： | 提出了一种基于文本模态指导的多模态层级自适应融合方法，以文本模态信息为指导实现多模态信息的层级自适应筛选及融合。首先，基于跨模态注意力机制实现两两模态之间的重要性信息表征；然后通过多模态自适应门控机制实现基于多模态重要信息的层级自适应融合；最后综合多模态特征和模态重要性信息实现多模态情感分析。在公共数据集MOSI和MOSEI上的实验结果表明：对比基线模型，本文所提方法在准确率与F1值方面分别提升了0.76%和0.7%。 |
| 关 键 词： | 多模态情感分析 多模态融合 注意力机制 门控网络 |