| 互编码器辅助视频的多模态场景分类 |
| |
| 引用本文： | 黄天阳,侯元波,李圣辰,邵曦.互编码器辅助视频的多模态场景分类[J].南京邮电大学学报(自然科学版),2023(1):104-110. |
| |
| 作者姓名： | 黄天阳 侯元波 李圣辰 邵曦 |
| |
| 作者单位： | 1. 南京邮电大学通信与信息工程学院;2. 根特大学信息技术学院;3. 西交利物浦大学智能工程学院 |
| |
| 基金项目： | 国家自然科学基金(61936005,61872199,61872424)资助项目； |
| |
| 摘 要： | 为了解决多模态场景分类准确率不高的问题，文中提出一种由互编码器辅助视频的多模态场景分类方法。音频部分首先对输入音频数据进行特征提取并且使用自注意力机制取得关注信息，图像部分首先对视频进行分帧图片提取，然后通过ResNet50网络进行特征提取，随后提取到的双模态信息进入互编码器，互编码器通过提取各个模态隐层特征进行特征融合，融合后的新特征结合attention机制辅助视频特征。在该模型中，互编码器为融合特征的辅助系统。实验基于DCASE2021 Challenge Task 1B数据集进行验证，结果表明互编码器能够提升分类准确率。
|
| 关 键 词： | 视听场景分类 自注意力机制 多模态学习 编码器 变分自编码器 |
|
|
