|
|||||
|
|
| 基于多模态语义分组的视频摘要模型 | |
| 引用本文： | 叶晓辉,杨欣,李涛.基于多模态语义分组的视频摘要模型[J].云南民族大学学报(自然科学版),2022(4):445-449. |
| 作者姓名： | 叶晓辉 杨欣 李涛 |
| 作者单位： | 南京航空航天大学自动化学院 |
| 基金项目： | 国家自然科学基金(61573182,62073164)；;中央高校基本科研业务费(NS2020025)； |
| 摘 要： | 充分利用视频的信息以及解码去除冗余信息是视频摘要生成的关键.提出了一种基于多模态语义分组的视频摘要生成模型(VMSG).首先，该模型使用3D ResNet神经网络和残差神经网络来提取3D和2D特征；然后把音频信息与视频的分类信息加入多模态的框架中进行编码，得到多模态的特征之后，需要对其进行解码；为了减少视频帧的冗余信息，不同于按帧分组的解码模式，VMSG使用了一种新颖的语义分组方式进行解码，将相同语义的视频分为一个语义组进行解码，预测下一个单词.实验表明，与当前一些最先进的模型相比，VMSG具有更好的摘要生成性能，其生成的视频摘要更加客观丰富. |
| 关 键 词： | 多模态 语义分组 残差网络 视频摘要 |