融合视觉特征和语义关系特征的视觉故事生成方法

现有视觉故事生成方法没有考虑不同图像之间高层视觉特征和语义关系特征的深层关联、忽视对图像序列主题的挖掘。提出一种既考虑了整个图像序列的主题又考虑不同图像之间视觉特征和语义关系特征相关性的融合视觉特征和语义关系特征的视觉故事生成方法。该方法利用自编码器挖掘图像序列的主题特征，通过主题特征总结由图像中实体推理出的语义关系特征，然后利用相互注意力融合高层视觉特征和语义关系特征。实验表明，该方法可以生成更具一致性和表现力的故事，并在机器评价指标上取得了比现有方法更好的结果。