基于自适应和级联结构的组合图像检索

现有的组合图像算法大多直接进行特征联合嵌入以获取融合查询信息,忽略了不同模态间的互补信息,并保留了大量冗余信息.鉴于此,提出一种基于自适应和级联结构的组合图像检索算法.首先,提出了一种自适应双线性池化模块来进行模态间的信息交互,并结合自适应机制实现对各模态信息的筛选;其次,利用级联结构,在局部和全局层面上探索多模态信息间的相关性,并融合有效信息,生成最终的组合查询嵌入向量.实验结果表明,该算法可以准确表征跨模态组合信息,并在多个数据集上提升了检索精度.