| 基于注意力双分支网络的跨模态足迹检索 |
| |
| 引用本文： | 鲍文霞,茅丽丽,王年,杨先军,刘晋,瞿金杰.基于注意力双分支网络的跨模态足迹检索[J].东南大学学报(自然科学版),2021,51(5):914-922. |
| |
| 作者姓名： | 鲍文霞 茅丽丽 王年 杨先军 刘晋 瞿金杰 |
| |
| 作者单位： | 安徽大学电子信息工程学院,合肥230601;中国科学院合肥物质科学研究院,合肥230031;公安部物证鉴定中心,北京100038 |
| |
| 基金项目： | 国家重点研发计划;国家自然科学基金 |
| |
| 摘 要： | 为了提高跨模态足迹检索精度,提出一种基于注意力双分支深度卷积神经网络的检索方法.该方法以赤足足迹的光学和压力2个模态图像为研究对象,采集并构建了一个包含138人5520幅足迹图像的跨模态检索数据集;在网络的特征提取模块采用ResNet50作为基础网络搭建双分支结构,并引入空间注意力机制,以提取各模态具有辨别性的特征;在网络的特征嵌入模块,通过部分参数共享学习跨模态共享空间;在双约束损失模块采用交叉熵损失(ID loss)和异质中心损失(HC loss)以增大跨模态足迹特征的类间差异,减小类内差异.实验结果表明:互检索模式下的平均精度均值(mAP)均值和Rank1均值分别为70.83％和87.50％,优于其他一些跨模态检索方法.采用注意力双分支网络模型能够有效进行跨模态足迹检索,可以为现场足迹对比鉴定等应用提供理论基础.
|
| 关 键 词： | 足迹图像 跨模态检索 双分支网络 空间注意力机制 |
Cross-modal footprint retrieval based on the two-branch CNN with attention |
| |
| Bao Wenxia,Mao Lili,Wang Nian,Yang Xianjun,Liu Jin,Qu Jinjie.Cross-modal footprint retrieval based on the two-branch CNN with attention[J].Journal of Southeast University(Natural Science Edition),2021,51(5):914-922. |
| |
| Authors: | Bao Wenxia Mao Lili Wang Nian Yang Xianjun Liu Jin Qu Jinjie |
| |
| Abstract: | |
| |
| Keywords: | |
| 本文献已被 CNKI 万方数据 等数据库收录！ |
|
