| 摘 要： | 针对Dropout的流动性和随机性可能引起欠拟合或过拟合的问题,提出跨信道计算注意力权重并掩盖注意力权重最大区域的正则化方法(MARDrop)。设计跨信道注意力权重提取机制,提取所有特征图的注意力权重,并筛选出注意力权重较大的部分作为特征判别单元;根据特征判别单元周围区域的注意力权重变化确定出注意力权重最大区域,并将其掩盖即对应区域置为0,其余区域均置为1;将取值为1的注意力权重区域还原为特征图,完成正则化处理。实验表明：MARDrop具有较强的灵活性,结合不同优化方法用于Model2模型后,在CIFAR-10上的分类精度比基础模型提高了19.55%;MARDrop具有较强的泛化能力,能灵活用于不同模型,用于VGG16和ResNet18模型后,在CIFAR-10上的分类错误率比基础模型分别降低了10.05%和9.96%,用于MoblieNetV3S和MoblieNetV3L后,在ImageNet-C9上的分类错误率比基础模型分别降低了14.67%和96.90%。MARDrop利用一维卷积跨信道交互计算注意力权重,能有效降低提取的复杂度;MARDrop通过准确掩盖造成过拟合的特征区域,降...
|
