【AAAI2020】基于属性指导和纯视觉的注意力对齐的小样本识别

小样本识别的目标是在每类只有少量有标签样本可供使用的限制下识别新的类别。受到人类学习过程的启发，现有的一些方法引入了额外语义模态来增强从训练样本（称为支持样本）学习更好的表征。然而，这些方法忽视了为测试样本（称为查询样本）设计特殊的处理机制。在失去了潜在的效果提升的同时，这些方法可能导致模态混合表征和同类别的纯视觉表征之间存在偏移，最终导致识别的错误率上升。

在本文中，我们提出一种属性指导的注意力模块（AGAM），来使用人工属性标注学习更有区分性的特征。这种即插即用的模块能够利用视觉内容和对应的属性标注一起关注支持样本中重要的通道和区域。同时，对于属性标注不可得的查询样本，这种特征选择过程同样能够只利用视觉内容便可执行。因此，两种样本的表征经过了相似的细粒度优化。另外，我们提出一种注意力对齐机制，来从属性的指导蒸馏知识到纯视觉的特征选择过程，使其能够在不利用属性标注的限制下学会关注更具语义的特征。大量的实验和分析表明，我们提出的模块可以显著改进现有的基于度量的方法来达到最先进的性能。