【ICCV2021】参数化对比学习

在本文中，我们提出参数对比学习(PaCo)来处理长尾识别。通过理论分析，我们发现监督对比损失在高频类别上有偏置的倾向，从而增加了不平衡学习的难度。我们引入一组参数类学习中心，从优化的角度进行再平衡。进一步，我们分析了平衡设置下的PaCo损失。我们的分析表明，当更多的样本被拉到相应的中心时，PaCo可以自适应地增强同类样本的推近强度，并有利于较难的示例学习。长尾CIFAR、ImageNet、Places和iNaturalist 2018上的实验显示了长尾识别的新技术。在全ImageNet上，使用PaCo损失训练的模型在各种ResNet骨干上超过了有监督的对比学习。我们的代码可在https://github.com/jiequancui/ Parametric-Contrastive-Learning.