Adaptive Consistency Regularization for Semi-Supervised Transfer Learning Abulikemu Abuduweili1,2*, Xingjian Li1,3∗ , Humphrey Shi2† , Cheng-Zhong Xu3 , Dejing Dou1†

虽然最近关于半监督学习的研究在利用标记和未标记数据方面取得了显著进展,但大多数研究都假定模型的基本设置是随机初始化的。在这项工作中,我们将半监督学习和迁移学习结合起来,从而形成一个更实用和更具竞争力的范式,该范式可以利用来自源领域的强大的预训练模型以及目标领域的标记/未标记数据。更好地利用pre-trained权重和标记的价值目标的例子,我们引入自适应一致性互补正规化,由两部分组成:自适应知识一致性(AKC)在源和目标之间的示例模型和自适应表示一致性(AKC)标记和未标记示例之间的目标模型。一致性正则化所涉及的实例是根据它们对目标任务的潜在贡献自适应选择的。通过微调ImageNet预先训练的ResNet-50模型,我们对流行基准进行了广泛的实验,包括CIFAR-10、CUB-200、Indoor67和MURA。结果表明,我们提出的自适应一致性正则化优于最先进的半监督学习技术,如伪标签、Mean Teacher和MixMatch。此外,我们的算法与现有的方法是正交的,因此能够在MixMatch和FixMatch之上获得额外的改进。我们的代码可以在https://github.com/SHI-Labs/SemiSupervised-Transfer-Learning上找到。

成为VIP会员查看完整内容
32

相关内容

【CVPR2021】现实世界域泛化的自适应方法
专知会员服务
53+阅读 · 2021年3月31日
专知会员服务
61+阅读 · 2021年3月12日
【CVPR2021】自监督几何感知
专知会员服务
45+阅读 · 2021年3月6日
专知会员服务
43+阅读 · 2021年1月31日
【KDD2020】多源深度域自适应的时序传感数据
专知会员服务
59+阅读 · 2020年5月25日
【ACL2020-伯克利】预训练Transformer提高分布外鲁棒性
专知会员服务
19+阅读 · 2020年4月14日
基于深度学习的医学图像半监督分割
CVer
14+阅读 · 2020年9月24日
半监督深度学习小结:类协同训练和一致性正则化
【迁移学习】迁移学习在图像分类中的简单应用策略
入门 | 半监督学习在图像分类上的基本工作方式
机器之心
3+阅读 · 2017年12月23日
Arxiv
5+阅读 · 2019年10月11日
Few-shot Adaptive Faster R-CNN
Arxiv
3+阅读 · 2019年3月22日
VIP会员
相关主题
相关VIP内容
【CVPR2021】现实世界域泛化的自适应方法
专知会员服务
53+阅读 · 2021年3月31日
专知会员服务
61+阅读 · 2021年3月12日
【CVPR2021】自监督几何感知
专知会员服务
45+阅读 · 2021年3月6日
专知会员服务
43+阅读 · 2021年1月31日
【KDD2020】多源深度域自适应的时序传感数据
专知会员服务
59+阅读 · 2020年5月25日
【ACL2020-伯克利】预训练Transformer提高分布外鲁棒性
专知会员服务
19+阅读 · 2020年4月14日
微信扫码咨询专知VIP会员