【CVPR2021】半监督迁移学习的自适应一致性正则化

2021 年 3 月 7 日 专知



Adaptive Consistency Regularization for Semi-Supervised Transfer Learning Abulikemu Abuduweili1,2*, Xingjian Li1,3∗ , Humphrey Shi2† , Cheng-Zhong Xu3 , Dejing Dou1†


虽然最近关于半监督学习的研究在利用标记和未标记数据方面取得了显著进展,但大多数研究都假定模型的基本设置是随机初始化的。在这项工作中,我们将半监督学习和迁移学习结合起来,从而形成一个更实用和更具竞争力的范式,该范式可以利用来自源领域的强大的预训练模型以及目标领域的标记/未标记数据。更好地利用pre-trained权重和标记的价值目标的例子,我们引入自适应一致性互补正规化,由两部分组成:自适应知识一致性(AKC)在源和目标之间的示例模型和自适应表示一致性(AKC)标记和未标记示例之间的目标模型。一致性正则化所涉及的实例是根据它们对目标任务的潜在贡献自适应选择的。通过微调ImageNet预先训练的ResNet-50模型,我们对流行基准进行了广泛的实验,包括CIFAR-10、CUB-200、Indoor67和MURA。结果表明,我们提出的自适应一致性正则化优于最先进的半监督学习技术,如伪标签、Mean Teacher和MixMatch。此外,我们的算法与现有的方法是正交的,因此能够在MixMatch和FixMatch之上获得额外的改进。我们的代码可以在https://github.com/SHI-Labs/SemiSupervised-Transfer-Learning上找到。


https://www.zhuanzhi.ai/paper/43d085f2c66d68b77584edcb0ee36ba0


专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“AKC” 就可以获取【CVPR2021】半监督迁移学习的自适应一致性正则化》专知下载链接

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源
登录查看更多
41

相关内容

专知会员服务
22+阅读 · 2021年5月1日
【CVPR2021】现实世界域泛化的自适应方法
专知会员服务
53+阅读 · 2021年3月31日
专知会员服务
61+阅读 · 2021年3月12日
【AAAI2021】基于双任务一致性的半监督医学图像分割
专知会员服务
30+阅读 · 2021年2月7日
【AAAI2021】基于内容迁移的无监督领域自适应语义分割
专知会员服务
17+阅读 · 2020年12月25日
【CVPR2020-北京大学】自适应间隔损失的提升小样本学习
专知会员服务
81+阅读 · 2020年6月9日
【AAAI2021】自监督对应学习的对比转换
专知
12+阅读 · 2020年12月11日
【NeurIPS 2020】核基渐进蒸馏加法器神经网络
专知
12+阅读 · 2020年10月19日
Arxiv
19+阅读 · 2021年4月8日
Deformable Style Transfer
Arxiv
14+阅读 · 2020年3月24日
VIP会员
相关VIP内容
专知会员服务
22+阅读 · 2021年5月1日
【CVPR2021】现实世界域泛化的自适应方法
专知会员服务
53+阅读 · 2021年3月31日
专知会员服务
61+阅读 · 2021年3月12日
【AAAI2021】基于双任务一致性的半监督医学图像分割
专知会员服务
30+阅读 · 2021年2月7日
【AAAI2021】基于内容迁移的无监督领域自适应语义分割
专知会员服务
17+阅读 · 2020年12月25日
【CVPR2020-北京大学】自适应间隔损失的提升小样本学习
专知会员服务
81+阅读 · 2020年6月9日
Top
微信扫码咨询专知VIP会员