题目: Large Scale Learning of General Visual Representations for Transfer

摘要: 在训练深层视觉神经网络时,预训练表示的传递提高了样本效率,简化了超参数整定。我们重新审视了在大监督数据集上进行预训练和微调目标任务权重的范例。我们扩大了训练前的规模,并创建了一个简单的配方,我们称之为大转移(BiT)。通过组合一些精心挑选的组件,并使用简单的启发式进行传输,我们在20多个数据集上获得了很强的性能。BiT在一系列出人意料的数据体系中表现良好——从10到100万个标记示例。BiT在ILSVRC-2012上达到87.8%的top-1精度,在CIFAR-10上达到99.3%,在视觉任务适应基准(包括19个任务)上达到76.7%。在小型数据集上,ILSVRC-2012每类25个示例的BiT达到86.4%,CIFAR-10每类10个示例的BiT达到97.6%。我们对导致高传输性能的主要组件进行了详细的分析。

作者简介: Alexander Kolesnikov,谷歌仪器科学家。个人主页:[https://neutrons.ornl.gov/contacts/kolesnikovai]{https://neutrons.ornl.gov/contacts/kolesnikovai}

成为VIP会员查看完整内容
10

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【Google】监督对比学习,Supervised Contrastive Learning
专知会员服务
72+阅读 · 2020年4月24日
【ACL2020-Facebook AI】大规模无监督跨语言表示学习
专知会员服务
33+阅读 · 2020年4月5日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
54+阅读 · 2019年10月17日
元学习—Meta Learning的兴起
专知
44+阅读 · 2019年10月19日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
A Comprehensive Survey on Transfer Learning
Arxiv
117+阅读 · 2019年11月7日
Arxiv
4+阅读 · 2019年4月3日
VIP会员
微信扫码咨询专知VIP会员