Meta-learning has been proposed as a framework to address the challenging few-shot learning setting. The key idea is to leverage a large number of similar few-shot tasks in order to learn how to adapt a base-learner to a new task for which only a few labeled samples are available. As deep neural networks (DNNs) tend to overfit using a few samples only, meta-learning typically uses shallow neural networks (SNNs), thus limiting its effectiveness. In this paper we propose a novel few-shot learning method called meta-transfer learning (MTL) which learns to adapt a deep NN for few shot learning tasks. Specifically, "meta" refers to training multiple tasks, and "transfer" is achieved by learning scaling and shifting functions of DNN weights for each task. In addition, we introduce the hard task (HT) meta-batch scheme as an effective learning curriculum for MTL. We conduct experiments using (5-class, 1-shot) and (5-class, 5-shot) recognition tasks on two challenging few-shot learning benchmarks: miniImageNet and Fewshot-CIFAR100. Extensive comparisons to related works validate that our meta-transfer learning approach trained with the proposed HT meta-batch scheme achieves top performance. An ablation study also shows that both components contribute to fast convergence and high accuracy.


翻译:提议采用元学习作为解决具有挑战性的微小学习环境的框架。关键的想法是利用大量类似的微小任务来学习如何调整一个基础激光器以适应一项只有少数标签样本的新任务。由于深神经网络(DNN)往往仅使用少数样本而过度适用,因此元学习通常使用浅神经网络,从而限制其有效性。我们在本文件中提议了一种叫作“元转移学习”的新颖的微小学习方法,它学会如何调整一个深度的NNN,以适应一些短小的学习任务。具体地说,“Meta”是指培训多项任务,而“转让”是通过每个任务的学习规模和转移DNN的权重实现的。此外,我们引入了硬任务(HT)元组合计划,作为MTL的有效学习课程。我们使用5级、1分和5级、5分、5分)的实验,在两个具有挑战性的微小学习基准方面进行表彰:MinimageNet和微小的CIFAR100。“转让”是通过为每个任务学习而进行大规模对比,这是我们经过培训的与业绩有关的高水平研究。

6
下载
关闭预览

相关内容

小样本学习(Few-Shot Learning,以下简称 FSL )用于解决当可用的数据量比较少时,如何提升神经网络的性能。在 FSL 中,经常用到的一类方法被称为 Meta-learning。和普通的神经网络的训练方法一样,Meta-learning 也包含训练过程和测试过程,但是它的训练过程被称作 Meta-training 和 Meta-testing。
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
111+阅读 · 2020年3月18日
【Uber AI新论文】持续元学习,Learning to Continually Learn
专知会员服务
30+阅读 · 2020年2月27日
【大规模数据系统,552页ppt】Large-scale Data Systems
专知会员服务
51+阅读 · 2019年12月21日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
34+阅读 · 2019年10月17日
强化学习最新教程,17页pdf
专知会员服务
99+阅读 · 2019年10月11日
Hierarchically Structured Meta-learning
CreateAMind
14+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
11+阅读 · 2019年5月18日
小样本学习(Few-shot Learning)综述
云栖社区
20+阅读 · 2019年4月6日
逆强化学习-学习人先验的动机
CreateAMind
6+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
8+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
22+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
34+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
9+阅读 · 2019年1月2日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
16+阅读 · 2018年5月25日
Meta-Transfer Learning for Zero-Shot Super-Resolution
Arxiv
40+阅读 · 2020年2月27日
Arxiv
7+阅读 · 2019年4月19日
Few-shot Learning: A Survey
Arxiv
346+阅读 · 2019年4月10日
Arxiv
12+阅读 · 2019年1月26日
Learning Embedding Adaptation for Few-Shot Learning
Arxiv
12+阅读 · 2018年12月10日
Few Shot Learning with Simplex
Arxiv
5+阅读 · 2018年7月27日
Arxiv
10+阅读 · 2018年7月8日
VIP会员
相关VIP内容
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
111+阅读 · 2020年3月18日
【Uber AI新论文】持续元学习,Learning to Continually Learn
专知会员服务
30+阅读 · 2020年2月27日
【大规模数据系统,552页ppt】Large-scale Data Systems
专知会员服务
51+阅读 · 2019年12月21日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
34+阅读 · 2019年10月17日
强化学习最新教程,17页pdf
专知会员服务
99+阅读 · 2019年10月11日
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
14+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
11+阅读 · 2019年5月18日
小样本学习(Few-shot Learning)综述
云栖社区
20+阅读 · 2019年4月6日
逆强化学习-学习人先验的动机
CreateAMind
6+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
8+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
22+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
34+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
9+阅读 · 2019年1月2日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
16+阅读 · 2018年5月25日
相关论文
Meta-Transfer Learning for Zero-Shot Super-Resolution
Arxiv
40+阅读 · 2020年2月27日
Arxiv
7+阅读 · 2019年4月19日
Few-shot Learning: A Survey
Arxiv
346+阅读 · 2019年4月10日
Arxiv
12+阅读 · 2019年1月26日
Learning Embedding Adaptation for Few-Shot Learning
Arxiv
12+阅读 · 2018年12月10日
Few Shot Learning with Simplex
Arxiv
5+阅读 · 2018年7月27日
Arxiv
10+阅读 · 2018年7月8日
Top
微信扫码咨询专知VIP会员