元学习已被提出作为一个框架来解决具有挑战性的小样本学习设置。关键的思想是利用大量相似的小样本任务,以学习如何使基学习者适应只有少数标记的样本可用的新任务。由于深度神经网络(DNNs)倾向于只使用少数样本进行过度拟合,元学习通常使用浅层神经网络(SNNs),因此限制了其有效性。本文提出了一种新的学习方法——元转移学习(MTL)。具体来说,“meta”是指训练多个任务,“transfer”是通过学习每个任务的DNN权值的缩放和变换函数来实现的。此外,我们还介绍了作为一种有效的MTL学习课程的困难任务元批处理方案。我们使用(5类,1次)和(5类,5次)识别任务,在两个具有挑战性的小样本学习基准上进行实验:miniImageNet和Fewshot-CIFAR100。通过与相关文献的大量比较,验证了本文提出的HT元批处理方案训练的元转移学习方法具有良好的学习效果。消融研究还表明,这两种成分有助于快速收敛和高精度。

地址:

https://arxiv.org/abs/1812.02391

代码:

https://github.com/yaoyao-liu/meta-transfer-learning

成为VIP会员查看完整内容
157

相关内容

Meta Learning,元学习,也叫 Learning to Learn(学会学习)。是继Reinforcement Learning(增强学习)之后又一个重要的研究分支。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【CVPR2020-北京大学】自适应间隔损失的提升小样本学习
专知会员服务
81+阅读 · 2020年6月9日
元学习—Meta Learning的兴起
专知
44+阅读 · 2019年10月19日
从 CVPR 2019 一览小样本学习研究进展
AI科技评论
11+阅读 · 2019年7月25日
元学习(Meta-Learning) 综述及五篇顶会论文推荐
小样本学习(Few-shot Learning)综述
PaperWeekly
120+阅读 · 2019年4月1日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
迁移学习在深度学习中的应用
专知
23+阅读 · 2017年12月24日
Arxiv
13+阅读 · 2020年4月12日
Meta-Transfer Learning for Zero-Shot Super-Resolution
Arxiv
43+阅读 · 2020年2月27日
Arxiv
9+阅读 · 2019年4月19日
Few-shot Learning: A Survey
Arxiv
362+阅读 · 2019年4月10日
Arxiv
13+阅读 · 2019年1月26日
Learning Embedding Adaptation for Few-Shot Learning
Arxiv
16+阅读 · 2018年12月10日
Meta-Transfer Learning for Few-Shot Learning
Arxiv
7+阅读 · 2018年12月6日
A Survey on Deep Transfer Learning
Arxiv
11+阅读 · 2018年8月6日
Arxiv
11+阅读 · 2018年7月8日
Arxiv
7+阅读 · 2018年5月23日
VIP会员
相关论文
Arxiv
13+阅读 · 2020年4月12日
Meta-Transfer Learning for Zero-Shot Super-Resolution
Arxiv
43+阅读 · 2020年2月27日
Arxiv
9+阅读 · 2019年4月19日
Few-shot Learning: A Survey
Arxiv
362+阅读 · 2019年4月10日
Arxiv
13+阅读 · 2019年1月26日
Learning Embedding Adaptation for Few-Shot Learning
Arxiv
16+阅读 · 2018年12月10日
Meta-Transfer Learning for Few-Shot Learning
Arxiv
7+阅读 · 2018年12月6日
A Survey on Deep Transfer Learning
Arxiv
11+阅读 · 2018年8月6日
Arxiv
11+阅读 · 2018年7月8日
Arxiv
7+阅读 · 2018年5月23日
微信扫码咨询专知VIP会员