小样本自然语言处理(NLP)是指NLP任务只具有少量标注的样例。这是人工智能系统必须学会处理的现实挑战。通常我们依赖于收集更多的辅助信息或开发一个更有效的学习算法。然而,在高容量模型中,一般基于梯度的优化,如果从头开始训练,需要对大量带标记的样例进行很多参数更新步骤,才能表现良好(Snell et al., 2017)。

如果目标任务本身不能提供更多的信息,如何收集更多带有丰富标注的任务来帮助模型学习?元学习的目标是训练一个模型在各种任务上使用丰富的标注,这样它就可以用少量标记的样本解决一个新的任务。关键思想是训练模型的初始参数,这样当参数通过零阶或几个梯度步骤更新后,模型在新任务上有最大的性能。

已经有一些关于元学习的综述,例如(Vilalta和Drissi, 2002;Vanschoren, 2018;Hospedales等,2020)。然而,本文的研究主要集中在NLP领域,尤其是小样本的应用。本文试图对元学习应用于较少次数的神经语言处理提供更清晰的定义、进展总结和一些常用的数据集。

https://arxiv.org/abs/2007.09604

成为VIP会员查看完整内容
79

相关内容

小样本学习(Few-Shot Learning,以下简称 FSL )用于解决当可用的数据量比较少时,如何提升神经网络的性能。在 FSL 中,经常用到的一类方法被称为 Meta-learning。和普通的神经网络的训练方法一样,Meta-learning 也包含训练过程和测试过程,但是它的训练过程被称作 Meta-training 和 Meta-testing。
《小样本元学习》2020最新综述论文
专知会员服务
172+阅读 · 2020年7月31日
最新《知识蒸馏》2020综述论文,20页pdf,悉尼大学
专知会员服务
155+阅读 · 2020年6月14日
最新《深度半监督学习》综述论文,43页pdf
专知会员服务
152+阅读 · 2020年6月12日
元学习(meta learning) 最新进展综述论文
专知会员服务
275+阅读 · 2020年5月8日
专知会员服务
197+阅读 · 2020年3月6日
ICML2019《元学习》教程与必读论文列表
专知
41+阅读 · 2019年6月16日
元学习(Meta-Learning) 综述及五篇顶会论文推荐
自动机器学习(AutoML)最新综述
PaperWeekly
32+阅读 · 2018年11月7日
【迁移学习】简述迁移学习在深度学习中的应用
产业智能官
15+阅读 · 2018年1月9日
综述 | 一文读懂自然语言处理NLP(附学习资料)
PaperWeekly
9+阅读 · 2017年11月14日
Meta-Learning to Cluster
Arxiv
17+阅读 · 2019年10月30日
Few-shot Learning: A Survey
Arxiv
362+阅读 · 2019年4月10日
Meta-Transfer Learning for Few-Shot Learning
Arxiv
7+阅读 · 2018年12月6日
Arxiv
135+阅读 · 2018年10月8日
Arxiv
3+阅读 · 2018年10月5日
Paraphrase Generation with Deep Reinforcement Learning
VIP会员
相关VIP内容
相关论文
Meta-Learning to Cluster
Arxiv
17+阅读 · 2019年10月30日
Few-shot Learning: A Survey
Arxiv
362+阅读 · 2019年4月10日
Meta-Transfer Learning for Few-Shot Learning
Arxiv
7+阅读 · 2018年12月6日
Arxiv
135+阅读 · 2018年10月8日
Arxiv
3+阅读 · 2018年10月5日
Paraphrase Generation with Deep Reinforcement Learning
微信扫码咨询专知VIP会员