最近发布的GPT-3让我对NLP中的零学习和小样本的状态产生了兴趣。虽然大多数的零样本学习研究集中在计算机视觉,也有一些有趣的工作在NLP领域。

我将会写一系列的博文来涵盖现有的关于NLP零样本学习的研究。在这第一篇文章中,我将解释Pushp等人的论文“一次训练,到处测试:文本分类的零样本学习”。本文从2017年12月开始,首次提出了文本分类的零样本学习范式。

什么是零样本学习?

零样本学习是检测模型在训练中从未见过的类的能力。它类似于我们人类在没有明确监督的情况下归纳和识别新事物的能力。

例如,我们想要做情感分类和新闻分类。通常,我们将为每个数据集训练/微调一个新模型。相比之下,零样本学习,你可以直接执行任务,如情绪和新闻分类,没有任何特定的任务训练。

一次训练,随处测试

本文提出了一种简单的零样本分类方法。他们没有将文本分类为X类,而是将任务重新组织为二元分类,以确定文本和类是否相关。

https://amitness.com/2020/05/zero-shot-text-classification/

成为VIP会员查看完整内容
94

相关内容

元学习(meta learning) 最新进展综述论文
专知会员服务
275+阅读 · 2020年5月8日
【Google】监督对比学习,Supervised Contrastive Learning
专知会员服务
72+阅读 · 2020年4月24日
初学者系列:推荐系统Wide & Deep Learning详解
小样本学习(Few-shot Learning)综述
PaperWeekly
120+阅读 · 2019年4月1日
Zero-Shot Learning相关资源大列表
专知
51+阅读 · 2019年1月1日
论文浅尝 | Zero-Shot Transfer Learning for Event Extraction
开放知识图谱
25+阅读 · 2018年11月1日
Machine Learning:十大机器学习算法
开源中国
19+阅读 · 2018年3月1日
论文浅尝 | Reinforcement Learning for Relation Classification
开放知识图谱
9+阅读 · 2017年12月10日
Arxiv
4+阅读 · 2019年4月25日
Few-shot Learning: A Survey
Arxiv
362+阅读 · 2019年4月10日
Learning to Weight for Text Classification
Arxiv
8+阅读 · 2019年3月28日
Arxiv
21+阅读 · 2018年8月30日
A Survey on Deep Transfer Learning
Arxiv
11+阅读 · 2018年8月6日
Arxiv
5+阅读 · 2017年10月27日
VIP会员
相关论文
Arxiv
4+阅读 · 2019年4月25日
Few-shot Learning: A Survey
Arxiv
362+阅读 · 2019年4月10日
Learning to Weight for Text Classification
Arxiv
8+阅读 · 2019年3月28日
Arxiv
21+阅读 · 2018年8月30日
A Survey on Deep Transfer Learning
Arxiv
11+阅读 · 2018年8月6日
Arxiv
5+阅读 · 2017年10月27日
微信扫码咨询专知VIP会员