【NLP| 推荐文章】从统一文本到文本探讨迁移学习的局限性（Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer）

题目： Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer

摘要： 迁移学习是自然语言处理（NLP）中的一项强大技术，它首先对一个数据丰富的任务进行预训练，然后再对下游任务进行微调。迁移学习的有效性带来了方法、方法和实践的多样性。本文通过引入一个统一的框架，将每一个语言问题转换成文本到文本的格式，探讨了NLP的迁移学习技术的发展前景。我们的系统研究比较了数十种语言理解任务的训练前目标、体系结构、无标记数据集、迁移方法和其他因素。通过结合我们的探索和规模的见解和我们新的“巨大的干净的爬网语料库”，我们在总结、问答、文本分类等许多基准上取得了最新的成果。为了促进NLP迁移学习的未来工作，我们发布了我们的数据集、预先训练的模型和代码。