【微软亚研】预训练文本表示作为元学习，Pre-training Text Representations

https://www.zhuanzhi.ai/paper/a6f45fe15bf21c7df662d475ffb56f8f

最近的研究表明，预训练文本表示能够显著提高许多自然语言处理任务的性能。训练的中心目标是学习对后续任务有用的文本表示形式。然而，现有的方法是通过最小化代理目标(如语言建模的负日志可能性)来优化的。在这项工作中，我们介绍了一个学习算法，它直接优化模型学习文本表示的能力，以有效地学习下游任务。我们证明了多任务预训练和模型不可知的元学习之间有着内在的联系。BERT中采用的标准多任务学习目标是元训练深度为零的学习算法的一个特例。我们在两种情况下研究了这个问题:无监督的预训练和有监督的预训练，不同的预训练对象验证了我们的方法的通用性。实验结果表明，我们的算法对各种下游任务进行了改进，获得了更好的初始化。

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“PTRML” 就可以获取《预训练文本表示作为元学习》专知下载链接

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取5000+AI主题知识资源